Effectiviteit in praktijkgericht onderzoek Op zoek naar alternatieven voor het RCT

Louis Tavecchio

Praktijkgerichte onderzoeker; quo vadis?

Piet J.M. VerschurenEm. Hoogleraar Methodologie

Radboud Universiteit NijmegenWageningen University and Research Centre

***Symposium

‘Praktijkonderzoek in discussie,een pas op de plaats’

Amsterdam 23 mei 2014

Randomized controlled trial (RCT)weinig extern valide

Twee redenen:(a) Weinig naturalistisch (kunstmatig, steriel)

(b) Niet gebaseerd op ruime toevalssteekproef

(pm. Random toedeling is kwestie van interne validiteit)

Tweeledig probleem:(1) inzichten niet in een praktijksituatie toepasbaar (zie a)

(2) algemeen geldend handelingsprotocol of praktijktheorie onmogelijk (zie a en b)

Randomized controlled trial (RCT)weinig extern valide

Twee redenen:(a) Weinig naturalistisch (kunstmatig, steriel)

(b) Niet gebaseerd op ruime toevalssteekproef

(pm. Random toedeling is kwestie van interne validiteit)

Tweeledig probleem:(1) inzichten niet in een praktijksituatie toepasbaar (zie a)

(2) algemeen geldend handelingsprotocol of praktijktheorie onmogelijk (zie a en b)

Randomized controlled trial (RCT)weinig extern valide

Twee redenen:(a) Weinig naturalistisch (kunstmatig, steriel)

(b) Niet gebaseerd op ruime toevalssteekproef

(pm. Random toedeling is kwestie van interne validiteit)

Tweeledig probleem:(1) inzichten niet in een praktijksituatie toepasbaar (zie a)

(2) algemeen geldend handelingsprotocol of praktijktheorie onmogelijk (zie a en b)

Impliciete aannamen

Van primair belang voor bruikbare kennis zijn:

1. Effectevaluatie efficacy of effectiviteit van interventies en professionele handelingspraktijken

2. Externe validiteit generalisering tot algemene richtlijnen, handelingsprotocollen, praktijktheorie

Maar zijn die aannamen zinvol?

a Effectevaluatie is sluitstuk en negeert cruciale eerdere fasenvan de interventiecyclus

b Externe validiteit is geen core business van praktijkgerichte onderzoeker

Nadruk op effectevaluatie en externe validiteit zijn uitsluitend gerechtvaardigd onder voorwaarde van:

1. óf adequate probleemanalyse, diagnose, oplossingsvoorwaarden en interventieplan

2. óf relatief eenvoudige problemen en geroutiniseerde en/of routiniseerbare handelingspraktijken

Zie voorts Verschuren 2008

Interventiecyclus

1. Probleemdefinitie (probleemanalyse)

2. Diagnose (oorzaken, achtergronden)

3. Oplossingsvoorwaarden

4. Interventieplan (ontwerp)

5. Uitvoering (monitoring)

6. Evaluatie (effectiviteitscontrole)

Zie voorts Verschuren 2008

Verreweg grootste probleem in praktijkgericht onderzoek

oplossing gevonden, probleem onbekend

Primaat van effectiviteitsonderzoekvloeit voort uit EBP?

‘In de praktijk wordt EBP vaak verengd tot het gebruik van de resultaten

van effectiviteitonderzoek en kosteneffectiviteitanalyses … bij de selectie

van interventies’ (Tavecchio 2014: p. 1)

Soorten kennis en onderzoekdoeleneen typologie

type I en III theoriegericht onderzoektype II en IV praktijkgericht onderzoek

* Generalistisch (type IV) praktijktheorieën, handelingsprotocollen, best practices, evidence based practices (EBP)

type kennis verklarend prescriptief causaal probleem-

idiografisch inzicht I II oplossing

nomothetisch causale III IV prescriptieve theorie theorie *

Figuur 1. Typologie met vier typen kennis (Verschuren 2012)

Verklaring versus prescriptie

Causale verklaring: X YHet bestaan, de hoedanigheid of de mate van Y wordt verklaard door het bestaan, de hoedanigheid

of de mate van X

Prescriptie: Als je Y wilt bereiken, dan is (het aanpakken van) X een optie

Overconcentratie op type IV beperkingen en nadelen

1. Beperkte betekenis voor onderzoek in maatschappij-, beleids- en management-disciplines ( complexe problemen, relatief weinig routinematig handelen)

2. Overconcentratie leidt tot veronachtzaming en verwaarlozing van:(a) probleemanalyse, diagnose, interventieplan ( interventiecyclus)(b) probleemoplossend onderzoek ( type II: idiografisch)

3. Afgestudeerden van het hbo worden niet geëquipeerd voor complexe problemen,noch voor normaal probleemoplossend praktijkgericht onderzoek (type II) *

4. HBO-instellingen missen synergie van onderwijs en onderzoek **

5. Mist aansluiting bij methodologische literatuur: Vennix, 1996; Smid & Rouwette, 2011; Rouwette, 2003; Geurts e.a., 2009; Verschuren 2008, 2009, 2013, + literatuur over o.a.experimenteren en generaliseren (o.a. Smaling en Jansen in KWALON)

* zie Verschuren 2011b en 2012 ** zie Verschuren 2012

Conclusies en aanbevelingen(+ verwijzingen voor verdere argumentatie, uitleg en detail)

1 Minder nadruk op EBP, op het daaraan gerelateerde RCT (inclusief alternatieven) en op type IV onderzoek (Verschuren 2009 en 2012)

2 Meer nadruk op de interventiecyclus en – methodologie, en vooral op probleemanalyse (Verschuren 2008 en 2009)

3 Meer nadruk op probleemoplossend praktijkgericht onderzoek (type II) (zie Verschuren 2009, 2011a en b, 2012, 2013)

4 Generalisering niet in een onderzoek nastreven, maar over de resultaten van onderzoeken heen, en dit overlaten aan specialisten (Verschuren 2011a)

5 Kennis nemen van methodologie van alternatieven voor RCT ( veldexperiment, exploratief experiment, vergelijkende case study; o.a.Verschuren 2009)

Voor verdere argumentatie, uitleg en bijzonderhedenzie

Verschuren, P. (2008). Probleemanalyse in organisatie- en beleidsonderzoek. BoomAcademic, Amsterdam

Verschuren, P. (2009). Praktijkgericht onderzoek. Ontwerp van organisatie- en beleidsonderzoek. Boom Academic, Amsterdam

Verschuren, P. (2011a). Why a methodology for practice-oriented research is anecessary heresy. Eleven International Publishing, The Hague

Verschuren, P. (2011b). Onderzoek in het hbo-onderwijs: voldoende doordacht, wetenschappelijk, verantwoord? TvHO, 29, 3: 133-148

Verschuren, P. (2012). Praktijkgericht onderzoek door hbo-instellingen: diversiteit, wetenschappelijkheid en complexiteit. TvHO, 30, 2: 93-112

Verschuren, P. (2013). Methodenonderwijs in de menswetenschappen aan Nederlandse universiteiten: van deficiënties naar een verbeterde opzet. TvHO, 31, 3: 123-138