Effectiviteit in Praktijkgericht Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor Onderzoek Zijn er alternatieven voor

RCT’s?RCT’s?

Symposium ‘Praktijkonderzoek in discussie, Symposium ‘Praktijkonderzoek in discussie, een pas op de plaats’een pas op de plaats’

HvA/Kring Andragologie (UvA)/ZonMw/NOSMOHvA/Kring Andragologie (UvA)/ZonMw/NOSMO

Hogeschool van Amsterdam, Muller-Lulofs HuisHogeschool van Amsterdam, Muller-Lulofs Huis23 mei 201423 mei 2014

Em. prof. dr. Louis Tavecchio (UvA/HvA)Em. prof. dr. Louis Tavecchio (UvA/HvA)l.w.c.tavecchio@uva.nl l.w.c.tavecchio@hva.nl

11

Het PraktijkcircuitHet Praktijkcircuit Professionele praktijk/hulpverlening staat centraalProfessionele praktijk/hulpverlening staat centraal Belang van professional is cliënten goed te helpenBelang van professional is cliënten goed te helpen Focus van professional is gericht op ‘zijn/haar’ Focus van professional is gericht op ‘zijn/haar’

cliënten/doelgroep en de daarin aanwezige variëteitcliënten/doelgroep en de daarin aanwezige variëteit Evaluatie vormt vast onderdeel van dagelijkse Evaluatie vormt vast onderdeel van dagelijkse

praktijk, bijv. in het kader van individueel praktijk, bijv. in het kader van individueel hulpverleningsplan bij casus X of Y of i.h.k.v. meer hulpverleningsplan bij casus X of Y of i.h.k.v. meer algemene reflectie op handelen en optimalisering algemene reflectie op handelen en optimalisering van aanpak (intervisie; casusbesprekingen)van aanpak (intervisie; casusbesprekingen)

Evidence-based practice en Evidence-based practice en kwaliteitseisen aan kwaliteitseisen aan

praktijkgericht onderzoekpraktijkgericht onderzoek Deugdelijkheid data uit kwalitatief Deugdelijkheid data uit kwalitatief

onderzoek vaak probleemonderzoek vaak probleem Twijfelachtige analyse en syntheseTwijfelachtige analyse en synthese Hoe valide conclusies te trekken uit Hoe valide conclusies te trekken uit

kwalitatieve data?kwalitatieve data? Alleen degelijke data mogen leiden tot Alleen degelijke data mogen leiden tot

(verdere toepassing van) resultaten in beleid (verdere toepassing van) resultaten in beleid en praktijken praktijk

Dan kan ‘evidence’ uit kwalitatief onderzoek Dan kan ‘evidence’ uit kwalitatief onderzoek grotere praktijkwaarde krijgengrotere praktijkwaarde krijgen

Maar …Maar … Evidence-based practice (EBP) is in de Evidence-based practice (EBP) is in de

praktijk vaak praktijk vaak verengdverengd tot (gebruik van) tot (gebruik van) resultaten uit effectiviteitonderzoek - resultaten uit effectiviteitonderzoek - kosteneffectiviteitanalyse (ROI; SROI) bij de kosteneffectiviteitanalyse (ROI; SROI) bij de selectie van interventiesselectie van interventies

De RCT staat aan de top van Geddes’ De RCT staat aan de top van Geddes’ hihiërarchie van effectonderzoekërarchie van effectonderzoek

Dit soort gerandomiseerde en Dit soort gerandomiseerde en gecontroleerde evaluatiestudies vooral gecontroleerde evaluatiestudies vooral mogelijk binnen kwantitatief-statistisch mogelijk binnen kwantitatief-statistisch onderzoek en niet of nauwelijks bij onderzoek en niet of nauwelijks bij onderzoek naar werk van professionals in onderzoek naar werk van professionals in zorg- en welzijn sectorzorg- en welzijn sector

Howe (2004) *Howe (2004) * Echte ‘Echte ‘randomrandom selectie’ in de praktijk vaak niet selectie’ in de praktijk vaak niet

mogelijkmogelijk In feite gaat het om ‘aselecte In feite gaat het om ‘aselecte toewijzing toewijzing ’ van ’ van

personen aan experimentele en controle conditiespersonen aan experimentele en controle condities De zgn. ‘zuivere’ (De zgn. ‘zuivere’ (unbiasedunbiased) schattingen van effecten ) schattingen van effecten

gelden in feite voor de gelden in feite voor de vrijwilligersvrijwilligers die aan het die aan het onderzoek meededen en onderzoek meededen en daarnadaarna randomrandom worden worden verdeeld over de groepenverdeeld over de groepen

Ook aselecte Ook aselecte toewijzingtoewijzing is op grond van politieke, is op grond van politieke, juridische of ethische overwegingen in de praktijk vaak juridische of ethische overwegingen in de praktijk vaak onmogelijkonmogelijk

* * Howe, K. (2004). A Critique of Experimentalism. Howe, K. (2004). A Critique of Experimentalism. Qualitative InquiryQualitative Inquiry, , 1010 (1), (1), 42-61.42-61.

Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek 66

De lange en moeizame weg van De lange en moeizame weg van (bio)medisch onderzoek naar de (bio)medisch onderzoek naar de

praktijkpraktijk

Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek 77

Wat is er toch met al die data gebeurd Wat is er toch met al die data gebeurd …?…?

Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek 88

Efficacy vs. EffectivenessEfficacy vs. Effectiveness EfficacyEfficacy: het getoetste effect van een interventie onder : het getoetste effect van een interventie onder strikt strikt

gecontroleerde (‘laboratorium’) conditiesgecontroleerde (‘laboratorium’) condities EffectivenessEffectiveness: het getoetste effect van een interventie onder : het getoetste effect van een interventie onder

min of meer ‘normale’ omstandighedenmin of meer ‘normale’ omstandigheden (minder controle, real- (minder controle, real-time en in ‘karakteristieke’ context, populatie en condities)time en in ‘karakteristieke’ context, populatie en condities)

Voor het Voor het verbeteren van professioneel handelenverbeteren van professioneel handelen is is onderzoek naar de effectiviteit van interventies in de onderzoek naar de effectiviteit van interventies in de alledaagse praktijk (alledaagse praktijk (effectivenesseffectiveness) het meest relevant!) het meest relevant!

Brede programma evaluatiBrede programma evaluatie. Het getoetste effect van een e. Het getoetste effect van een gecombineerde (gemengde) serie interventies op grotere gecombineerde (gemengde) serie interventies op grotere systemen en populaties. ‘Natuurlijke experimenten’ met systemen en populaties. ‘Natuurlijke experimenten’ met minimale controle en maximale variabiliteit (zie bijv. minimale controle en maximale variabiliteit (zie bijv. Multi-Multi-center opzet, center opzet, volgende sheet)volgende sheet)

Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek 99

Methodologische Methodologische Oplossingen en Oplossingen en

Alternatieven voor RCT’sAlternatieven voor RCT’s Multi-center opzetMulti-center opzet: een deel van de onderzochte : een deel van de onderzochte

instellingen past interventie toe, de rest werkt met de instellingen past interventie toe, de rest werkt met de traditionele methodiek (traditionele methodiek (Care as usual (CAU); Treatment Care as usual (CAU); Treatment as usual (TAUas usual (TAU))))

Observationele studiesObservationele studies (zie Shrier et al., (zie Shrier et al., 2007; Rawlins, 2008)2007; Rawlins, 2008) TriangulatieTriangulatie (Zie (Zie RPC modelRPC model, volgende sheet), volgende sheet) Mixed methods Mixed methods (Combinatie van kwantitatief en (Combinatie van kwantitatief en

kwalitatief onderzoek)kwalitatief onderzoek) Pragmatische trial, Pragmatische trial, wordt in wordt in alledaagse praktijkalledaagse praktijk

uitgevoerduitgevoerd

Categorie 1 en 2 van het Categorie 1 en 2 van het Range of Range of Possible ChangesPossible Changes (RPC) Model (De (RPC) Model (De

Los Reyes & Kazdin, 2008)Los Reyes & Kazdin, 2008)Categorie Criteria

Beste bewijs voor verandering Ten minste 80 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is sprake van een duidelijk informant-specifiek, maat-specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een succesvolle interventie.

Bewijs voor waarschijnlijke verandering Meer dan 50 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is geen sprake van een duidelijk informant-specifiek, maat-specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een waarschijnlijke verandering in de beoogde richting, maar nader onderzoek naar de soms inconsistente resultaten is vereist.

Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek 1111

Evidence-based Practice Evidence-based Practice (EBP)(EBP)

Practice-based Evidence Practice-based Evidence (PBE)(PBE)

Waarom niet teveel Waarom niet teveel verwachten van de universiteitverwachten van de universiteit Ze publiceren bij voorkeur binnen het dominante paradigma Ze publiceren bij voorkeur binnen het dominante paradigma

(denk aan de te behalen ‘punten’ en de pijplijn) (denk aan de te behalen ‘punten’ en de pijplijn) en bijna nooit en bijna nooit over ‘negatieve’ resultatenover ‘negatieve’ resultaten

Ze schrijven (liever) niet in het NederlandsZe schrijven (liever) niet in het Nederlands Daardoor bereiken ze de professionals in de praktijk indirect en Daardoor bereiken ze de professionals in de praktijk indirect en

vaak veel later (pijplijn)vaak veel later (pijplijn) Ze zijn minder geïnteresseerd in (relatief) snelle oplossingen en Ze zijn minder geïnteresseerd in (relatief) snelle oplossingen en

hebben vaak niet de hebben vaak niet de know-howknow-how met welke onderzoeksopzetten met welke onderzoeksopzetten en –methoden je dan toch ‘valide’ en ‘betrouwbaar’ onderzoek en –methoden je dan toch ‘valide’ en ‘betrouwbaar’ onderzoek kunt doenkunt doen

In het universitaire curriculum is nauwelijks plaats voor In het universitaire curriculum is nauwelijks plaats voor ‘kwalitatieve methoden’, ‘mixed methods’ en ‘praktijkgericht’ ‘kwalitatieve methoden’, ‘mixed methods’ en ‘praktijkgericht’ onderzoekonderzoek

‘‘ 1414

LiteratuurLiteratuur De Los Reyes, A., & Kazdin, A.E. (2008). When the evidence says, De Los Reyes, A., & Kazdin, A.E. (2008). When the evidence says, ‘ ‘Yes, no, and maybe so’. Attending to and interpreting inconsistent Yes, no, and maybe so’. Attending to and interpreting inconsistent

findings among evidence-based interventions. findings among evidence-based interventions. Current Directions in Current Directions in Psychological SciencePsychological Science, , 1717 (1), 47-51. (1), 47-51.

Rawlins, M. (2008). Rawlins, M. (2008). De testimonio De testimonio : on the evidence for decisions about : on the evidence for decisions about the use of therapeutic interventions. the use of therapeutic interventions. LancetLancet, , 372372 (9656), 2152-2161. (9656), 2152-2161.

Shrier, I., Shrier, I., et alet al. (2007). Should Meta-Analyses of Interventions Include . (2007). Should Meta-Analyses of Interventions Include Observational Studies in Addition to Randomized Controlled Trials? A Observational Studies in Addition to Randomized Controlled Trials? A Critical Examination of Underlying Principles. Critical Examination of Underlying Principles. American Journal of American Journal of EpidemiologyEpidemiology, , 166166 (10), 1203-1209. (10), 1203-1209.

Tavecchio, Louis & Gerrebrands, Martin (2012). Tavecchio, Louis & Gerrebrands, Martin (2012). Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek. Den Haag: Boom Lemma. . Den Haag: Boom Lemma.

Tavecchio, L. (2014). Effectiviteit in praktijkgericht onderzoek. Op zoek Tavecchio, L. (2014). Effectiviteit in praktijkgericht onderzoek. Op zoek naar alternatieven voor de randomized controlled trail (RCT). naar alternatieven voor de randomized controlled trail (RCT). Kwaliteit in Kwaliteit in Zorg Zorg (KiZ), nr. 2, 16-20.(KiZ), nr. 2, 16-20.

Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek 1515

Shrier, I., Shrier, I., et alet al. (2007). (2007)**

Deden onderzoek naar het effect van het weglaten of Deden onderzoek naar het effect van het weglaten of toevoegen van observationele studies aan RCT-resultaten in toevoegen van observationele studies aan RCT-resultaten in meta-analyses. meta-analyses.

Ze constateerden:Ze constateerden:““(…) including information from observational studies may (…) including information from observational studies may

improve the inferenceimprove the inference based on only randomized trials” en based on only randomized trials” en “(…) meta-analyses based on observational studies “(…) meta-analyses based on observational studies generally generally produceproduce estimates of effect similarestimates of effect similar to those from to those from meta-analyses based on randomized controlled trials”. meta-analyses based on randomized controlled trials”.

Met andere woorden, observationele studies doen niet onder Met andere woorden, observationele studies doen niet onder voor en kunnen even waardevol zijn als RCT’s en dienen dus voor en kunnen even waardevol zijn als RCT’s en dienen dus zeker niet als tweederangs data te worden beschouwd!zeker niet als tweederangs data te worden beschouwd!

**American Journal of EpidemiologyAmerican Journal of Epidemiology, , 166166 (10), 1203-1209. (10), 1203-1209.

Bewijsvoering binnen Bewijsvoering binnen praktijkgericht onderzoekpraktijkgericht onderzoek 1616