D R . L E E N D E V R E E S EC E N T R U M V O O R L O G I C A E N W E T E N S C H A P S F I L O S O F I E

L E E N . D E V R E E S E @ U G E N T . B E

EVIDENCE-BASED MEDICINE DOOR EEN WETENSCHAPSFILOSOFISCHE BRIL

BEKEKEN.

OVERZICHT

• EBM: de drijfveren.• De kern van EBM: Evidence hierarchy.• Vermeende superioriteit van randomized

controlled trials.• Biases in the big picture.• Interne validiteit vs. Externe validiteit.• Invloed van waarden en risicodenken.• Probabilistische causaliteit vs. Causale

mechanismen.• EBM en medische vooruitgang. • Conclusie: integratie en nederigheid.

EBM: DE DRIJFVEREN

• Waarop was geneeskunde gebaseerd vóór EBM?• Tot jaren ‘70: groot vertrouwen in medische beslissingen en

medische autoriteit.• Jaren ’70-’80: toenemend onderzoek dat dit vertrouwen

onderuit haalde.• 2de helft 20ste eeuw: toenemend belang en aanvaarding van

resultaten uit statistisch onderzoek.• Ontstaan EBM: ‘90 – Department of Medicine and Clinical

Epidemiology en Department of Biostatistics - McMaster University, Ontario, Canada

• David Sackett: “bringing critical appraisal to the bedside”• Gordon Guyatt: “evidence-based medicine”

EBM: DE DRIJFVEREN

• EBM werd geïnterpreteerd als “nieuw paradigma” waarbij medische beslissingen worden genomen obv de “systematische” en “relevante” resultaten van klinisch onderzoek ipv de “onsystematische “ oordelen van individuele clinici obv de basiswetenschappen:

A new rationale is emerging. Evidence-based medicine de-emphasizes intuition, unsystematic clinical experience, and pathophysiological rationale as sufficient grounds for clinical decision-making and stresses the examination of evidence from clinical research.

• Drijfveren:• Weg van autoriteit• Weg van intuiïtie, klinische ervaring en de pathofysiologische kennis als

basis• Naar meer rationele basis voor medische beslissingen• Naar beter gebruik van de beschikbare literatuur

• Zoektocht naar nieuwe houvast en objectieve standaarden.

DE KERN VAN EBM: EVIDENCE HIERARCHY

Systematic reviews of randomized trials*

Single randomized trials*

Systematic review of observational Studies

*Single observational study

*Physiologic Studies

*Unsystematic clinical observations

DE KERN VAN EBM: EVIDENCE HIERARCHY

• Breed idee over wat “evidence” is, tegelijkertijd zeer eng idee over wat “goede evidentie” is: If the study wasn’t randomised, we suggest that you stop reading it and go on to the next article in your search (Note: We can begin to rapidly critically appraise articles by scanning the abstract to determine if the study is randomised; if it isn’t we can bin it.) Only if you can’t find any randomised trials should you go back to it.

• Hiërarchie centraal en strikt opgelegd, terwijl er nauwelijks expliciete verantwoordingen voor te vinden zijn. • Kritieken focussen vooral op de hiërarchie en de

plaats van RCT’s aan de top in het bijzonder.

VERMEENDE SUPERIORITEIT VAN RANDOMIZED CONTROLLED TRIALS

• “Enkel door gerandomiseerd onderzoek in staat om echte causale relaties te vinden tussen behandelingen en effecten.”

• Enkel dmv RCT zou behandelings- en controlegroep zo kunnen ingedeeld worden dat alle gekende en ongekende verstorende factoren evenwichtig verdeeld zijn.

• Versus John Worrall: • behandelings- en controlegroep kunnen hoogstens in de “probabilistische

betekenis” voor alle factoren in evenwicht worden gebracht: kleine kans op onevenwichtige verdeling mbt elke specifieke, ongekende, verwarrende factor.

• Dit staat tegenover oneindig aantal mogelijke, ongekende verwarrende factoren.

• Dus kans dat er een onevenwicht is mbt een bepaalde verwarrende factor is eerder groot.

• Om dit probleem uit te schakelen: randomisatie zou een onbeperkt aantal keren herhaald moeten worden.

• Bovenstaande geldt dus enkel in het geval van een ideale RCT. • Je kan nooit weten in hoeverre een specifieke RCT de ideale RCT benadert. • Maakt randomisatie verre van nutteloos, maar toont wel dat het niet de

speciale garanties biedt die RCTs over het algemeen superieur zouden maken.

VERMEENDE SUPERIORITEIT VAN RANDOMIZED CONTROLLED TRIALS

• “Onderzoeksmethoden bovenaan de hiërarchie zijn minder gevoelig aan biases.”

• Selection bias: • Kan vermeden worden dmv allocation concealment (het

verzwijgen van de basis waarop proefpersonen werden ingedeeld).

• Staat op zich los van de onderzoeksmethode.

• Ascertainment bias: • Heeft niet te maken met randomisatie en kan

vermeden worden door blinding.

BIASES IN THE BIG PICTURE

• Probleem van biases is eerder een algemeen probleem dat de invloed van waarden in allerlei fasen, en op allerlei vormen van, onderzoek toont.

• Voorbeelden: • Planningsfase: Keuze voor bepaalde onderzoeksvraag

(verborgen agenda, invloed industrie, invloed van beschikbare fondsen,…), verkeerd opzet,…

• Uitvoeringsfase: populatiekeuze, interventiekeuze (te laat, te vroeg,…), duur, vergelijkingskeuze, selectie, vaststelling resultaten

• Rapporteringsfase: stopzetten van onderzoek, selectieve rapportering

• Verspreidingsfase: publicatiebias, taal, vertraging,…

• Meta-analyses vormen daarvoor geen oplossing.

INTERNE VALIDITEIT VERSUS EXTERNE VALIDITEIT

• RCT’s zijn eigenlijk “nomologische machines”. • Zo opgezet dat ze bepaalde omstandigheden creëren die

repliceerbare resultaten geven. • Geven een “clean evaluation.” • Grote zorg voor interne validiteit.• Gaat om gemiddelde effecten in zorgvuldig geselecteerde

groepen proefpersonen.

• Maar wat met externe validiteit? • Hoe veralgemeenbaar zijn de resultaten??• RCT’s zijn niet ontworpen om klinische praktijk te informeren.• EBM geeft geen duidelijk antwoord op de toepasbaarheid van

de resultaten in individuele gevallen. • Vb. Zelden wordt het uitblijven van bepaalde effecten of het

voorkomen van bijwerkingen in bepaalde proefpersonen in een RCT belicht in de rapportering.

INVLOED VAN WAARDEN EN RISICODENKEN

• In de analyse en toepassing van informatie uit onderzoek is meer van invloed dan de puur wetenschappelijke zoektocht naar de beste evidentie. • Invloed van (impliciete) niet-epistemische

waarden (ethische en sociale) als (noodzakelijke) bias bij het interpreteren van onderzoeksresultaten.• Belangrijk zijn vb. ideeën over risico’s: hoe groot

mogen risico’s zijn, welke soorten zijn al dan niet aanvaardbaar enz. • Meer data lossen onenigheid die voortkomt uit

onderliggende waardenveronderstellingen niet op.• Patient values en Values-based medicine

PROBABILISTISCHE CAUSALITEIT VERSUS CAUSALE MECHANISMEN

• EBM’s grote nadruk op probabilistische causaliteit leidt tot meer en meer aandacht voor statistische onderzoeksresultaten, die vaak op onkritische wijze aanvaard worden. • Onderwaardering van het nut van de grondige

kennis van lower level causal mechanisms:• Vooronderstelling van de plausibiliteit dat een

onderliggend verklarend mechanisme kan gegeven worden als basis voor de aanvaarding van resultaten.

• Dat een interventie werkt, betekent echter niet dat ze werkt dmv het veronderstelde mechanisme.

• Het gebrek aan kennis over pathofysiologische processen kan de ontwikkeling van nieuwe (en betere) interventies tegenwerken.

PROBABILISTISCHE CAUSALITEIT VERSUS CAUSALE MECHANISMEN

• Onderwaardering van het nut van grondige kennis van higher-level causal mechanisms:• In zoverre de resultaten uit RCT’s kunnen wijzen op

mogelijke causale mechanismen die verder onderzocht kunnen worden, zal dat hoofdzakelijk lower level mechanisms betreffen.

• EBM past in het dominante biomedische (reductionistisch) paradigma. De favoriete methodologieën zijn niet geschikt voor onderzoek waarvoor het van belang is om vb. de historische en sociale context in overweging te nemen.

PROBABILISTISCHE CAUSALITEIT VERSUS CAUSALE MECHANISMEN

• Sterkte van causale mechanismen: • Verschaffen ons dieper inzicht. • Katalysator voor de ontwikkeling van betere

behandelingen. • Betere zorg voor patiënten die niet in het perfecte plaatje

van de proefpersonen in onderzoek passen. • Basisonderzoek lijkt beter geschikt om tot grotere

stappen in medische vooruitgang te leiden op lange termijn.

• HLCM: levert nuttige kennis voor preventie/interventie op groepsniveau.

• Versus sterkte van probabilistische oorzaken:• kunnen ons veel nuttige (causale) informatie leveren

waar grondige kennis over de complexe onderliggende causale mechanismen ontbreekt.

EBM EN MEDISCHE VOORUITGANG

• Leidt EBM tot wetenschappelijke vooruitgang? • Wat is “wetenschappelijke vooruitgang in geneeskunde?”

• Vooruitgang die door EBM wordt beoogd is vooruitgang die is gebaseerd op meten ipv begrijpen. • EBM wordt eerder gedreven door pragmatische

doeleinden dan door theoretische doeleinden.• EBM leidt tot kleine stapjes vooruit waar we

anders misschien helemaal geen idee zouden hebben wat te doen omwille van een gebrek aan causale kennis.

EBM EN MEDISCHE VOORUITGANG

• Aantal (extra) redenen waarom we EBM niet heilig moeten verklaren: • Het verschil tussen het ideaal en de werkelijkheid.• Impact van de bevindingen in de praktijk is vaak beperkt. • Het gevaar van het creëren van gaten in onze kennis,

eerder dan ze op te vullen.

• Balans houden tussen wat we investeren en wat we winnen:

Over 16000 RCT’s were reported in the literature in 2005 alone, yet few questions are asked as to their purposefulness or impact on the progress of medicine (Zwarenstein and Oxman 2006). It seems that the RCT, simply because it provides the highest level of clinical evidence, is to be performed for its own sake, like an ideology that is to be blindly followed and not questioned. (Mittra, 2009)

EBM EN MEDISCHE VOORUITGANG

• Objectieve feiten of bruikbare fictie?• Wij construeren een beeld van de werkelijkheid.• Ons beeld reflecteert steeds, in meerdere of minder

mate, de wijze waarop wij naar de wereld kijken, haar conceptualiseren en haar in theorieën trachten te beschrijven.

• Eerder bruikbare fictie. • Geen zekerheden, geen absolute waarheden. • Wikken en wegen, kritisch blijven en zoeken naar

evenwicht.

CONCLUSIE: INTEGRATIE EN NEDERIGHEID

• In tegenstelling tot EBM gedachtengoed: • Bijdrage van elke vorm van evidentie naar waarde

schatten en tegelijkertijd kritisch blijven tov elke vorm van evidentie.

• Erkennen dat geen enkele vorm van evidentie (en geen enkele achterliggende methodologie) ideaal is.

• De geloofwaardigheid van elke vorm van evidentie is afhankelijk van zijn samenhang met andere evidentie uit verschillende bronnen.

• Verschillende vormen van evidentie samenbrengen en integreren om de best mogelijke evidentie te verkrijgen.

• Blijven werken aan de verbetering van (de toepassing van) onze onderzoeksmethoden.

• De rol van waarden herkennen en erkennen.

DANK U!

Verder lezen?• Bluhm, R. (2007). Clinical Trials as Nomological Machines: implications for

evidence-based medicine. In: Kincaid, H & McKitrick, J. (eds.). Establishing Medical Reality. Springer, pp. 149-166.

• Borgerson, K. (2009). Valuing Evidence, Perspectives in Biology and Medicine, 52 (2): 218-233.

• De Melo-Martín, I. & Intemann, K. (2012). Interpreting Evidence: Why values can matter as much as science, Perspectives in Biology and Medicine, 55(1): 59-70.

• De Vreese, L. (2011). Evidence-Based Medicine and Progress in the Medical Sciences, Journal of Evaluation in Clinical Practice, Special Issue, 17(5): 852-856.

• Mittra, I. (2009). Why is Modern Medicine Stuck in a Rut?, Perspectives in Biology and Medicine, 52(4): 500-517.

• Worral, J. (2002). What Evidence in Evidence-Based Medicine, Philophy of Science, 69(3): S316-S330.

• Worral, J. (2007). Why there’s no Cause to Randomize, British Journal for the Philosophy of Science, 58: 451-488.