Medical Evidence Management
Zoeken en selecteren van relevant origineel klinisch wetenschappelijk onderzoek
in het internet tijdperk
Dr. Geert JMG van der HeijdenUHD, Klinisch EpidemioloogJulius Centrum, UMC Utrecht
www.juliuscenter.nl
University Medical Center Utrecht Medical School Utrecht, The Netherlands
University Medical Center Utrecht
Julius Center for Health Julius Center for Health Sciences and Primary CareSciences and Primary Care
www.juliuscenter.nlwww.juliuscenter.nl
University Medical Center Utrecht
Utrecht Medical School
One of the larger (of 7 MS) in the Netherlands• 300 medical students per year
– 6-year Ba-Ma curriculum– 500 hrs Clinical Epidemiology & Evidence Based Practice
Clinical Epidemiology (CE)
BA level: 6 wks module
Clinical Epidemiological Research
- Principles of knowledge production• Problem based learning tactics• Questioning; design of study; appraisal• Design of data-collection & data-analysis
• Researcher / Physician = knowledge producer
Evidence Based Medicine
MA level: 6 wks module
Contemporary EBM tactics (Sicily statement)– Principles of knowledge application
• Problem based learning tactics• Questioning; searching & appraisal• Summary, recommendation
• Patient manger / physician = knowlegde user
Evidence Based Practice
Post-graduate (MA) level During internship: 24 wks clinical rotation
Fill knowledge gaps; problem solving skills– Student couple gets 3 educational prescriptions
• Assignment: write structured evidence summary
• Point-of-care clinical questions– Clinical diagnostic management decisions– Prognostic risk stratification– Therapeutic management decisions
Evidence Based Practice
Gaat UITSLUITEND over “VOORGROND” vragen Diagnose: Wat heb ik? Prognose: Wat betekent dit, wat mag ik verwachten? Therapie: Wat is eraan te doen, beste behandeling?
Best-practice klinische kennis & informatie– Toegevoegde waarde van “determinant”
Evidence Based Practice gaat NIET over
Vragen voor fundamentele disciplines & basis vakken– Pathofysiologie, fysische chemie, anatomie, proteomics,
genomics ontstaansmecahnismen, werkingsmechanismen– Test onderzoek: reproduceerbaarheid, correlatie, kappa, et
cetera.
Is wel belangrijke achtergrond kennis & informatie Handig, noodzakelijk, onontbeerlijk in EBP
• Maar NOOIT het onderwerp van EBP
Patient presentationknowledge about diagnosis
HistoryExaminationInvestigations
Diagnosisknowledge about prognosis
TherapyChanges prognosis
Clinical outcome knowledge about therapeutic effectiveness
Etiology/pathogenesisknowledge about causation
Research evidence sought from literature searches
Clinical Process and knowledge requirements
Etiologic Research
Diagnostic Research
Prognostic Research
Therapy Research
Basic Research
Conscious
Competent
Medical evidence managementAcquiring EBP knowledge and skills
5th yr 6 wks
6th yr 24 wks
Ignorant
Untrained
Point of care information management Just in time learning
Scenario
Grote visite
• “Zoek jij dat eens even uit”
• “Presenteer bevindingen bij de overdracht morgenochtend”
• Educational prescription
Ik zoek alle relevante publicaties over …
U vindt niet wat u zoekt?Wat u vindt zoekt u niet!
Lukt niet; inefficiënt & weinig bevredigend
Onvoldoende kennis & vaardigheid
Gouden standaard ontbreekt
Oefening baart kunst: systematiek
Doelstelling
• In beperkte tijd– Compleet overzicht – Best available evidence krijgen
• Efficiency geboden!– Zo min mogelijk tijd verdoen aan zoeken en
selecteren van relevante titels– Zo veel mogelijk tijd overhouden voor samenvatten
belangrijkste bewijs
Doelstelling
• Tijd besparen– Beperk absoluut aantal titels – Vergroot aantal relevante titels
• Reduceer numbers needed to read
Hiervoor is nodig:– logica, creativiteit, kennis & vaardigheid
Hoe het beste zoeken in PubMed?
• Wat doet u normaal?
• Intypen van enkele aan uw onderwerp verwante begrippen in de home page zoekbalk?
• Wat gebeurt er dan?
Kijk eens onder “details”
Automatische term vertaling (MeSH based!)
• Contraproductief!– Vaak dramatische stijging NNR– Tijdsverlies!
• Maar wat dan?
Systematisch zoeken
Domein Determinant Uitkomst
Diagnose Klachten Test Ziekte
Prognose Ziekte Test Mortaliteit etc
Therapie Ziekte Therapie Mortaliteit etc
Begin met goede vraagstellingPICO werkt verwarrend!
Voldoet alleen voor therapie
Selectie van zoektermen
• Logica, creativiteit, kennis, vaardigheden– Nodig: pen & landscape A4
• Vrije associatie / educated guess– Bedenk titel & abstract woorden (UK & US)– Zo veel mogelijk synoniemen!
• Termen, woorden & synoniemen opzoeken– Medische tekst- en woordenboeken (internet)– Titel & abstract woorden bekende relevante publicaties– Vraag experts, deskundigen, collegae
PubMed Index
Alfabetische woordenlijst – Alle geïndexeerde woorden
Aantal hits per veld
– Titel & Abstract• Andere velden heb je echt niet nodig!
– Juiste search syntax cadeau
Blanco papier 3 kolommenVraagstelling (D / P / T & D / D / U)
Domein Determinant UitkomstTerm Term Term
Synomien 1 Synomien 1 Synomien 1
Synomien 2 Synomien 2 Synomien 2
Synomien 3 Synomien 3 Synomien 3
Synomien 4 Synomien 4 Synomien 4
Synomien 5 Synomien 5 Synomien 5
..... ….. …..OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
OROR
ANDAND ANDAND
Basis schema zoekfilter
Vraagstelling
Domein…OR … OR …
Determinant…OR … OR …
Uitkomst…OR … OR …
Domein AND determinant AND uitkomst
… AND clinical query (D / P / T)
Selectie relevante records
Wanneer bekijkt u eigenlijk titels?
• Hoe doet u dat?
• Werkt dat wel?
• Hebt u wel genoeg tijd?
Vuistregels bij titels bekijken
Voorkom tijdsverlies– Nooit direct opbrengst bekijken– Bekijk eerst altijd details & history
Screenen & selecteren (villen en fileren)– Pas als opbrengst (aantal titels) te overzien is
Selectie op relevantie
• Formuleer vooraf globale criteria (DDU)
• Werk inclusief (grofstoffelijke exclusie)– Eerst titel bekijken: wel /niet relevant– Abstract bekijken: alleen bij twijfel over titel– Later pas full text bekijken
• Na enige oefening: 250 records per uur
Low HighValidity
Rel
evan
ceL
ow
H
igh
Most Informative= valid & relevant
Be flexible, avoid critical nihilismAccept lower relevance & validity
Bestaande overzichten?
Publicaties met originele patiënt data
– Vertrouw nooit op 2e hands informatie• Editorials, Up-to-date, TRIP, POEMS,
BMJ Clinical Evidence, etc
– Geen transparante methoden• EBM?
– Eminence biased medicine!
Optimalisatie van zoekstrategie
Een continu iteratief proces• Zoek tot u geen nieuwe referenties meer vindt! • Convergerende informatie
Sneeuwbal effect (1)
PubMed “Related articles”– Resultaat: “vergelijkbare” records
• 60%-80% overeenkomst in [tw] velden
Nieuwe titels?– Uw search filter klopt nog niet! – Nieuwe tiab woorden?
– Toevoegen!
Sneeuwbal effect (2)
Meta-analyses & systematische reviews• Zoekstrategie: zinvolle aanvullingen?• Referentielijst: heeft u niets gemist?
Nieuwe titels?– Uw search filter klopt nog niet! – Nieuwe tiab woorden?
– Toevoegen!
Sneeuwbal effect (3)
Web of Science– Cited in & cited by
Nieuwe titels?– Uw search filter klopt nog niet! – Nieuwe tiab woorden?
– Toevoegen!
Iteratief zoekproces
ZoekprocesZoekstrategie
Domein
Keyword OR Keyword
Determinant Uitkomst
Keyword OR Keyword
Keyword OR Keyword
AND AND
Definitieveselectie
EBM in 5 stappen
1. Probleem → Vraag
2. Vraag → Zoeken/selectie
3. Selectie → Gegevens
4. Validiteit Data
Bewijskracht uitkomsten
5. Eindrapportage /
samenvatting → EBCR
Geschreven Presentatie
Week
Selectieartikelen
Zoekvraag(her) formuleren
Controle gerelateerde
artikelen
Nieuwe paper(s)?
[Ja]
[Nee]
Web Of Science Ref.
Review Ref.
Related articles Ref.
MEM Prinicpes op een rij
• Stuur op NNR• Iteratief zoekproces
– Ga door tot resultaat convergeert
• Start met Vraagstelling: D D U / D P T (!)• Zoek creatief & logisch naar synoniemen• Zoek met [tiab] • Gebruik Index, History & Details • Vermijd MeSH etc, limits, clinical queries• Screenen 250 titels per uur
Voetangels & klemmen
P-values
Reporting bias
Publicatie bias
Informatie waarde van artikel
• Relevantie, validiteit, precisie, tijd, moeite
– Is alles wat statistisch significant is,
ook klinisch relevantklinisch relevant?
– Is alles wat klinisch relevant is,
ook statistisch significantstatistisch significant?
Publicatie waarde van artikel
Wat haalt het tijdschrift?
Wat staat in titel & abstract?– Het “positieve” P<0.05– Publicatie waarde 1 / P-value
Zoeken via TIAB of MeSH?– Reporting & publicatie bias?
• Informatieve titels & abstracts?• MeSH misclassificatie?
Reporting & publicatie bias?
Domeintiab
Determinanttiab
Uitkomsttiab
Diagnose ? Klachten ? Test Ziekte
Prognose Ziekte ? Test ? Mortaliteit etc
Therapie Ziekte Therapie ? Mortaliteit etc ?
Do you consider to MeSH up your search?
MeSH database
Thesaurus – Systematische trefwoorden catalogus
• Inhoudelijk gerelateerde termen• Hiërarchische ordening termen
– Boom structuur• Stam, tak, zijtak, blad
– Brede termen hoog – Specifieke termen laag
Thesaurus
• Duidelijk afgebakende medische disciplines ?
• Arbitraire indeling !– Gerelateerde medische termen – Historisch bepaald (“uit de oude doos”)– Collectie boeken
• Wat als nieuwe tak van sport ontstaat? – Thesaurus loopt achter feiten aan– Indexering “landmark studies” niet aangepast
MeSH = levende boom
• Groei & snoei leiden tot aanpassing• Aanpassing compliceert eenduidig gebruik
van MeSH termen
• Epicondylitis• AIDS & HIV• CT & MR• Biomarkers
Overzicht aanpassing MeSH 2007/8
• 24.357 MeSH termen
• 494 nieuwe termen toegevoegd (!)
• 22 termen verwijderd (!)
• 99 termen vervangen door “more up-to-date terminology” (?)
MeSH record indexering
Pas 3 - 18 maanden na publicatie • Indexed for medline (= MeSH indexed)
Tot dan titel status =• As supplied by publisher • In process
– nietniet via MeSH te vinden
– welwel via tiab
Clinical Queries?Pas op met gebruik ervan!
Reduceert aantal titels fors– MeSH gerelateerde termen!
Doen ze wat u wilt?– Zijn ze wel accuraat (bewijs)?– Is gebruik ervan wel efficiënt (bewijs)?
Accuracy & efficiency afhankelijk van onderwerp!– Rendement hangt af van initiële zoekstrategie
Limits?Pas op met gebruik ervan!
Reduceert aantal titels fors– MeSH gerelateerde termen!
Doen ze wat u wilt?– Zijn ze wel accuraat (bewijs)?– Is gebruik ervan wel efficiënt (bewijs)?
Quick maar ‘DIRTY’ – Contraproductief!
Learning by doing
Expertise is not only gained by sustained practice, but largely by receiving feedback that helps you to understand your misguided decisions and technical errors.
A.R. Feinstein
Stellingen
Stellingen
Een onderzoeksdokter en een patiëntendokter moeten op de zelfde wijze zoeken naar best evidence.
Stellingen
Als je op een traditionele manier naar best evidence zoekt, vind je niet wat je zoekt, en zoek je niet wat je vindt.
Stellingen
De overeenkomst tussen bibliografische zoekfilters en metereologische voorspelmodellen is groter op het eerste gezicht lijkt.
Stellingen
Het is hoog tijd dat er ordentelijk onderzoek gedaan gaat worden naar best evidence zoeken.
Vragen ?
Top Related