Evidence Based Laboratory Medicine

83
Evidence Based Evidence Based Laboratory Laboratory Medicine Medicine Diagnostische performantie Diagnostische performantie en en klinische waarde klinische waarde van (laboratorium)tests van (laboratorium)tests beoordelen beoordelen

description

Evidence Based Laboratory Medicine. Diagnostische performantie en klinische waarde van (laboratorium)tests beoordelen. LEERDOELEN. Inzicht geven in (EBLM) terminologie voor uitdrukken van diagnostische performantie van laboratoriumtests - PowerPoint PPT Presentation

Transcript of Evidence Based Laboratory Medicine

Evidence Based Evidence Based Laboratory Laboratory MedicineMedicine

Diagnostische performantieDiagnostische performantieen en klinische waardeklinische waarde

van (laboratorium)tests van (laboratorium)tests beoordelenbeoordelen

LEERDOELENLEERDOELEN

• Inzicht geven in (EBLM) terminologie Inzicht geven in (EBLM) terminologie voor uitdrukken van diagnostische voor uitdrukken van diagnostische performantie van laboratoriumtestsperformantie van laboratoriumtests

• ““Critical appraisal of the evidence”: Critical appraisal of the evidence”: waarop moet je letten bij beoordeling waarop moet je letten bij beoordeling van toepasselijkheid en validiteit van van toepasselijkheid en validiteit van literatuurgegevens?literatuurgegevens?

• Levert de test echte klinische meer-Levert de test echte klinische meer-waarde?waarde?Welke beoordelingscriteria?Welke beoordelingscriteria?

Steps in EBM processSteps in EBM process

1.1. Formulate an answerable questionFormulate an answerable question

2.2. Track down the best evidence Track down the best evidence

3.3. Critically appraise the evidenceCritically appraise the evidence

4.4. Integrate with clinical expertise and Integrate with clinical expertise and patient valuespatient values

Hoe diagnostische Hoe diagnostische performantie kwantitatief performantie kwantitatief uitdrukken en beoordelen? uitdrukken en beoordelen? (meten is weten, gissen is missen)(meten is weten, gissen is missen)

Diagnostic accuracy studies allow Diagnostic accuracy studies allow the calculation of various the calculation of various statisticsstatistics that provide an indication of "test that provide an indication of "test performance" – how good the performance" – how good the index index testtest is at detecting the is at detecting the target target conditioncondition..

Whiting et al. in: BMC Medical Research Methodology Whiting et al. in: BMC Medical Research Methodology 20032003http://www.biomedcentral.com/1471-2288/3/25http://www.biomedcentral.com/1471-2288/3/25

EBM design (EBM design (PICOPICO) applied to ) applied to diagnostic studies:diagnostic studies:

P(P):P(P): series of series of ppatientsatients

IIntervention: index testntervention: index test

CComparison:omparison:reference standardreference standard

OOutcome:cross-classificationutcome:cross-classificationvis-a-vis target conditionvis-a-vis target condition

Target conditionTarget condition

can refer to:can refer to: – a particular disease, a particular disease, – a disease stage, a disease stage, – a health status, a health status, – any other identifiable condition within a any other identifiable condition within a

patient, such as staging a disease already patient, such as staging a disease already known to be present,known to be present,

– a health condition that should prompt a health condition that should prompt clinical actionclinical action such as the initiation, modification or such as the initiation, modification or termination of treatment.termination of treatment.

Diagnostic/Clinical Accuracy Diagnostic/Clinical Accuracy QuestionQuestion

• PP: : In In (patients – incl. previous tests)(patients – incl. previous tests),,

• II: : How accurate is How accurate is (index test)(index test)

• CC:: Compared to Compared to (comparator index test)(comparator index test)

• OO: In detecting : In detecting (target condition – (target condition – using ref. standard)using ref. standard)

Diagnostic accuracy studies allow the calculation of Diagnostic accuracy studies allow the calculation of various various statisticsstatistics that provide an indication of "test that provide an indication of "test performance" – how good the performance" – how good the index testindex test is at detecting is at detecting the the target conditiontarget condition..

These statistics include These statistics include sensitivity, sensitivity, specificity, positive and negative specificity, positive and negative predictive values, positive predictive values, positive andand negative negative likelihood ratios, diagnostics odds likelihood ratios, diagnostics odds ratios ratios andand receiver operating receiver operating characteristic (ROC) curves.characteristic (ROC) curves.

Each of these statistics refer to Each of these statistics refer to estimates of estimates of central location and central location and confidence intervals (CI)confidence intervals (CI)

Search strategy (‘filter’) in Search strategy (‘filter’) in PubMedPubMedfor publications on evaluation for publications on evaluation of of diagnostic accuracydiagnostic accuracy(((((((((((("sensitivity and specificity"[All Fields] OR "sensitivity and

specificity/standards"[All Fields]) OR "specificity"[All Fields]) OR"screening"[All Fields]) OR "false positive"[All Fields]) OR "false

negative"[All Fields]) OR "accuracy"[All Fields]) OR (((("predictivevalue"[All Fields] OR "predictive value of tests"[All Fields]) OR

"predictivevalue of tests/standards"[All Fields]) OR "predictive values"[AllFields]) OR "predictive values of tests"[All Fields])) OR (("referencevalue"[All Fields] OR "reference values"[All Fields]) OR"reference

values/standards"[All Fields])) OR ((((((((((("roc"[All Fields] OR "rocanalyses"[All Fields]) OR "roc analysis"[All Fields]) OR "roc and"[AllFields]) OR "roc area"[All Fields]) OR "roc auc"[All Fields]) OR "roccharacteristics"[All Fields]) OR "roc curve"[All Fields]) OR "roc curvemethod"[All Fields]) OR "roc curves"[All Fields]) OR "roc estimated"[All Fields]) OR "roc evaluation"[All Fields])) OR "likelihoodratio"[All Fields]) AND notpubref [sb]) AND "human"[MeSH Terms])

Devillé W et al., in BMC Medical Research Methodology 2002, 2:9

Waarom testen?Waarom testen?

• Detecteren en meten van evt. Detecteren en meten van evt. gestoorde fysiologiegestoorde fysiologie

• Verminderen van diagnostische Verminderen van diagnostische onzekerheidonzekerheid

1. Detecteren en meten van 1. Detecteren en meten van evt. evt. gestoorde fysiologiegestoorde fysiologie

•Concept biologische variatie bij Concept biologische variatie bij normale fysiologische homeostasisnormale fysiologische homeostasis

– intra-individuele variatieintra-individuele variatie– inter-individuele variatieinter-individuele variatie

•Analytische variatie is gesuperponeerd Analytische variatie is gesuperponeerd op biologische variatieop biologische variatieen moet beperkt blijven t.o.v. en moet beperkt blijven t.o.v. biologische variatiebiologische variatie

Testresultaat Testresultaat verdelingscurve t.g.v.verdelingscurve t.g.v.biologische en analytische biologische en analytische variatievariatiebij fysiologische homeostasisbij fysiologische homeostasis

Analytische variatie Inter-individu biologische variatie

Intra-individu biologische variatie

Testresultaat Testresultaat verdelingscurve verdelingscurve bij fysiologische bij fysiologische homeostasis:homeostasis:REFERENTIEWAARDEN REFERENTIEWAARDEN conceptconcept

Reference values

LLN ULN

2. 2. Diagnose = verminderen Diagnose = verminderen van diagnostische van diagnostische onzekerheid:onzekerheid:d.w.z. van pre-test naar post-test ‘onzekerheid’d.w.z. van pre-test naar post-test ‘onzekerheid’

• Hoe ‘onzekerheid’ kwantitatief uitdrukken?Hoe ‘onzekerheid’ kwantitatief uitdrukken?

– probabiliteitprobabiliteit (kans, waarschijnlijkheid) (kans, waarschijnlijkheid)

uitgedrukt als fractie van totaal aantal mogelijkheden: uitgedrukt als fractie van totaal aantal mogelijkheden: “de kansen voor een bepaalde uitkomst gedeeld door “de kansen voor een bepaalde uitkomst gedeeld door het totaal aantal kansen”het totaal aantal kansen”

– odds:odds:

uitgedrukt als verhouding van 1 welbepaald type over uitgedrukt als verhouding van 1 welbepaald type over alle andere, resterende mogelijkheden alle andere, resterende mogelijkheden

Hoe onzekerheid Hoe onzekerheid kwantitatief weergeven?kwantitatief weergeven?

• probabiliteit (p):probabiliteit (p): 1/10 = 0,1 1/10 = 0,1

• odds: 1/9odds: 1/9

• odds = p/(1-p)odds = p/(1-p)

• p = p = odds/(1+odds)odds/(1+odds)

1

9

Diagnose van wat?Diagnose van wat?• Concept ‘target’ conditie, ziekteConcept ‘target’ conditie, ziekte

targettarget++ = = metmet welbepaalde afwijking, ziekte welbepaalde afwijking, ziektetargettarget-- = = zonderzonder die welbepaalde afwijking, die welbepaalde afwijking,

maar meestal ook niet gezond!maar meestal ook niet gezond!

Onderscheiden d.m.v. ‘reference/gold Onderscheiden d.m.v. ‘reference/gold standard’standard’

• Diagnostische (‘index’) test moet, door verschil in Diagnostische (‘index’) test moet, door verschil in testresultaten, helpen ‘target’-positieve patienten testresultaten, helpen ‘target’-positieve patienten te onderscheiden van ‘target’-negatieve patientente onderscheiden van ‘target’-negatieve patienten

• Probabiliteit dat een bepaald testresultaat Probabiliteit dat een bepaald testresultaat gevonden wordt in target+ en target- levert de gevonden wordt in target+ en target- levert de conditionele probabiliteit, en laat ons toe de pre-conditionele probabiliteit, en laat ons toe de pre-test probabiliteit te reviseren tot een zgn. post-test probabiliteit te reviseren tot een zgn. post-test probabiliteittest probabiliteit

Diagnose:Diagnose:een parallel en sekwentieel een parallel en sekwentieel procesproces

1

0pre test

post test

pre test

pre test

post test

post test

Diagnose van target+ Diagnose van target+ patiënten: van pre-test naar patiënten: van pre-test naar post-test probabiliteit in post-test probabiliteit in meerdere stappenmeerdere stappen• Screening:Screening:

pre-test p = populatie prevalentiepre-test p = populatie prevalentie

• Gericht testen:Gericht testen:pre-test p > populatie prevalentiepre-test p > populatie prevalentie

• Tests gebeuren tegelijk en Tests gebeuren tegelijk en consecutief met andere consecutief met andere (onafhankelijke) tests(onafhankelijke) tests

Likelihood Ratio: LRLikelihood Ratio: LR(1) voor welbepaald (1) voor welbepaald testresultaattestresultaat • LR = LR = (gaussiaanse) hoogte target+(gaussiaanse) hoogte target+ / / (gaussiaanse) (gaussiaanse)

` hoogte target-` hoogte target- • Let erop dat beide (gaussiaanse) verdelingscurven even Let erop dat beide (gaussiaanse) verdelingscurven even

groot moeten zijn, m.a.w. pre-test odds = 1/1 !!groot moeten zijn, m.a.w. pre-test odds = 1/1 !!

Afkapwaarde

a=0,130

b=-0,018

LR = a/ b = 7,389

a= Gaussiaanse hoogte target+b= Gaussiaanse hoogte target-

- +

Likelihood Ratio: LRLikelihood Ratio: LRvoor een welbepaald voor een welbepaald testresultaattestresultaat

Afkapwaarde

a=0,054

b=-0,054

LR = a/ b = 1,000

a= Gaussiaanse hoogte target+b= Gaussiaanse hoogte target-

- +

Likelihood Ratio: LRLikelihood Ratio: LR(2) voor een welbepaald (2) voor een welbepaald intervalinterval

Afkapwaarde 1

Afkapwaarde 2

a

b

LR = a/ b = 19,901- +

- +

Likelihood Ratio: LRLikelihood Ratio: LR(3) voor meerdere (3) voor meerdere intervallenintervallenLR = a/ b = 18,900

LR = a'/ b' = 2,664

LR = a''/ b'' = 0,375

a

a'

a''

bb'

b''

LR curve ingeval van LR curve ingeval van meerdere testresultaat meerdere testresultaat intervallenintervallen

Likelihood Ratio: LRLikelihood Ratio: LR(4) voor testresultaat (4) voor testresultaat dichotomiedichotomie• LRLR++ = T = TPP rate/F rate/FPP rate rate (steeds >= 1)(steeds >= 1)

beter naarmate dichter bij oneindig!beter naarmate dichter bij oneindig!Afkapwaarde

TP

FP

LR+ = TP/ FP = 6,294- +

Likelihood Ratios: LRLikelihood Ratios: LR++

15514312

5011

1 93

61

94

BNP

LVSD

>=18.7

<18.7

Present Absent

6.2143/50

12/11

)|Pr(

)|Pr(

DT

DTLR

Likelihood Ratio: LRLikelihood Ratio: LR(5) voor testresultaat (5) voor testresultaat dichotomiedichotomie• LRLR- - = F= FNN rate / T rate / TNN rate rate (steeds <= 1)(steeds <= 1)

beter naarmate dichter bij zero!beter naarmate dichter bij zero!

Afkapwaarde

FN

TN

LR- = FN/ TN = 0,036- +

Likelihood Ratios: LRLikelihood Ratios: LR--

13.0143/93

12/1

)|Pr(

)|Pr(

DT

DTLR

15514312

5011

1 93 94

BNP

LVSD

>=18.7

<18.7

Present Absent

61

The easy way: calculate LRs The easy way: calculate LRs from column from column percentages!percentages!

LR

0,13

BNP

LVSD

>=18.7

<18.7

Present Absent

2,62

100%100%

34,97%91,67%

8,33% 65,03%

Diagnostische (klinische)Diagnostische (klinische)Gevoeligheid/Sensitiviteit Gevoeligheid/Sensitiviteit (Sn)(Sn)• Sensitiviteit = TP rate = TP/(TP + FN)Sensitiviteit = TP rate = TP/(TP + FN)

Afkapwaarde -2,00 SD

FN TP

Sensitiviteit = TP/ (TP+FN) = 0,977

- +

Diagnostische (klinische)Diagnostische (klinische)Specificiteit (Sp)Specificiteit (Sp)

• Specificiteit = TN rate = TN/(TN + FP)Specificiteit = TN rate = TN/(TN + FP)Afkapwaarde -2,50 SD

TN FP

Specificiteit = TN/ (TN+FP) = 0,933

- +

Inverse relatie tussenInverse relatie tussenSensitiviteit en SpecificiteitSensitiviteit en Specificiteit

Sensitiviteit = TP/ (TP+FN) = 0,977

Specificiteit = TN/ (TN+FP) = 0,977

Sensitiviteit = TP/ (TP+FN) = 0,994

Specificiteit = TN/ (TN+FP) = 0,933

Sensitiviteit = TP/ (TP+FN) = 0,999

Specificiteit = TN/ (TN+FP) = 0,841

Receiver Operating Receiver Operating Characteristic:Characteristic:ROC curve (1)ROC curve (1)

AfkapwaardeROC

0

0,2

0,4

0,6

0,8

1

1,2

FP

TP

- +

ROC curve (2)ROC curve (2)Verschuiving

ROC

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

FP

TP

- +

0

-4,75 SD

ROC curve voor ROC curve voor verschillende testsverschillende tests

ROC

0

0,2

0,4

0,6

0,8

1

1,2

FP

TP

Van pre-test naar post-test Van pre-test naar post-test probabiliteit, via odds en probabiliteit, via odds en LR (1)LR (1)

Odds = 1 / 11

1

Odds = 1 / 5

1

5

Van pre-test naar post-test Van pre-test naar post-test probabiliteit, via odds en probabiliteit, via odds en LR (2)LR (2)

Afkapwaarde

Odds = 1/ 1

b=0,111

a=0,150LR = a/ b =1,350

c=0,030

d=0,111

Post-test odds = c/ d = 1 / 5,00 x LR = Pre-test odds x LR

Post-test odds = c/ d =0,270

Odds = 1 / 5,00

- +

- +

Post-test odds = pre-test Post-test odds = pre-test odds x LRodds x LRbij testresultaat dichotomiebij testresultaat dichotomie• Post-test odds Post-test odds = c/d = c/d = 1/5 = 1/5

x LR+ x LR+ = pre-test odds = pre-test odds x x

LR+LR+Afkapwaarde

Odds = 1/ 1

c

d

LR+ = c/ d =6,020

Post-test odds = c/ d = 1 / 5,00 x LR = Pre-test odds x LR

a

b

LR+ = a/ b =30,099

- +

- +

Odds = 1 / 5,00

Post-test odds = pre-test Post-test odds = pre-test odds x LRodds x LRbij testresultaat dichotomiebij testresultaat dichotomie• Post-test odds Post-test odds = c/d = c/d = 1/5 = 1/5

x LR- x LR- = pre-test odds = pre-test odds x x

LR-LR-Afkapwaarde

Odds = 1/ 1

c

d

LR- = c/ d =0,037

Post-test odds = c/ d = 1 / 5,00 x LR = Pre-test odds x LR

a

b

LR- = a/ b =0,187

- +

Odds = 1 / 5,00

- +

Odds: ‘too odd’ voor de Odds: ‘too odd’ voor de praktijk!!??praktijk!!??Hoe van pre-test p naar Hoe van pre-test p naar post-test p?post-test p?• Hoe van pre-test p Hoe van pre-test p

naar pre-test odds?naar pre-test odds? odds = p/(1-p) odds = p/(1-p)

• Hoe van post-test Hoe van post-test odds naar post-test odds naar post-test p?p? p = odds/(1+odds) p = odds/(1+odds)

• Ter hulp:Ter hulp:het het Fagan nomogramFagan nomogram

Interpreting Likelihood Interpreting Likelihood RatiosRatios• LR=1 indicates no diagnostic valueLR=1 indicates no diagnostic value

• LR+ >10 regarded as a ‘strong’ positive LR+ >10 regarded as a ‘strong’ positive test resulttest result

• LR- <0.1 regarded as a ‘strong’ negative LR- <0.1 regarded as a ‘strong’ negative test resulttest result

• But it depends on what change in But it depends on what change in probability is needed to make a probability is needed to make a diagnosis/decisiondiagnosis/decision

50%

92%LR+ = 10

10%55%

‘‘Predictive value’ (PV) Predictive value’ (PV) conceptconcept bij testresultaat bij testresultaat dichotomiedichotomie• PPV = TP/(TP+FP)PPV = TP/(TP+FP)

TP

FP

PPV = TP/ (TP+FP) =0,901

- +

Positie afkapwaarde:

Odds = 1 / 5,00

- +

‘‘Predictive value’ (PV) Predictive value’ (PV) conceptconcept bij testresultaat bij testresultaat dichotomiedichotomie• NPV = TN/(TN+FN)NPV = TN/(TN+FN)

FN

TN

NPV = TN/ (TN+FN) =0,964

- +

Positie afkapwaarde:

Odds = 1 / 5,00

- +

Confidence intervalsConfidence intervals

• Sample uncertainty should be described Sample uncertainty should be described for all diagnostic performance measure for all diagnostic performance measure statistics, using statistics, using confidence intervalsconfidence intervals

• Sensitivity & SpecificitySensitivity & Specificity 94% 94% 67% 67%

• Confidence IntervalsConfidence Intervals [85% to 97%] [62% to [85% to 97%] [62% to 72%]72%]

ELISA test Negative LR(95% CI)

Dao (2001) 0.02 ( 0.01, 0.09)

Maisel2 (2001) 0.14 ( 0.08, 0.23)

Hobbs1 (2002) 0.10 ( 0.01, 1.46)

Hobbs4 (2002) 0.27 ( 0.02, 3.59)

Hobbs3 (2002) 0.38 ( 0.06, 2.36)

Jourdain (2002) 0.06 ( 0.03, 0.15)

Hobbs2 (2002) 0.10 ( 0.01, 1.65)

Morrison (2002) 0.14 ( 0.09, 0.22)

Maisel1 (2002) 0.13 ( 0.11, 0.16)

Overall 0.12 ( 0.09, 0.16)

Negative Likelihood Ratio

0.01 0.1 10.5 2

Choy (1994) 0.23 ( 0.09, 0.60)

Davis (1994) 0.07 ( 0.02, 0.27)

Davidson (1996) 0.04 ( 0.00, 0.64)

Cowie (1997) 0.04 ( 0.01, 0.28)

McDonagh (1998) 0.28 ( 0.16, 0.49)

Bettencourt (2000) 0.23 ( 0.14, 0.40)

Landray (2000) 0.38 ( 0.16, 0.91)

Yamamoto (2000) 0.34 ( 0.20, 0.57)

Smith (2000) 0.13 ( 0.02, 0.84)

Valli (2001) 0.19 ( 0.10, 0.35)

Vasan (2002) 0.16 ( 0.11, 0.23)

McGeoch (2002) 0.47 ( 0.31, 0.72)

Hutcheon (2002) 0.24 ( 0.09, 0.60)

Overall 0.23 ( 0.16, 0.32)

RIA test

Stratified forest plotof negative LR:BNP and heart failure

0.05 0.1 0.5 1 2 3 10 20

D-Dimer assay

Helical CT

Tachycardia

LR of anegative result

Ruling out Ruling in

LR of a positive test

Paired forest plots of likelihood ratios: tests of pulmonary embolism

En nog meer termen ….En nog meer termen ….

• Diagnostic Odds Ratio (DOR)Diagnostic Odds Ratio (DOR)= LR+/LR- = LR+/LR- = (TPxTN)/(FPxFN)= (TPxTN)/(FPxFN)

• Number Needed To DiagnoseNumber Needed To Diagnose= 1/{sensitivity – (1- specificity)}= 1/{sensitivity – (1- specificity)}= 1/{TP rate – FP rate)}= 1/{TP rate – FP rate)}

Diagnostic performance Diagnostic performance measures:measures:practical applicationspractical applications(BMJ, vol 329, 17 July 2004, p. 168-9)(BMJ, vol 329, 17 July 2004, p. 168-9)

• For discussion about tests, threshold For discussion about tests, threshold decisions: sensitivity, specificitydecisions: sensitivity, specificity

• For interpretation of specific result: For interpretation of specific result: LR and PPV, NPVLR and PPV, NPV

• As summary measure: DOR, ROCAs summary measure: DOR, ROCAUCAUC

LEERDOELENLEERDOELEN

• Inzicht geven in (EBLM) terminologie Inzicht geven in (EBLM) terminologie voor uitdrukken van diagnostische voor uitdrukken van diagnostische performantie van laboratoriumtestsperformantie van laboratoriumtests

• ‘‘Critical appraisal of the evidence’:Critical appraisal of the evidence’:waarop moet je letten bij beoordeling waarop moet je letten bij beoordeling van toepasselijkheid en validiteit van van toepasselijkheid en validiteit van literatuurgegevens?literatuurgegevens?

• Levert de test echte klinische meer-Levert de test echte klinische meer-waarde?waarde?Welke beoordelingscriteria?Welke beoordelingscriteria?

Steps in EBM processSteps in EBM process

1.1. Formulate an answerable questionFormulate an answerable question

2.2. Track down the best evidence Track down the best evidence

3.3. Critically appraise the evidenceCritically appraise the evidence

4.4. Integrate with clinical expertise and Integrate with clinical expertise and patient valuespatient values

Hoe goed is ‘the evidence’ Hoe goed is ‘the evidence’ m.b.t. diagnostische test m.b.t. diagnostische test performantie die je via je performantie die je via je search vindt?search vindt?• ‘‘Critical appraisal’ ofCritical appraisal’ of

– Validity:Validity: d.w.z. juistheid van de gegevens d.w.z. juistheid van de gegevens– Applicability:Applicability: d.w.z. hoe realistisch is het d.w.z. hoe realistisch is het

om te test in uw concrete dageljkse om te test in uw concrete dageljkse praktijk toe te passen onder dezelfde praktijk toe te passen onder dezelfde voorwaarden als in de studie?voorwaarden als in de studie?

– Impact:Impact: d.w.z. hoe groot is meer-waarde geleverd door de d.w.z. hoe groot is meer-waarde geleverd door de test?test?

Critical appraisal Critical appraisal checklists:checklists:• Critical Appraisal Skills Programme: Critical Appraisal Skills Programme: http://http://

www.phru.org.uk/~caspwww.phru.org.uk/~casp// appraisa.htm appraisa.htm

• Oxford Centre for Evidence-Based Medicine: Oxford Centre for Evidence-Based Medicine: http://http://www.cebm.net/index.aspwww.cebm.net/index.asp

• Canadian Centre for Health Evidence:Canadian Centre for Health Evidence: http://www.cche.net/usersguides/main.asphttp://www.cche.net/usersguides/main.asp

• STEP:STEP: http://www.health.usyd.edu.au/step/about/appraisal.htmhttp://www.health.usyd.edu.au/step/about/appraisal.htm

• QUADAS:QUADAS: BMC Med Res Methodol. 2003; 3(1):25. BMC Med Res Methodol. 2003; 3(1):25. http://http://www.pubmedcentral.gov/articlerender.fcgi?artidwww.pubmedcentral.gov/articlerender.fcgi?artid=305345=305345

http://www.cche.net/usersguides/http://www.cche.net/usersguides/diagnosis.aspdiagnosis.asp

Evaluating and applying the Evaluating and applying the results of studies of results of studies of diagnostic tests. diagnostic tests. http://www.cche.net/usersguides/diagnosis.asp#Scenarihttp://www.cche.net/usersguides/diagnosis.asp#ScenariooI. Are the results in the study valid? I. Are the results in the study valid? • Primary Guides Primary Guides

– Was Was therethere anan independent, blind independent, blind comparisoncomparison withwith a a referencereference standardstandard?? – DidDid the the patientpatient sample sample includeinclude anan appropriateappropriate spectrum of spectrum of patientspatients toto whomwhom

the the diagnosticdiagnostic test test willwill bebe appliedapplied in in clinicalclinical practicepractice?? • Secondary Guides Secondary Guides

– DidDid the the resultsresults of the test of the test beingbeing evaluatedevaluated influenceinfluence the the decisiondecision toto performperform the the referencereference standardstandard??

– WereWere the the methodsmethods forfor performingperforming the test the test describeddescribed in in sufficientsufficient detail detail toto permitpermit replicationreplication??

II. What are the results?II. What are the results?– Are Are likelihoodlikelihood ratiosratios forfor the test the test resultsresults presentedpresented oror data data necessarynecessary forfor theirtheir

calculationcalculation providedprovided??

III. Will the results help me in caring for my patients?III. Will the results help me in caring for my patients?– WillWill the the reproducibilityreproducibility of the test of the test resultresult and and itsits interpretationinterpretation bebe satisfactorysatisfactory

in in mymy setting? setting? – Are the Are the resultsresults applicableapplicable toto mymy patientpatient?? – WillWill the the resultsresults changechange mymy management? management? – WillWill patientspatients bebe betterbetter offoff as a as a resultresult of the test? of the test?

http://http://www.health.usyd.edu.au/step/about/appraisal.htmwww.health.usyd.edu.au/step/about/appraisal.htm

Diagnostic Test Appraisal Diagnostic Test Appraisal Form: Form: STEPSTEP

• www.health.usyd.edu.au/step/about/www.health.usyd.edu.au/step/about/appraisal/form.pdfappraisal/form.pdf

QUADAS:QUADAS: a tool for quality assessment of a tool for quality assessment of studies of diagnostic accuracy in studies of diagnostic accuracy in diagnostic reviewsdiagnostic reviewsWhiting et al., in: BMC Medical Research Methodology Whiting et al., in: BMC Medical Research Methodology

(2003)(2003) • In the era of evidence based medicine, with In the era of evidence based medicine, with

systematic reviews as its cornerstone, systematic reviews as its cornerstone, adequate quality assessment tools should adequate quality assessment tools should be available. There is currently a lack of a be available. There is currently a lack of a systematically developed and evaluated systematically developed and evaluated tool for the assessment of diagnostic tool for the assessment of diagnostic accuracy studies. The aim of this project accuracy studies. The aim of this project was to combine empirical evidence and was to combine empirical evidence and expert opinion in a formal consensus expert opinion in a formal consensus method to develop method to develop a tool to be used in a tool to be used in systematic reviews to assess the quality of systematic reviews to assess the quality of primary studies of diagnostic accuracyprimary studies of diagnostic accuracy..

QUADAS: a tool for quality assessment of QUADAS: a tool for quality assessment of studies of diagnostic accuracy in studies of diagnostic accuracy in diagnostic reviewsdiagnostic reviewsWhiting et al., in: BMC Medical Research Methodology Whiting et al., in: BMC Medical Research Methodology

(2003)(2003)

Towards Complete and Accurate Reporting of Towards Complete and Accurate Reporting of Studies of Diagnostic Accuracy: Studies of Diagnostic Accuracy: The STARD The STARD InitiativeInitiative

The STARD Statement for Reporting The STARD Statement for Reporting Studies of Diagnostic Accuracy: Studies of Diagnostic Accuracy: Explanation and Elaboration.Explanation and Elaboration.

Bossuyt et al. Bossuyt et al. ClinClin ChemChem 2003 2003 Objective: To improve the accuracy and completeness of reporting

of studies of diagnostic accuracy to allow readers to assess the potential for bias in the study and to evaluate its generalisability.

STARD checklist for the reporting of studies of diagnostic accuracy

• Lack of any gold standardLack of any gold standard

• Lack of any “true” gold standardLack of any “true” gold standard

• Inappropriate reference test with its own Inappropriate reference test with its own uncertainty of estimations (e.g. subjective test, uncertainty of estimations (e.g. subjective test, histological finding of no clinical significance) histological finding of no clinical significance)

• New test is more advanced than the reference New test is more advanced than the reference test test

• Expensive reference test Expensive reference test

• Invasive reference test which may even cause Invasive reference test which may even cause harm to patientsharm to patients

• The use of the reference test is unethicalThe use of the reference test is unethical

The gold standard The gold standard problemproblem

Zijn literatuurgegevens Zijn literatuurgegevens toepasselijk? Waarop toepasselijk? Waarop letten?letten?• Zijn mijn testresultaten Zijn mijn testresultaten

analytisch herleidbaar naar de analytisch herleidbaar naar de originele methode?originele methode?

• Is de diagnostische challenge Is de diagnostische challenge vergelijkbaar,vergelijkbaar,nl. zijn target + en target - nl. zijn target + en target - patienten vergelijkbaar?patienten vergelijkbaar?

Diagnostische challenge Diagnostische challenge toepasselijk op mijn toepasselijk op mijn patiënten?patiënten?

Zijn literatuurgegevens Zijn literatuurgegevens toepasselijk? Waarop toepasselijk? Waarop letten? letten? (vervolg)(vervolg)• Is de test beschikbaar, en praktisch Is de test beschikbaar, en praktisch

voldoende snel, accuraat en robuust voldoende snel, accuraat en robuust uitvoerbaar in eigen setting?uitvoerbaar in eigen setting?

• Kan het testresultaat even snel Kan het testresultaat even snel gerapporteerd worden, en kan het gerapporteerd worden, en kan het testresultaat even goed als in de originele testresultaat even goed als in de originele studie door zorgverstrekker (en patient) studie door zorgverstrekker (en patient) begrepen worden, en vertaald naar begrepen worden, en vertaald naar praktische beslissingen die behandeling en praktische beslissingen die behandeling en outcome determineren?outcome determineren?

Test Performance MeasuresTest Performance Measures• Is not a fixed property of a testIs not a fixed property of a test

• Depends on the patient group/case mix Depends on the patient group/case mix (for both D+ and D-) in which test is (for both D+ and D-) in which test is usedusedcfr. shapes and relative positions of cfr. shapes and relative positions of distribution curves!!distribution curves!!

• Sensitivity:Sensitivity: spectrum of target diseasespectrum of target disease

• Specificity:Specificity: range of alternative range of alternative conditionsconditions

• Pathway and Prior testing matter!Pathway and Prior testing matter!

LEERDOELENLEERDOELEN

• Inzicht geven in (EBLM) terminologie Inzicht geven in (EBLM) terminologie voor uitdrukken van diagnostische voor uitdrukken van diagnostische performantie van laboratoriumtestsperformantie van laboratoriumtests

• Waarop moet je letten bij beoordeling Waarop moet je letten bij beoordeling van toepasselijkheid en validiteit van van toepasselijkheid en validiteit van literatuurgegevens?literatuurgegevens?

• Levert de test echte klinische meer-Levert de test echte klinische meer-waarde?waarde?Welke beoordelingscriteria?Welke beoordelingscriteria?

Levert de test echte meer-Levert de test echte meer-waarde?waarde?Welke beoordelingscriteria? Welke beoordelingscriteria? (1)(1)Is de door de test geleverde diagnostische verfijning waarde-vol en Is de door de test geleverde diagnostische verfijning waarde-vol en

noodzakelijk voor medische beslissing? Welke ‘noodzakelijk voor medische beslissing? Welke ‘drempeldrempel’ vereist?’ vereist?voor (verder) testen?voor (verder) testen? voor al of niet instellen therapie?voor al of niet instellen therapie?

Testen Testen voor voor

target+ target+ beoordeelbeoordeel

d als d als nutteloosnutteloos

Verder testen voor target+ Verder testen voor target+ nodig geacht vooraleer mennodig geacht vooraleer men

therapie voor target+ wil therapie voor target+ wil startenstarten

Niet verder Niet verder testen, testen,

voldoende voldoende zekerheid om zekerheid om therapie voortherapie voor

target+ te target+ te startenstarten

0 1Test

drempel

Therapie drempel

Probabiliteit van target+

Levert de test echte meer-Levert de test echte meer-waarde?waarde?Welke beoordelingscriteria? Welke beoordelingscriteria? (2)(2)• Levert de test een significante bijdrage tot Levert de test een significante bijdrage tot

wijziging van de waarschijnlijkheid (wijziging van de waarschijnlijkheid (ΔΔp) over p) over de target+ conditie?de target+ conditie?

Veel tests worden uitgevoerd ter Veel tests worden uitgevoerd ter ‘intellectuele bevrediging’: nl. confirmeren ‘intellectuele bevrediging’: nl. confirmeren wat men reeds wist: ‘confirmation bias’, wat men reeds wist: ‘confirmation bias’, ‘pseudo-diagnosticity’‘pseudo-diagnosticity’

Toch te relativeren: meerdere tests leiden Toch te relativeren: meerdere tests leiden tot versmallen van confidentie intervaltot versmallen van confidentie interval

Levert de test echte meer-Levert de test echte meer-waarde?waarde?Welke beoordelingscriteria? Welke beoordelingscriteria? (3)(3)• Is de test minder riskant, minder duur, sneller, minder Is de test minder riskant, minder duur, sneller, minder

onaangenaam in vergelijking met een alternatief onaangenaam in vergelijking met een alternatief testscenario met vergelijkbare LR opbrengst?testscenario met vergelijkbare LR opbrengst?m.a.w. wordt het ‘klinisch zorgpad’ meer performant, m.a.w. wordt het ‘klinisch zorgpad’ meer performant, veiliger voor patient en/of zorgverstrekkers? (cost, veiliger voor patient en/of zorgverstrekkers? (cost, opportunity cost)opportunity cost)

• Welke contributie levert de diagnose tot outcome Welke contributie levert de diagnose tot outcome kwaliteit?kwaliteit?

Maatstaven van outcome kwaliteitMaatstaven van outcome kwaliteit– Relative Risk Reduction: RRRRelative Risk Reduction: RRR– Absolute Risk Reduction: ARRAbsolute Risk Reduction: ARR– Number Needed to Treat: NNTNumber Needed to Treat: NNT– QUALYQUALY

Levert de test echte meer-Levert de test echte meer-waarde?waarde?EBM terminologieEBM terminologie• ‘‘Efficacy’: efficaciteit, werkzaamheidEfficacy’: efficaciteit, werkzaamheid

dit is de mate waarin een test doeltreffend is dit is de mate waarin een test doeltreffend is onder optimale omstandighedenonder optimale omstandigheden bv. in RCT, klin.-epidemiologische studiebv. in RCT, klin.-epidemiologische studie

• Effectiveness’: effectiviteit, doeltreffendheidEffectiveness’: effectiviteit, doeltreffendheiddit is de mate waarin een test doeltreffend isdit is de mate waarin een test doeltreffend isonder normale, alledaagse omstandighedenonder normale, alledaagse omstandigheden

• ‘‘Efficiency’: efficientie, doelmatigheidEfficiency’: efficientie, doelmatigheiddit is: dit is: de output over input ratio,de output over input ratio,

klinische waarde van de test over klinische waarde van de test over kostprijskostprijs

Test Research versus Test Research versus Diagnostic Research Diagnostic Research Moons et al. Moons et al. Clin Chem (2004) 50: 473-6Clin Chem (2004) 50: 473-6

• Test research:Test research: merely quantifies diagnostic merely quantifies diagnostic accuracy of a particular testaccuracy of a particular test

• Diagnostic research:Diagnostic research: studies that aim to studies that aim to quantify a test’s quantify a test’s addedadded contribution to contribution to estimation of diagnostic probabilityestimation of diagnostic probabilityAim is not to determine diagnostic accuracy Aim is not to determine diagnostic accuracy of a particular test, but to relate probability of a particular test, but to relate probability of target+ to of target+ to combinationscombinations of test results of test results ((multivariablemultivariable), following their typical ), following their typical chronology in practice:chronology in practice:‘multivariable modelling is necessary to ‘multivariable modelling is necessary to estimate the added value of a particular test estimate the added value of a particular test in view of other test results’in view of other test results’

Interessante links, Interessante links, literatuurliteratuur

• BoekenBoeken– Evidence based laboratory medicine.Evidence based laboratory medicine.

CP Price & RH Christenson, AACC Press CP Price & RH Christenson, AACC Press 20032003

– Inleiding in evidence-based medicine.Inleiding in evidence-based medicine.M Offringa, WJJ Assendelft, RJPM M Offringa, WJJ Assendelft, RJPM Scholten, Bohn Stafleu Van Loghum 2000Scholten, Bohn Stafleu Van Loghum 2000

– Evidence-based medicineEvidence-based medicineDJ Friedland et al. Lange Medical DJ Friedland et al. Lange Medical Books/McGraw-Hill 1998Books/McGraw-Hill 1998

http://http://www.ifcc.org/...www.ifcc.org/...

"THE THREE MAIN TASKS "THE THREE MAIN TASKS OF THE CLINICIAN AREOF THE CLINICIAN AREDIAGNOSIS, PROGNOSIS, DIAGNOSIS, PROGNOSIS, AND TREATMENT.AND TREATMENT.OF THESE OF THESE DIAGNOSIS IS BY DIAGNOSIS IS BY FAR THE MOST FAR THE MOST IMPORTANTIMPORTANT, FOR UPON IT , FOR UPON IT THE SUCCESS OF THE THE SUCCESS OF THE OTHER TWO DEPENDS."OTHER TWO DEPENDS."

RYLE J.A. RYLE J.A. The natural history of disease 2nd ed. Oxford University Press, The natural history of disease 2nd ed. Oxford University Press, 19481948

Diagnostic test calculatorDiagnostic test calculatorhttp://araw.mede.uic.edu/cgi-alansz/testcalc.plhttp://araw.mede.uic.edu/cgi-alansz/testcalc.pl

Diagnostic test calculatorDiagnostic test calculatorhttp://araw.mede.uic.edu/cgi-alansz/testcalc.plhttp://araw.mede.uic.edu/cgi-alansz/testcalc.pl

Diagnostic test calculatorDiagnostic test calculatorhttp://araw.mede.uic.edu/cgi-alansz/testcalc.plhttp://araw.mede.uic.edu/cgi-alansz/testcalc.pl

Diagnostic test calculatorDiagnostic test calculatorhttp://araw.mede.uic.edu/cgi-alansz/testcalc.plhttp://araw.mede.uic.edu/cgi-alansz/testcalc.pl

How should the diagnostic How should the diagnostic threshold be selected? threshold be selected?

Depends on:Depends on:

disease prevalencedisease prevalence: affects PPV, NPV: affects PPV, NPV

relative relative costs costs of false positive and false of false positive and false negative misdiagnosesnegative misdiagnoses

relative relative benefitsbenefits of true positive and true of true positive and true negative diagnosesnegative diagnoses