Odds ratio’s niet vergeleken

2
kundig. Het voornaamste argument betrof de gepresenteerde odds ratio’s in Buitenhuis et al. 3 Deze waren niet gecorrigeerd voor het bereik van de variabele, waardoor de variabele ‘causale attri- butie whiplash’ een onterecht grote bijdrage had ten opzichte van andere variabelen. Na correctie was er meer reden om de ernst van de fysieke klachten als ‘doorslaggevend’ voor prognose aan te wijzen. Voordat causale conclusies getrokken kunnen worden, moet er nog aan andere eisen worden voldaan. Indien causaliteit zou zijn aangetoond, is een veel sterkere relatie tussen de prognosti- sche factor en de uitkomstmaat nodig voordat de klinische praktijk hierop kan worden afgestemd. Deze casus illustreert dat de interpretatie van gezondheidsstatistieken uiterst zorgvuldig dient te gebeuren, en dat wetenschappers elkaar wat dat betreft ook dienen te controleren. Inge Bramsen en Pepijn Roelofs Kenniskring Participatie, Arbeid & Gezondheid, Kenniscentrum Zorginnovatie, Hogeschool Rotterdam LITERATUUR 1. Bramsen I, Roelofs PDDM. Whiplashattributie niet doorslaggevend voor prognose. Dwaling in statisti- sche interpretatie. Ned Tijdschr Geneeskd 2009; 153: A865. 2. Buitenhuis J, Jong PJ de. De term ‘whiplash’ liever ver- mijden. Commentaar op de multidisciplinaire richt- lijn voor ongecompliceerde whiplash. Ned Tijdschr Geneeskd 2009; 153: B2. 3. Buitenhuis J, Jong PJ de, Jaspers JP, Groothoff JW. Catastrophising and causal beliefs in whiplash. Spine 2008; 33: 2427-2433. 4. Rijksuniversiteit Groningen. Persbericht. Gebruik van begrip ‘whiplash’ leidt tot meer gezondheidsklachten. Datum: 26 mei 2009. 5. Buitenhuis J, Jong P de, Jaspers J, Groothoff J. Whiplash, misinterpretatie Engels, geen afbreuk aan conclusies. Ned Tijdschr Geneeskd 2009; 153: A865. 6. Bramsen I, Roelofs P. Wel degelijk statistische misin- terpretatie. Ned Tijdschr Geneeskd 2009; 153: A865. 7. Buitenhuis J, Jong P de, Jaspers J, Groothoff J. Geen sta- tistische dwaling. Ned Tijdschr Geneeskd 2009; 153: A865. 8. Bramsen I, Roelofs P. Term whiplash: consensus onbe- reikbaar. Ned Tijdschr Geneeskd 2009; 153: A865. Odds ratio’s niet vergeleken Met Bramsen en Roelofs ben ik van mening dat de interpretatie van gezondheidsstatistieken uiterst zorgvuldig dient te gebeuren. Hun arti- kel is destijds in het NTvG geplaatst in de ru- briek ‘Opinie’. De auteurs vinden de destijds gevoerde discussie naar aanleiding van hun opi- nieartikel teleurstellend. Dat is wederzijds. Zo- lang zij tekst verkeerd lezen of citeren wordt het erg moeilijk om een goede inhoudelijke discus- sie te voeren. Bramsen en Roelofs schrijven in hun opiniearti- kel dat wij in ons wetenschappelijk artikel 1 de grootte van odds ratio’s zouden vergelijken, dat wij zouden beweren dat de ene odds ratio groter zou zijn dan een andere en dat dit alles aan de basis ligt van onze conclusies die derhalve het ge- volg zijn van een statistische dwaling. In ons artikel worden echter helemaal geen groottes van odds ratios vergeleken. De conclu- sies zijn niet gebaseerd op verschillen in grootte van odds ratio’s. Relevant is dat verschillende mogelijke oorzaken (causale attributies) waaraan mensen met één maand nekpijn hun klachten toeschrijven zijn gerelateerd aan de aanwezig- heid van nekpijn na zes en twaalf maanden, onaf- hankelijk van de ernst van de nekpijn na één maand. Dat de ernst van klachten na één maand is gerelateerd aan de aanwezigheid van nekpijn na zes en twaalf maanden, staat ook beschreven en was overigens al bekend. Wij hebben aan de orde gesteld dat Bramsen en Roelofs ons artikel verkeerd hebben vertaald. Het is onjuist en misleidend te suggereren dat er in ons Spine-artikel 1 sprake is van een statistische dwaling. Juist deze onterechte boodschap wordt door bepaalde mensen graag gehoord, zoals mevrouw Van Eden treffend demonstreert in het interview. Bramsen en Roelofs verwijzen in hun opiniearti- kel naar een wetenschappelijk artikel, 1 een opi- nieartikel 2 en persuitingen over ons onderzoek alsof het vergelijkbare zaken betreft. Dat is uiter- aard niet het geval. Het wetenschappelijk artikel heeft een uitgebrei- de peer review ondergaan voordat het is gepubli- ceerd. Ons opinieartikel 2 over gebruik van de term ‘whiplash’ is geschreven op uitnodiging van de NTvG-redactie als commentaar op de in het- zelfde nummer gepresenteerde richtlijn ‘Diag- nostiek en behandeling van mensen met whip- lash associated disorder I/II’. Wie het goed leest, ziet dat wij geen causale conclusies trekken. Persuitingen suggereren nogal eens ten onrechte oorzakelijke verbanden. Deze persuitingen kun- nen nooit als onderbouwing voor een beschuldi- ging van verkeerde wetenschappelijke interpre- tatie aan ons adres dienen. Onze boodschap om niet te lichtzinnig te denken over het stellen van een diagnose bij onverklaar- de klachten blijft overeind. Deze boodschap is niet exclusief voor ‘whiplash’. Als geen positieve bijdrage te verwachten is van het wél gebruiken van een label, zeker als dat slecht gedefinieerd is 5 TBV 20 / nr 1 / januari 2012

Transcript of Odds ratio’s niet vergeleken

Page 1: Odds ratio’s niet vergeleken

kundig. Het voornaamste argument betrof degepresenteerde odds ratio’s in Buitenhuis et al.3

Deze waren niet gecorrigeerd voor het bereik vande variabele, waardoor de variabele ‘causale attri-butie whiplash’ een onterecht grote bijdrage hadten opzichte van andere variabelen. Na correctiewas er meer reden om de ernst van de fysiekeklachten als ‘doorslaggevend’ voor prognose aante wijzen.Voordat causale conclusies getrokken kunnenworden, moet er nog aan andere eisen wordenvoldaan. Indien causaliteit zou zijn aangetoond,is een veel sterkere relatie tussen de prognosti-sche factor en de uitkomstmaat nodig voordat deklinische praktijk hierop kan worden afgestemd.Deze casus illustreert dat de interpretatie vangezondheidsstatistieken uiterst zorgvuldig dientte gebeuren, en dat wetenschappers elkaar watdat betreft ook dienen te controleren.

Inge Bramsen en Pepijn Roelofs

Kenniskring Participatie, Arbeid & Gezondheid,

Kenniscentrum Zorginnovatie, Hogeschool Rotterdam

LITERATUUR1. Bramsen I, Roelofs PDDM. Whiplashattributie niet

doorslaggevend voor prognose. Dwaling in statisti-sche interpretatie. Ned Tijdschr Geneeskd 2009; 153:A865.

2. Buitenhuis J, Jong PJ de. De term ‘whiplash’ liever ver-mijden. Commentaar op de multidisciplinaire richt-lijn voor ongecompliceerde whiplash. Ned TijdschrGeneeskd 2009; 153: B2.

3. Buitenhuis J, Jong PJ de, Jaspers JP, Groothoff JW.Catastrophising and causal beliefs in whiplash. Spine2008; 33: 2427-2433.

4. Rijksuniversiteit Groningen. Persbericht. Gebruik vanbegrip ‘whiplash’ leidt tot meer gezondheidsklachten.Datum: 26 mei 2009.

5. Buitenhuis J, Jong P de, Jaspers J, Groothoff J.Whiplash, misinterpretatie Engels, geen afbreuk aanconclusies. Ned Tijdschr Geneeskd 2009; 153: A865.

6. Bramsen I, Roelofs P. Wel degelijk statistische misin-terpretatie. Ned Tijdschr Geneeskd 2009; 153: A865.

7. Buitenhuis J, Jong P de, Jaspers J, Groothoff J. Geen sta-tistische dwaling. Ned Tijdschr Geneeskd 2009; 153:A865.

8. Bramsen I, Roelofs P. Term whiplash: consensus onbe-reikbaar. Ned Tijdschr Geneeskd 2009; 153: A865.

Odds rat io’s niet vergeleken

Met Bramsen en Roelofs ben ik van mening datde interpretatie van gezondheidsstatistiekenuiterst zorgvuldig dient te gebeuren. Hun arti-kel is destijds in het NTvG geplaatst in de ru-briek ‘Opinie’. De auteurs vinden de destijdsgevoerde discussie naar aanleiding van hun opi-nieartikel teleurstellend. Dat is wederzijds. Zo-

lang zij tekst verkeerd lezen of citeren wordt heterg moeilijk om een goede inhoudelijke discus-sie te voeren. Bramsen en Roelofs schrijven in hun opiniearti-kel dat wij in ons wetenschappelijk artikel1 degrootte van odds ratio’s zouden vergelijken, datwij zouden beweren dat de ene odds ratio groterzou zijn dan een andere en dat dit alles aan debasis ligt van onze conclusies die derhalve het ge-volg zijn van een statistische dwaling.In ons artikel worden echter helemaal geengroottes van odds ratios vergeleken. De conclu-sies zijn niet gebaseerd op verschillen in groottevan odds ratio’s. Relevant is dat verschillendemogelijke oorzaken (causale attributies) waaraanmensen met één maand nekpijn hun klachtentoeschrijven zijn gerelateerd aan de aanwezig-heid van nekpijn na zes en twaalf maanden, onaf-hankelijk van de ernst van de nekpijn na éénmaand. Dat de ernst van klachten na één maandis gerelateerd aan de aanwezigheid van nekpijnna zes en twaalf maanden, staat ook beschrevenen was overigens al bekend.Wij hebben aan de orde gesteld dat Bramsen enRoelofs ons artikel verkeerd hebben vertaald. Hetis onjuist en misleidend te suggereren dat er inons Spine-artikel1 sprake is van een statistischedwaling.Juist deze onterechte boodschap wordt doorbepaalde mensen graag gehoord, zoals mevrouwVan Eden treffend demonstreert in het interview.Bramsen en Roelofs verwijzen in hun opiniearti-kel naar een wetenschappelijk artikel,1 een opi-nieartikel2 en persuitingen over ons onderzoekalsof het vergelijkbare zaken betreft. Dat is uiter-aard niet het geval.Het wetenschappelijk artikel heeft een uitgebrei-de peer review ondergaan voordat het is gepubli-ceerd. Ons opinieartikel2 over gebruik van determ ‘whiplash’ is geschreven op uitnodiging vande NTvG-redactie als commentaar op de in het-zelfde nummer gepresenteerde richtlijn ‘Diag-nostiek en behandeling van mensen met whip-lash associated disorder I/II’. Wie het goed leest,ziet dat wij geen causale conclusies trekken.Persuitingen suggereren nogal eens ten onrechteoorzakelijke verbanden. Deze persuitingen kun-nen nooit als onderbouwing voor een beschuldi-ging van verkeerde wetenschappelijke interpre-tatie aan ons adres dienen. Onze boodschap om niet te lichtzinnig te denkenover het stellen van een diagnose bij onverklaar-de klachten blijft overeind. Deze boodschap isniet exclusief voor ‘whiplash’. Als geen positievebijdrage te verwachten is van het wél gebruikenvan een label, zeker als dat slecht gedefinieerd is

5TBV 20 / nr 1 / januar i 2012

Page 2: Odds ratio’s niet vergeleken

en een catastroferende connotatie heeft, kan dis-cussie over het omgekeerde wel zinnig zijn.

Jan Buitenhuis

LITERATUUR1. Buitenhuis J, Jong PJ de, Jaspers JP, Groothoff JW.

Catastrophising and causal beliefs in whiplash. Spine2008; 33: 2427-2433.

2. Buitenhuis J, Jong PJ de. De term ‘whiplash’ liever ver-mijden. Commentaar op de multidisciplinaire richt-lijn voor ongecompliceerde whiplash. Ned TijdschrGeneeskd 2009; 153: B2.

Terug naar de wetenschappel i jke kwestie

Wetenschappelijk gezien was onze hoofdvraag:rechtvaardigt de analyse in Spine, de vergaandeinterpretaties en conclusies in het NTvG en hetpersbericht?1-3 Toont deze analyse inderdaad aandat de attributie whiplash doorslaggevend is voorde prognose, of na latere nuancering in de ontsta-ne discussie,4-5 een voorspellende factor is? En,toont deze analyse aan dat de term whiplashvoortaan vermeden zou moeten worden en ver-vangen door een term die minder catastroferendeconnotaties zou hebben, zoals spierpijn? Wij hebben in een methodologische bijdrage inhet NTvG6 en de daaropvolgende discussie7-8 dui-delijk beargumenteerd waarom deze interpreta-ties en conclusies niet kunnen volgen uit dezeanalyse. Buitenhuis et al.4-5 hebben deze puntenniet weerlegd. Buitenhuis geeft nu aan dat degepresenteerde odds ratios zelfs helemaal niet ver-geleken zijn. Dit betekent dat de conclusies geba-seerd zijn op een statistisch significant toetsre-sultaat waarvan de klinische relevantie niet geïn-terpreteerd is. In meer algemene bewoordingen:er lijkt statistisch gezien een verband te zijn datniet op toeval berust tussen de variabele ‘attribu-tie whiplash’ en de prognose, en tussen de ernstvan de klachten en de prognose, maar er is daar-bij niet gekeken naar de betekenis en de groottevan dit verband. Een dergelijk gebruik van statis-tiek is niet correct9-10 en rechtvaardigt ons inziensdaarom de vergaande conclusies in onder meerhet NTvG2 nog minder.Positief is dat Buitenhuis deze visie min of meerlijkt te onderschrijven, aangezien hij erkent inNTvG2 (en daarmee dus ook in het persbericht3)uitspraken te hebben gedaan die niet gebaseerdkunnen worden op de wetenschappelijke bevin-dingen die gepubliceerd zijn in Spine1.

Inge Bramsen en Pepijn Roelofs

LITERATUUR1. Buitenhuis J, Jong PJ de, Jaspers JP, Groothoff JW.

Catastrophising and causal beliefs in whiplash. Spine2008; 33: 2427-2433.

2. Buitenhuis J, Jong PJ de. De term ‘whiplash’ liever ver-mijden. Commentaar op de multidisciplinaire richt-lijn voor ongecompliceerde whiplash. Ned TijdschrGeneeskd 2009; 153: B2.

3. Rijksuniversiteit Groningen. Persbericht. Gebruik vanbegrip ‘whiplash’ leidt tot meer gezondheidsklachten.Datum: 26 mei 2009.

4. Buitenhuis J, Jong P de, Jaspers J, Groothoff J.Whiplash, misinterpretatie Engels, geen afbreuk aanconclusies. Ned Tijdschr Geneeskd 2009; 153: A865.

5. Buitenhuis J, Jong P de, Jaspers J, Groothoff J. Geen sta-tistische dwaling. Ned Tijdschr Geneeskd 2009; 153:A865.

6. Bramsen I, Roelofs PDDM. Whiplashattributie nietdoorslaggevend voor prognose. Dwaling in statisti-sche interpretatie. Ned Tijdschr Geneeskd 2009; 153:A865.

7. Bramsen I, Roelofs P. Wel degelijk statistische misin-terpretatie. Ned Tijdschr Geneeskd 2009; 153: A865.

8. Bramsen I, Roelofs P. Term whiplash: consensus onbe-reikbaar. Ned Tijdschr Geneeskd 2009; 153: A865.

9. Goodman SN. Toward evidence-based medical statis-tics. 1: The P value fallacy. Ann Intern Med 1999;130(12): 995-1004.

10. Stang A, Poole C, Kuss O. The ongoing tyranny of sta-tistical significance testing in biomedical research.Eur J Epidemiol 2010; 25(4): 225-230.

Het belang van genuanceerde informatie

Buitenhuis heeft enige jaren geleden met zijnresultaten de publiciteit gezocht. De media heb-ben breed verkondigd dat het woord ‘whiplash’beter niet meer gebruikt kon worden. Anderszouden mensen zich maar in het hoofd halen dater echt iets ergs met ze aan de hand is. Dit heefthet begrip voor whiplashpatiënten geen goedgedaan. Als gevolg hiervan worden mensen nunog geconfronteerd met ongenuanceerde uitin-gen. Natuurlijk heeft Buitenhuis niet in de handwat de media schrijven. Maar het ligt voor dehand dat de media dit signaal oppikken uit hetofficiële persbericht van de RijksuniversiteitGroningen ‘Gebruik van het begrip whiplashleidt tot meer gezondheidsklachten’ en uit deaanbeveling uit zijn promotieonderzoek om hetwoord whiplash niet meer te gebruiken. Onwelgevallig onderzoek? Wij concentreren onserop of onderzoeksresultaten bijdragen aan her-stel of (maatschappelijke) re-integratie van whip-lashpatiënten. Of onderzoek een constructievebijdrage levert aan de praktijk. Elk onderzoek datons meer handvatten geeft voor onze dienstverle-ning, is voor ons van belang.Los van de discussie of zijn interpretatie van deresultaten kloppend is, is de aanbeveling om hetwoord ‘whiplash’ niet meer te gebruiken, de ge-

6 TBV 20 / nr 1 / januar i 2012