1

Help! Statistiek!

Doel: Informeren over statistiek in klinisch onderzoek.

Tijd: Derde woensdag in de maand, 12-13 uur

20 februari : Hoe gaan we om met herhaalde metingen?19 maart : ROC curve en diagnostische nauwkeurigheid16 april : Hoe moeten we toetsresultaten interpreteren?

Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy PostDG Epidemiologie

Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk.

2

Herhaalde metingen

• Wat zijn herhaalde metingen?• Waarom zijn de gebruikelijke methoden niet

geschikt?• Mogelijke benaderingen• De random effects modellen

– Random interceptmodel• Waarom moeten we random effects modellen

gebruiken?

3

Herhaalde metingen

Subjecten (personen, patiënten, dieren) van één of meer groepen hebben meerdere metingen op één of meer variabelen.

Wanneer interessant? - Verschillen binnen personen- Verschillen tussen personen

Probleem:

Waarnemingen zijn niet onafhankelijk

4

Voorbeelden algemeen

• Voor- en nameting voor 1 groep personen:–within design

• Herhaalde metingen voor 2 verschillende

behandelgroepen: – within en between design

• Uitbreiding naar meerdere within-factoren en

meerdere between factoren: – zoals geslacht en leeftijd en behandeling (between

factoren)– meerdere momenten door verschillende

observers (within factoren)

5

Voorbeelden algemeen

• Longitudinale studie: groei-curves

•Cross-over designs

•In duplo of meer uitgevoerde lab-bepalingen

6

Voorbeelden algemeen

1. Multi-level benadering: multicenter clinical trials

Patiënten kunnen opgevat worden als herhaalde metingen binnen 1 centrum

2 In meta-analyses: de waarnemingen binnen elke studie zijn de herhaalde waarnemingen

Kortom:

Geclusterde data kunnen opgevat worden

als herhaalde metingen data en andersom.

7

Voorbeeld

5 subjecten

4 herhaalde metingen

Stofwisseling- parameter

2 factoren:

Dieet: N en O

Tijd: voor en na

Subject Dieet voor na

maaltijd

1 N 1.47 1.78

O 1.72 2.49

2 N 1.42 1.68

O 1.44 1.87

3 N 1.10 1.26

O 1.11 1.36

4 N 0.84 1.11

O 0.90 1.29

5 N 0.91 1.09

O 1.00 1.25

8

Voorbeeld

Drie vragen

1. Is er een dieet effect?

2. Is er een tijdseffect

3. Is er een interactie effect?

Subject Dieet voor na

maaltijd

1 N 1.47 1.78

O 1.72 2.49

2 N 1.42 1.68

O 1.44 1.87

3 N 1.10 1.26

O 1.11 1.36

4 N 0.84 1.11

O 0.90 1.29

5 N 0.91 1.09

O 1.00 1.25

9

Voorbeeld

10

Voorbeeld

Is er een dieet effect?

Gepaarde t-test per tijdmoment (of gemiddelde)

5 observaties

Subject Dieet voor na

maaltijd

1 N 1.47 1.78

O 1.72 2.49

2 N 1.42 1.68

O 1.44 1.87

3 N 1.10 1.26

O 1.11 1.36

4 N 0.84 1.11

O 0.90 1.29

5 N 0.91 1.09

O 1.00 1.25

11

Voorbeeld

Is er een tijds effect?

Gepaarde t-test

per dieet

(of gemiddelde)

5 observaties

Subject Dieet voor na

maaltijd

1 N 1.47 1.78

O 1.72 2.49

2 N 1.42 1.68

O 1.44 1.87

3 N 1.10 1.26

O 1.11 1.36

4 N 0.84 1.11

O 0.90 1.29

5 N 0.91 1.09

O 1.00 1.25

12

Voorbeeld

Is er een interactie effect?

Is de verandering overtijd verschillend voor debeide diëten?

Varieert het verschil tussen de diëten overde tijd?

Gepaarde t-test op delta (verandering)

Subject dieet voor achter

maaltijd delta

1 N 1.47 1.78 0.31

O 1.72 2.49 0.77

2 N 1.42 1.68 0.26

O 1.44 1.87 0.43

3 N 1.10 1.26 0.16

O 1.11 1.36 0.25

4 N 0.84 1.11 0.27

O 0.90 1.29 0.39

5 N 0.91 1.09 0.18

O 1.00 1.25 0.25

13

Voorbeeld

Als er slechts 2 herhaalde metingen zijn per

factor: gepaarde t-test is een oplossing

Maar wat als er meer herhaalde metingen zijn?

De afhankelijkheden tussen metingen binnen elk

persoon zijn de oorzaak van het feit dat we de

technieken moeten gebruiken die rekening houden

met deze correlaties!

14

Mogelijke benaderingen

1. Gebruiken van 1 samengevatte variabele: 1. Verschilscore van na- en voormeting2. Maximum of minimum3. Gemiddelde

Voordeel1. simpel: we hebben weer onafhankelijke

waarnemingen

Nadelen:1. Informatie wordt weggegooid2. Bij missende data is er geen goede samenvatting

15

Mogelijke benaderingen

2. Per herhaalde meting de analyse uitvoeren

Voordeel1. simpel: alleen onafhankelijke waarnemingen

Nadelen

1. multiple testing

2. houdt geen rekening met de

afhankelijkheidsstructuur

16

Mogelijke benaderingen

3. RM-ANOVAUitbreiding van ANOVA/MANOVA met zelfde terminologie

Voordelen:• Voor mensen die ANOVA-technieken kennen is het

een natuurlijke uitbreiding• Bekend bij velen als enige manier, omdat tot voor een

paar jaar geleden dit de enige manier was om herhaalde metingen in SPSS te analyseren

Nadelen• Alleen continue responsematen• Zeer strenge eisen t.a.v. afhankelijkheidsstructuur van

de data (compound symmetry) • Kan geen missende gegevens aan

17

Mogelijke benaderingen

4. Random-effectsmodellenRegressiemodelbenadering met zelfde terminologieOok wel multilevelmodellen, random parametermodellen of mixed models genoemd

Voordelen• Standaard in pakketten als SAS, MLwin, S-plus en R,

en SPSS (sinds versie 12 werkt mixed models redelijk)• Kan missing data aan (MAR)• Flexibiliteit in modelleren van afhankelijkheidsstructuur

Nadeel:Complexe modellen! Vraagt veel van onderzoeker

18

Nieuw voorbeeld met 2 factoren: factor tijd (within)

factor dieet (between)

Onderzoeksprobleem: Vergelijken van 2 verschillende diëten t.a.v. effect op gewicht

Experiment: 1. Gerandomiseerde trial2. 2 diëten A and B; 20 personen3. Elk persoon wordt elke 3 maanden gewogen4. Baseline: voor start dieet; laatste meting: 12 maanden na

start dieet: in totaal 5 metingen per persoon

Na randomisatie: 8 personen krijgen dieet A ; 12 personen dieet B

19

Nieuw voorbeeld (vervolg): factor tijd en factor dieet

Onderzoeksvraag: Welk dieet heeft meer effect op het gewicht?

Eigenlijk: Zijn er verschillen tussen de 2 diëten voor wat betreft deveranderingen in gewicht over tijd?

Vraag betreft interactie tussen tijd en dieet.

20

Random effects model

Twee niveaus:

Niveau 1: (within) Metingen binnen een persoon: veranderingen over de tijd

Niveau 2: (between)Metingen tussen personen: verschillen als gevolg van dieet

21

Nieuw voorbeeld (vervolg): factor tijd en factor dieet

22

Random effects model: niveau 1

Model voor verandering over tijd

gewichtij = 0i + 1itijdj + (eij)

i = 1,…, 20 personen; j = 1,…5 tijdmomenten

0i = intercept voor persoon i

1i = helling voor persoon i

Elk persoon heeft z’n eigen regressielijn

23

Random effects model: niveau 1

Model voor verandering over tijd

gewichtij = 0i + 1itijdj + (eij)

eij = niveau 1 residu: within person fout, meetfout

eij ~ N(0,2e)

24

Random effects model: niveau 2

Model voor verschillen tussen personen

Elk persoon heeft eigen intercept en eigen helling

We brengen dus de herhaalde metingen terug totintercept en helling!

1. Zijn er verschillen in intercept en helling?2. Welke predictoren verklaren die verschillen?

25

Random effects model: niveau 2

Model voor verschillen tussen personen:

Welke predictoren verklaren verschillen in intercept

en helling ?

0i = γ00 + γ01*dieeti + u0i

1i = γ10 + γ11*dieeti +u1i

γ00 , γ01, γ10 en γ11 : fixed effects

0i , 0i : random effects

u0i en u1i : niveau 2 residuen; tussen-persoons fouten

26

Random effects model samengesteld: beide niveaus

samengestelde model

gewichtij = γ00 + γ01*dieeti+ γ10*tijdj +

γ11*dieeti*tijdj +

u0i + u1i*tijdj + eij

Resultaat: regressie model met complex residu

27

Random effects model samengesteld: beide niveaus

Residu van samengesteld model u0i + u1i*tijdj + eij

Heteroscedasticiteit:

ongelijke variantie per tijdsmoment

Autocorrelatie:

residuen zijn gecorreleerd

28

Random intercept modelniveau 1 en niveau 2

Niveau 1: voor verandering over de tijd

gewichtij = 0i + 1itijdj + (eij) (zelfde als hiervoor)

Niveau 2:

0i = γ00 + γ01*dieeti + u0i

1i = γ10 + γ11*dieeti helling heeft geen fout

Dus alleen random intercept

29

Random intercept model: het samengestelde model

gewichtij = γ00 + γ01*dieeti+ γ10*tijdj + γ11*dieeti*tijdj + u0i + eij

Resultaat: regressie model met simpeler residu

eij ~ N(0,2e) , u0i ~ N(0,2

0)

Splitst variantie componenten op in variantietussen personen en variantie binnen personen

Intraclass correlatie: = 20/(2

e+ 20)

30

Random intercept model:

Constante variantie en covariantie:

Met: Intraclass correlatie: = 20/(2

e+ 20)

Dit komt neer op de aanname van

compound symmetrie:

Is de aanname van RM-ANOVA

31

Waarom randomeffects modellen gebruiken?

1. De correlatie binnen subjecten kan expliciet worden gemodelleerd.

2. Ingewikkelde designs kunnen worden gemodelleerd

3. Ook voor categoriele responsematen

4. Missende data leveren geen problemen op voor random effects modellen, mits de data Missing At Random zijn (MAR).