College 5Experimenteleen

Quasi- ExperimenteleProefopzetten

Jolien PasECO 2012-2013

- Leary Hoofdstuk 9, 10, 13 en 14

- Aanvullende tekst 5

Het Experiment

Doel: Causaal verband vastellen door te laten zien dat veranderingin de onafhankelijke variabele direct verantwoordelijk is voorveranderingen in afhankelijke variabele

Kenmerken van het experiment:

- Manipulatie van onafhankelijke variabele(n)

- (Random) toewijzing van proefpersonen aan condities

- Experimentele controle van externe factoren (extraneous factors)

2

Soorten(experimenteel) onderzoek

Experimental Research– Echt experiment: voldoet aan alle kenmerken

– Blokdesign: mengvorm echt experiment + subject variabelen

Quasi-Experimental Research– Pre-experiment: geen (random) toewijzing, geen/gebrekkige controle

– Quasi-experiment: geen random toewijzing

– Time series design

– Niet-experimentele designs: geen manipulatie

Single-Case Research– Single-Case Experiment

– Case studies3

Ontwerpen in experimenteel onderzoek: Terminologie

Eenweg ontwerpen:1 onafhankelijke variabele

Meerweg (factoriële) ontwerpen:> 1 onafhankelijke variabelen

- compleet gerandomiseerd: allemaal echte onafhankelijke variabelen

- blokontwerp (expericorr): aanwezigheid van niet experimentele ‘onafhankelijke’ variabelen

Conclusie over samenhang X-Y/effect trekken:

Pretest posttest design: Vergelijking van voor- en nameting.

Posttest only design:Vergelijking van experimentele en controlegroep.

4

Experimentele Ontwerpen

Posttest-Only Design I R X --- O1

Gevaar: selectie bij ongelukkige randomisatie II R O1

Pretest-Posttest Control Group Design I R O0 --- X --- O1

Gevaar: local history, sensitizatie II R O0 --------- O1

Solomon 4 Group Design I R O0 --- X --- O1

Grootte van history, maturation, testing en II R O0 ---------- O1

sensitizatie effect kan worden geschat III R X --- O1

IV R O1

X = Treatment, O0 = voormeting, O1 = nameting, R = Randomisatie, NR = Niet Random

5

Solomon 4 Group DesignI R O0(6) --- X --- O1(23)

II R O0(7) ---------- O1(15)

II R X --- O1(19)

IV R O1(11)

X = treatment

HM = history/maturation

T = Testing

S = Sensitisatie

O1(I) – O0(I) = 23 – 6 = 17→ HM + T + X + S (1)O1(II) – O0(II) = 15 – 7 = 8 → HM + T (2)Dus (1) - (2) = 17 – 8 = 9 → X + S (3)O1(III) – O1(IV)= 19 – 11= 8 → X (4)Dus (3) - (4) = 9 – 8 = 1 →→→→ S (5)O1(II)-O1(IV)= 15 – 11 = 4 → T (6)Dus (2) – (6) = 8 – 4 = 4 → HM (7)

6

Solomon 4 Group DesignI R O0(6) --- X --- O1(23)

II R O0(7) ---------- O1(15)

II R X --- O1(19)

IV R O1(11)

X = treatment

HM = history/maturation

T = Testing

S = Sensitisatie

O1(I) – O0(I) = 23 – 6 = 17→ HM + T + X + S (1)O1(II) – O0(II) = 15 – 7 = 8 → HM + T (2)Dus (1) - (2) = 17 – 8 = 9 → X + S (3)O1(III) – O1(IV)= 19 – 11= 8 → X (4)Dus (3) - (4) = 9 – 8 = 1 →→→→ S (5)

Neemaan: O0(III) = O0(IV) = [O0(I)+O0(II)] / 2 = 6.5

O1(IV)-O0(IV) = 11 – 6.5= 4.5 → ≈ HM (6)Dus (2) – (9) = 8 – 4.5 = 3.5 → ≈ T (7)

7

Meerweg(factoriële) designs

Meer dan 1 onafhankelijke variabelen

Aantal niveaus: 2 x 3 factorieel ontwerp

X1: 2 categorieën

X2: 3 categorieën

Compleet gerandomiseerd: allemaal onafhankelijke variabelen

Blokontwerp (expericorr): aanwezigheid van niet experimentele

‘onafhankelijke’ variabelen

Inzicht in:

Hoofdeffecten, Interacties en Error

8

Voorbeeld: 2x3 FactoriëleDesignProefpersonen: 36 PABO-studenten gelijk verdeeld over 6 condities

Uitkomst: Aantal juist gemaakte rekenopgaven (max 30)

Onafhankelijke variabelen:

1) Verstrekte informatie (juist-onjuist)

2) Moeilijkheidsgraad opgaven (makkelijk-gemiddeld-moeilijk)

1215

6.5

13.5

20.5

Juiste info Onjuiste info

Makkelijk 22 19

Gemiddeld 15 12

Moeilijk 8 5

9

Effectenin beeld

10

Effectenin beeld

11

FactoriëleDesigns: voorbeeld

1515

8

15

22

Juiste info Onjuiste info

Makkelijk 20 24

Gemiddeld 15 15

Moeilijk 10 6

Ruwe data:28, 26, 22, 19, 25, 24

12

Hoofd- en Interactie-effecten

Blokontwerpen(Leary: “expericorr”)Combinatie onafhankelijke en subject variabelen.

Nut:- Samenhang subject variabele met condities- Generalisatie naar speciale groepen (bijv. M/V-verschil)- Grotere power

Blokvariabelecategorisch: geen probleemBlokvariabelenumeriek: median split of extreme groepen

Interpretatie proefpersoonvariabele?- Geen oorzaak volgens Leary (nl. correlationeel)- Moderator variabele bij interactie

Alternatief voor blokontwerp: covariantie-analyse14

Soorten(experimenteel) onderzoek

Experimental Research– Echt experiment: voldoet aan alle kenmerken

– Blokdesign: mengvorm echt experiment + subject variabelen

Quasi-Experimental Research– Pre-experiment: geen (random) toewijzing, geen/gebrekkige controle

– Quasi-experiment: geen random toewijzing

– Time series design

– Niet-experimentele designs: geen manipulatie

Single-Case Research– Single-Case Experiment

– Case studies15

Pre-Experimentele Ontwerpen

One-shot Case Study X --- O1

One Group Pretest-Posttest Design O0 --- X --- O1 Gevaar: history, maturation, testing, sensitizatie,instrumentatie (regression to the mean)

Nonequivalent Groups I NR X --- O1

Posttest-Only Design II NR O1Gevaar: Selectie

X = Treatment, O0 = voormeting, O1 = nameting, NR = Niet Random

16

Quasi-Experimenteleontwerpen

O1(I) – O0(I) = X + S+ HM + T (1)O1(II) – O0(II) = HM + T (2)Dus (1) – (2) = X + S

O1(I) – O1(II) = X + S+ Selectie (3)O0(I) – O0(II) = Selectie (4)Dus (3) – (4) = X + S

17

Nonequivalent Groups I NR O0 --- X --- O1

Pretest-Posttest Design II NR O0 --------- O1Gevaar: local history, sensitizatie

Voorbeeld– Gedragscodein de klas

Nonequivalent Groups I NR O0 --- X --- O

Pretest-Posttest Design II NR O0 ---------- O1

- 2000 leerlingen (±30 scholen)

- Programma in klas A, niet in klas B

- Doel: gedragscode opstellen

18

Time Series DesignsInterrupted Time Series Design(R) O1 O2 O3 O4 X O5 O6 O7 O8

Gevaar: contemporary history

~ with reversal(R) O1 O2 O3 O4 X O5 O6 O7 O8 -X O9 O10 O11 O12

Control Group Interupted Time Series DesignNR O1 O2 O3 O4 X O5 O6 O7 O8

NR O1 O2 O3 O4 -- O5 O6 O7 O8

~ with multiple replications(R) O1 O2 O3 X O4 O5 O6 -X O7 O8 O9 X O10 O11 -X O12

19

Time Series Design - output1

23

45

67

8

A B

1 2 3 4 5 6 7 8 9

12

34

56

78

C

1 2 3 4 5 6 7 8 9

D

20

Longitudinaleontwerpen

O1 O2 O3 O4 O5 O6 O7 O8

Ook welPanel designsQuasi-independent variabele is tijd zelf , niet een ingreep, dus geen (quasi)-experiment!

Alternatieven- cross-sectioneel ontwerp- successive independent samples

21

Longitudinaal vs. Successiefvs. Cross-Sectioneel

1909 1929 1949 1969

20 - 30 Cohort 44.8%

Cohort 513.9%

Cohort 617.4%

Cohort 723.9%

40 - 50 Cohort 33.1%

Cohort 411.9%

Cohort 517.2%

Cohort 622.0%

60 - 70 Cohort 21.9%

Cohort 36.7%

Cohort 411.9%

Cohort 519.4%

80 - Cohort 11.2%

Cohort 23.8%

Cohort 36.6%

Cohort 412.2%

Tabel 1 Percentage vrouwen in Nederland dat niettot een bepaalde religiebehoort, per leeftijdsgroep en per tijdsperiode.

22

Soorten(experimenteel) onderzoek

Experimental Research– Echt experiment: voldoet aan alle kenmerken

– Blokdesign: mengvorm echt experiment + subject variabelen

Quasi-Experimental Research– Pre-experiment: geen (random) toewijzing, geen/gebrekkige controle

– Quasi-experiment: geen random toewijzing

– Time series design

– Niet-experimentele designs: geen manipulatie

Single-Case Research– Single-Case Experiment

– Case studies23

Single Case ResearchFocus op individuen i.p.v. groep als geheel.NB. Single case experiment is niet hetzelfde alsCase Study

Achter een gemiddelde kan van alles schuil gaan:

- iedereen verandert (meer of minder)

- een deel verandert, een ander deel niet

- verschillende delen veranderen verschillend

Is dit wel causaliteit?

24

Single Case Designs

ABA Designs

Multiple-I designs (bijv. ABC)

- Afwisselen met baseline: ABACA

- Combinatie van treatments: A-B-BC-A-BC

Multiple Baseline

25

Single Case Designs

26

Voorbeeld- Teacher Attention

Effects of Teacher Attention on Study BehaviorVance Hall, Lund & Jackson (1968)

Cases: 6 kinderen die verstorend gedrag vertonen in klas

Doel: minder storen, meer sudiegedrag

Methode: reinforcement gewenst gedrag

+ negeren ongewenst gedrag

5 periodes:Baseline → Reinforce 1 → Reversal → Reinforce 2 → post-cheks

Ondersteuning docent door observator

27

Case Robbie

28

Case StudiesGedetailleerde studie van individu, groep of gebeurtenis.

Informatie: uit verschillende bronnenResultaat: verhalende beschrijving

Toepassing:1) Inzichten en ideeën2) Zeldzame fenomenen3) Psychobiografie4) Illustratieve anecdote

Beperkingen1) Geen controle externe variabelen2) Observer bias

29

Case Study - voorbeeld

• Patiënte ‘Anna O’

• Hysterie met veelheid aan klachten

• Behandeling door Jozef Breuer

(m.b.v. hypnose)

• Inspiratie psychoanalyse van Freud

30

Volgendeweek

Eenweg variantie-analyse

- Leary: Hoofdstuk 11, 12 (t/mp. 255)

- MM&C: Hoofdstuk 12 (t/mp. 617), p. 623 t/mp. 626

- Aanvullende tekst 6, 7 en 8

31