Methoden van Onderzoek

Hoorcollege 2:Onderzoeksontwerp

Onderzoeksontwerpen Interne validiteit: éénduidigheid relatie

afhankelijke onafhankelijke variabele

Veel problemen met interne validiteit kun je oplossen met het onderzoeksdesign

Weergave ondezoeksontwerpen:• O: observatie• X: Manipulatie• (R): Randomisatie• (M): Matching

One shot case

Interne validiteit

Voorbeelden:– Houtkoop (1991)– Examens– Fiets

X O

Examenprestaties

One shot case

Interne validiteit

Voorbeelden:– Houtkoop (1991)– Examens– Fiets

X O

Validiteitsbedreigende factoren:– Geschiedenis– Rijping– Instrumentatie– Selectie– Uitval– Regressie naar het gemiddelde

Eén-groep-voortoets-natoets-ontwerp:

Voorbeeld:– Economie– Hoorcolleges

O X O

Voortoets-natoets-controle-groep-ontwerp (1)

Voorbeeld:– Onderwijsonderzoek– Controlegroep hoorcolleges

O X O

O O

Voortoets-natoets-controle-groep-ontwerp (2)

Voorbeeld:– Observerend leren

(R)O X O

O O

Voortoets-natoets-controle-groep-ontwerp (3)

Effect voormeting?

Voormeting:– Hoe goed kun je A?– Hoe goed kun je B?– Etc.

Twee problemen voormeting: Maakt duidelijk wat belangrijk is Veel dingen ‘denk’ je dat je kan, maar …

Dus: voormeting lastig

Solomon-vier-groepen-ontwerp

Is er een effect van voormeting? Vergelijk (3+4) en (5+6)

Groep Voormeting Manipulatie Nameting

I Ja (1) Nee Ja (3)

II Ja (2) Ja Ja (4)

III Nee Nee Ja (5)

IV Nee Ja Ja (6)

Solomon-vier-groepen-ontwerp

Is er een effect van de manipulatie? Vergelijk (3+5) en (4+6)

Groep Voormeting Manipulatie Nameting

I Ja (1) Nee Ja (3)

II Ja (2) Ja Ja (4)

III Nee Nee Ja (5)

IV Nee Ja Ja (6)

Natoets-controle-groep-ontwerp

Voorbeelden:– Fooi serveersters

(R)X O1

O2

Vier serveersters 2 in de experimentele- en 2 in de controle-conditie

Manipulatie Fooi

Herhalen bestelling

Geen herhaling

Herhaalde metingen:

Voorbeeld:– Effect implantaten op horen/taal-leren

O1 O2 O3 O4 X O5 O6 O7 O8

Panel designs

Leren ‘tijd’ en ‘aspect’ Spaans

O1 X O2 O3 O4 O5 O6

O1 O2 X O3 O4 O5 O6

O1 O2 O3 X O4 O5 O6

O1 O2 O3 O4 X O5 O6

O1 O2 O3 O4 O5 X O6

Manipulatie

012345678

1 2 3 4 5

Panel design

A

Simpel: één onafhankelijke variabele Complex: twee onafhankelijke variabelen Complexer: drie onafhankelijke variabelen Super complex: vier … Ondoenlijk: vijf …

Factoriële designs:– Twee of meer onafhankelijke variabelen

– Serveersters:– Herhalen bestelling (ja vs nee)– Glimlachen (ja vs nee)– 2x2 factorieel ontwerp

Factoriële designs:– Twee of meer onafhankelijke variabelen

– Onderwijstijd: 1 vs 4 uur– Setting: individueel vs groepsgewijs– 2x2 factorieel ontwerp

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel

In groepjes

Totaal

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel GEM

In groepjes GEM

Totaal

Hoofd-effect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel GEM

In groepjes GEM

Totaal GEM GEM

Hoofd-effect

Hoofdeffect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel GEM

In groepjes GEM

Totaal GEM GEM

Hoofd-effect

Hoofdeffect

Interactie-effect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel 6 8 7

In groepjes 4 6 5

Totaal 5 7

Hoofd-effect

Hoofdeffect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel 5 9 7

In groepjes 5 5 5

Totaal 5 7

Hoofd-effect

Hoofdeffect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel 4 9 7

In groepjes 6 4 5

Totaal 5 7

Hoofd-effect

Hoofdeffect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel 5 7 6

In groepjes 7 5 6

Totaal 6 6

Hoofd-effect

Hoofdeffect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel 5 7 6

In groepjes 5 7 6

Totaal 5 7

Hoofd-effect

Hoofdeffect

Onderwijstijd

1 uur 4 uur Totaal

Setting

Individueel 7 7 7

In groepjes 5 5 5

Totaal 6 6

Hoofd-effect

Hoofdeffect

Factoriële ontwerpen: Opgezet om interactie-effecten aan te tonen

Interactie-effect significant?Hoofdeffecten betekenisloos

Interactie-effect:Lijnen lopen niet parallel

Alleen hoofdeffecten: Lijnen lopen parallel

Interpretatie:– Maak een tekening– Let op!– Formuleer in termen van beide onafhanke-lijke

variabelen

Onderwijstijd: 1, 2 en 4 uur Setting: Individueel vs groepsgewijs

– 3x2 factorieel ontwerp

Onderwijstijd: 1, 2 en 4 uur Setting: Individueel vs groepsgewijs Geslacht: Jongens vs. meisjes

– 3x2x2 factorieel ontwerp

Effect brooddiëet Ontwerp:

1. Conclusie: Brooddieet werkt

2. Zowel ♂ als ♀ in steekproef. Dus: werkt evengoed voor ♂ als ♀

Gewicht Brooddieet Gewicht

70 Ja 50

70 Nee 70

Sekse Voor Dieet Na

♂ 75 Nee 95

♂ 85 Ja 75

♀ 65 Nee 55

♀ 75 Ja 45

Uitgesplitst naar sekse

Wat is hier aan de hand?

Conclusie:– Wel generaliseren over de hele groep– Generalisatie van steekproef naar populatie– Niet generalisaren naar specifieke

(sub)steekproeven

Effect sesamstraat op schoolprestaties?

Geen design uit de kast te trekken!

Probleem

Quasi-exeperimenteel onderzoek

Leerlingen gaan voor uit!1. Ze kennen meer letters

2. Ze kennen steeds meer cijfers Effect Sesamstraat?

Uitsplitsen naar kijkfrequentie

Effect Sesamstraat? Vergelijken met gegevens broertjes en/of zusjes

Effect Sesamstraat?

0

10

20

30

40

50

60

70

80

90

September November Januari Maart

Vaak

Regelmatig

Weinig

Correlationeel onderzoek

Verbanden:– Relatie SES en schoolprestaties– Relatie vooropleiding en studiesucces– Relatie IQ en inkomen– Relatie motivatie en prestaties

Geen oorzaak-gevolg relatie

Correlatiecoëfficiënt:– Maximaal 1: perfect positief verband– Minimaal -1: perfect negatief verband– 0: geen relatie

Correlatie tussen motivatie en prestaties circa 0.30

rmotivatie, prestaties = 0.30

1. Motivatie -> Prestaties

2. Motivatie <- Prestaties

3. Motivate < - > Prestaties

Onderzoek

M1

P1

M2

P2

r r

Tijdstip 1 Tijdstip 2

M1

P1

M2

P2

r r

Tijdstip 1 Tijdstip 2

M1

P1

M2

P1

r r

Tijdstip 1 Tijdstip 2

0.0 0.0

> 0.3

> 0.5

Conclusie– Prestaties -> Motivatie– Prestaties <- Motivatie– Prestaties <-> Motivatie

The End

Daan, Daniël, Maurice