NVMO 27 maart2013

NVMO Workshop OvO

27 maart 2013

Quasi-experimental study design and get the grant

NVMO 27 maart2013

Korte schets van quasi-experimentele designs en de

achtergronden ervan

27 maart 2013

Eugène CustersUMC Utrecht, dOO, Expertisecentrum voor Onderwijs en

OpleidingLid van het WECO van de NVMOecusters@umcutrecht.nl

NVMO 27 maart2013

Quasi-experimentele designs

Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago: Rand McNelly & Company.

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Belmont, CA: Wadsworth Publishing.

NVMO 27 maart 2013

Zes ‘modes of inquiry’ (cf. Hammond, 1978, 1983, 1996)

NVMO 27 maart2013

Kernprobleem bij het opzetten van onderzoek en beoordelen van onderzoeksuitkomsten:

Hoe valide zijn (zullen) mijn resultaten (zijn)?

NVMO 27 maart2013

Typologie van validiteit van experimentele bevindingen

[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)

NVMO 27 maart2013

Typologie van validiteit van experimentele bevindingen

[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)

[2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)

NVMO 27 maart2013

Typologie van validiteit van experimentele bevindingen

[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)

[2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)

[3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten)

NVMO 27 maart2013

Typologie van validiteit van experimentele bevindingen

[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)

[2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)

[3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten)

[4] Statistische validiteit van de uitkomst (toevalsbevinding, onder- of overschatting van effect)

NVMO 27 maart2013

Interne validiteit van experiment:

Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?

NVMO 27 maart2013

Interne validiteit van experiment:

Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?

Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen

NVMO 27 maart2013

Interne validiteit van experiment:

Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?

Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen

Doel: Sluit alternatieve verklaringen uit

NVMO 27 maart2013

Borging van interne validiteit:

Meest effectieve maatregel: gebruik van controlegroep (comparison

group) + randomisering = RCT (gerandomiseerd experiment)

NVMO 27 maart2013

Borging van interne validiteit:

Meest effectieve maatregel: gebruik van controlegroep (comparison

group) + randomisering = RCT (gerandomiseerd experiment)

Maar: dit is niet altijd mogelijk of wenselijk alternatieve oplossingen zijn nodig:

quasi-experimenten

NVMO 27 maart2013

Quasi-experimental designs: Minimale voorwaarden

[1] Er is sprake van een discrete interventie (of treatment)

NVMO 27 maart2013

Quasi-experimental designs: Minimale voorwaarden

[1] Er is sprake van een discrete interventie (of treatment)

[2] Er is sprake van een uitkomstmaat

NVMO 27 maart2013

Quasi-experimental designs: Minimale voorwaarden

[1] Er is sprake van een discrete interventie (of treatment)

[2] Er is sprake van een uitkomstmaat

[3] De interventie gaat in de tijd vooraf aan de uitkomst

NVMO 27 maart2013

Belangrijkste principes van quasi-experimenten:

[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;

NVMO 27 maart2013

Belangrijkste principes van quasi-experimenten:

[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;

[2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign

NVMO 27 maart2013

Belangrijkste principes van quasi-experimenten:

[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;

[2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign

dus niet primair door statistische procedures

NVMO 27 maart2013

Belangrijkste principes van quasi-experimenten:

[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;

[2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign

dus niet primair door statistische procedures (dus niet: uitsluiten van alternatieve

verklaringen door complexe en/of heel precieze hypothesen)

NVMO 27 maart2013

Belangrijkste design-kenmerken van quasi-experimental designs om interne

validiteit te borgen:

[a] pretests (een of meer)

[b] controlegroepen (een of meer)

NVMO 27 maart2013

Enkele voorbeelden van quasi-experimental designs

NVMO 27 maart2013

Eenvoudigste design (geen pretest, geen controlegroep)

One-group posttest-only design:

X O1

(in 1963 nog: “One shot case study”)

NVMO 27 maart2013

Iets verfijnder design (geen pretest, geen controlegroep)

One-group posttest-only design with multiple substantive posttests:

X [O1A O1B O1C … O1N]

(bv. opsporen van de bron van een epidemie)

NVMO 27 maart2013

Designs met pretest, maar zonder controlegroep

One-group pretest-posttest design:

O1 X O2

(kan zowel within-subjects als between-subjects)

NVMO 27 maart2013

Designs met pretest, maar zonder controlegroep

One-group pretest-posttest design with double pretest:

O1 _ O2 X O3

(meer dan twee pretests zijn mogelijk)

NVMO 27 maart2013

Designs met pretest, maar zonder controlegroep

One-group pretest-posttest design using a nonequivalent dependent variable:

[O1A O1B] X [O2A O2B]

(van ‘B ’ is bekend dat hij gevoelig is voor alternatieve hypothesen)

NVMO 27 maart2013

Designs met controlegroep, maar zonder pretest

Posttest-only design with nonequivalent groups:

NR X O1 --------------------------------------

NR _ O2

(in 1963 nog: “Static group comparison”)

NVMO 27 maart2013

Designs met controlegroep, maar zonder pretest

Posttest-only design with nonequivalent groups but independent pretest samples:

NR O1 NR X O2

--------------------------- --------------------------------------

NR O1 NR _ O2

NVMO 27 maart2013

Designs met controlegroep, maar zonder pretest

Posttest-only design using proxy pretests:

NR OA1 X OB2 ----------------------------------------------------------

NR OA1 _ OB2

(basis voor matching en stratifying)

NVMO 27 maart2013

Designs met controlegroep en (dependent) pretest

Control group design with pretest and posttest samples

NR O1 X O2 -----------------------------------------------------

NR O1 _ O2

(a.k.a. nonequivalent comparison group design)

NVMO 27 maart2013

Designs met controlegroep en (independent) pretest

Cohort control group design

NR O1------------------------------------------------------

NR _ X O2

(vergelijken van jaargroepen in onderwijssituaties)

NVMO 27 maart2013

Designs met controlegroep en (dependent) pretest

Cohort control group design met multiple pretests

NR O1 O2 -----------------------------------------------------------------------------------

NR __ __ O3 X O4

(voordeel: vergelijkbare groepen, nadeel: history)

NVMO 27 maart2013

Hoe kies ik het meest geschikte design?

Geen “recept”, maar: case building

NVMO 27 maart2013

Hoe kies ik het meest geschikte design?

Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële

bedreigingen van de interne validiteit van je onderzoek

NVMO 27 maart2013

Hoe kies ik het meest geschikte design?

Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële

bedreigingen van de interne validiteit van je onderzoek

Kies dan design features (pretests, controlegroep, etc.)

NVMO 27 maart2013

Hoe kies ik het meest geschikte design?

Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële

bedreigingen van de interne validiteit van je onderzoek

Kies dan design features (pretests, controlegroep, etc.)

Probeer voorbeelden uit de literatuur te vinden

NVMO 27 maart2013

Hoe kies ik het meest geschikte design?

Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële

bedreigingen van de interne validiteit van je onderzoek

Kies dan design features (pretests, controlegroep, etc.)

Probeer voorbeelden uit de literatuur te vinden

Kies pas in laatste instantie de eventuele statistische controls

NVMO 27 maart2013

A cautionary note:

Zelfs een volgens de regels van de kunst opgezet en uitgevoerd (quasi-)experiment

vertelt je alleen dat de interventie het resultaat heeft veroorzaakt,

maar niet waarom dat het geval is (bv. placebo effect)