Methodologie - VPPK€¦ · Web viewgebruikt observatie of directe zintuigelijke ervaringen om...

Methodologie

Viktor Vandenbroeck

Academiejaar 2017-2018

Hoofdstuk 1: Kennis verzamelen en de wetenschappelijke methode....13Introductie in de methodologie.........................................................................13

Waarom?....................................................................................................................13Methoden om te weten en het verzamelen van kennis.....................................13

De methode van volharding.......................................................................................13De methode van intuïtie.............................................................................................13De methode van autoriteit.........................................................................................14De rationele methode (rationalisme)..........................................................................15De empirische methode (empirisme).........................................................................16

Samenvatting....................................................................................................16

De wetenschappelijke methode........................................................................16Stappenplan van de wetenschappelijke methode......................................................16

Stap 1: Observeer gedrag of andere fenomenen....................................................................16Stap 2: Vorm een voorlopig antwoord of verklaring (een hypothese).....................................17Stap 3: Gebruik je hypothese om een toetsbare voorspelling te ontwikkelen........................17Stap 4: Evalueer de voorspelling door systematische, geplande observaties.........................18Stap 5: Gebruik de observaties om de originele hypothese te ondersteunen, weerleggen of verfijnen..................................................................................................................................18

Andere elementen van de wetenschappelijke methode.............................................18Wetenschap is empirisch........................................................................................................18Wetenschap is publiek............................................................................................................18Wetenschap is objectief..........................................................................................................19

Wetenschap vs Pseudowetenschap............................................................................19Het onderzoeksproces.......................................................................................20

Kwantitatief en kwalitatief onderzoek.........................................................................20De stappen in het onderzoeksproces..........................................................................20

Stap 1: Vind een onderzoeksidee: selecteer een onderwerp en doorzoek de literatuur om een onbeantwoorde vraag te vinden.............................................................................................21Stap 2: Vorm een hypothese...................................................................................................21Stap 3: Bepaal hoe je je variabelen zal beschrijven en meten................................................21Stap 4: Identificeer de participanten of deelnemers voor het onderzoek, bepaal hoe ze geselecteerd zullen worden en plan hun ethische behandeling..............................................21Stap 5: Selecteer een onderzoeksstrategie.............................................................................21Stap 6: Selecteer een onderzoeksdesign................................................................................22Stap 7: Voer het onderzoek uit................................................................................................22Stap 8: Evalueer de data.........................................................................................................22Stap 9: Rapporteer de resultaten............................................................................................22Stap 10: Verfijn of herformuleer je onderzoeksidee................................................................22

2

Hoofdstuk 2: Onderzoeksideeën en hypotheses..................................23Beginnen...........................................................................................................23

Kies een onderwerp waarin je geïnteresseerd bent....................................................23Doe je huiswerk..........................................................................................................23Houd een open geest.................................................................................................23Focus, focus, focus.....................................................................................................23Neem één stap per keer.............................................................................................23

Bronnen van onderzoeksideeën........................................................................23Algemene bronnen van onderzoeksonderwerpen.......................................................23

Persoonlijke interesses en nieuwsgierigheden........................................................................23Toevallige observatie..............................................................................................................24Verslagen van observaties door anderen................................................................................24Praktische problemen of vragen.............................................................................................24Behavioristische theorieën......................................................................................................24

Achtergrondliteratuur vinden: een literatuuronderzoek uitvoeren....................24Primaire en secundaire bronnen.................................................................................25Het doel van een literatuurstudie...............................................................................25Voorbereiden op een literatuuronderzoek..................................................................26Online databases gebruiken.......................................................................................26Artikels screenen tijdens een literatuuronderzoek......................................................26Een literatuuronderzoek eindigen...............................................................................27

Een onderzoeksidee vinden door een gepubliceerd onderzoeksartikel.............27Vind suggesties voor toekomstig onderzoek..............................................................27Combineer of contrasteer bestaande resultaten........................................................27De componenten van een onderzoeksartikel – kritisch lezen.....................................27

Een onderzoeksidee gebruiken om een hypothese te vormen en een onderzoek te creëren..........................................................................................................29

Kenmerken van een goede hypothese.......................................................................29Logica......................................................................................................................................29Testbaar..................................................................................................................................29Verwerpbaar (falsificatie)........................................................................................................29Positief....................................................................................................................................30

Een hypothese gebruiken om een onderzoek te creëren............................................30

Hoofdstuk 3: Definiëren en meten van variabelen...............................31

3

Een introductie in metingen..............................................................................31

Constructies en operationele definities.............................................................31Theorieën en constructies..........................................................................................31Operationele definities...............................................................................................31Beperkingen van operationele definities....................................................................32Operationele definities gebruiken...............................................................................32

Validiteit en betrouwbaarheid van metingen....................................................32Consistentie van een relatie.......................................................................................32Validiteit van een meting...........................................................................................33

Indruksvaliditeit.......................................................................................................................33Concurrente validiteit..............................................................................................................33Predicitieve validiteit...............................................................................................................33Constructvaliditeit...................................................................................................................34Convergente en divergente validiteit......................................................................................34

Betrouwbaarheid van metingen.................................................................................35Types en betrouwbaarheidsmetingen.....................................................................................35

De relatie tussen betrouwbaarheid en validiteit.........................................................36Meetschalen......................................................................................................37

De nominale schaal....................................................................................................37De ordinale schaal......................................................................................................37De interval- en ratioschaal.........................................................................................37

Omgaan met dubbelzinnige metingen....................................................................................38Een meetschaal selecteren........................................................................................38

Modaliteiten van metingen................................................................................38Zelfrapporterende maat.............................................................................................38Fysiologische maat.....................................................................................................39Gedragsmaat..............................................................................................................39

Andere aspecten van metingen........................................................................39Meerdere metingen....................................................................................................39Gevoeligheid en bereikeffecten..................................................................................40Artefacten: vooringenomen onderzoeker en reactiviteit deelnemer...........................40

Vooringenomenheid van de onderzoeker...............................................................................40Vraagkenmerken en reactiviteit van de participant................................................................42

Een meetprocedure selecteren...................................................................................43

Hoofdstuk 4: Ethiek...........................................................................44Introductie.........................................................................................................44

4

Ethische bedenkingen doorheen het onderzoeksproces.............................................44De basiscategorieën van ethische verantwoordelijkheid............................................44

Ethische kwesties en menselijke participanten in onderzoek............................44Historische hoogtepunten in de behandeling van menselijke participanten...............44Richtlijnen van de ‘American Psychological Association’............................................45

Grote ethische problemen.......................................................................................................45Institutional Review Board (IRB).................................................................................49

Minimaliseren van de risico’s voor participanten.......................................................49Gematigde risico’s in relatie tot voordelen.............................................................................49Onpartijdige selectie...............................................................................................................49Geïnformeerde toestemming..................................................................................................49Documentatie van de geïnformeerde toestemming...............................................................49Gegevenscontrole...................................................................................................................49Privacy en vertrouwelijkheid...................................................................................................50

Ethische kwesties en niet-menselijke proefpersonen in onderzoek..................50Historische hoogtepunten in de behandeling van niet-menselijke proefpersonen......50American Psychological Association’s richtlijnen (APA)..............................................50

Ethische richtlijnen voor het gebruik en de behandeling van niet-menselijke proefpersonen in onderzoek...............................................................................................................................50Grote ethische kwesties..........................................................................................................51

The Institutional Animal Care and Use Committee (IACUC)........................................51Ethische kwesties en wetenschappelijke integriteit..........................................51

Fraude in de wetenschap...........................................................................................51Vergissing versus fraude.........................................................................................................51Waarom plegen onderzoekers fraude?...................................................................................51Bescherming tegen fraude......................................................................................................52

Plagiaat......................................................................................................................52Hoofdstuk 5: Participanten selecteren...............................................53

Introductie tot steekproeven.............................................................................53Populaties en steekproeven.......................................................................................53Representatieve steekproeven...................................................................................54Steekproefgrootte......................................................................................................55De basis van steekproeven........................................................................................55

Probability sampling methodes.........................................................................56Simpel random sampling............................................................................................56

Bedenkingen bij simpel random sampling..............................................................................57Systematische sampling.............................................................................................57Gestratificeerde random sampling.............................................................................57Evenredig gestratificeerde random sampling.............................................................58

5

Cluster sampling.........................................................................................................58Gecombineerde strategie sampling............................................................................58

Nonprobability sampling methodes...................................................................59Convenience sampling...............................................................................................59Quota sampling..........................................................................................................59

Hoofdstuk 6: Onderzoeksstrategieën en validiteit...............................61Onderzoeksstrategieën.....................................................................................61

De beschrijvende onderzoeksstrategie (1).................................................................61Relaties tussen variabelen..........................................................................................61De correlationele onderzoeksstrategie: twee variabelen meten voor elk individu (2) 61Twee of meer scoresets vergelijken: de experimentele, quasi-experimentele and niet-experimentele onderzoeksstrategieën.......................................................................61De experimentele onderzoeksstrategie (3)................................................................62De quasi-experimentele onderzoeksstrategie (4).......................................................62De niet-experimentele onderzoeksstrategie (5).........................................................62Niet-experimenteel en correlationeel onderzoek........................................................62Onderzoeksstrategieën, onderzoeksdesigns en onderzoeksprocedures.....................62

Onderzoeksstrategieën...........................................................................................................62Onderzoeksdesigns.................................................................................................................63Onderzoeksprocedures...........................................................................................................63

Interne en externe validiteit..............................................................................63Externe validiteit........................................................................................................63Interne validiteit.........................................................................................................64Validiteit en de kwaliteit van een studie.....................................................................65

Bedreigingen van externe validiteit..................................................................65Categorie 1: Generaliseren over participanten of subjecten.......................................65Categorie 2: Generaliseren over kenmerken van een studie......................................66Categorie 3: Generaliseren over kenmerken van de metingen...................................67

Bedreigingen van interne validiteit...................................................................67Vreemde variabelen...................................................................................................67Verstorende variabelen..............................................................................................68Vreemde variabelen, verstorende variabelen en interne validiteit.............................68Omgevingsvariabelen: algemene bedreigingen van interne validiteit voor alle studies (1)..............................................................................................................................68Individuele verschillen: bedreigingen van interne validiteit voor studies die verschillende groepen vergelijken (2)........................................................................68Tijdgerelateerde variabelen: bedreigingen van interne validiteit voor studies die een groep vergelijken over de tijd heen (3).......................................................................69

Meer over interne en externe validiteit.............................................................69

6

Interne en externe validiteit balanceren.....................................................................69Artefacten: bedreigingen van zowel interne als externe validiteit..............................69Overdreven variabelen...............................................................................................70Validiteit en individuele onderzoeksstrategieën.........................................................70

Hoofdstuk 7: De experimentele onderzoeksstrategie..........................71Oorzaak-gevolgrelaties.....................................................................................71

Terminologie..............................................................................................................71Causaliteit en het derde-variable probleem................................................................72Causaliteit en het gerichtheidsprobleem....................................................................72De natuur controleren................................................................................................73

Elementen van een experiment onderscheiden................................................73Manipulatie (1)...........................................................................................................73

Manipulatie en het gerichtheidsprobleem...............................................................................73Manipulatie en het derde-variabele probleem........................................................................74

Controle (2)................................................................................................................74Controle en het derde-variabele probleem.............................................................................74

Vreemde en verstorende variabelen..........................................................................74Vreemde variabelen controleren.......................................................................75

Controle door constant te houden of te matchen.......................................................75Een variabele constant houden...............................................................................................75Waarden matchen over behandelingscondities......................................................................75

Controle door randomisatie........................................................................................76Controlemethoden vergelijken...................................................................................77Voordelen en nadelen van controlemethoden............................................................77

Controlegroepen en manipulatiechecks............................................................77Controlegroepen.........................................................................................................77

Geen-behandelingscontrolegroepen.......................................................................................78Placebo controlegroepen.........................................................................................................78

Manipulatiechecks......................................................................................................79Toename van externe validiteit: simulaties en veldstudies..............................80

Simulatie....................................................................................................................80Veldstudies.................................................................................................................81Voordelen en nadelen van simulatie en veldstudies...................................................81

Hoofdstuk 8: Experimentele designs: between-subjectdesigns............82Introductie in between-subject experimenten...................................................82

Review van de experimentele onderzoeksstrategie...................................................82Karakteristieken van between-subjectsdesign............................................................82

Onafhankelijke scores.............................................................................................................83

7

Voordelen en nadelen van between-subjectsdesign...................................................83Individuele verschillen.............................................................................................................84

Individuele verschillen als verstorende variabelen...........................................84Andere verstorende variabelen..................................................................................85Equivalente groepen..................................................................................................85

Storingen door individuele verschillen limiteren...............................................85Willekeurige toewijzing (randomisatie).......................................................................86Matching groepen (gematchte toewijzing).................................................................86Variabelen constant houden of omvang van variabiliteit beperken............................87Samenvatting en aanbevelingen................................................................................87

Individuele verschillen en variabiliteit...............................................................87Verschillen tussen behandelingen en variantie binnen behandelingen......................88Variantie binnen behandelingen minimaliseren..........................................................88

Standaardiseerprocedures en behandelingssetting................................................................88Individuele verschillen limiteren.............................................................................................88Willekeurige toewijzing en matching.......................................................................................89Steekproefgrootte...................................................................................................................89

Samenvatting en aanbevelingen................................................................................89Andere bedreigingen voor interne validiteit van between-subjectsdesign........89

Differentiële uitval......................................................................................................89Communicatie tussen groepen...................................................................................90

Toepassingen en statistische analyses van between-subjectsdesigns..............90Twee-groepen gemiddeld verschil..............................................................................90Gemiddeldes vergelijken voor meer dan twee groepen.............................................91

Een waarschuwing over meerdere-groependesigns................................................................91Proporties vergelijken voor twee of meerdere groepen..............................................91

Hoofdstuk 9: Experimentele designs: within-subjectsdesign................92Within-subjectsexperimenten en interne validiteit............................................92

Karakteristieken van within-subjectsdesigns..............................................................92Bedreigingen van interne validiteit van within-subjects experimenten......................92Tijdgerelateerde factoren en volgorde-effecten scheiden..........................................95Volgorde-effecten als een verstorende variabele.......................................................95

Omgaan met tijdgerelateerde bedreigingen en volgorde-effecten...................96Tijd controleren..........................................................................................................96Verander naar een between-subjectsdesign...............................................................96Counterbalancing: behandelingen matchen met respect voor tijd.............................96

Counterbalancing en volgorde-effecten..................................................................................96Limieten van counterbalancing..................................................................................97

8

Counterbalancing en variantie................................................................................................97Asymmetrische volgorde-effecten..........................................................................................97Counterbalancing en het aantal behandelingen.....................................................................97

Within-subjectsdesigns en between-subjectsdesigns vergelijken.....................98Voordelen van within-subjectsdesigns........................................................................98Nadelen van een within-subjectsdesign.....................................................................99Kiezen tussen within- of between-subjects.................................................................99Matched-subjectsdesigns...........................................................................................99

Toepassingen en statistische analyse van within-subjectsdesigns.................100Twee-behandelingendesigns....................................................................................100Meerdere-behandelingendesigns..............................................................................101

Hoofdstuk 10: De niet-experimentele en quasi-experimentele strategieën.....................................................................................102

Niet-experimentele en quasi-experimentele onderzoeksstrategieën..............102Structuur van niet-experimentele en quasi-experimentele designs..........................102

Between-subjects niet-experimentele en quasi-experimentele designs: niet-equivalente groepsdesigns.............................................................................103

Bedreigingen van interne validiteit voor niet-equivalente groepsdesigns................103Niet-experimentele designs met niet-equivalente groepen......................................103

Het differentiële onderzoeksdesign.......................................................................................103Het posttest-only niet-equivalente controlegroepsdesign.....................................................104

Een quasi-experimenteel design met niet-equivalente groepen...............................104Het pretest-posttest niet-equivalente controlegroepsdesign................................................104

Within-subjects niet-experimentele en quasi-experimentele designs: pre-postdesigns.....................................................................................................105

Bedreigingen van interne validiteit voor pre-postdesigns.........................................105Een niet-experimenteel pre-postdesign....................................................................106

Het pretest-posttestdesign....................................................................................................106Een quasi-experimenteel pre-postdesign.................................................................106

Het time-series design..........................................................................................................106Single-case toepassingen van time-series designs...................................................107

Ontwikkelingsonderzoekdesigns.....................................................................107Het cross-sectioneel ontwikkelingsonderzoekdesign................................................107

Sterktes en zwaktes van het cross-sectioneel ontwikkelingsdesign.....................................108Het longitudinale ontwikkelingsonderzoeksdesign...................................................108

Sterktes en zwaktes van het longitudinaal ontwikkelingsdesign..........................................109Cross-sectionele longitudinale designs.................................................................................109

Toepassingen, statistische analyse en terminologie.......................................110Toepassingen en analyse.........................................................................................110

9

Het pretest-posttest niet-equivalente controlegroepsdesign................................................110Terminologie in niet-experimentele, quasi-experimentele en ontwikkelingsdesigns 110

Hoofdstuk 11: Factoriële designs.....................................................111Introductie van factoriële designs...................................................................111

Experimentele factoriële designs.............................................................................111Hoofdeffecten en interacties...........................................................................111

Hoofdeffecten...........................................................................................................112De interactie tussen factoren...................................................................................112Alternatieve opvattingen over de interactie tussen factoren....................................113Interacties identificeren............................................................................................114Interpreteren van hoofdeffecten en interacties........................................................114Onafhankelijkheid van hoofdeffecten en interacties.................................................115Types factoriële designs en analyse.........................................................................115Between-subjects en within-subjectsdesigns............................................................115

Mixed designs: within- en between-subjects.........................................................................116Experimentele en niet-experimentele of quasi-experimentele onderzoeksstrategieën.................................................................................................................................116

Gecombineerde strategieën: experimenteel EN quasi-experimenteel OF niet-experimenteel..............................................................................................................................................116

Pretest-posttest controlegroepsdesign.....................................................................117Hogere-orde factoriële designs.................................................................................117

Toepassingen van factoriële designs..............................................................118Een eerdere studie uitbreiden en repliceren.............................................................118Variantie verminderen in between-subjectsdesigns.................................................118Volgorde-effecten in within-subjectsdesigns evalueren............................................119

Volgorde van behandelingen als een tweede factor gebruiken............................................119

Hoofdstuk 12: De correlationele onderzoeksstrategie.......................120Een introductie in correlationeel onderzoek....................................................120

Correlationeel, experimenteel en differentieel onderzoek vergelijken......................120De data en statistische analyse voor correlationele studies...........................121

Relaties voor numerieke scores (interval- of ratioschalen) en rangen (ordinale schaal) evalueren.................................................................................................................121Relaties voor niet-numerieke scores van nominale schalen evalueren.....................122Een correlatie Interpreteren en statistisch evalueren...............................................123

De sterkte van een relatie.....................................................................................................123De significantie van een relatie.............................................................................................124

Toepassingen van de correlationele strategie.................................................124

10

Voorspelling..............................................................................................................124Betrouwbaarheid en validiteit...................................................................................125

Sterktes en zwaktes van de correlationele onderzoeksstrategie....................125Relaties met meer dan twee variabelen...................................................................126

Hoofdstuk 13: De beschrijvende onderzoeksstrategie.......................127Een introductie in het beschrijvend onderzoek...............................................127

Observationeel onderzoek..............................................................................127Gedragsobservatie...................................................................................................127

Observaties kwantificeren.....................................................................................................128Observaties samplen.............................................................................................................129

Inhoudsanalyse en archiefonderzoek.......................................................................129Observatietypes en voorbeelden..............................................................................130

Naturalistische observatie.....................................................................................................130Participantsobservatie...........................................................................................................130bedrieglijke observatie..........................................................................................................131

Sterktes en zwaktes van observationele onderzoekdesigns.....................................132Het survey onderzoeksdesign.........................................................................132

Type vragen.............................................................................................................133Open vragen.........................................................................................................................133Gesloten vragen....................................................................................................................133Schaalvragen........................................................................................................................134

Een survey opstellen................................................................................................135Relevante en representatieve individuen selecteren................................................136Een enquête uitvoeren.............................................................................................136

Internetsurveys.....................................................................................................................136Gemailde surveys..................................................................................................................137Telefoonsurveys....................................................................................................................138Persoonlijke surveys en interviews.......................................................................................138

Voor- en nadelen van surveyonderzoek...................................................................139Het casestudiedesign......................................................................................140

Toepassingen van het casestudiedesign..................................................................140Zeldzame fenomenen en ongewone klinische cases............................................................140Casestudies als tegenvoorbeelden........................................................................................140

Voor- en nadelen van het casestudiedesign.............................................................141Hoofdstuk 14: Single-subject onderzoeksdesigns..............................142

Introductie.......................................................................................................142De Resultaten van een single-subjectstudie evalueren............................................142

Fasen en faseveranderingen...........................................................................142

11

Level, trend en stabiliteit..........................................................................................143Omgaan met Onstabiele data...............................................................................................144Lengte van een fase..............................................................................................................144Fases veranderen..................................................................................................................144Beslissen Wanneer fases moeten veranderen......................................................................144

Visuele inspectietechnieken.....................................................................................145Het ABAB omkeringsdesign.............................................................................145

Beperkingen van het ABAB design...........................................................................146Praktische vragen.................................................................................................................146Ethische vragen....................................................................................................................146

Variaties van het ABAB design: complexere faseveranderingdesigns creëren.........146Multiple-baselinedesigns.................................................................................146

Rationale voor het multiple-baselinedesign..............................................................147Sterktes en zwaktes van het multiple-baselinedesign..............................................147

Andere single-subjectdesigns..........................................................................148Het dismantling, of componentanalyse, design........................................................148Het veranderende-criteriumdesign...........................................................................148Het alternerende-behandelingsdesign......................................................................148

Algemene sterktes en zwaktes van single-subjectsdesigns............................149Voordelen van SSD...................................................................................................149Nadelen van SSD......................................................................................................149

12

HOOFDSTUK 1: KENNIS VERZAMELEN EN DE WETENSCHAPPELIJKE METHODE (PG 1-34)

INTRODUCTIE IN DE METHODOLOGIE

WAAROM?Professionals in de behavioristische wetenschappen steunen op wetenschappelijke methoden om antwoorden te geven op vragen over menselijk gedrag.

Het evalueren van beweringen die vaak in de media voorkomen. Het vinden van de originele bron en de waarheid.

Een heldere procedure voor het verzamelen van informatie en het beantwoorden van vragen.

METHODEN OM TE WETEN EN HET VERZAMELEN VAN KENNIS

Methoden voor het verzamelen van kennis zijn manieren waarop een persoon zaken kan weten of antwoorden kan

ontdekken op vragen

DE METHODE VAN VOLHARDINGVasthouden aan ideeën en opvattingen omdat ze al een lange tijd als feiten worden gezien of om bijgeloof. De methode van volharding is gebaseerd op gewoonte of bijgeloof. Gewoontes leiden tot het blijven geloven van iets waar we altijd al in geloofd hebben = geloofsvolharding. In het algemeen geldt dat hoe meer we worden blootgesteld aan uitspraken, des te meer we de neiging hebben om ze te geloven.

Bij de methode van volharding is informatie geaccepteerd als de waarheid omdat men dit altijd al geloofd heeft of

omdat bijgeloof het altijd ondersteund heeft

De volharding van bijgeloof zorgt ervoor dat men overtuigingen ziet als feiten.

Problemen:

- De informatie die men verkrijgt is niet altijd accuraat. Niet alle overtuigingen of opvattingen blijken te kloppen.

- Er bestaat geen methode om foutieve ideeën te verbeteren. Het is heel moeilijk om overtuigingen te veranderen.

DE METHODE VAN INTUÏTIEInformatie is geaccepteerd als de waarheid omdat het ‘juist voelt. Men vertrouwt op gevoel en instinct om vragen te beantwoorden. Voor veel vragen is dit de snelste manier om antwoorden te bekomen. Een deel van intuïtie is waarschijnlijk gebaseerd op subtiele signalen die we opvangen van de mensen rondom ons.

Problemen:

- Er is geen mechanisme om juiste van onjuiste informatie te onderscheiden.

13

Bij de methode van intuïtie is informatie geaccepteerd op basis van een ingeving of een buikgevoel

DE METHODE VAN AUTORITEITMen vindt antwoorden door het zoeken van een autoriteit op basis van het onderwerp. Men kan een expert aanspreken of naar een bibliotheek of website gaan om het werk van een expert te lezen. Op eender welke manier, men vertrouwt op de veronderstelde expertise van een ander.

Bij de methode van autoriteit vertrouwt iemand op informatie of antwoorden van een expert in een bepaald

gebied/onderwerp

Voor veel vragen is dit een excellent startpunt, vaak is dit de snelste en makkelijkste manier om antwoorden te verkrijgen.

Problemen:

- Voorziet niet altijd correcte informatie, experten kunnen bijvoorbeeld vooringenomen zijn

- De antwoorden die men verkrijgt van een expert kunnen subjectief zijn, er is kans dat het een persoonlijke mening is in plaats van echte kennis.

- We gaan ervan uit dat expertise gegeneraliseerd kan worden naar de vragen die we stellen.

- Niet alle ‘experten’ zijn effectief experten.- Men accepteert vaak een uitspraak van een expert zonder deze in vraag te stellen

= methode van vertrouwen

De methode van vertrouwen is een variant van de methode van autoriteit waarbij men een onbetwistbaar geloof heeft in de autoritaire figuur en daarom informatie accepteert

van de autoriteit zonder twijfel of protest

Problemen:

- Er bestaat geen mechanisme om de juistheid van de informatie te testen. Men accepteert een ander zijn zicht op de waarheid zonder verificatie.

Manieren om meer vertrouwen te krijgen in de informatie die men verkregen heeft:

- De bron van de informatie evaluereno Is de autoriteit echt een expert?o Komt de informatie uit het gebied waarin de autoriteit gespecialiseerd is?o Is de informatie objectief of is het een subjectieve mening?

- De informatie evaluereno Lijkt de informatie redelijk?o Komt de nieuwe informatie overeen met de informatie die je al weet?

Wanneer je reden hebt om te twijfelen aan de info die je verkregen hebt van een autoriteit, dan kan je het best een tweede mening vragen. Als 2 onafhankelijke

14

autoriteiten hetzelfde antwoord geven, dan kan je meer vertrouwen hebben in het feit dat het antwoord correct is.

DE RATIONELE METHODE (RATIONALISME)Men zoekt antwoorden door logisch te redeneren. Men begint met een reeks gekende feiten of assumpties en gebruikt logica om een conclusie te bereiken of een antwoord te krijgen op een vraag.

Voorbeeld:

Alle 3-jarige kinderen zijn bang van het donker.

Amy is 3 jaar.

Daarom is Amy bang van het donker.

In dit argument zijn de eerste 2 zinnen voorafgaande stellingen. Dit zijn feiten of assumpties die, verondersteld worden, waar te zijn. De laatste zin is een logische conclusie gebaseerd op de voorafgaande stellingen. Als de voorafgaande stellingen correct zijn en de logica is degelijk, dan is de conclusie sowieso correct.

Dus, de antwoorden verkregen door de rationele methode moeten voldoen aan de standaarden gevestigd door de regels van de logica, voor ze als waarheid kunnen worden aangezien.

Problemen:

- Er is een kleine kans dat de conclusie niet correct is. In het voorbeeld van Amy zegt de eerste stelling dat álle 3-jarigen bang zijn van het donker, maar dit is niet altijd het geval. Het is ook mogelijk dat men verkeerde informatie kreeg, waardoor 1 van de voorafgaande stellingen niet klopt.

- Een logische conclusie is enkel correct voor de specifieke situatie beschreven in de voorafgaande stellingen. Als deze incompleet zijn of de situatie niet correct weergeven, dan is de conclusie waarschijnlijk niet juist.

- Men is in het algemeen niet goed in logisch redeneren.

De rationele methode of het rationalisme zoekt antwoorden door het gebruik van logisch redeneren

Bij logisch redeneren beschrijven voorafgaande stellingen feiten of assumpties die verondersteld worden waar te zijn

Een argument is een reeks van voorafgaande stellingen die logisch gecombineerd worden om een conclusie te bereiken

DE EMPIRISCHE METHODE (EMPIRISME)

15

Men probeert vragen te beantwoorden door middel van directe observatie of persoonlijke ervaringen. Deze methode is een product van het empirische standpunt in filosofie, wat inhoudt dat alle kennis wordt verwerft dankzij de zintuigen.

De empirische methode of het empirisme gebruikt observatie of directe zintuigelijke ervaringen om kennis op te

doen

Problemen:

- Het is verleidelijk om veel vertrouwen te hebben in je eigen observaties: ‘Ik geloof het als ik het met mijn eigen ogen heb gezien’. Maar, we mogen niet zomaar alles geloven wat we zien, horen of voelen (vb. optische illusies).

- Je percepties kunnen beïnvloed worden door voorafgaande kennis, verwachtingen, gevoelens of overtuigingen.

- Het is mogelijk om correcte observaties waar te nemen, maar dan foutief te interpreteren wat je gezien hebt.

- Vraagt veel tijd en is soms ‘gevaarlijk’. Het is soms niet mogelijk om alle mogelijke oplossingen te proberen. Sommige oplossingen zijn ook te gevaarlijk om uit te proberen.

SAMENVATTING

Methode Manier om een antwoord te zoeken

Volharding (tenacity) Gewoonte of bijgeloof

Intuïtie Gevoel of ingeving

Autoriteit Expert

Rationalisme Redeneren; logische conclusie

Empirisme Direct zintuiglijk waarnemen

DE WETENSCHAPPELIJKE METHODE

Benadering om kennis te verkrijgen door middel van specifieke vragen te formuleren en dan systematisch antwoorden te vinden.

STAPPENPLAN VAN DE WETENSCHAPPELIJKE METHODE

STAP 1: OBSERVEER GEDRAG OF ANDERE FENOMENENObserveer de wereld rondom je totdat bepaald gedrag of een situatie je aandacht grijpt. Het is ook mogelijk dat je aandacht is gegrepen door iemand anders zijn observaties (vb. een verslag van iemand zijn bevindingen of een gesprek dat je toevallig opvangt).

Op dit punt in het proces begint men vaak te generaliseren = inductie of inductief redeneren. Dit houdt in dat men een algemene conclusie bereikt gebaseerd op een paar specifieke voorbeelden.

16

Inductie of inductief redeneren houdt in dat men een relatief kleine reeks van specifieke observaties als de basis

gebruikt voor het vormen van een algemene stelling over een grotere reeks van mogelijke observaties

STAP 2: VORM EEN VOORLOPIG ANTWOORD OF VERKLARING (EEN HYPOTHESE)Deze stap begint meestal met het identificeren van andere factoren of variabelen die geassocieerd zijn met je observatie. Je kan variabelen identificeren door middel van het gebruik van je gezond verstand of achtergrondonderzoek in de bibliotheek of op het internet.

Variabelen zijn kenmerken of condities die veranderlijk zijn of verschillende waarden hebben voor verschillende

individuen

Op dit punt heb je een hypothese of een mogelijke verklaring voor je observatie. Merk op dat je hypothese niet noodzakelijk je finale antwoord hoeft te zijn. De hypothese is een voorlopig antwoord dat bedoeld is om te testen en kritisch te evalueren.

Een hypothese is een uitspraak dat een relatie tussen variabelen beschrijft of uitlegt. Een hypothese is geen finaal

antwoord maar eerder een voorstel dat getest en geëvalueerd moet worden

STAP 3: GEBRUIK JE HYPOTHESE OM EEN TOETSBARE VOORSPELLING TE ONTWIKKELENMeestal houdt deze stap in dat men een hypothese toepast op een specifieke, observeerbare, ‘real-world’ situatie. Een enkele hypothese kan leiden tot verschillende voorspellingen en elke voorspelling verwijst naar een specifieke situatie of gebeurtenis die geobserveerd en gemeet kan worden.

Deze keer is het logisch proces gekend als deductie of deductief redeneren. Men begint met een algemene (universele) uitspraak en maakt dan specifieke deducties. Men gebruikt de hypothese als een universeel voorafgaande stelling en bepaalt dan de conclusies of voorspellingen die logisch moeten volgen als de hypothese klopt.

Deductie of deductief redeneren gebruikt een algemene stelling als de basis voor het bereiken van een conclusie over

specifieke voorbeelden

Inductie en deductie zijn complementaire processen. Inductie gebruikt specifieke voorbeelden om algemene conclusies of hypotheses te ontwikkelen. Deductie gebruikt algemene conclusies om specifieke voorspellingen te bereiken.

De voorspellingen ontwikkelt vanuit een hypothese moeten toetsbaar zijn, het moet mogelijk zijn om aan te tonen dat de voorspelling ofwel correct ofwel incorrect is.

STAP 4: EVALUEER DE VOORSPELLING DOOR SYSTEMATISCHE, GEPLANDE OBSERVATIESNadat een specifieke, toetsbare voorspelling is gemaakt (rationele methode) is de volgende stap om de voorspelling te evalueren door directe observatie (empirische methode). Dit is de ‘onderzoek- ‘of ‘gegevensverzameling’ fase van de wetenschappelijke

17

methode. Het doel is om een eerlijke en onpartijdige test van de hypothese te voorzien door te observeren of de voorspelling correct is.

STAP 5: GEBRUIK DE OBSERVATIES OM DE ORIGINELE HYPOTHESE TE ONDERSTEUNEN, WEERLEGGEN OF VERFIJNENDe laatste stap van het proces is de observaties te vergelijken met de voorspellingen die gemaakt werden op basis van de hypothese.

De wetenschappelijke methode herhaalt dezelfde reeks van stappen steeds weer. Dit is dus geen lineair proces, maar eerder een circulair proces dat zich steeds weer herhaalt (zie figuur 1.4 op pg.21)

De wetenschappelijke methode is een methode voor het verkrijgen van kennis dat gebruikt maakt van observaties om

een hypothese te ontwikkelen. Deze hypothese wordt dan gebruik om logische voorspellingen te maken die empirisch

getest kunnen worden door extra, systematische observaties te maken. In het algemeen leiden de nieuwe observaties tot

een nieuwe hypothese, de cyclus herhaalt zich

ANDERE ELEMENTEN VAN DE WETENSCHAPPELIJKE METHODE

WETENSCHAP IS EMPIRISCHWanneer men zegt dat wetenschap empirisch is, bedoelt men dat antwoorden verkregen worden door het maken van observaties. Een antwoord kan ‘voor de hand liggend’ zijn, het kan perfect logisch zijn en experten in het veld kunnen dit antwoord volledig steunen, maar het wordt niet wetenschappelijk geaccepteerd totdat het empirisch aangetoond is.

De structuur van de observaties hangt af van de procedures en technieken die gebruikt worden in het onderzoek. Het doel van de observaties is een empirische test van een hypothese voorzien. Daarom zijn de observaties zo gestructureerd dat de resultaten ofwel duidelijk bewijs voor de hypothese voorzien ofwel duidelijk de hypothese verwerpen.

De observaties zijn systematisch in het feit dat ze uitgevoerd worden onder een gespecifieerde set van condities, zodat men accuraat de vraag kan beantwoorden.

Empirisme: gestructureerde/systematische observaties

WETENSCHAP IS PUBLIEKDe wetenschappelijke methode maakt observaties beschikbaar voor evaluaties door anderen, vooral andere wetenschappers. Andere individuen zouden hetzelfde stap-voor-stap proces moeten kunnen volgen zodat ze de observaties kunnen repliceren voor zichzelf. Replicatie of repetitie van observaties maakt verificatie van de bevindingen mogelijk.

De wetenschappelijke gemeenschap maakt observaties openbaar door ze te publiceren in wetenschappelijke tijdschriften of hun resultaten te presenteren tijdens conferenties en vergaderingen.

Er zijn verschillende manieren, door een fout of toeval, waarop een studie kan resulteren in een foutieve conclusie. Onderzoekers kunnen ook fraude plegen en met opzet resultaten vervalsen of verkeerd voorstellen.

18

Replicatie: onderzoek quasi identiek uitvoeren

WETENSCHAP IS OBJECTIEFDe observaties zijn zo gestructureerd zodat de vooringenomenheid en overtuigingen van de onderzoeker de resultaten niet beïnvloeden. De onderzoeker laat persoonlijke gevoelens de observaties niet ‘besmetten’.

Een manier om de beïnvloeding van de verwachtingen van de onderzoeker te reduceren is door de mensen die de observaties aan het maken zijn niet te informeren over de details van het onderzoek. In dit geval is de onderzoeker ‘blind’ voor de details van het onderzoek.

De bias en overtuiging van de onderzoeker zou de uitkomst van een studie niet mogen beïnvloeden

WETENSCHAP VS PSEUDOWETENSCHAPPseudowetenschap is een systeem van ideeën, vaak voorgesteld als wetenschap, maar er missen een paar belangrijke componenten die essentieel zijn voor wetenschappelijk onderzoek (vb. aromatherapie, astrologie…).

HET ONDERZOEKSPROCES

KWANTITATIEF EN KWALITATIEF ONDERZOEKDe term ‘kwantitatief’ verwijst naar het feit dat dit soort onderzoek variabelen onderzoekt die variëren in hoeveelheid (grootte, omvang, duur of aantal). De resultaten of data verkregen van deze metingen zijn vaak numerieke scores die kunnen samengevat, geanalyseerd en geïnterpreteerd worden door het gebruik van standaard statistische procedures.

19

Wetenschap

theorie moet beschrijven hoe hij weerlegt kan worden, negatieve

resultaten worden erkend en geaccepteerd

objectieve en onpartijdige evaluatie van al het beschikbaar bewijs

test en daagt eigen theoriëen uit, past de

theorieën aan wanneer nieuw bewijs opduikt

theorieën zijn gebaseerd op andere theorieën uit

het verleden die empirische ondersteuning

hebben

Pseudowetenschap

negatieve resultaten worden verwijderd uit het

onderzoek

subjectief bewijs, zoals getuigenissen en

anekdotes

negeren van niet-ondersteunend bewijs en kritiek is een persoonlijke

aanval

creeëren van nieuwe disciplines en technieken die niet verbonden zijn

aan gevestigde theorieën en empirisch bewijs

Het belangrijkste verschil tussen kwantitatief en kwalitatief onderzoek is het soort data dat ze opleveren. Het resultaat van kwalitatief onderzoek is vaak een verslag (een geschreven discussie over de observaties). Kwalitatief onderzoek houdt in dat men op een voorzichtige manier participanten zal observeren (vaak ook interactie met de participanten) en hierbij uitgebreid notities zal maken. De observaties en notities worden dan samengevat in een verslag dat probeert het fenomeen dat werd onderzocht te beschrijven en interpreteren.

Kwantitatief onderzoek is gebaseerd op het meten van variabelen voor individuele participanten om scores te

bekomen, meestal numerieke waarden, die ingediend worden bij statistische analyse voor een overzicht en interpretatie

Kwalitatief onderzoek is gebaseerd op observaties die samengevat en geïnterpreteerd worden in een verslag

DE STAPPEN IN HET ONDERZOEKSPROCES

20

1. Vind een onderzoeksidee: selecteer een onderwerp en

doorzoek de literatuur om een onbeantwoorde vraag te vinden

2. Vorm een hypothese

3. Bepaal hoe je je variabelen zal beschrijven en meten

4. Identificeer de participanten of deelnemers voor het

onderzoek, bepaal hoe ze geselecteerd zullen worden en plan hun ethische behandeling

5. Selecteer een onderzoeksstrategie

6. Selecteer een onderzoeksdesign

7. Voer het onderzoek uit

8. Evalueer de data

9. Rapporteer de resultaten

10. Verfijn of herformuleer je onderzoeksidee

STAP 1: VIND EEN ONDERZOEKSIDEE: SELECTEER EEN ONDERWERP EN DOORZOEK DE LITERATUUR OM EEN ONBEANTWOORDE VRAAG TE VINDEN

1) Selecteer een algemeen onderwerp2) Beoordeel de literatuur in dat gebied om de relevante variabelen te identificeren

en een onbeantwoorde vraag te vinden

STAP 2: VORM EEN HYPOTHESEAls je vraag gaat over relatie tussen variabelen, dan is de volgende taak om een hypothese of een toetsbaar antwoord te vormen. Wanneer je een antwoord aan het selecteren bent dat als hypothese kan dienen, moet je het antwoord kiezen dat het meeste kans heeft om correct te zijn.

STAP 3: BEPAAL HOE JE JE VARIABELEN ZAL BESCHRIJVEN EN METENDe variabelen geïdentificeerd in de onderzoekshypothese moeten omschrijven worden op een manier dat het mogelijk maakt om ze te meten door middel van een soort van empirische observatie. Deze beslissingen worden meestal gemaakt nadat vorig onderzoek beoordeeld werd en er bepaald werd hoe andere onderzoekers hun variabelen hebben bepaald en gemeet.

STAP 4: IDENTIFICEER DE PARTICIPANTEN OF DEELNEMERS VOOR HET ONDERZOEK, BEPAAL HOE ZE GESELECTEERD ZULLEN WORDEN EN PLAN HUN ETHISCHE BEHANDELINGOm een hypothese wetenschappelijk te evalueren, gebruiken we eerst de hypothese om een specifieke voorspelling te ontwikkelen die geobserveerd en geëvalueerd kan worden in een onderzoek. Een deel van het ontwikkelen van een onderzoek is beslissen welke soort individuen zullen deelnemen, hoeveel, wanneer en hoe je ze zal verwerven.

De individuen die deelnemen in onderzoeken heten participanten als ze mens zijn en deelnemers indien ze

niet-menselijk zijn

Op dit punt is het de verantwoordelijkheid van de onderzoeker om te zorgen voor de veiligheid en het welzijn van de participanten en hun te informeren over alle relevante aspecten van het onderzoek, zeker als er risico’s of gevaar aan verbonden zijn. Ethische overwegingen bestaan ook uit het bepalen van welke procedure je zal gebruiken om participanten te verwerven.

STAP 5: SELECTEER EEN ONDERZOEKSSTRATEGIEEen onderzoeksstrategie kiezen houdt in dat men de algemene benadering moet kiezen waarmee men de onderzoekshypothese zal evalueren. De keuze van een onderzoeksstrategie wordt meestal bepaald door 2 factoren:

1) Het type vraag dat gesteld wordt 2) Ethiek en andere beperkingen

STAP 6: SELECTEER EEN ONDERZOEKSDESIGN

21

Een onderzoeksdesign selecteren houdt in dat men beslissingen moet maken over de specifieke methoden en procedures die men zal gebruiken om het onderzoek uit te voeren.

STAP 7: VOER HET ONDERZOEK UITMen moet beslissen of de studie zal uitgevoerd worden in een labo of in het veld (in de echte wereld). Men moet al zijn eerdere beslissingen uitvoeren over het manipuleren, observeren, meten, controleren en registreren van de verschillende aspecten van het onderzoek.

STAP 8: EVALUEER DE DATAVan zodra de data is verzameld, moet men allerlei statistische methoden gebruiken om de data te bestuderen en te evalueren.

STAP 9: RAPPORTEER DE RESULTATENEen belangrijk aspect van de wetenschappelijke methode is dat observaties en resultaten openbaar moeten zijn. Dit gebeurt, gedeeltelijk, door een geschreven verslag dat beschrijft wat er is gebeurd, wat er gevonden is en hoe de resultaten geïnterpreteerd zijn. 2 redenen om onderzoeksresultaten te rapporteren zijn:

1) De resultaten worden deel van de algemene kennis die andere mensen kunnen gebruiken om vragen te beantwoorden of om nieuwe onderzoeksideeën te ontwikkelen

2) De onderzoeksprocedure kan gerepliceerd of weerlegd worden door andere onderzoekers

STAP 10: VERFIJN OF HERFORMULEER JE ONDERZOEKSIDEE1) Test de grenzen van het resultaat

Het doel is om te bepalen of je resultaten ook gelden in andere onderzoeksgebieden. Hoe algemeen zijn de resultaten van je onderzoek?

2) Verfijn de originele onderzoeksvraag

Als je resultaten een relatie tonen tussen de variabelen, dan is de volgende stap om te onderzoeken wat deze relatie veroorzaakt.

HOOFDSTUK 2: ONDERZOEKSIDEEËN EN HYPOTHESES (PG 37-61)

22

BEGINNEN

KIES EEN ONDERWERP WAARIN JE GEÏNTERESSEERD BENTEr zijn verschillende manieren om een interessegebied te bepalen:

Een bepaalde populatie of groep individuen Vb. katten, grootmoeders, éénoudergezinnen…

Een bepaald gedragVb. taalontwikkeling, eerlijkheid, overeten…

Een algemeen onderwerpVb. werkstress, kindermishandeling, verouderen, persoonlijkheid…

DOE JE HUISWERKLang voor de gegevensverzameling start zal je moeten voorbereiden. Eens je een onderzoeksonderwerp hebt geïdentificeerd is de volgende stap om achtergrondinformatie te verzamelen.

1) Je hoeft niet alles te weten over een onderwerp en je hoeft zeker niet alles te lezen over een onderwerp voor je je onderzoek begint. Je moet genoeg lezen om een stevige basiskennis te hebben over het onderwerp.

2) Je zal snel je onderzoeksonderwerp begrenzen van een algemeen gebied naar een zeer specifiek gebied.

HOUD EEN OPEN GEESTBeginnen met een specifiek, vooropgezet onderzoeksidee kan een fout zijn; je kan ontdekken dat je specifieke vraag al beantwoord is of je kan moeilijkheden hebben met het vinden van relevante informatie. Het beste is dus om flexibel te zijn en een open geest te behouden.

FOCUS, FOCUS, FOCUSZet irrelevante items opzij en focus op één vraag tegelijkertijd.

NEEM ÉÉN STAP PER KEERJe hoeft je onderzoek niet in één keer te volbrengen, neem één stap per keer.

BRONNEN VAN ONDERZOEKSIDEEËN

ALGEMENE BRONNEN VAN ONDERZOEKSONDERWERPEN

PERSOONLIJKE INTERESSES EN NIEUWSGIERIGHEDENEen onderzoek kan over alles gaan, dus kies een onderwerp waar je graag meer over zou leren.

TOEVALLIGE OBSERVATIEKijken naar het gedrag van mensen of dieren die je dagelijks tegenkomt, kan een goede bron zijn van ideeën. Toevallige observatie zal waarschijnlijk niet leiden tot een precieze

23

onderzoeksvraag, maar je kan zeker een algemeen onderwerp identificeren en je kan je eigen hypothesen of ideeën ontwikkelen over waarom mensen zich op een bepaalde manier gedragen.

VERSLAGEN VAN OBSERVATIES DOOR ANDERENOnderzoeksideeën komen niet enkel uit serieuze verslagen. Ook roddelcolumns, persoonlijke advertenties, strips, cartoons en reclame kunnen onderzoeksvragen stimuleren. Onthoud dat gepubliceerde informatie, vooral in niet-wetenschappelijke bronnen, niet noodzakelijk correct is en dat het niet altijd het hele verhaal vertelt.

PRAKTISCHE PROBLEMEN OF VRAGENOnderzoek dat is gericht naar het oplossen van praktische problemen wordt vaak toegepast onderzoek genoemd. Onderzoek dat is bedoeld om theoretische problemen op te lossen wordt basisonderzoek genoemd.

Toegepast onderzoek is bedoeld om praktische vragen te beantwoorden of praktische problemen op te lossen

Onderzoek dat bedoeld is om theoretische vragen te beantwoorden of om kennis te verkrijgen simpelweg om gewoon nieuwe kennis te hebben is basisonderzoek

BEHAVIORISTISCHE THEORIEËNZoek naar theorieën die verklaringen voor gedrag bieden of probeer uit te leggen waarom verschillende omgevingsfactoren kunnen leiden tot verschillend gedrag. Een goede theorie voorspelt meestal gedrag in nieuwe situaties. Kijk goed naar de verschillende variabelen die deel uit maken van de theorie (de factoren die het gedrag doen veranderen) en stel jezelf de vraag wat er zou kunnen gebeuren als één of meerdere variabelen gemanipuleerd of geïsoleerd worden. De voorspellingen testen die deel uitmaken van een theorie kan een goede bron van onderzoeksideeën zijn. Af en toe zal je 2 verschillenden theorieën tegenkomen die hetzelfde gedrag proberen te verklaren. Wanneer 2 tegengestelde theorieën verschillende voorspellingen maken, dan heb je een goede kans gevonden om onderzoek te doen.

ACHTERGRONDLITERATUUR VINDEN: EEN LITERATUURONDERZOEK UITVOEREN

Een literatuurstudie heeft 2 basisdoelen:

Een algemene familiariteit verkrijgen met het recente onderzoek in je specifieke interessegebied

Een kleine reeks onderzoeken vinden die als basis zullen dienen voor je eigen onderzoeksidee

PRIMAIRE EN SECUNDAIRE BRONNENIndividuele items in de literatuur kunnen opgedeeld worden in 2 brede categorieën: primaire en secundaire bronnen. Een primaire bron is een ‘uit-eerste-hand’ verslag waarin de auteurs hun eigen observaties beschrijven. Voorbeelden: empirische krantartikels/scripties/conferentiepresentaties…

24

Een secundaire bron is een ‘uit-tweede-hand’ verslag waarin de auteurs observaties van anderen bespreken. Voorbeelden: boeken waarin de auteur vorig onderzoek beschrijft en samenvat/recensies of meta-analyses/introductie van onderzoeksverslagen waarin vorig onderzoek is gepresenteerd als een basis voor het huidig onderzoek/krant- en magazineartikels die vorig onderzoek bespreken…

Een primaire bron is een ‘uit-eerste-hand’ verslag van observaties of onderzoeksresultaten geschreven door de individuen die het onderzoek en de observaties hebben

uitgevoerd

Een secundaire bron is een beschrijving of samenvatting van een ander persoon zijn werk. Een secundaire bron is

geschreven door iemand die niet deelnam aan het onderzoek of de observaties die besproken worden

Om complete en accurate informatie te verkrijgen is het essentieel om primaire bronnen te gebruiken.

HET DOEL VAN EEN LITERATUURSTUDIEElk onderzoek is een deel van een bestaande kennisbank, bouwend op de fundering van vorig onderzoek en die fundering uitbreidend voor toekomstig onderzoek.

Een literatuurstudie heeft 2 basisdoelen:

Een algemene familiariteit verkrijgen met het recente onderzoek in je specifieke interessegebied

Een kleine reeks onderzoeken vinden die als basis zullen dienen voor je eigen onderzoeksidee

Figuur 2.1: de boomstructuur benadrukt het idee dat huidig onderzoek (de puntjes van de takken) altijd gebaseerd is op vorig onderzoek.

Uiteindelijk is het doel van het ontwikkelen van een literatuurstudie een reeks van gepubliceerde verslagen te vinden die de huidige staat van kennis in een gebied definiëren en een onbeantwoorde vraag vinden, een gat in die kennisbasis, dat je onderzoek zal proberen te vullen. Uiteindelijk zal je je onderzoek voltooien en je eigen onderzoeksverslag schrijven.

Het onderzoeksverslag begint met een introductie dat vorig onderzoek samenvat (van je literatuurstudie) en geeft een logische verklaring voor je onderzoek. Het doel van je literatuurreview is de elementen geven die men nodig heeft voor een introductie tot je eigen onderzoek. Specifiek moet je een reeks van onderzoeksartikels vinden die je kan organiseren in een logisch argument dat je onderzoek ondersteunt en verklaart.

VOORBEREIDEN OP EEN LITERATUURONDERZOEKEen goede manier om te starten is met een recent gepubliceerde secundaire bron, zoals een handboek, in een inhoudsgebied relevant voor je idee. Gebruik de titels en ondertitels in de tekst om de focus te helpen leggen op een gedetailleerder onderzoeksgebied. Maak notities van de volgende zaken, elk item kan dienen als een goed startpunt wanneer je begint te zoeken naar primaire bronnen die relevant zijn voor op je onderwerpen:

25

‘Onderwerpwoorden’: maak een lijst van de correcte termen, of onderwerpwoorden, gebruikt om de variabelen in het onderzoek en de kenmerken van de participanten te identificeren en definiëren. Onderzoekers ontwikkelen vaak een specifieke reeks van termen om een onderwerpgebied te beschrijven en het is veel makkelijker om gerelateerde onderzoeksartikels te lokaliseren wanneer je de correcte termen gebruikt.

Auteursnamen: meestal is een kleine groep van individuele onderzoekers verantwoordelijk voor een groot deel van het werk dat is uitgevoerd in een specifiek gebied. Wanneer je herhaaldelijk dezelfde namen tegenkomt, maak dan een lijstje van deze individuen als de huidige onderzoeksleiders in dit gebied.

ONLINE DATABASES GEBRUIKENEen typische database bevat ongeveer 1 miljoen publicaties die allemaal verwijzen naar onderwerpwoorden en auteursnamen. Sommige databases zijn full-tekst, wat betekent dat elk document een complete, woord-voor-woord kopie is van de originele publicatie. Andere databases voorzien enkel een korte samenvatting van elke publicatie. Een overzicht (an abstract) is een korte samenvatting van de publicatie, meestal rond 200 woorden.

ARTIKELS SCREENEN TIJDENS EEN LITERATUURONDERZOEKEr zijn geen criteria om te besluiten welk artikel relevant is of moet weggegooid worden; je moet je eigen beslissingen nemen. Hier zijn wat suggesties die kunnen helpen het selectieproces efficiënter te maken:

1) Gebruik de titel van het artikel als je basis voor het screenen. Enkel gebaseerd op de titels kan je waarschijnlijk 90% van de artikels uitsluiten als niet relevant of interessant.

2) Gebruik het overzicht van het artikel als je tweede screeningsapparaat. Als de titel interessant klinkt, lees dan het overzicht om te bepalen of het artikel zelf relevant is.

3) Wanneer je nog steeds geïnteresseerd bent na het bekijken van de titel en het overzicht, zoek dan een link naar een full-tekst versie. Als je het artikel hebt, bekijk dan de introductie en de discussiesectie.

4) Als het nog steeds relevant lijkt, lees dan het artikel zorgvuldig en/of maak een kopie voor je eigen gebruik.

5) Gebruik de referenties van de artikels die je al gevonden hebt om je literatuuronderzoek uit te breiden.

EEN LITERATUURONDERZOEK EINDIGENTheoretisch gezien moet je een literatuuronderzoek voortzetten totdat je een punt bereikt hebt waarop je geen nieuwe item meer vindt. Realistisch gezien moet je zelf kiezen wanneer je je zoektocht moet stoppen. Er zijn geen minimum of maximum aantal artikels vastgelegd, voel zelf aan wanneer je genoeg informatie hebt verkregen.

EEN ONDERZOEKSIDEE VINDEN DOOR EEN GEPUBLICEERD ONDERZOEKSARTIKEL

26

VIND SUGGESTIES VOOR TOEKOMSTIG ONDERZOEKDe makkelijkste weg om nieuwe onderzoeksideeën te vinden is om ze te zoeken als expliciete uitspraken in de krantenartikels die je al hebt. De auteurs die hun onderzoeksresultaten rapporteren wijzen meestal de vragen aan die onbeantwoord blijven.

COMBINEER OF CONTRASTEER BESTAANDE RESULTATENSoms is het mogelijk om een nieuw onderzoeksidee te vinden door 2 (of meer) bestaande resultaten te combineren. Een andere mogelijkheid is dat 2 onderzoeksresultaten elkaar lijken tegen te spreken. In dit geval kan je zoeken naar factoren die de 2 studies onderscheiden en verantwoordelijk kunnen zijn voor de verschillende resultaten.

DE COMPONENTEN VAN EEN ONDERZOEKSARTIKEL – KRITISCH LEZENDe meeste ideeën voor nieuwe onderzoeken beginnen met het zorgvuldig lezen van vorige studies. Als eerste moet het je opvallen dat het gebruikelijk is voor een onderzoeksartikel om gerangschikt te zijn in standaard, duidelijke secties.

De introductie bespreekt vorig onderzoek dat de basis vormt voor het huidig onderzoek en presenteert een duidelijke verklaring over het onderwerp dat onderzocht wordt. De methodesectie bevat details over de participanten en de procedures die in de studie gebruikt worden. Wat volgt is de resultatensectie, die de details van de statistische analyse bevat. De discussiesectie begint meestal met de resultaten van het onderzoek samen te vatten, de conclusies te vermelden en mogelijke toepassingen te noteren.

Onderzoek is niet statisch. Het is constant aan het ontwikkelen en groeien door nieuwe studies die ontstaan uit vroegere resultaten. Nieuwe onderzoeksideeën komen meestal uit het herkennen van de richting waarin een onderzoeksgebied aan het bewegen is en ‘go with the flow.’

27

28

Sectie Inhoud Kritische evaluatievragen

Introductie

Literatuuroverzicht

Is het overzicht compleet en up-to-date?

Zijn relevante of gerelateerde onderwerpen niet omvat?

Hypothese of doel van studie

Is de hypothese duidelijk bepaald?

Is de hypothese direct gerelateerd tot het literatuuroverzicht?

Specifieke voorspelling van hypothese

Volgt het voorspelde resultaat logisch op de hypothese?

Kunnen er andere specifieke voorspellingen gemaakt worden?

Methode

Participanten

Als deelnemers uitgesloten werden (vb. enkel mannen), is dat

gerechtvaardigd? Zouden verschillende participanten

verschillende resultaten produceren?

Procedure

Zijn er alternatieven om de variabelen te bepalen en meten?

Zouden er alternatieve procedures gebruikt kunnen

worden?

Resultaten Statistieken (beschrijvend en afgeleide)

Zijn de geschikte statistieken gebruikt?

Wat is er precies geschikt en wat niet?

Zijn de effecten groot genoeg om betekenisvol te zijn?

Discussie

Resultaten gerelateerd aan de hypothese

Ondersteunen (of weerleggen) de variabelen de hypothese echt?

Gerechtvaardigde conclusies

Zijn de conclusies gerechtvaardigd door de

resultaten?

Alternatieve verklaringen Zijn alternatieve conclusies/verklaringen mogelijk?

Toepassingen Zouden andere variabelen het resultaat beïnvloeden?

Limieten op generalisatie Hebben de resultaten ‘real-world’ toepassingen?

Referenties Lijst van geciteerde items Is de referentielijst recent en compleet?

EEN ONDERZOEKSIDEE GEBRUIKEN OM EEN HYPOTHESE TE VORMEN EN EEN ONDERZOEK TE CREËREN

De volgende stap in het onderzoeksproces is om je onderzoeksidee te veranderen in een hypothese. In de meeste gevallen is er een relatie tussen twee variabelen en specifieert de hypothese de aard van deze relatie. Als het idee in uitgedrukt als een onderzoeksvraag, dan is de hypothese een toetsbare vraag op het antwoord.

Uiteindelijk zullen de resultaten van een empirisch onderzoek ofwel ondersteuning bieden voor de hypothese ofwel de hypothese weerleggen. Omdat de hypothese de specifieke variabelen identificeert en beschrijft, vormt deze de basis voor het onderzoek.

KENMERKEN VAN EEN GOEDE HYPOTHESE

LOGICAEen goede hypothese is meestal opgericht in gevestigde theorieën of ontwikkeld uit resultaten van vorig onderzoek. Specifiek moet een goede hypothese een logische conclusie van een logisch argument zijn.

Het logische argument voorziet een motivering of verantwoording voor je hypothese en stelt een connectie vast tussen je onderzoek en de onderzoeksresultaten die gevonden zijn door anderen.

TESTBAAREen goede hypothese moet testbaar zijn, het moet mogelijk zijn om alle variabelen te observeren en te meten. De hypothese moet echte situaties, gebeurtenissen en individuen bevatten. Je kan geen hypothese testen die verwijst naar denkbeeldige gebeurtenissen of hypothetische situaties.

VERWERPBAAR (FALSIFICATIE)Een kenmerk van een toetsbare hypothese is dat hij verwerpbaar moet zijn, het moet mogelijk zijn om onderzoeksresultaten te verkrijgen die tegenstrijdig zijn aan de hypothese. Een verwerpbare hypothese, ook een falsifieerbare hypothese genoemd, is een kritische component van het onderzoeksproces.

Een toetsbare hypothese is een hypothese waarvoor al de variabelen, gebeurtenissen en individuen bepaald en

geobserveerd kunnen worden

Een verwerpbare hypothese is een hypothese waarvan aangetoond kan worden dat hij fout is. Het is mogelijk dat de

resultaten anders blijken dan de voorspelling

POSITIEFEen laatste kenmerk van een toetsbare hypothese is dat het een positieve verklaring moet maken over het bestaan van iets, meestal het bestaan van een relatie, een verschil of een behandelingseffect.

De reden dat een toetsbare hypothese een positieve verklaring moet bevatten dat het bestaan bevestigt is gebaseerd op het wetenschappelijk proces dat wordt gebruikt om de voorspelling te testen. Specifiek is de fundamentele aard van wetenschap het aannemen dat iets niet bestaat totdat er genoeg bewijs is om aan te tonen dat het wel degelijk

29

bestaat. Als we falen in het vinden van een relatie in een onderzoek, dan kunnen we niet concluderen dat de relatie niet bestaat; we concluderen dat we gefaald hebben in het vinden van overtuigend bewijs.

Dus, het onderzoeksproces is gestructureerd voor het testen van het bestaan van behandelingseffecten, relaties en verschillen; het is niet gestructureerd voor het testen van een voorspelling dat het bestaan ontkent. Een hypothese dat het bestaan van een relatie ontkent kan niet getest worden in een onderzoek en is dus geen goede basis voor een studie.

EEN HYPOTHESE GEBRUIKEN OM EEN ONDERZOEK TE CREËRENDe volgende stappen in het onderzoeksproces zal de generale hypothese transformeren in een specifieke onderzoekstudie.

Er zijn veel verschillende manieren om een hypothese om te zetten in een specifiek onderzoek. De methode die je selecteert hangt af van een variëteit aan factoren, inclusief een reeks van individuen die je wil onderzoeken en de meettechnieken die beschikbaar zijn.

HOOFDSTUK 3: DEFINIEREN EN METEN VAN VARIABELEN (PG 63-96)

EEN INTRODUCTIE IN METINGEN

Variabelen zijn kenmerken of toestanden die veranderen of verschillende waarden hebben voor verschillende individuen. Meestal zijn onderzoekers geïnteresseerd in hoe variabelen getroffen zijn door verschillende condities of hoe variabelen verschillen van een groep individuen tot een andere.

Het meetproces kan ingewikkeld zijn; het bevat meestal het maken van een aantal beslissingen die serieuze gevolgen hebben voor het resultaat van een onderzoek. Twee aspecten van meten zijn belangrijk wanneer je een onderzoek plant of een onderzoeksverslag leest:

1) Vaak zijn de variabelen in een onderzoek abstracte entiteiten, zoals pijn of schuld, die niet direct geobserveerd of gemeten kunnen worden. Als resultaat kan het zijn dat er geen een-op-een relatie is tussen de variabelen die gemeten werden en de verkregen metingen (vb. kennis en prestatie)

30

2) Er zijn meestal meerdere opties om een variabele te meten. De opties die gekozen worden kunnen de metingen en de interpretatie beïnvloeden

CONSTRUCTIES EN OPERATIONELE DEFINITIES

THEORIEËN EN CONSTRUCTIESIn een poging om gedrag te verklaren en voorspellen, ontwikkelen wetenschappers en filosofen vaak theorieën die hypothetische mechanismen en ontastbare elementen bevatten. Hoewel deze mechanismen en elementen niet kunnen gezien worden en enkel veronderstelt worden te bestaan, accepteren we ze als echt omdat ze gedragingen lijken te beschrijven en verklaren die we zien.

In de gedragswetenschappen is een theorie een reeks van uitspraken over de mechanismen die aan de basis liggen van

een specifiek gedrag. Theorieën helpen om verschillende observaties van het gedrag en de relatie met andere

variabelen te organiseren en verenigen. Een goede theorie genereert voorspellingen over het gedrag

Constructies zijn hypothetische attributen of mechanismen die helpen om gedrag te verklaren en voorspellen in een

theorie

OPERATIONELE DEFINITIESHoewel een constructie zelf niet direct geobserveerd of gemeet kan worden, is het mogelijk om de externe factoren en de gedragingen die geassocieerd worden met de constructie te observeren en meten. Onderzoekers kunnen deze externe, observeerbare gebeurtenissen meten als een indirecte methode om de constructie zelf te meten.

Een operationele definitie is een procedure om indirect een variabele te meten en te definiëren die niet direct

geobserveerd of gemeten kan worden. Een operationele definitie specifieert een meetprocedure (een reeks van

verrichtingen) om een externe, observeerbare gedraging te meten en gebruikt de verkregen metingen als een definitie en

een meting van de hypothetische constructie

BEPERKINGEN VAN OPERATIONELE DEFINITIESHoewel operationele definities nodig zijn om een abstracte variabele om te zetten in een concrete entiteit die geobserveerd en onderzocht kan worden, moet je onthouden dat een operationele definitie niet hetzelfde is als de constructie zelf.

Als eerste is het makkelijk voor operationele definities om belangrijke componenten van een constructie achterwege te laten. Een manier om dit probleem te verkleinen is door twee of meer verschillende procedures te gebruiken om dezelfde variabele te meten.

Als tweede omvatten operationele definities vaak extra componenten die geen deel zijn van de constructie die gemeten wordt.

31

OPERATIONELE DEFINITIES GEBRUIKENTelkens als de variabelen in een onderzoek hypothetische constructies zijn, moet je operationele definities gebruiken om de variabelen te definiëren en te meten. De beste methode om te bepalen hoe een variabele gemeten moet worden, is door vorig onderzoek te raadplegen dat dezelfde variabele bevat. Wanneer je je eigen onderzoek plant, is het beste advies om de conventionele methode te gebruiken om je variabelen te definiëren en te meten. Op deze manier zijn je resultaten meteen vergeleken met de verkregen resultaten uit vorig onderzoek.

VALIDITEIT EN BETROUWBAARHEID VAN METINGEN

CONSISTENTIE VAN EEN RELATIEVaak zijn de validiteit en de betrouwbaarheid van metingen gevestigd door de consistentie van een relatie tussen twee verschillende metingen te bewijzen.

Figuur 3.1 (a) toont een voorbeeld van een consistente positieve relatie tussen twee metingen. De relatie is positief omdat de twee metingen beide veranderen in dezelfde richting. Mensen die hoog scoren op de eerste meting, scoren ook hoog op de tweede meting. Figuur 3.1 (b) toont een voorbeeld van een consistente negatieve relatie. Deze keer veranderen de twee metingen in de tegengestelde richting zodat de mensen die hoog scoren op één meting, laag scoren op de andere meting. Figuur 3.1 (c) toont twee metingen die niet consistent gerelateerd zijn (pagina 71).

VALIDITEIT VAN EEN METINGOm validiteit te vestigen, moet je bewijzen dat de meetprocedure meet wat het zou moeten meten.

De validiteit van een meetprocedure is de mate waarin de meetprocedure de variabele meet dat het zegt dat hij gaat

meten

INDRUKSVALIDITEITIndruksvaliditeit is de simpelste en minst wetenschappelijke definitie van validiteit. Lijkt de meettechniek de variabele te meten die hij zegt dat hij gaat meten? Indruksvaliditeit is gebaseerd op een subjectief oordeel en is moeilijk om te kwantificeren. Er zijn omstandigheden waar een hoog niveau van indruksvaliditeit voor problemen kan zorgen. Als het doel van de meting voor de hand liggend is, kunnen de participanten in een onderzoek exact zien wat er gemeten wordt en hun antwoorden aanpassen om een beter zelfbeeld te produceren.

Wikipedia: Indruksvaliditeit betekent niet veel meer dan dat men (de onderzoeker in het bijzonder) de indruk heeft dat een meting valide is. Deze validiteit vertrouwt op het vermogen van mensen om intuïtief aan te voelen of een test wel of niet meet wat hij moet meten. Op het eerste gezicht lijken de testresultaten dan valide te zijn. Door middel van wetenschappelijke controle zouden de resultaten echter ontkracht kunnen worden.

32

CONCURRENTE VALIDITEITVaak is de validiteit van een nieuwe meting gevestigd door te bewijzen dat de scores verkregen van een nieuwe meettechniek direct gerelateerd zijn aan de scores verkregen van een andere, beter gevestigde procedure dat dezelfde variabele meet. Concurrente validiteit vestigt consistentie tussen twee verschillende procedures om dezelfde variabele te meten. Omdat de ene procedure goed ontwikkeld is en geaccepteerd wordt als geldig, gaan we er van uit dat de tweede procedure ook geldig moet zijn.

Wikipedia: Concurrente validiteit beschouwt in hoeverre de resultaten correleren met gelijktijdig beschikbare criteriumgegevens.

PREDICITIEVE VALIDITEITDe meeste theorieën maken voorspellingen over de constructies die ze bevatten. Specifiek voorspellen theorieën hoe verschillende waarden van een constructie gedrag beïnvloeden (volgens de theorie).

Wikipedia: Predictieve validiteit heeft betrekking op de vraag in hoeverre een test kan voorspellen wat het volgens theorie moet kunnen voorspellen. Kun je naar aanleiding van een testscore voorspellen hoe de participant zich in de werkelijkheid gaat gedragen?

CONSTRUCTVALIDITEITAls we kunnen bewijzen dat de metingen van een variabele zich op exact dezelfde manier gedragen als de variabele zelf, dan hebben we de constructvaliditeit van de meetprocedure gevestigd. Constructvaliditeit is een ideaal of een doel dat zich gradueel ontwikkelt uit de resultaten van vele onderzoeken die de meetprocedure bekijken in een brede variëteit van situaties.

Wikipedia: Constructvaliditeit gaat over de vraag of de resultaten van een onderzoek wel werkelijk een indicatie zijn voor het begrip waarover je een uitspraak wilt doen. Resultaten van een onderzoek kunnen perfect aansluiten bij de theorie, maar er kan onvoldoende rekening zijn gehouden met andere variabelen die ook invloed hebben op het onderzochte begrip. Constructvaliditeit is verder te onderscheiden in convergente- en divergente validiteit.

CONVERGENTE EN DIVERGENTE VALIDITEITConvergente validiteit omvat het creëren van twee verschillende methoden die dezelfde constructie meten en dan tonen dat de twee meetprocedures sterk gerelateerde scores produceren. Het doel is om te bewijzen dat verschillende meetprocedures zich op dezelfde constructie convergeren of verenigen.

Divergente validiteit omvat het bewijzen dat we een specifieke constructie aan het meten zijn en dat we niet twee verschillende constructies combineren in hetzelfde meetproces. Het doel is om te differentiëren tussen twee conceptueel verschillende constructies door beide constructies te meten en dan aan te tonen dat er amper of geen relatie is tussen de twee metingen.

33

Wikipedia: Convergente validiteit beschouwt de samenhang tussen de resultaten van het oorspronkelijke onderzoek en de resultaten van een gelijksoortig onderzoek. Hoe hoger de correlatie, hoe meer valide de test. Er kan ook gekeken worden naar de samenhang tussen de resultaten van onderzoek en observeerbaar gedrag.

Wikipedia: Divergente validiteit beschouwt de samenhang tussen de resultaten van het oorspronkelijke onderzoek en de resultaten van een ander onderzoek. Hoe meer een correlatie rond het nulpunt ligt, hoe meer valide de test is.

Indruksvaliditeit is een onwetenschappelijke vorm van validiteit bewezen wanneer een meetprocedure oppervlakkig

lijkt te meten wat het beweert te meten

Concurrent validiteit is bewezen wanneer scores verkregen van een nieuwe meting direct gerelateerd zijn aan scores

verkregen van een gevestigde meting van dezelfde variabele

Predictieve validiteit is bewezen wanneer scores verkregen van meting accuraat gedrag voorspellen aan de hand van een

theorie

Constructvaliditeit vereist dat de scores verkregen van een meetprocedure zich exact hetzelfde gedraagt als de variabele zelf. Constructvaliditeit is gebaseerd op vele onderzoeken dat dezelfde meetprocedures gebruiken en gradueel groeien als

elke studie voor meer bewijs zorgt

Convergente validiteit is bewezen wanneer er een sterke relatie is tussen de scores verkregen van twee (of meer)

verschillende meetmethoden die dezelfde constructie meten

Divergente validiteit is bewezen wanneer er amper of geen relatie is tussen de metingen van twee verschillende

constructies

BETROUWBAARHEID VAN METINGENEen meetprocedure is betrouwbaar als hij (bijna) identieke resultaten produceert wanneer hij herhaaldelijk gebruikt wordt om hetzelfde individu te meten onder dezelfde omstandigheden.

De betrouwbaarheid van een meetprocedure is de stabiliteit of consistentie van de meting. Als dezelfde

individuen onder dezelfde omstandigheden gemeten worden, dan produceert een betrouwbare meting (bijna) identieke

metingen.

Het concept van betrouwbaarheid is gebaseerd op de veronderstelling dat de gemeten variabele stabiel of constant is.

34

De inconsistentie in een meting komt door een fout. Fouten kunnen van een verscheidenheid aan bronnen komen.

Observeerderfout: het individu dat de metingen uitvoert kan een simpele menselijke fout in het metingsproces invoeren

Veranderingen in de omgeving: vaak zijn er kleine veranderingen in de omgeving van de ene meting tot de andere en deze kleine veranderingen kunnen de metingen beïnvloeden

Participantveranderingen: zulke veranderingen kunnen de verkregen resultaten laten veranderen, wat dan lijkt op inconsistente of onbetrouwbare metingen

TYPES EN BETROUWBAARHEIDSMETINGEN Opeenvolgende metingen: Het betrouwbaarheidsgemiddelde verkregen door de

scores te vergelijken van twee opeenvolgende metingen wordt de test-hertest betrouwbaarheid genoemd. Een onderzoeker kan exact dezelfde meetprocedures voor dezelfde groep individuen gebruiken op twee verschillende tijdstippen. Of een onderzoeker kan aangepaste versies van het meetinstrument gebruiken om twee verschillende metingen te verkrijgen voor dezelfde groep participanten. Wanneer verschillende versies van het instrument gebruikt zijn voor de test en de hertest, dan wordt dit parallelle vormen van betrouwbaarheid genoemd

Gelijktijdige metingen: Wanneer metingen verkregen zijn door directe observaties van gedrag, is het gebruikelijk om twee of meer aparte observeerders te gebruiken die gelijktijdig metingen uitvoeren. Elk individu meet wat hij observeert en de mate waarin ze overeenstemmen, wordt de interbeoordelaarsbetrouwbaarheid genoemd

Interne consistentie: Een basisassumptie in dit proces is dat elk item (of elke groep van items) een deel van de totale constructie meet. Als dit waar is, dan moet er consistentie zijn tussen de scores voor verschillende items of verschillende groepen van items. Om de graad van consistentie te meten, delen de onderzoekers meestal de reeks van items in twee en berekenen een aparte score voor elke helft. De graad van overeenkomst wordt dan geëvalueerd, meestal met een correlatie. Dit algemene proces resulteert in een meting van halveringsbetrouwbaarheid

Test-hertest betrouwbaarheid wordt gevestigd door de scores verkregen van twee opeenvolgende metingen van

dezelfde individuen te vergelijken en een correlatie te berekenen tussen de twee sets van scores. Als er alternatieve

versies van het meetinstrument zijn gebruikt voor de twee metingen, dan wordt de betrouwbaarheidsmeting parallelle

vormen van betrouwbaarheid genoemd

Interbeoordelaarsbetrouwbaarheid is de mate waarin twee onderzoekers die gelijktijdig metingen uitvoeren van de

gedragingen overeenkomen

Halveringsbetrouwbaarheid wordt verkregen door de items op een vragenlijst of test te halveren, een aparte score voor elke helft te berekenen en dan de graad van consistentie

35

te berekenen tussen de twee scores voor een groep van participanten

DE RELATIE TUSSEN BETROUWBAARHEID EN VALIDITEITHoewel betrouwbaarheid en validiteit beide criteria zijn voor het evalueren van de kwaliteit van een meetprocedure, zijn deze twee factoren deels gerelateerd en deels onafhankelijk. Ze zijn gerelateerd aan elkaar in het feit dat betrouwbaarheid een voorwaarde is voor validiteit; een meetprocedure kan niet valide zijn, tenzij hij betrouwbaar is. Aan de andere kant is het niet nodig voor een meting om valide te zijn voor hij betrouwbaar is. Dus, de consistentie van metingen is geen garantie voor validiteit.

EEN METING KAN NIET VALIDE ZIJN, TENZIJ HIJ BETROUWBAAR IS, MAAR EEN METING KAN BETROUWBAAR ZIJN ZONDER VALIDE TE ZIJN.

In situaties waar er een gevestigde standaard is voor meeteenheden, is het mogelijk om de nauwkeurigheid van een meetproces te bepalen. De nauwkeurigheid van een meting is de mate waarin de meting overeenkomt met de gevestigde standaard. Soms produceert een meetprocedure resultaten die consistent fout zijn met een vaste hoeveelheid. Een meetproces kan valide en betrouwbaar zijn, zelfs als het niet accuraat is.

MEETSCHALEN

Het meetproces bevat twee componenten: een reeks van categorieën en een procedure om individuen toe te wijzen aan categorieën.

DE NOMINALE SCHAALDe categorieën die een nominale schaal vormen geven kwalitatieve (geen kwantitatieve) verschillen weer in de gemeten variabele. De categorieën hebben verschillende namen, maar zijn niet gerelateerd aan elkaar op een systematische manier. Metingen op een nominale schaal staan ons toe te bepalen of twee individuen verschillend zijn, maar ze staan geen kwantitatieve vergelijking toe.

Vb. classificeren op basis van: ras/geslacht/beroep/studierichting…

DE ORDINALE SCHAALDe categorieën die een ordinale schaal vormen hebben verschillende namen en zijn sequentieel georganiseerd. Vaak bestaat een ordinale schaal uit een reeks van rangen (eerste, tweede, derde…), zoals de volgorde van eindigen in een paardenrace. Soms zijn de categorieën geïdentificeerd door verbale labels zoals small, medium en large. Het feit dat de categorieën een geordende volgorde vormen, wil zeggen dat er een relatie is tussen categorieën. Met metingen van een ordinale schaal kunnen we bepalen of twee individuen verschillend zijn en kunnen we ook de richting van het verschil bepalen. Maar, ordinale metingen staan ons niet toe te bepalen wat de grootte van het verschil tussen de twee individuen is.

Vb. classificeren op basis van: socio-economische klasse/T-shirtmaten/leesniveau…

DE INTERVAL- EN RATIOSCHAAL

36

De categorieën in interval- en ratioschalen zijn sequentieel georganiseerd en alle categorieën hebben dezelfde grootte. Het feit dat de categorieën allemaal dezelfde grootte hebben, maakt het mogelijk om de afstand tussen twee punten op de schaal te bepalen.

Het kenmerk dat de interval- en ratioschaal van elkaar onderscheidt is het nulpunt. Het onderscheidende kenmerk van een intervalschaal is dat het een absoluut nulpunt heeft. Dit wil zeggen dat de waarde van 0 toegewezen wordt aan een specifieke locatie op de schaal, puur voor het gemak of als referentie. Specifiek wil een waarde van 0 niet zeggen dat de variabele die gemeten werd niet aanwezig is. De twee meest voorkomende voorbeelden van intervalschalen zijn de Fahrenheit en Celsius temperatuurschalen: een temperatuur van 0 graden wil niet zeggen dat er geen temperatuur is. Een ratioschaal wordt gekenmerkt door een nulpunt dat geen arbitraire locatie is. De waarde 0 op een ratioschaal is een betekenisvol punt dat een volledige afwezigheid van de variabele die gemeten werd representeert. Het bestaan van een absoluut, niet-arbitrair nulpunt wil zeggen dat we de absolute hoeveelheid van de variabele kunnen meten; we kunnen de afstand van 0 meten. Met een ratioschaal kunnen we de richting en grootte van het verschil tussen metingen meten en verschillen beschrijven in termen van ratio’s.

Vb. classificeren op basis van: tijd in seconden/temperatuur in graden Celsius/ centimeters op een liniaal…

OMGAAN MET DUBBELZINNIGE METINGENOmdat metingen van interval- of ratioschalen compatibel zijn met basisrekenkunde en ordinale metingen niet, zijn de verschillende meetschalen ook niet even compatibel met vele methoden van statistische analyse.

Gelukkig is het probleem met het onderscheiden van ordinale en intervalschalen opgelost. Eerst hebben onderzoekers scores van dubbelzinnige schalen, zoals IQ, steeds behandeld alsof ze van een intervalschaal waren. Door traditie of conventie werden deze scores opgeteld, gemiddeld genomen en vermenigvuldigd alsof het gewone numerieke waarden waren.

EEN MEETSCHAAL SELECTERENEen overduidelijke factor dat de vier types van meetschalen onderscheidt, is hun mogelijkheid om verschillende metingen te vergelijken. Een nominale schaal vertelt enkel dat er een verschil bestaat. Een ordinale schaal vertelt ons wat de richting is van het verschil (wat is meer en wat is minder). Met een intervalschaal kunnen we de richting en de grootte van een verschil zien. Metingen van een ratioschaal staan ons toe om de richting, grootte en de ratio van het verschil te bepalen. De mogelijkheid om metingen te vergelijken heeft een direct effect op de mogelijkheid om relaties tussen variabelen te beschrijven. Met een nominale schaal kunnen we bepalen of een verschil in een variabele samengaat met een verschil in de andere variabele, maar we kunnen de richting (toename of afname), en de grootte van de verandering niet bepalen. Een interval- of ratioschaal staat ons een meer gesofisticeerde beschrijving van een relatie toe. Zo zouden we kunnen dat een 1-punt toename in een variabele resulteert in een 4-punt afname in een andere variabele.

MODALITEITEN VAN METINGEN

37

Hoewel een constructie zoals motivatie of intelligentie hypothetisch is en niet direct geobserveerd kan worden, onthult de constructie zichzelf in een reeks van verschillende externe manifestaties die geobserveerd en gemeten kunnen worden. Een grote beslissing voor een onderzoeker is welke van deze externe manifestaties zorgt voor de beste indicatie van de onderliggende constructie. De vele verschillende externe uitingen van een constructie zijn traditioneel onderverdeeld in 3 categorieën die ook 3 verschillende types, of modaliteiten, van metingen definiëren. De 3 categorieën zijn zelf-rapportering, fysiologisch en gedragsmatig.

ZELFRAPPORTERENDE MAAT Het grootste voordeel van een zelfgerapporteerde maat is dat het waarschijnlijk de meeste directe manier is om een constructie vast te stellen. Elk individu zit in een unieke positie van zelfkennis en zelfbewustzijn; niemand weet meer over het individu, dan het individu zelf. Ook hebben een directe vraag en het antwoord meer schijnbare geldigheid dan het meten van een andere respons. Aan de andere kant is het heel makkelijk voor de participanten om zelfrapporterende metingen te verdraaien. Een participant kan opzettelijk liegen om een beter zelfbeeld te creëren of een respons kan subtiel beïnvloed zijn door de aanwezigheid van een onderzoeker, de bewoording van de vragen…

Een fenomeen dat geobserveerd werd door klinisch psychologen was het ‘hello-goodbye effect’. Patiënten hebben de neiging om hun symptomen te overdrijven aan het begin van de therapie en hun symptomen te minimaliseren aan het einde om de therapeut te behagen. Wanneer een participant zelfrapporterende responsen verdraait, ondermijnt dit de validiteit van de meting.

FYSIOLOGISCHE MAATEen tweede optie om constructies te meten is door te kijken naar de fysiologische manifestaties van de onderliggende constructie.

Een voordeel van fysiologische metingen is dat ze zeer objectief zijn. De uitrusting biedt accurate, betrouwbare en goed bepaalde metingen die niet afhankelijk zijn van een subjectieve interpretatie van de onderzoeker of de participant. Een nadeel van zulke metingen is dat ze meestal uitrusting vereisen dat duur of niet beschikbaar kan zijn. Ook kan de aanwezigheid van bewakingsapparatuur een onnatuurlijke situatie creëren dat ervoor kan zorgen dat de participanten anders reageren dan ze zouden reageren in normale omstandigheden. Een belangrijkere bezorgdheid over fysiologische metingen is of ze een valide meting van de constructie bieden.

Vb. bij het meten van de constructie ‘angst’ kan de hartslag gemeten worden

GEDRAGSMAATConstructies onthullen zich vaak in openlijke gedragingen die geobserveerd en gemeten kunnen worden.

Gedragsmaten bieden onderzoekers een groot aantal opties, wat het mogelijk maakt om de gedragingen te selecteren die het best lijken om de constructie te bepalen en meten. Een nadeel is dat het kan zijn dat een gedraging enkel een tijdelijke of situationele indicator is van een onderliggende constructie. Meestal is het beter om een bundel van gerelateerde gedragingen te meten dan te vertrouwen op een enkele indicator.

38

Vb. de constructie ‘mentale alertheid’ kan operationeel bepaald worden door gedragingen zoals reactietijd, begrijpend lezen, logisch redeneren…

ANDERE ASPECTEN VAN METINGEN

MEERDERE METINGENEen methode om een completere meting van een construct te verkrijgen, is door twee (of meer) verschillende procedures te gebruiken om dezelfde variabele te meten. Het voordeel van deze meerdere-metingen techniek is dat het meestal meer vertrouwen geeft over de validiteit van de metingen. Hoewel er statistische technieken bestaan om multivariate data te evalueren, zijn ze complex en niet goed begrepen door vele onderzoekers. Een serieuzer probleem is dat de twee metingen zich mogelijk niet op dezelfde manier gedragen. Het gebrek aan overeenstemming tussen twee metingen wordt desynchronisatie genoemd, en het kan de interpretatie van de resultaten in de war sturen. Desynchronisatie kan veroorzaakt worden door het feit dat een meting sensitiever is dan de andere, of het kan aanduiden dat verschillende dimensies van de variabele veranderen op verschillende tijdstippen tijdens de behandeling.

GEVOELIGHEID EN BEREIKEFFECTENEen onderzoeker begint een studie typisch met een verwachting over hoe de variabelen zich zullen gedragen, specifiek de richting en de grootte van de veranderingen die geobserveerd zullen worden. Een belangrijke bezorgdheid voor een meetprocedure is dat de metingen gevoelig genoeg zijn om te reageren op het type en grootte van de veranderingen die verwacht worden. Als we kleine, subtiele veranderingen verwachten in een variabele, dan moet de meetprocedure gevoelig genoeg zijn om de veranderingen te detecteren en de meetschaal moet genoeg verschillende categorieën hebben om discriminatie tussen individuen toe te staan.

Een specifiek gevoeligheidsprobleem treedt op wanneer de scores verkregen in een onderzoek de neiging hebben om zich te groeperen aan één kant van de meetschaal. In dat geval is de meetprocedure ongevoelig voor veranderingen die zich kunnen voordoen in een richting. Dit type gevoeligheidsprobleem wordt een bereikeffect genoemd. Wanneer het bereik beperkt is aan het hoge einde, heet dit een plafondeffect (de metingen botsen tegen het plafond en kunnen niet verder). Groeperen aan het lage einde van de schaal kan een vloereffect produceren.

In het algemeen suggereren bereikeffecten een basisonverenigbaarheid tussen de meetprocedure en de gemeten individuen. Vaak is de meting gebaseerd op een taak die te makkelijk is (en daardoor hoge scores produceert) en te moeilijk (en daardoor lage scores produceert) voor de participanten die getest worden. Dit is niet de fout van de meetprocedure van het feit dat de procedure gebruikt wordt met een specifieke groep van individuen.

Een plafondeffect is het groeperen van scores aan het hoge einde van een meetschaal, wat weinig of geen mogelijkheid

biedt om toe te nemen in waarde

Een vloereffect is het groeperen van scores aan het lage einde van een meetschaal, wat weinig of geen mogelijkheid

biedt om af te nemen in waarde

39

ARTEFACTEN: VOORINGENOMEN ONDERZOEKER EN REACTIVITEIT DEELNEMEREen artefact is een onnatuurlijk kenmerk dat per ongeluk geïntroduceerd wordt in iets dat geobserveerd wordt. In de context van een onderzoek is een artefact een externe factor dat de metingen kan beïnvloeden of vervormen. Een artefact kan de validiteit van de metingen bedreigen omdat je niet aan het meten bent wat je van plan was te meten en het kan een bedreiging zijn aan de betrouwbaarheid.

VOORINGENOMENHEID VAN DE ONDERZOEKERMeestal weet de onderzoeker de voorspelde uitkomst van een onderzoek en zit hij in een positie om de resultaten te beïnvloeden, intentioneel of niet. De onderzoeker kan de motivatie van de participanten manipuleren door warm of kil de uitleg te geven. Wanneer onderzoekers de resultaten op deze manier beïnvloeden, noemen we dit de vooringenomenheid van de onderzoeker (experimenter bias).

Vooringenomenheid van de onderzoeker komt voor wanneer de verkregen metingen in een studie beïnvloedt zijn door de verwachtingen of persoonlijke overtuigingen van de

onderzoeker over de uitkomst van de studie

Rosenthal en Fode identificeerde een reeks van manieren waarop een onderzoeker het gedrag van een participant kan beïnvloeden:

Door paralinguïstische signalen (variaties in stemtoon) die de participanten beïnvloeden om de verwachte of gewenste antwoorden te krijgen

Door kinesthetische signalen (lichaamshouding of gezichtsuitdrukking) Door verbale versterking van verwachte of gewenste antwoorden Door een verkeerde opvatting van de antwoorden in de richting van de verwachte

resultaten Door het niet accuraat opnemen van de antwoorden van de participant (fouten in

het opnemen van de gegevens) in de richting van de verwachte of gewenste resultaten

Het bestaan van de vooringenomenheid van de onderzoeker betekent dat de onderzoeker geen valide resultaten verkrijgt. De gedragingen of metingen zijn verstoord door de onderzoeker. Ook ondermijnt de vooringenomenheid van de onderzoeker de betrouwbaarheid, omdat de participanten heel andere scores kunnen produceren wanneer ze getest worden onder dezelfde omstandigheden met een andere onderzoeker.

Een optie om de vooringenomenheid van de onderzoeker te limiteren is door het standaardiseren of automatiseren van het experiment. Bijvoorbeeld, een onderzoeker zou een voorbereid script kunnen voorlezen om er zeker van te zijn dat alle participanten exact dezelfde informatie krijgen. Het doel is om het persoonlijk contact tussen de onderzoeker en de participant te limiteren. Een andere strategie om de vooringenomenheid te laten afnemen is door een ‘blind’ experiment te gebruiken. Als het onderzoek wordt uitgevoerd door een onderzoeker (assistent) die de verwachte resultaten niet kent, dan zou de onderzoeker de participanten niet kunnen beïnvloeden. Deze techniek wordt ‘enkelblind onderzoek’ genoemd. Een alternatief is om een studie op te starten waarbij noch de onderzoeker noch de participanten de verwachte resultaten kennen. Deze procedure heet ‘dubbelblind onderzoek’ en wordt vaak gebruikt in drugsonderzoek waarbij sommige participanten de echte drug krijgen en anderen krijgen

40

een placebo. Het dubbelblind onderzoek is zo gestructureerd dat noch de onderzoeker noch de participanten exact weten wie welke drug krijgt tot het einde van het onderzoek.

Als laatste moeten we zeggen dat er veel onderzoeken zijn waarbij de participanten de hypothese niet kennen. Vaak worden participanten met opzet misleid over het doel van de studie om de waarschijnlijkheid dat hun verwachtingen hun gedrag zullen beïnvloeden te verkleinen. In andere studies wordt de hypothese nooit gepresenteerd aan de participanten. In deze gevallen beschrijven we de participanten vaak als ‘blind’ voor de hypothese of gewoon ‘naïef’.

Een onderzoekstudie is enkelblind wanneer de onderzoeker de verwachte uitkomst niet kent

Een onderzoekstudie is dubbelblind wanneer zowel de onderzoeker als de participanten de verwachte uitkomst niet

kennen

VRAAGKENMERKEN EN REACTIVITEIT VAN DE PARTICIPANTParticipanten die op de hoogte zijn dat de geobserveerd en gemeten worden kunnen op onverwachte manieren reageren. Ook creëert de onderzoeksetting vaak een reeks van signalen of vraagkenmerken die aangeven welk soort gedrag geschikt is of verwacht wordt. De combinatie van vraagkenmerken en de reactiviteit van de participant kunnen het normale gedrag van participanten veranderen en daardoor de metingen die ze produceren beïnvloeden.

De term vraagkenmerken verwijst naar elk van de potentiële signalen of kenmerken van een studie die 1)

suggereren aan de participanten wat het doel en de hypothese is en 2) de participanten beïnvloeden om een

bepaald antwoord te geven of zich op een bepaalde manier te gedragen

Reactiviteit treedt op wanneer participanten hun natuurlijk gedrag aanpassen als reactie op het feit dat ze deelnemen aan een onderzoek of de kennis die ze hebben over het feit

dat ze gemeten worden

Orne beschrijft deelnemen aan een onderzoek als een sociale beleving waarin zowel de onderzoeker als de participant een rol moet vervullen. De onderzoeker heeft duidelijk de leiding en wordt verwacht instructies te geven. Van de participant wordt verwacht om deze instructies te volgen. De meeste participanten spannen zich in om een ‘goed subject’ te zijn en werken hard om goed werk te leveren voor de onderzoeker. Hoewel dit goed lijkt te zijn voor de studie van de onderzoeker, kan het 2 grote problemen creëren. Als eerste proberen participanten vaak het doel van de studie te achterhalen en passen dan hun antwoorden aan zodat deze passen in hun perceptie van de doelen van de onderzoeker. Als tweede kunnen participanten zo toegewijd zijn aan het goed presteren dat ze dingen doen in een onderzoek dat ze nooit in het echte leven zouden doen.

Hoewel het streven naar het zijn van een verantwoordelijk subject de meest voorkomende reactie is, kunnen participanten verschillende manieren aannemen om te reageren op experimentele signalen gebaseerd op wat zij een gepaste rol vinden in de situatie. Deze manieren om te reageren worden subjectrollen of subjectrolgedrag genoemd. Er zijn 4 verschillende subjectrollen geïdentificeerd:

41

1) De goede subjectrol. Deze participanten hebben de hypothese van de studie geïdentificeerd en proberen antwoorden te produceren die de hypothese van de onderzoeker ondersteunen. NIET: we weten niet of de resultaten van de studie zich uitbreiden naar individuen die deze rol niet hebben aangenomen

2) De negatieve subjectrol. Deze participanten hebben de hypothese van de studie geïdentificeerd en proberen zich tegengesteld te gedragen aan de hypothese van de onderzoeker.NIET

3) De bange subjectrol. Deze participanten zijn overbezorgd dat hun prestatie in de studie zal gebruikt worden om hun capaciteiten of persoonlijke kenmerken te evalueren. Ze proberen zichzelf in een gewenst licht te plaatsen door te reageren op een sociaal gewenste manier in plaats van eerlijk te zijn.NIET: ze verstrekken geen eerlijke reacties

4) De eerlijke subjectrol. Deze participanten proberen de instructies tot op de letter te volgen en vermijden te reageren op verdenkingen die ze hebben over het doel van de studie. Twee types van participanten nemen deze rol aan: diegene die de wetenschap willen helpen en weten dat ze hun verdenkingen niet mogen toestaan in hun reacties en diegene die apathisch zijn en niet te veel nadenken over de studie.WEL

Reactiviteit is vooral een probleem in studies die uitgevoerd worden in een laboratorium, waar participanten er volledig van bewust zijn dat ze participanten in een studie zijn. Hoewel het in wezen onmogelijk is om te voorkomen dat participanten de vraagkenmerken van een studie opmerken en hun gedrag aanpassen, zijn er stappen om de effecten van reactiviteit te verminderen. Vaak is het mogelijk om individuen te observeren en meten zonder dat ze zich ervan bewust zijn. Bijvoorbeeld, in een veldstudie worden participanten geobserveerd in hun natuurlijke omgeving en het is veel minder waarschijnlijk dat ze weten dat ze onderzocht worden; vandaar zijn ze minder reactief. Hoewel deze strategie vaak mogelijk is, zijn sommige variabelen moeilijk om direct te observeren (vb. attitudes) en in sommige situaties verhinderen ethische overwegingen onderzoekers ervan om in het geheim mensen te observeren. Een alternatieve strategie is om het meetproces te vermommen of te verbergen. Een andere optie is om te suggereren (subtiel of openlijk) dat de participant een bepaalde taak aan het uitvoeren is, terwijl we, in werkelijkheid, iets anders observeren en meten. In elk geval is een niveau van misleiding aanwezig, wat tot ethische vragen kan leiden. De meest directe strategie om reactiviteit te limiteren is door participanten ervan te verzekeren dat hun prestaties of antwoorden compleet vertrouwelijk en anoniem zijn en hen aan te moedigen om eerlijk en natuurlijk te antwoorden. Elke poging om participanten gerust te stellen en te ontspannen helpt om reactiviteit te verminderen.

Een laboratorium is een setting die duidelijk gewijd is aan de wetenschappelijke discipline. Het kan elke kamer of elke

ruimte zijn die de participant waarneemt als onnatuurlijk

Een veldsetting is een plaats dat de participant waarneemt als een natuurlijke omgeving

EEN MEETPROCEDURE SELECTERENHet beste punt om te starten om een meetprocedure te selecteren is door vorige onderzoeksverslagen die variabelen of constructies bevatten die onderzocht worden te

42

bekijken. De meest voorkomende procedures zijn geëvalueerd op hun betrouwbaarheid en validiteit. Het gebruiken van een gevestigde meting wil ook zeggen dat resultaten direct vergeleken kunnen worden met de vorige literatuur in het gebied.

Als er meer dan één procedure bestaat voor het bepalen en meten van een bepaalde variabele, bekijk dan de opties en bepaal welke methode het meet geschikt is voor de specifieke onderzoeksvraag. Ga na welke meting een geschikt niveau van gevoeligheid heeft voor het detecteren van de individuele verschillen en groepsverschillen die je verwacht te observeren. Beslis ook welke meetschaal geschikt is voor het soort conclusie dat je wil maken.

HOOFDSTUK 4: ETHIEK (PG 99-127)

INTRODUCTIE

ETHISCHE BEDENKINGEN DOORHEEN HET ONDERZOEKSPROCES

Onderzoekethiek bevat de verantwoordelijkheid van de onderzoekers om eerlijk en respectvol te zijn tegenover alle

individuen die betrokken zijn bij hun onderzoeken of hun verslagen van de onderzoeksresultaten. Onderzoekers zijn

meestal gebonden aan een aantal ethische richtlijnen die hen helpen om correcte beslissingen te nemen en correcte acties

uit te voeren. In psychologisch onderzoek, handhaaft de ‘American Psychological Association’ (APA) een reeks van

ethische principes voor onderzoek

Ethische principes zeggen:

1) Welke meettechnieken gebruikt kunnen worden voor bepaalde individuen en bepaald gedrag

2) Hoe onderzoekers individuen selecteren die deelnemen aan onderzoeken3) Welke onderzoeksstrategieën gebruikt kunnen worden voor bepaalde populaties

en gedragingen4) Welke onderzoeksdesigns gebruikt kunnen worden voor bepaalde populaties en

gedragingen5) Hoe studies uitgevoerd kunnen worden met individuen6) Hoe data wordt geanalyseerd7) Hoe resultaten worden gerapporteerd

DE BASISCATEGORIEËN VAN ETHISCHE VERANTWOORDELIJKHEID1) Verantwoordelijkheid aan de individuen die deelnemen aan de onderzoeken, zowel

menselijk als niet-menselijk, om hun welzijn en waardigheid te verzekeren2) Verantwoordelijkheid om te verzekeren dat openbare verslagen van hun

onderzoek accuraat en eerlijk zijn

ETHISCHE KWESTIES EN MENSELIJKE PARTICIPANTEN IN ONDERZOEK

HISTORISCHE HOOGTEPUNTEN IN DE BEHANDELING VAN MENSELIJKE PARTICIPANTEN

43

Tot het einde van WOII werd verondersteld dat onderzoekers, gebonden aan hun moraal kompas, hun participanten tegen schade zouden beschermen. Na de ontdekking van vreselijke experimenten in concentratiekampen werden er ethische richtlijnen opgesteld. Uit deze processen kwam de ‘Code van Neurenberg’, een reeks van 10 richtlijnen voor de ethische behandeling van menselijke participanten in onderzoek (tabel 4.1 op pg104).

Het Belmontrapport vat de fundamentele ethische principes samen die geïdentificeerd zijn door de Nationale Commissie. Het Belmontrapport identificeert 3 basisbeginselen:

1) Het beginsel van respect voor personen vereist dat individuen moeten toestemmen om deel te nemen aan een studie, diegene die geen toestemming kunnen geven, zoals kinderen, mensen met een handicap en gevangenen, moeten beschermd worden

2) Het beginsel van weldadigheid vereist dat de onderzoeker de participanten geen schade berokkent, de risico’s niet minimaliseert en de mogelijke voordelen niet maximaliseert

3) Het beginsel van gerechtigheid vereist eerlijkheid in de selectieprocedures voor participanten

RICHTLIJNEN VAN DE ‘AMERICAN PSYCHOLOGICAL ASSOCIATION’ Ethische richtlijnen voor het gebruik en de behandeling van menselijke participanten in onderzoek

De ‘APA Ethische Code’ bevat 10 ethische standaarden waar je bekend mee zou moeten zijn voor je aan onderzoek met menselijke participanten begint (zie tabel 4.2 op pg107).

GROTE ETHISCHE PROBLEMEN Geen schade

De onderzoeker is verplicht om participanten te beschermen tegen fysieke of psychologische schade. De hele onderzoekservaring moet geëvalueerd worden om risico’s op schade te identificeren en wanneer het mogelijk is, moeten deze risico’s geminimaliseerd of verwijderd worden uit het onderzoek. Elke kans op schade moet gerechtvaardigd worden. De rechtvaardiging kan zijn dat de wetenschappelijke voordelen van de studie veel groter zijn dan de kleine, tijdelijke schade die kan voorkomen. Of het kan zijn dat een grotere schade zal optreden tenzij een kleiner risico wordt toegelaten tijdens het onderzoek. In elk geval moeten participanten geïnformeerd worden over de mogelijke risico’s die er zijn en de onderzoeker moet stappen ondernemen om de schade die kan optreden te minimaliseren.

In het algemeen betekent het principe van geen schade dat een onderzoeker verplicht is om te anticiperen op en alle schadelijke elementen in een onderzoek te verwijderen. Tijdens een studie moet een onderzoeker het welzijn van de participanten opvolgen en de studie stopzetten bij elk signaal dat op problemen kan wijzen.

Geïnformeerde toestemming

44

Het algemene concept van toestemming is dat participanten complete informatie moeten krijgen over het onderzoek en over hun rollen hierin voor ze toestemmen om deel te nemen. Ze moeten de informatie begrijpen en dan vrijwillig beslissen of ze meedoen. Dit ideaal is vaak moeilijk te bereiken. We beschouwen 3 componenten van toestemming en bekijken de problemen die kunnen bestaan.

1) Informatie:

Vaak is het moeilijk of onmogelijk om participanten complete informatie over hun deelname te geven. Een vaak voorkomende toepassing is om participanten ‘blind’ te houden voor het doel van de studie.

2) Begrijpen:

Participanten vertellen over het onderzoek wil niet noodzakelijk zeggen dat ze geïnformeerd zijn. In deze situaties is het gebruikelijk om zowel de participant de nodige informatie te geven als de ouders of de voogd die ook de deelname moeten goedkeuren. Onderzoekers moeten hun verklaringen uiten in termen dat de participanten makkelijk kunnen begrijpen en moeten de participanten de kans geven om vragen te stellen.

3) Vrijwillige participatie:

Het doel van geïnformeerde toestemming is dat participanten vrijwillig moeten beslissen om deel te nemen. Soms kunnen participanten zich gedwongen voelen om deel te nemen of de indruk krijgen dat ze een gelimiteerde keuze hebben.

Het beginsel van informed consent vereist van de onderzoeker dat hij alle beschikbare informatie over een

studie geeft zodat een individu een rationele, geïnformeerde beslissing kan maken om deel te nemen aan het onderzoek

Een toestemmingsformulier bevat een verslag van alle elementen van geïnformeerde toestemming en een regel voor de handtekening van de participant en/of de voogd. Het formulier wordt gegeven voor de studie zodat de potentiële participanten alle informatie hebben die ze nodig hebben om een geïnformeerde beslissing te maken (zie tabel 4.3 op pg111).

Misleiding

Vaak is het doel van een studie om gedrag te onderzoeken onder ‘normale’ omstandigheden. Om dit doel te bereiken moeten onderzoekers soms misleiding gebruiken. Een techniek die men kan gebruiken is passieve misleiding, of weglating, en gewoon informatie weglaten over de studie. Een andere mogelijkheid is actieve misleiding gebruiken, of commissie, en met opzet foutieve of misleidende informatie presenteren. Passieve misleiding is geheimen houden en actieve misleiding is leugens vertellen. Actieve misleiding kan vele vormen aannemen. Een onderzoeker kan een expliciete leugen vertellen over een studie, kan foute informatie geven over stimuli, kan valse feedback geven over een prestatie van de participant of kan medeplichtigen gebruiken om een valse omgeving te creëren.

45

Misleiding treedt op wanneer een onderzoeker bewust informatie achterhoudt of de participanten misleidt in

verband met de informatie over de studie. Er zijn 2 vormen van misleiding: passief en actief

Passieve misleiding (of weglating) is het achterhouden of weglaten van informatie; de onderzoeker vertelt bewust niet

alle informatie aan de participanten

Actieve misleiding is het presenteren van foutieve informatie over de studie aan de participanten. De meest

voorkomende vorm van actieve misleiding is het misleiden van participanten over het specifieke doel van de studie

In een studie waarbij gebruikt wordt gemaakt van misleiding is het beginsel van geïnformeerde toestemming aangetast, omdat participanten geen complete en accurate informatie krijgen. In deze situaties heeft de onderzoeker een speciale verantwoordelijkheid om de participanten te beschermen. De APA-richtlijnen identificeren 3 specifieke verantwoordelijkheidsgebieden:

1) De misleiding moet gerechtvaardigd worden in termen van een significant voordeel dat opweegt tegen het risico voor de participanten

2) De onderzoeker kan geen informatie verbergen over het onderzoek dat fysieke pijn of ernstige emotionele angst kan veroorzaken

3) De onderzoeker moet de participanten debriefen door een complete verklaring te geven nadat de deelname compleet is

Het eerste punt, rechtvaardiging van de misleiding, houdt in dat men de voordelen van de studie opweegt tegen de rechten van de individuele participanten. Meestal ligt de uiteindelijke beslissing niet helemaal in de handen van de onderzoeker, maar wordt beoordeeld en goedgekeurd door een groep individuen die de verantwoordelijkheid hebben om het ethische gedrag te verzekeren in al het menselijk onderzoek (vb. de IRB). Deze beoordelingsgroep kan ook alternatieve procedures voorstellen die geen misleiding nodig hebben en de onderzoeker moet deze suggesties overwegen en beantwoorden.

Het tweede punt is dat onderzoekers zeker geen misleiding mogen gebruiken om informatie achter te houden over risico’s of mogelijke schade.

Het laatste punt is dat bedrogen participanten een nabespreking moeten krijgen dat een volledige beschrijving van het echt doel van de studie bevat, inclusief het gebruik en het doel van de misleiding. De nabespreking heeft vele doeleinden, inclusief:

Uitdrukken over wat de studie echt ging als er misleiding is gebruikt Het tegenwerken of minimaliseren van elk negatief effect van de studie De educatieve doelstelling van het onderzoek uitdrukken De aard en rechtvaardiging van elke misleiding verklaren Elke vraag beantwoorden die de participant heeft

Een nabespreking is een post-experimentele verklaring van het doel van een studie dat gegeven wordt aan een

participant, zeker als er misleiding gebruikt was

46

In het algemeen is de intentie van een nabespreking om de schadelijke effecten tegen te werken of te minimaliseren. Sommige zaken die de effectiviteit van een nabespreking lijken te beïnvloeden zijn:

De vermoedens van de participant (hoe waarschijnlijk het is dat ze denken dat de nabespreking slechts een vervolg is van de misleiding)

De aard van de bespreking (passief of actief; nabespreken is minder effectief met actieve misleiding)

De oprechtheid van de experimentleider (het laatste wat een participant nodig heeft is een minzame experimentleider)

Het tijdsinterval tussen het einde van de studie en de bezorging van de nabespreking (hoe eerder, hoe beter)

Vertrouwelijkheid

De essentie van onderzoek in de gedragswetenschappen is het verzamelen van informatie door onderzoekers van de individuen die deelnemen in hun studies. Ook al kan de specifieke informatie enorm variëren van de ene studie tot de andere, de verschillende types van informatie kunnen als volgt opgedeeld worden:

Houdingen en opinies (vb. politiek en vooroordelen) Prestatiemetingen (vb. handigheid, reactietijd en geheugen) Demografische kenmerken (vb. leeftijd, inkomen en seksuele oriëntatie)

Elk van deze items kan als privé en persoonlijk gezien worden door sommige mensen en het is redelijk dat sommige participanten liever niet hebben dat deze informatie openbaar gemaakt wordt. Daarom vereisen de APA-richtlijnen dat onderzoekers de vertrouwelijkheid van de participanten verzekeren. Vertrouwelijkheid verzekert dat de informatie verkregen van een participant geheim en privé wordt gehouden. De handhaving van vertrouwelijkheid baat zowel de participant als de onderzoeker. Als eerste worden participanten beschermt tegen verlegenheid of emotionele stress dat zou kunnen resulteren van publieke blootstelling. Ook is het waarschijnlijker dat onderzoekers gewillige en eerlijke participanten verkrijgen. De meeste individuen vragen een vertrouwelijkheidsverzekering voor ze persoonlijke en private informatie willen onthullen.

Hoewel er verschillende technieken zijn om vertrouwelijkheid te behouden, het basisproces houdt het verzekeren van de anonimiteit van de notities van de participanten in. Anonimiteit betekent dat de informatie en de metingen verkregen van elke participant niet verwezen worden aan de naam van de participant, niet tijdens het onderzoek of in het geschreven verslag van de onderzoeksresultaten.

Vertrouwelijkheid is het gebruik dat de informatie of de metingen verkregen van een individu tijdens een onderzoek

geheim en privé worden gehouden

Anonimiteit is het gebruik dat de naam van een individu niet direct geassocieerd wordt met de informatie of de metingen

die verkregen werden van dat individu

Om de vertrouwelijkheid van de data te verzekeren, wordt meestal een van de volgende twee strategieën gebruikt:

47

1) Namen of andere identificaties verschijnen niet in dataverslagen. Deze strategie wordt gebruikt in situaties waar het niet nodig is om een individuele participant te linken aan de specifieke informatie die gegeven wordt.

2) Onderzoekers gebruiken een codeersysteem waarmee ze bijhouden welke namen van participanten gaan met welke datasets. Deze strategie wordt gebruikt in situaties waar het nodig is om specifieke namen te linken aan specifieke data op verschillende tijdstippen tijdens een onderzoek.

INSTITUTIONAL REVIEW BOARD (IRB)Hoewel de uiteindelijke verantwoordelijkheid voor het beschermen van menselijke participanten in de handen van de onderzoeker ligt, moet het meeste onderzoek beoordeeld en goedgekeurd worden door een groep individuen die niet direct verwant zijn met het specifieke onderzoek.

Elk instituut of agentschap moet een bestuur oprichten, een Institutional Review Board (IRB), dat is samengesteld uit zowel wetenschappers als niet-wetenschappers. Het IRB onderzoekt al het voorgesteld onderzoek met menselijke participanten met respect voor 7 basiscriteria. Als het IRB vindt dat een voorgesteld onderzoek niet voldoet aan een van de criteria, dan is het onderzoeksproject niet goedgekeurd. Wat volgt is een lijst en korte discussie van de 7 basiscriteria van het IRB.

MINIMALISEREN VAN DE RISICO’S VOOR PARTICIPANTENHet doel van dit criterium is verzekeren dat onderzoeksprocedures niet onnodig participanten blootstellen aan risico’s. Naast het evalueren van de risicograad in een voorgesteld onderzoek, beoordeelt het IRB het onderzoek om te verzekeren dat elke voorzorgsmaatregel genomen is om risico’s te minimaliseren. Dit kan inhouden dat de onderzoeker elk component van het onderzoeksplan dat risico’s inhoudt, moet rechtvaardigen en het IRB mag alternatieve procedures voorstellen of eisen.

GEMATIGDE RISICO’S IN RELATIE TOT VOORDELEN Het IRB is verantwoordelijk voor zowel het evalueren van de potentiële risico’s voor participanten als de voordelen die resulteren uit het onderzoek. De voordelen bevatten zowel onmiddellijke voordelen voor de participanten als algemene voordelen zoals geavanceerde kennis.

ONPARTIJDIGE SELECTIE Het doel van dit criterium is verzekeren dat het participantselectieproces niet discrimineert tussen individuen in de populatie en kwetsbare individuen niet uitbuit.

GEÏNFORMEERDE TOESTEMMINGHet idee van geïnformeerde toestemming is een van de basiselementen van alle ethische codes en is een primaire bezorgdheid voor het IRB.

DOCUMENTATIE VAN DE GEÏNFORMEERDE TOESTEMMINGHet IRB beslist of het nodig is om een geschreven toestemmingsformulier te hebben getekend door de participant en de onderzoeker.

GEGEVENSCONTROLE48

Tijdens het verloop van het onderzoek moet de onderzoeker een voorziening maken om de gegevens te controleren om te beslissen of er onvoorziene risico’s of oorzaken van schade zijn ontwikkeld.

PRIVACY EN VERTROUWELIJKHEIDDit criterium is bedoeld om participanten te beschermen tegen het risico dat informatie verkregen tijdens het onderzoek zou kunnen vrijgegeven worden aan externe individuen (ouders, leerkrachten, werkgevers…) waar het gênante of persoonlijke schadelijke gevolgen kan hebben.

Onderzoeksvoorstellen worden geclassificeerd in drie categorieën die bepalen hoe elk voorstel beoordeeld zal worden. Een voorstel past in Categorie I (Vrijgestelde Beoordeling) als het onderzoek geen mogelijk risico presenteert voor volwassen participanten. Een voorstel past in Categorie II (Versnelde Beoordeling) als het onderzoeker niet meer dan een minimaal risico presenteert voor participanten en bevat meestal onderzoek over individueel- of groepsgedrag van normale volwassenen wanneer er geen psychologische interventie of misleiding is. Categorie III (Volledige Beoordeling) wordt gebruikt voor onderzoeksvoorstellen die bedenkelijke elementen bevatten, zoals speciale populaties, ongebruikelijk materiaal of procedures, misleiding, interventie of invasieve metingen.

Het Institutional Review Board (IRB) is een bestuur dat al het voorgesteld onderzoek nakijkt met respect voor de

behandeling van menselijke participanten. IRB-goedkeuring moet verkregen worden voor onderzoek uitgevoerd wordt met

menselijke participanten.

ETHISCHE KWESTIES EN NIET-MENSELIJKE PROEFPERSONEN IN ONDERZOEK

Onderzoekers die niet-mensen gebruiken als proefpersonen doen dit voor verschillende redenen, zoals:

Dieren begrijpen om hun eigen bestwil Mensen begrijpen (veel processen kunnen gegeneraliseerd worden van niet-

mensen naar mensen) Onderzoek uitvoeren dat niet kan uitgevoerd worden met menselijke participanten

HISTORISCHE HOOGTEPUNTEN IN DE BEHANDELING VAN NIET-MENSELIJKE PROEFPERSONENDe federale overheid regelt het gebruik van niet-menselijke proefpersonen in onderzoek. Het vereist van onderzoekers dat ze de richtlijnen van

Het lokale IACUC (vergelijkbaar met het IRB) De US-landbouwafdeling Staatsagentschappen De academische discipline (vb. APA-richtlijnen in psychologie)

volgen.

AMERICAN PSYCHOLOGICAL ASSOCIATION’S RICHTLIJNEN (APA)

49

ETHISCHE RICHTLIJNEN VOOR HET GEBRUIK EN DE BEHANDELING VAN NIET-MENSELIJKE PROEFPERSONEN IN ONDERZOEKZie tabel 4.4 op pg121

GROTE ETHISCHE KWESTIESEnkel geschikte individuen moeten onderzoek uitvoeren, het onderzoek moet gerechtvaardigd zijn en de onderzoeker moet verantwoordelijk zijn om ongemak of schade te minimaliseren. Omdat de meeste proefdieren gehuisvest zijn in een laboratorium voor en na hun onderzoekservaring, strekt de code zich uit tot algemene zorg en onderhoud van dierlijke participanten.

THE INSTITUTIONAL ANIMAL CARE AND USE COMMITTEE (IACUC)Instituten die onderzoek uitvoeren met dieren hebben een controlebord voor dierenonderzoek, het Institutional Animal Care and Use Committee (IACUC). Het doel van het bestuur is dierlijke participanten beschermen door te verzekeren dat al het onderzoek de criteria nakomt opgericht door de ethische code. Het bestuur moet bestaan uit een dierenarts, minstens één wetenschapper ervaren in onderzoek met dieren en één lid van het publiek dat geen link heeft met het instituut waar het onderzoek wordt uitgevoerd.

Het Institutional Animal Care and Use Committee (IACUC) is een bestuur dat al het voorgesteld onderzoek

nakijkt met respect voor de behandeling van niet-menselijke participanten. IACUC-goedkeuring moet verkregen worden

voor onderzoek uitgevoerd met niet-menselijke participanten

ETHISCHE KWESTIES EN WETENSCHAPPELIJKE INTEGRITEIT

FRAUDE IN DE WETENSCHAP

VERGISSING VERSUS FRAUDEEen vergissing is een eerlijke fout dat kan voorkomen in het onderzoeksproces. Er zijn, spijtig genoeg, veel kansen om fouten te maken in onderzoek, bijvoorbeeld bij het verzamelen van data, het scoren van metingen, het toevoegen van data in de computer of in publicatiezetwerk. Het is de verantwoordelijkheid van de onderzoeker om de data te checken en te dubbelchecken om het risico op fouten te minimaliseren. Fraude is een expliciete poging om data te falsifiëren of verkeerd voor te stellen. Als een onderzoeker data verzint of verandert zodat het de hypothese ondersteunt, ziet men dit als fraude.

Fraude is de expliciete poging van een onderzoeker om data te falsifiëren of verkeerd voor te stellen

WAAROM PLEGEN ONDERZOEKERS FRAUDE?De primaire oorzaak van fraude is de competitieve natuur van een academische carrière. Er ligt een sterke druk op onderzoekers om hun onderzoek te laten publiceren. Ook moeten onderzoekers significante bevinden verkrijgen als ze willen dat hun onderzoek gepubliceerd wordt of als ze subsidies willen ontvangen om hun onderzoek te ondersteunen.

50

BESCHERMING TEGEN FRAUDEAls eerste weten onderzoekers dat andere wetenschappers hun verslagen gaan lezen en verdere studies gaan uitvoeren, inclusief replicaties.

Replicatie is herhaling van een onderzoek door het gebruik van dezelfde basisprocedures die gebruikt werden in het originele onderzoek. Ofwel ondersteunt de replicatie de

originele studie door het dupliceren van de originele resultaten, ofwel brengt het twijfel over de originele studie

door te demonstreren dat het originele resultaat niet makkelijk te herhalen is

Een tweede bescherming tegen fraude is peerreview, wat plaats vindt wanneer een onderzoeker een onderzoeksartikel voorlegt voor publicatie. In een typisch peerreviewproces beoordelen de redacteur van het tijdschrift en een paar experten in het veld het verslag extreem gedetailleerd. Het primaire doel van peerreview is het evalueren van de kwaliteit van het onderzoek en de bijdrage die het levert aan de wetenschappelijke kennis.

PLAGIAATIemand anders zijn ideeën of woorden presenteren alsof ze van jezelf zijn is plagiaat plegen. Referentiekredieten (andere krediet geven wanneer krediet is verschuldigd) moeten in je paper vermeld zijn wanneer iemand anders zijn ideeën of werk jouw denken en schrijven hebben beïnvloed. Wanneer je directe citaten of zelfs iemand anders zijn werk parafraseert, moet je die persoon krediet geven. Als een idee of informatie in je paper niet origineel van jou is, dan moet je de bron citeren.

Plagiaat is de onethische voorstelling van iemand anders zijn ideeën of woorden als die van jezelf

De volgende richtlijnen kunnen je helpen om plagiaat te vermijden:

1) Neem volledige notities, inclusief een volledig citaat van de bron2) Identificeer de bron van elk idee, woord of informatie dat niet van jezelf is3) Identificeer elke directe quote met aanhalingstekens aan het begin en het einde

van de quotes en duidt aan vanwaar je ze hebt4) Wees voorzichtig met parafraseren. Het is verleidelijk om hele zinnen of

aantrekkelijke woorden over te nemen van een andere bron. Gebruik je eigen woorden of gebruik directe quotes. Geef zeker krediet aan je bronnen.

5) Geef een volledige lijst met referenties aan het einde van je verslag.6) Bij twijfel of een citaat nodig is, citeer de bron.

(zie tabel 4.5 op pg126)

51

HOOFDSTUK 5: PARTICIPANTEN SELECTEREN (PG 131-150)

INTRODUCTIE TOT STEEKPROEVEN

POPULATIES EN STEEKPROEVENDe grote groep waarin de onderzoeker geïnteresseerd is, is de populatie en de kleine groep van individuen die deelnemen in de studie is de steekproef. Populaties zijn meestal groot, ze bevatten veel te veel individuen om te meten en te onderzoeken. Daarom moet een onderzoeker vertrouwen op een kleinere groep, een steekproef, om informatie te verkrijgen over de populatie. Een steekproef is geselecteerd uit een populatie en is bedoeld als representatie van de populatie. Het doel van het onderzoek is om de steekproef te onderzoeken en dan de resultaten te generaliseren naar de hele populatie. Hoewel verschillende onderzoekers kunnen beginnen met dezelfde onderzoeksvraag over dezelfde populatie, elk onderzoek is een unieke gebeurtenis dat zijn eigen groep van participanten bevat.

Een populatie is de hele set van individuen waarin een onderzoeker geïnteresseerd is. Hoewel de populatie meestal

niet helemaal participeert in een onderzoek, worden de resultaten van de studie gegeneraliseerd naar de hele

populatie

Een steekproef is een reeks van individuen die geselecteerd zijn uit een populatie en is meestal bedoeld om de populatie

in een studie te representeren

Een doelpopulatie (targetpopulatie) is de groep gedefinieerd door de specifieke interesses van de onderzoeker. Individuen in een doelpopulatie delen meestal één kenmerk. Vaak zijn doelpopulaties niet makkelijk beschikbaar. De onderzoeker heeft geen toegang tot de meerderheid van deze mensen om te rekruteren als een steekproef van participanten voor het onderzoek.

Vb. alle kinderen van gescheiden ouders, alle adolescenten met boulimie…

De lokale cliënten worden de beschikbare populatie waaruit de steekproef wordt geselecteerd. De meeste onderzoekers selecteren hun steekproeven uit beschikbare

52

populaties. Daarom moeten we niet enkel voorzichtig zijn met het generaliseren van de resultaten van een studie naar de beschikbare populatie, maar we moeten ook altijd extreem voorzichtig zijn met het generaliseren van de resultaten van een studie naar de doelpopulatie.

Vb. adolescenten met boulimie in een lokaal ziekenhuis…

REPRESENTATIEVE STEEKPROEVENHoe accuraat we de resultaten van een gegeven steekproef kunnen generaliseren naar de populatie hangt af van de representativiteit van de steekproef. De mate van de representativiteit van een steekproef verwijst naar hoe sterk de steekproef de populatie weerspiegelt. Om de resultaten van een studie te generaliseren naar een populatie moet de onderzoeker een representatieve steekproef selecteren.

Voor het selecteren van een steekproef moet je bepalen hoe goed de beschikbare populatie de doelpopulatie weergeeft.

De grootste bedreiging voor het selecteren van een representatieve steekproef is vooringenomenheid. Een vooringenomen steekproef heeft duidelijke kenmerken die verschillend zijn van de populatie. Een vooringenomen steekproef kan gewoon door toeval voorkomen, maar het is waarschijnlijker dat een vooringenomen steekproef het resultaat is van een selectiebias (of samplingbias), wat betekent dat de steekproefprocedure de selectie van bepaalde individuen prefereert boven anderen. De waarschijnlijkheid dat de steekproef representatief is hangt af van de procedure die gebruikt werd om participanten te selecteren.

De representativiteit van een steekproef verwijst naar de mate waarin de kenmerken van de steekproef de kenmerken

van de populatie accuraat weerspiegelen

Een representatieve steekproef is een steekproef met dezelfde kenmerken als de populatie

53

Doelpopulatie (de populatie)de hele reeks van individuen die de verplichte kenmerken hebben

Beschikbare populatieeen deel van de doelpopulatie bestaande uit individuen die beschikbaar zijn om te rekruteren als participanten in de studie

Steekproefde individuen die geselecteerd zijn om te participeren in het onderzoek

Een vooringenomen steekproef is een steekproef met verschillende kenmerken dan degene van de populatie

Selectiebias of samplingbias komt voor wanneer participanten of subjecten geselecteerd zijn op zo een manier dat de kans op een vooringenomen steekproef

vergroot

STEEKPROEFGROOTTEHet eerste principe is de simpele observatie dat een grote steekproef waarschijnlijk representatiever is dan een kleine steekproef. Dit principe is gekend als de regel van grote nummers en stelt dat hoe groter de steekproefgrootte, hoe waarschijnlijker het is dat de verkregen waarden van de steekproef gelijken op de echte waarden van de populatie. Hoe groter de steekproef is, hoe accurater hij de populatie representeert. Hoewel, de accuraatheid van de representatie van een steekproef neemt toe in verhouding tot de vierkantswortel van de steekproefgrootte. Figuur 5.3 toont hoe het gemiddelde verschil tussen een steekproefgemiddelde en het populatiegemiddelde afneemt als de steekproefgrootte toeneemt. De accuraatheid verbetert snel als de steekproefgrootte toeneemt van 4 naar 16 naar 25, maar de verbetering in accuraatheid vertraagt eens de steekproefgrootte rond de 30 ligt. Omdat er maar een gelimiteerd voordeel is van de steekproefgrootte na 25 of 30 nog te vergroten, gebruiken onderzoekers vaak deze steekproefgrootte als een doel wanneer ze onderzoek voorbereiden.

Hoewel een steekproefgrootte van 25 of 30 individuen voor elke groep of elke behandeling een goed doel is, kunnen andere overwegingen deze steekproefgrootte onredelijk groot of klein maken.

Een andere factor die de steekproefgrootte beïnvloedt, is onderzoekethiek. Als een steekproef te groot is, dan is hij onnodig extra subjecten of participanten aan het gebruiken, wat gezien kan worden als onethisch. Aan de andere kant, als een steekproef te klein is, dan is het onwaarschijnlijk dat de studie succesvol zal zijn, wat ook een onethische verspilling is van bronnen.

DE BASIS VAN STEEKPROEVENHet proces van het selecteren van individuen voor een studie, heet sampling. Onderzoekers hebben een reeks van verschillende samplingmethodes (of samplingtechnieken of samplingprocedures) ontwikkeld. Samplingmethodes worden onderverdeeld in 2 categorieën: probability sampling en nonprobability sampling.

In probability sampling zijn de kansen op het selecteren van een bepaald individu gekend en kunnen berekend worden. Probability sampling heeft 3 belangrijke voorwaarden:

1. De exacte grootte van de populatie moet gekend zijn en het moet mogelijk zijn om al de individuen op te lijsten

2. Elk individu in de populatie moet een gespecifieerde selectiekans hebben3. Wanneer een groep individuen allemaal dezelfde kans zijn toegewezen, moet het

selectieproces onpartijdig zijn zodat alle groepsleden evenveel kans hebben om

54

geselecteerd te worden. Selectie moet een willekeurig proces zijn, wat wil zeggen dat elke mogelijke uitkomst even waarschijnlijk moet zijn.

In nonprobability sampling zijn de kansen op het selecteren van een bepaald individu niet gekend omdat de onderzoeker de populatiegrootte niet kent en hij kan de leden van de populatie niet oplijsten. Ook gebruikt de onderzoeker geen onpartijdige selectiemethode.

Sampling is het proces van individuen selecteren om deel te nemen in een onderzoek

In probability sampling is de hele populatie gekend, elk individu in de populatie heeft een specifieerbare selectiekans en sampling komt voor bij een willekeurig proces gebaseerd

op de kansen

Een willekeurig proces is een procedure dat één uitkomst van een reeks van mogelijke uitkomsten produceert. De

uitkomst moet elke keer onvoorspelbaar zijn en het proces moet garanderen dat elke mogelijke uitkomst even kans heeft

om voor te komen

In nonprobability sampling is de populatie niet volledig gekend, individuele kansen kunnen niet gekend zijn en de samplingmethode is gebaseerd op factoren zoals gezond

verstand of gemakkelijkheid, met een inspanning om representativiteit te behouden en vooringenomenheid te

vermijden

PROBABILITY SAMPLING METHODES

SIMPEL RANDOM SAMPLING De basisvereiste voor random sampling is dat elk individu in de populatie een gelijke selectiekans heeft. Gelijkheid betekent dat geen individu meer kans heeft om geselecteerd te worden dan een ander. Een tweede vereiste is dat elke selectie onafhankelijk is van de andere. Onafhankelijkheid betekent dat de keuze van één individu de kans op het kiezen van een ander individu niet beïnvloedt. Het proces van simpel random sampling bestaat uit de volgende stappen:

1. Bepaal duidelijk de populatie waaruit je een steekproef wil selecteren2. Lijst alle leden uit de populatie op3. Gebruik een willekeurig proces om individuen van de lijst te selecteren

Het duidelijke doel van een simpele random sampling is om te verzekeren dat de selectieprocedure niet kan discrimineren tussen individuen en daardoor resulteert in een niet-representatieve steekproef. De 2 hoofdmethodes van random sampling zijn:

1. Sampling met vervanging: Deze methode vereist dat een individu dat geselecteerd is voor de steekproef wordt opgenomen als een lid van de steekproef en dan wordt teruggebracht naar de populatie (vervangen) voor de volgende selectie wordt gemaakt. Deze procedure verzekert dat de selectiekans constant blijft doorheen de selectiereeks. Omdat de kansen constant blijven, verzekert deze techniek dat de selecties onafhankelijk zijn.

55

2. Sampling zonder vervanging: Deze methode verwijdert elk geselecteerd individu uit de populatie voor de volgende selectie wordt gemaakt. Hoewel de kans op geselecteerd worden verandert bij elke selectie, garandeert deze methode dat geen individu meer dan één keer verschijnt in een steekproef.

BEDENKINGEN BIJ SIMPEL RANDOM SAMPLINGDe logica achter simpel random sampling is dat het vooringenomenheid verwijdert uit de selectieprocedure en dat zou moeten resulteren in representatieve steekproeven. Op lange termijn genereert deze strategie een gebalanceerde, representatieve steekproef. Op korte termijn daarentegen, zijn er geen garanties. Omdat toeval elke selectie bepaalt, is het mogelijk (hoewel onwaarschijnlijk) om een zeer vervormde steekproef te verkrijgen. Om deze soort van niet-representatieve steekproef te vermijden, leggen onderzoekers vaak extra beperkingen op aan de random sampling procedure.

SYSTEMATISCHE SAMPLINGSystematische sampling is een type van probability sampling dat heel erg lijkt op simpel random sampling. Systematische sampling begint door het oplijsten van alle individuen in de populatie, en daarna willekeurig een startpunt te kiezen op de lijst. De steekproef is dan verkregen door te dalen op de lijst en het selecteren van elke nde naam. De grootte van n wordt berekend door de populatiegrootte de delen door de gewenste steekproefgrootte. Deze techniek is minder willekeurig dan simpel random sampling omdat het principe van onafhankelijkheid bedreigt wordt. Hoewel, als een probability samplingmethode verzekert deze methode een hoge graad van representativiteit

GESTRATIFICEERDE RANDOM SAMPLINGEen populatie bestaat meestal uit een variëteit van identificeerbare subgroepen. Vaak is het doel van een onderzoeker voor een representatieve steekproef om er zeker van te zijn dat elke van de verschillende subgroepen adequaat zijn gerepresenteerd. Een techniek om dit te bereiken, is door de gestratificeerde random sampling te gebruiken. Om deze soort steekproef te verkrijgen, moeten we eerst de specifieke subgroepen (of lagen) identificeren die in de steekproef zitten. Dan selecteren we gelijke willekeurige steekproeven van elk van de pre-geïdentificeerde subgroepen, dezelfde stappen gebruikend als bij simpel random sampling. Als laatste combineren we de steekproeven van de subgroepen in één algemene steekproef.

Gestratificeerde random sampling is vooral handig wanneer een onderzoeker elk individueel segment van de populatie wil beschrijven of wanneer hij deze wil vergelijken. Om dit te doen moet elke subgroep in de steekproef genoeg individuen bevatten om zijn segment van de populatie adequaat te representeren.

Het grootste voordeel van een gestratificeerde random sampling is dat het garandeert dat elk van de verschillende subgroepen goed zal gerepresenteerd worden met een relatief grote groep van individuen in de steekproef. Dus is dit type van sampling geschikt wanneer het doel van een onderzoek is om specifieke subgroepen te onderzoeken en deze te vergelijken. Gestratificeerde random sampling heeft ook negatieve gevolgen. Als eerste heeft deze de neiging om een vervormd beeld te produceren van de gehele populatie. Ook is gestratificeerde random sampling niet hetzelfde als simpele random sampling. Niet elk individu in de populatie heeft evenveel kans om geselecteerd te worden.

56

EVENREDIG GESTRATIFICEERDE RANDOM SAMPLINGBij een gestratificeerde steekproef beginnen we met een reeks van subgroepen of segmenten in de populatie te identificeren. Als volgende bepalen we welke proportie van de populatie hoort bij elke subgroep. Als laatste verkrijgen we een steekproef waarvan de proporties in de steekproef exact matchen met de proporties in de gehele populatie. Dit type sampling heet evenredig gestratificeerde random sampling of evenredig random sampling.

Evenredig random sampling wordt vaak gebruikt voor politieke polls en andere grote publieke-meningen enquêtes waarin onderzoekers zeker willen zijn dat een relatief kleine steekproef zorgt voor een accurate, representatieve cross-sectie van een grote en diverse populatie.

Een strategie is om een zeer grote steekproef te verkrijgen (veel groter dan uiteindelijk nodig is), alle verschillende variabelen voor elk individu te meten en dan willekeurig diegene te selecteren die in de criteria passen. Een evenredig gestratificeerde steekproef kan het onmogelijk maken voor de onderzoeker om sommige subgroepen of lagen die bestaan in de populatie te beschrijven of vergelijken. Als een specifieke subgroep maar 1% van de populatie bevat, dan bevat ze ook maar 1% van de steekproef.

CLUSTER SAMPLINGSoms zijn de individuen in de populatie al geclusterd in reeds bestaande groepen en kan een onderzoeker gewoon willekeurig groepen selecteren in plaats van individuen. Deze procedure heet cluster sampling en kan gebruikt worden wanneer goed benoemde clusters bestaan binnen de populatie. Deze samplingtechniek heeft 2 duidelijke voordelen. Als eerste is het een relatief snelle en makkelijke manier om een grote steekproef te verkrijgen. Ten tweede kan de meting van individuen vaak gedaan worden in groepen, wat het hele onderzoeksproject kan vergemakkelijken. Het nadeel van cluster sampling is dat het voor bedenkingen kan zorgen over de onafhankelijkheid van de individuele scores.

GECOMBINEERDE STRATEGIE SAMPLINGSoms combineren onderzoekers twee of meer samplingstrategieën om participanten te selecteren. Selectiestrategieën worden meestal gecombineerd om de kansen dat een steekproef representatief is te optimaliseren.

NONPROBABILITY SAMPLING METHODES

CONVENIENCE SAMPLINGIn convenience sampling gebruiken onderzoekers de individuen die makkelijk te bereiken zijn als participanten. Mensen worden geselecteerd op basis van hun beschikbaarheid en bereidwilligheid om te antwoorden.

Convenience sampling wordt gezien als een zwakke vorm van sampling omdat de onderzoekers geen moeite doen om de populatie te kennen of om een willekeurig proces in de selectie te gebruiken. De onderzoeker heeft heel weinig controle over de

57

representativiteit van de steekproef en daarom is er een grote kans dat de verkregen steekproef vooringenomen is.

QUOTA SAMPLINGQuota sampling kan verzekeren dat subgroepen gelijk gerepresenteerd zijn in een convenience sample.

Quota sampling selecteert niet willekeurig individuen uit de populatie en is dus niet hetzelfde als gestratificeerd en evenredig gestratificeerd sampling. In plaats daarvan worden individuen geselecteerd op basis van gemak binnen de grenzen van de quota.

Type van sampling Beschrijving Sterktes en zwaktes

Probability sampling

Simpel random

Een steekproef wordt verkregen door het gebruik van een willekeurig proces om participanten te selecteren van een lijst die de gehele populatie bevat. Het willekeurig proces verzekert dat elk individu een gelijke en onafhankelijke selectiekans heeft

Het selectieproces is eerlijk en niet vooringenomen, maar er is geen garantie dat de steekproef representatief is

Systematisch

Een steekproef wordt verkregen door elke nde participant van de lijst die de gehele populatie bevat te selecteren, na een willekeurig startpunt

Een makkelijke methode om een essentiële random steekproef te verkrijgen, maar de selecties zijn niet echt random of onafhankelijk

Gestratificeerd random

Een steekproef wordt verkregen door de populatie in subgroepen (lagen) te verdelen en dan willekeurig gelijke aantallen van elke subgroep te selecteren

Garandeert dat elke subgroep een adequate representatie heeft, maar de gehele steekproef is meestal niet representatief voor de populatie

Evenredig gestratificeerd Een steekproef wordt verkregen door de populatie in subgroepen te verdelen en dan willekeurig uit elke subgroep een aantal participanten te selecteren zodat de

Garandeert dat de samenstelling van de steekproef perfect representatief zal zijn voor de samenstelling van de populatie, maar sommige subgroepen kunnen

58

proporties in de steekproef corresponderen met de proporties in de populatie

gelimiteerde representativiteit in de steekproef hebben

Cluster

In plaats van individuen te selecteren, wordt een steekproef verkregen door willekeurig clusters (reeds bestaande groepen) te selecteren van een lijst met alle clusters die bestaan in de populatie

Een makkelijke methode om een grote, relatief willekeurige steekproef te verkrijgen, maar de selecties zijn niet echt random of onafhankelijk

Nonprobability sampling

Convenience

Een steekproef wordt verkregen door individuele participanten te selecteren die makkelijk te krijgen zijn

Een makkelijke methode om een steekproef te verkrijgen, maar de steekproef is waarschijnlijk vooringenomen

Quota

Een steekproef wordt verkregen door subgroepen te identificeren en dan quota’s te ontwikkelen voor individuen om geselecteerd te worden door middel van gemak van elke subgroep

Staat een onderzoeker toe om de samenstelling van een convenience steekproef te controleren, maar de steekproef is waarschijnlijk vooringenomen

HOOFDSTUK 6: ONDERZOEKSSTRATEGIEËN EN VALIDITEIT (PG 153-184)

ONDERZOEKSSTRATEGIEËN

De term onderzoeksstrategie verwijst naar de algemene benadering en doelen van een studie. De selectie van een onderzoeksstrategie wordt meestal bepaald door de soort vragen die je van plan bent te adresseren en de soort antwoorden die je hoopt te verkrijgen-in algemene termen, wat je hoopt te bereiken.

Een onderzoeksstrategie is een algemene benadering van onderzoek bepaald door de soort vragen dat de studie hoopt

te beantwoorden

DE BESCHRIJVENDE ONDERZOEKSSTRATEGIE (1)

59

Deze strategie is bedoeld om vragen te beantwoorden over de actuele toestand van individuele variabelen voor een specifieke groep van individuen. De beschrijvende onderzoeksstrategie hecht geen belang aan de relaties tussen variabelen, maar aan de beschrijving van individuele variabelen. Het doel is om een snapshot (een beschrijving) te verkrijgen van specifieke kenmerken van een specifieke groep van individuen.

RELATIES TUSSEN VARIABELENEen relatie tussen variabelen betekent dat veranderingen in één variabele consistent en voorspelbaar samengaan met veranderingen in een andere variabele.

(zie figuur 6.1)

De termen die relaties beschrijven gelden enkel wanneer beide variabelen bestaan uit nummers of rangen. Om het bestaan van een relatie vast te stellen, moeten onderzoekers observaties maken, metingen van de twee variabelen. Afhankelijk van hoe de metingen zijn gebruikt, kunnen twee duidelijke datastructuren geproduceerd worden. De twee datastructuren kunnen ook helpen om de verschillende onderzoeksstrategieën te classificeren.

DE CORRELATIONELE ONDERZOEKSSTRATEGIE: TWEE VARIABELEN METEN VOOR ELK INDIVIDU (2)Een techniek om de relatie tussen variabelen te onderzoeken is door de twee variabelen te observeren zoals ze natuurlijk bestaan voor een reeks van individuen. Dat wil zeggen, meet de twee variabelen voor elk individu. De correlationele strategie probeert enkel de relatie beschrijven (als er een bestaat); probeert niet de relatie te verklaren.

TWEE OF MEER SCORESETS VERGELIJKEN: DE EXPERIMENTELE, QUASI-EXPERIMENTELE AND NIET-EXPERIMENTELE ONDERZOEKSSTRATEGIEËNIn deze situatie wordt een van de variabelen gebruikt om de groepen te onderscheiden. De verschillen tussen de drie strategieën zijn gebaseerd op de vragen die ze stellen en het vermogen om ondubbelzinnige antwoorden te produceren.

DE EXPERIMENTELE ONDERZOEKSSTRATEGIE (3)De experimentele onderzoeksstrategie is bedoeld om oorzaak-gevolgvragen te beantwoorden over de relatie tussen twee variabelen. Het doel is om de relatie te verklaren door de onderliggende oorzaak de bepalen. Een experimentele studie wordt uitgevoerd met strenge controle om een ondubbelzinnige demonstratie van een oorzaak-gevolgrelatie te verzekeren.

DE QUASI-EXPERIMENTELE ONDERZOEKSSTRATEGIE (4)Hoewel deze strategie meestal oorzaak-gevolgvragen over de relatie tussen twee variabelen probeert te beantwoorden, kan hij nooit een ondubbelzinnige verklaring produceren. De quasi-experimentele onderzoeksstrategie gebruikt de strengheid en controle die bestaan in experimenten; hoewel quasi-experimentele studies altijd een fout bevatten dat de onderzoeker weerhoudt van het verkrijgen van een absoluut oorzaak-gevolgantwoord.

60

DE NIET-EXPERIMENTELE ONDERZOEKSSTRATEGIE (5)De niet-experimentele methode is bedoeld om een relatie tussen variabelen te demonstreren, maar hij probeert niet de relatie te verklaren. Deze strategie gebruikt niet de strengheid en controle die bestaan in (quasi-)experimentele studies, en produceert geen oorzaak-gevolgverklaringen.

NIET-EXPERIMENTEEL EN CORRELATIONEEL ONDERZOEKNiet-experimenteel en correlationeel onderzoek hebben exact hetzelfde doel. Ze zijn beide ontworpen om aan te tonen dat er een relatie bestaat tussen twee variabelen, maar proberen de relatie niet te verklaren. Het verschil tussen de twee onderzoeksstrategieën is de soort data die gebruikt werd om dit doel te bereiken. De correlationele strategie gebruikt één groep participanten en meet twee variabelen voor elk individu. De niet-experimentele strategie vergelijkt twee of meer groepen van scores en meet maar één variabele voor elk individu.

(zie tabel 6.3)

ONDERZOEKSSTRATEGIEËN, ONDERZOEKSDESIGNS EN ONDERZOEKSPROCEDURES

ONDERZOEKSSTRATEGIEËNDe term onderzoeksstrategie verwijst naar de algemene benadering en doelen van een studie. Onderzoeksstrategie is meestal bepaald door de soort vraag die je van plan bent te adresseren en het soort antwoord je hoopt te verkrijgen. In het algemeen is een onderzoeksstrategie begaan met wat je hoopt te bereiken in een studie.

ONDERZOEKSDESIGNSEen onderzoeksdesign bepalen vereist beslissingen over drie basisaspecten van de studie:

1. Groep vs. individu. Zal de studie een groep individuen onderzoeken en een algemene beschrijving produceren voor de hele groep, of moet de studie focussen op een enkel individu? Hoewel resultaten van een grote groep met meer vertrouwen gegeneraliseerd kunnen worden dan resultaten van een individu, het voorzichtige onderzoek van een individu kan vaak voor details zorgen die verloren gaan in het veralgemenen van een grote groep.

2. Dezelfde individuen vs. verschillende individuen. Soms bestudeert onderzoek verschillen binnen dezelfde groep van individuen terwijl ze de behandelingen doorlopen. Ander onderzoek gebruikt een verschillende groep individuen voor elke aparte behandeling en onderzoekt dan verschillen tussen groepen.

3. Het aantal variabelen. De simpelste studie bevat het onderzoeken van de relatie tussen twee variabelen. Hoewel er ook onderzoek drie of meer variabelen bevat.

61

Dus, een factor in het bepalen van een onderzoeksdesign is beslissen hoeveel variabelen onderzocht, gemanipuleerd of gereguleerd zullen worden.

Een onderzoeksdesign is een algemeen plan om een onderzoeksstrategie uit te voeren. Een onderzoeksdesign

specifieert of de studie groepen of individuen zal bevatten, zal vergelijken maken binnen een groep of tussen groepen en

hoeveel variabelen de studie zal bevatten

ONDERZOEKSPROCEDURESDe volgende stap in het ontwikkelen van een studie bevat het opvullen van de details die precies definiëren hoe de studie gedaan zal worden. Deze finale, gedetailleerde stap heet de onderzoeksprocedure. Het bevat een precieze bepaling van:

Exact hoe de variabelen gemanipuleerd, gereguleerd en gemeten zullen worden Exact hoeveel individuen betrokken zullen zijn Exact hoe de individuele participanten of subjecten zullen te werk gaan doorheen

de studie

Een onderzoeksprocedure is een exacte, stap-voor-stap beschrijving van een specifieke studie

INTERNE EN EXTERNE VALIDITEIT

In het algemeen is validiteit het standaardcriterium waarop onderzoekers de kwaliteit van onderzoek beoordelen. In de context van een studie is validiteit betrokken bij de waarheid van het onderzoek of de accuraatheid van de conclusies.

EXTERNE VALIDITEITOndanks de unieke aard van de studie zelf, veronderstellen onderzoekers meestal dat de verkregen resultaten niet uniek zijn, maar gegeneraliseerd kunnen worden ver buiten de studie. Externe validiteit betreft de mate waarin de resultaten verkregen in een studie vasthouden buiten die specifieke studie. Kunnen de resultaten van de studie gegeneraliseerd worden naar andere populaties, settingen of metingen?

Externe validiteit focust op unieke karakteristieken van de studie die vragen kunnen oproepen over het feit of dezelfde resultaten zouden verkregen worden onder andere omstandigheden. Een factor die de mogelijkheid om de resultaten van een studie te generaliseren limiteert is een bedreiging van externe validiteit.

Externe validiteit refereert naar de mate waarin we de resultaten van een studie kunnen generaliseren naar andere mensen, settingen, tijden, metingen en karakteristieken dan

diegene die gebruikt werden in de studie

Een bedreiging van externe validiteit is een kenmerk van een studie die de mogelijkheid om de resultaten van een

studie te generaliseren limiteert

Er zijn minstens drie verschillende soorten van generaliseren en elke soort kan bedreigingen inhouden van externe validiteit.

62

1. Generaliseren van een steekproef naar de gehele populatie. Een belang voor externe validiteit is dat de steekproef representatief is voor de populatie zodat de verkregen resultaten voor de steekproef gegeneraliseerd kunnen worden naar de gehele populatie.

2. Generaliseren van een studie naar een andere. Een belang voor externe validiteit is dat de verkregen resultaten in een specifieke studie ook zullen verkregen worden in een andere gelijkaardige studie.

3. Generaliseren van een studie naar een real-world situatie. Het meeste onderzoek wordt uitgevoerd onder relatief gecontroleerde condities met individuen die weten dat ze participeren in een studie. Een belang voor externe validiteit is of de resultaten verkregen in een relatief steriele onderzoeksomgeving ook verkregen zullen worden in de realiteit.

INTERNE VALIDITEITEen valide onderzoek moet aantonen dat veranderingen in een variabele gevolgd worden door veranderingen in de andere variabele en dat geen andere variabele een alternatieve verklaring biedt voor de resultaten. Interne validiteit betreft factoren in de studie die twijfel of vragen oproepen over de interpretatie van de resultaten. Een onderzoek heeft interne validiteit als het slechts één verklaring toelaat voor de resultaten. Een factor die een alternatieve verklaring toelaat voor de resultaten is een bedreiging van interne validiteit.

Een studie heeft interne validiteit als het een enkele, ondubbelzinnige verklaring produceert voor de relatie tussen

twee variabelen

Een bedreiging van interne validiteit is een factor die een alternatieve verklaring toelaat

VALIDITEIT EN DE KWALITEIT VAN EEN STUDIEDe waarde of kwaliteit van een studie wordt bepaald door de mate waarin de studie voldoet aan de criteria van interne en externe validiteit. Het algemene doel van een studie is het beantwoorden van een specifieke onderzoeksvraag. Een goed ontworpen studie produceert resultaten die accuraat de onderzochte variabelen representeert en rechtvaardigt een conclusie dat accuraat de originele vraag beantwoordt. Een factor die twijfels oproept over de accuraatheid van de resultaten of vragen oproept over de interpretatie van de resultaten is een bedreiging van de validiteit.

Een goede onderzoeker is zich bewust van deze bedreigingen tijdens het plannen van een studie. Anticiperen op bedreigingen van validiteit laat een onderzoeker toe om elementen in een onderzoeksdesign toe te voegen om bedreigingen van validiteit te elimineren of minimaliseren voor de studie echt wordt uitgevoerd.

Hoewel onderzoekers meestal de beste beslissingen proberen te maken en de best mogelijke studies proberen te produceren, bevatten de meesten toch nog wat fouten. Deze basis ‘fact of life’ heeft twee implicaties:

63

1. Studies kunnen verschillen in termen van validiteit. Sommige studies hebben sterke interne en externe validiteit en hun resultaten en conclusies zijn hoog gerespecteerd. Andere studies hebben enkel gemiddelde validiteit en andere hebben weinig of geen validiteit. Accepteer nooit een onderzoeksresultaat of -conclusie als waarheid gewoon om het ‘wetenschappelijk bewezen’ zou zijn.

2. Zich bewust zijn van bedreigingen van validiteit kan je helpen om een studie kritisch te evalueren.

BEDREIGINGEN VAN EXTERNE VALIDITEIT

Wanneer onderzoeksbevindingen gegeneraliseerd kunnen worden naar buiten de grenzen van de specifieke studie, dan heeft het onderzoek externe validiteit. Een kenmerk van de studie dat de algemeenheid van de resultaten limiteert, is een bedreiging van de externe validiteit.

CATEGORIE 1: GENERALISEREN OVER PARTICIPANTEN OF SUBJECTENDe resultaten van een studie worden aangetoond met een bepaalde groep van individuen. Een vraag over externe validiteit is: ‘In welke mate kunnen onderzoeksresultaten gegeneraliseerd worden naar individuen die verschillen van diegene die hebben deelgenomen aan de studie?’

1. Selectiebias: Een vooringenomen steekproef is meestal het resultaat van selectiebias, wat betekent dat de samplingprocedure de selectie van sommige individuen verkiest boven anderen. Als een steekproef de populatie niet accuraat representeert, dan zijn er serieuze bezorgdheden dat de resultaten verkregen van de steekproef de populatie niet zullen generaliseren. De vraag van externe validiteit wordt altijd opgeroepen wanneer een onderzoeker participanten selecteert gebaseerd op gemak eerder dan een unbiased selectieproces te gebruiken.

2. Universiteitsstudenten: De studenten delen samen met de laboratoriumrat de status van meest gemakkelijk beschikbaar en zijn daarom de meest verkozen participanten in gedragsonderzoek. Maar, bewijs stapelt zich op om aan te duiden dat veel van de kenmerken van studenten de mogelijkheid om de resultaten te generaliseren naar andere volwassenen limiteren.

3. Vrijwilligersbias: In de meeste gevallen heeft iemand die deelneemt aan een studie zich vrijwillig opgegeven. Dit creëert een basisprobleem voor onderzoekers gekend als vrijwilligersbias omdat vrijwilliger niet perfect representatief zijn voor de gehele populatie. De vraag van externe validiteit is: ‘In welke mate kunnen we de resultaten verkregen van vrijwilligers generaliseren naar individuen die mogelijk niet vrijwillig deelnemen aan studies?’

4. Participantkarakteristieken: Een andere bedreiging van externe validiteit treedt op wanneer een studie participanten gebruikt die gelijkaardige karakteristieken delen. Demografische karakteristieken zoals gender, leeftijd, ras, etnische identiteit en socio-economische status kunnen de mogelijkheid om de resultaten te generaliseren limiteren.

5. Cross-species generalisaties: Externe validiteit wordt ook in vraag gesteld wanneer onderzoek wordt uitgevoerd met niet-mensen en wordt verondersteld om direct van toepassing te zijn op mensen. Voor we kunnen overwegen of de resultaten verkregen van een soort gegeneraliseerd kunnen worden naar een

64

andere soort, moeten we de parallellen en verschillen in het mechanisme of het proces waar we geïnteresseerd in zijn tussen de twee soorten bekijken.

CATEGORIE 2: GENERALISEREN OVER KENMERKEN VAN EEN STUDIEEen andere vraag van externe validiteit is: ‘In welke mate kunnen de resultaten van de studie gegeneraliseerd worden naar andere procedures om de studie uit te voeren?’

1. Nieuwheidseffect: Participeren in een studie is een nieuw, vaak opwindend of angst oproepende ervaring voor de meeste individuen. In deze nieuwe situatie kunnen individuen anders reageren dan ze in realiteit zouden doen. Dit heet het nieuwheidseffect.

2. Meerdere behandelingsstoornissen: Wanneer individuen getest worden in een reeks van behandelingscondities kan de deelname in een conditie een effect hebben op de participanten over de volgende behandeling en dit kan hun prestaties of gedrag beïnvloeden. Veel voorkomende voorbeelden zijn moeheid en oefening, die kunnen optreden in een behandeling en dan de prestatie in de volgende behandeling beïnvloeden.

3. Onderzoekerskarakteristieken: De vraag van externe validiteit is: ‘In welke mater kunnen de resultaten van de studie gegeneraliseerd worden naar andere onderzoekers?’ De resultaten van een studie kunnen specifiek voor een onderzoeker met een bepaalde set van karakteristieken zijn. Zowel demografische en persoonlijke karakteristieken van de onderzoeker kunnen de algemeenheid van de resultaten limiteren.

CATEGORIE 3: GENERALISEREN OVER KENMERKEN VAN DE METINGENEen andere vraag van externe validiteit is: ‘In welke mate kunnen de resultaten van de studie gegeneraliseerd worden naar andere manieren van meten in de studie?’

1. Sensibilisatie: Soms kan het meetproces participanten beïnvloeden zodat ze anders reageren op de behandeling. Dit fenomeen heet sensibilisatie of beoordelingssensibilisatie. Sensibilisatie is een bedreiging van de externe validiteit omdat het de vraag oproept of de resultaten verkregen in een studie dat beoordelingen gebruikt verschillend zijn van resultaten in de realiteit waar de behandeling gebruikt wordt zonder beoordelingen. Beoordelingssensibilisatie komt vaak voor in studies waarin het gedrag van de participanten wordt gemeten voor ze een behandeling krijgen en waar het gedrag opnieuw wordt gemeten na de behandeling. De bezorgdheid is dat de pretest (de pre-behandeling meting) op een bepaalde manier de participanten kan sensibiliseren zodat ze zich meer bewust worden van hun attitudes of gedragingen. Het toegenomen bewustzijn kan ervoor zorgen dat de participanten anders reageren op de behandeling. Deze bedreiging van de externe validiteit is ook gekend als pretest sensibilisatie. Beoordelingssensibilisatie komt ook regelmatig voor in studies die zelf-monitoring gebruiken als een middel om scores te meten.

2. Generaliteit over responsemetingen: Vele variabelen kunnen gedefinieerd en gemeten worden op verschillende manieren. In studie selecteert een onderzoeker meestal één definitie en één meetprocedure. In dit geval kunnen de resultaten

65

van de studie gelimiteerd zijn tot die specifieke meting en kunnen misschien niet gegeneraliseerd worden naar andere definities of metingen.

3. Tijdstip van meting: In een studie worden de scores voor individuen gemeten op een specifiek tijdstip na (of tijdens) de behandeling. Maar het eigenlijke effect van de behandeling kan afnemen of toenemen naargelang de tijd.

(zie tabel 6.5)

BEDREIGINGEN VAN INTERNE VALIDITEIT

VREEMDE VARIABELENEen typische studie concentreert zich op twee variabelen en probeert een relatie tussen hen aan te tonen. Ook al focust een studie op twee variabelen, er zijn ontelbare andere elementen die variëren in de studie; er zijn veel extra variabelen (naast de twee die onderzocht worden) die deel uitmaken van een studie. Sommige van deze extra variabelen zijn gerelateerd aan de deelnemende participanten. Andere variabelen bevatten de omgeving waarin de studie werd uitgevoerd.

Een vreemde variabele is elke variabele in een studie die niet onderzocht wordt

VERSTORENDE VARIABELENSoms wordt een vreemde variabele per ongeluk toegelaten in een studie op een manier die de resultaten kunnen beïnvloeden of vervormen. Wanneer dit gebeurt is er een risico dat de geobserveerde relatie tussen twee variabelen kunstmatig geproduceerd is door de vreemde variabele.

Een verstorende variabele is een vreemde variabele (meestal onbewaakt) die systematisch mee verandert met de

twee variabelen die onderzocht worden. Een verstorende variabele voorziet een alternatieve verklaring voor de geobserveerde relatie tussen de twee variabelen en is

daarom een bedreiging van de interne validiteit

VREEMDE VARIABELEN, VERSTORENDE VARIABELEN EN INTERNE VALIDITEITEen studie heeft interne validiteit als er één enkele verklaring bestaat voor de onderzoeksresultaten. Als een studie een verstorende variabele bevat, dan is er een alternatieve verklaring en wordt de interne validiteit bedreigd. Daarom is de sleutel tot het bereiken van interne validiteit het verzekeren dat een vreemde variabele geen verstorende variabele kan worden.

Wanneer het doel van een studie is om de relatie tussen twee variabelen te verklaren, dan is het normaal om een van de variabelen te gebruiken om verschillende

66

behandelingscondities te creëren en dan de tweede variabele te meten om een set van scores te verkrijgen binnen elke conditie.

Om de interne validiteit van een studie te verzekeren, is het essentieel dat het enige verschil tussen de behandelingscondities de enkele variabele is die werd gebruikt om de condities te definiëren.

OMGEVINGSVARIABELEN: ALGEMENE BEDREIGINGEN VAN INTERNE VALIDITEIT VOOR ALLE STUDIES (1)Het is mogelijk dat variabelen in de algemene omgeving van de studie – zoals grootte van de kamer, tijd van de dag of geslacht van de onderzoeker – bedreigingen kunnen worden van de interne validiteit.

INDIVIDUELE VERSCHILLEN: BEDREIGINGEN VAN INTERNE VALIDITEIT VOOR STUDIES DIE VERSCHILLENDE GROEPEN VERGELIJKEN (2)Persoonlijke kenmerken die kunnen verschillen van individu tot individu zijn individuele verschillen. Als individuen zijn toegewezen aan behandelingscondities zodat de snelste mensen consistent worden toegewezen aan een conditie en de tragere mensen worden consistent toegewezen aan de andere conditie, dan heb je een probleem. Dit probleem heet toewijzingsbias en is een bedreiging van de interne validiteit omdat er twee alternatieve verklaringen worden toegelaten voor verschillen die geobserveerd werden tussen de behandelingen. Is het mogelijk dat de scores in een behandeling hoger zijn dan de scores in een andere behandeling omdat er echt verschillen zijn tussen de behandelingen of is het mogelijk dat de verschillen in scores veroorzaakt zijn door het feit dat de participanten in een behandeling sneller (of slimmer of ouder of…) zijn dan de participanten in de andere behandeling.

Toewijzingsbias komt voor wanneer het proces dat gebruikt werd om verschillende participanten aan verschillende behandelingen toe te wijzen groepen van individuen produceert met merkbaar verschillende kenmerken

TIJDGERELATEERDE VARIABELEN: BEDREIGINGEN VAN INTERNE VALIDITEIT VOOR STUDIES DIE EEN GROEP VERGELIJKEN OVER DE TIJD HEEN (3)Een alternatief voor het hebben van verschillende groepen in elke behandeling is het hebben van eenzelfde groep individuen die participeert in al de verschillende behandelingen. Het basisprobleem met dit type onderzoek is dat het niet enkel de scores verkregen in verschillende behandelingen vergelijkt, maar ook vaak de verkregen scores op verschillende tijdstippen vergelijkt.

(zie tabel 6.6)

MEER OVER INTERNE EN EXTERNE VALIDITEIT

Het duidelijke doel van elke studie in om de interne en externe validiteit te maximaliseren; elke onderzoeker wil zeker zijn dat de resultaten van de studie waar zijn en dat de waarheid van de resultaten zich uitbreidt buiten bepaalde individuen, condities en procedures die gebruikt werden in de studie.

INTERNE EN EXTERNE VALIDITEIT BALANCEREN

67

Om een hoog niveau van interne validiteit te bereiken moet een onderzoeker verstorende variabelen elimineren of minimaliseren. Om dit te doen moet de studie streng gecontroleerd worden zodat vreemde variabelen de resultaten niet kunnen beïnvloeden. Maar, een studie controleren kan een onderzoeksomgeving creëren die zo kunstmatig en onnatuurlijk is dat de resultaten verkregen in de studie mogelijk niet voorkomen in de realiteit. Dus, pogingen om de interne validiteit te verhogen kunnen de externe validiteit verlagen.

Aan de andere kant, onderzoek dat een hoog niveau van externe validiteit probeert te bereiken creëert vaak een onderzoeksomgeving dat heel erg gelijkt om de buitenwereld. Het risico in dit type onderzoek komt van het feit dat de echte wereld vaak chaotisch is met ongecontroleerde variabelen, zeker in vergelijking met de sterk gereguleerde omgeving van een gecontroleerde studie. Dus, het streven naar verhoogde externe validiteit kan vreemde en potentieel verstorende variabelen toelaten in de studie en daardoor de interne validiteit bedreigen.

ARTEFACTEN: BEDREIGINGEN VAN ZOWEL INTERNE ALS EXTERNE VALIDITEITEen artefact is een externe factor die de metingen kan beïnvloeden of verstoren. Omdat een artefact de validiteit en betrouwbaarheid van metingen kan bedreigen, kan het ook zowel de interne als externe validiteit van de studie bedreigen. Onderzoekersbias en participantreactiviteit zijn twee van de vele mogelijke artefacten.

OVERDREVEN VARIABELENHet meeste onderzoek wordt uitgevoerd met de hoop een relatie aan te tonen tussen variabelen. Om dit doel te bereiken maximaliseert een studie vaak de verschillen van een van de variabelen om de waarschijnlijkheid van een relatie met de tweede variabele te verhogen.

VALIDITEIT EN INDIVIDUELE ONDERZOEKSSTRATEGIEËNBeschrijvende, correlationele en niet-experimentele studies hebben vaak goede externe validiteit. Experimenteel onderzoek heeft vaak hoge interne validiteit. Quasi-experimentele studies vallen ergens in het midden; ze proberen de controle van echte experimenten te imiteren wat de interne validiteit helpt, en ze hebben de neiging om in real-world situaties voor te komen wat de externe validiteit helpt.

68

HOOFDSTUK 7: DE EXPERIMENTELE ONDERZOEKSSTRATEGIE (PG 187-216)

OORZAAK-GEVOLGRELATIES

Het doel van de experimentele onderzoeksstrategie is om het bestaan van een oorzaak- gevolgrelatie te bewijzen tussen twee variabelen. Om de kans op een toevallige relatie uit te sluiten, moet een experiment, of een echt experiment, aantonen dat veranderingen in een variabele direct verantwoordelijk zijn voor de veranderingen in de tweede variabele. Om dit doel te bereiken, bevat een experimentele studie de volgende vier basiselementen:

1. Manipulatie. De onderzoeker manipuleert een variabele door zijn waarde te veranderen om een set van twee of meerdere behandelingscondities te creëren.

2. Meting. Een tweede variabele wordt gemeten voor een groep van participanten om een set van scores te verkrijgen in elke behandelingsconditie.

3. Vergelijking. De scores in een behandelingsconditie worden vergeleken met de scores in een andere behandelingsconditie. Consistente verschillen tussen behandelingen zijn bewijs dat de manipulatie veranderingen heeft veroorzaakt in de scores.

4. Controle. Alle andere variabelen worden gecontroleerd om er zeker van te zijn dat ze de twee onderzochte variabelen niet beïnvloeden.

Hoewel de term ‘experiment’ vaak gebruikt wordt om elk wetenschappelijk onderzoek te beschrijven, zijn enkel de studies die voldoen aan deze vier voorwaarden echte experimenten.

(zie figuur 7.1)

69

TERMINOLOGIEIn een experiment is de variabele die gemanipuleerd wordt door de onderzoeker de onafhankelijke variabele. Meestal wordt de onafhankelijke variabele gemanipuleerd door het creëren van een set van behandelingscondities. De specifieke condities die gebruikt worden in het experiment worden de levels/niveaus van de onafhankelijke variabele genoemd. De variabele die gemeten wordt in elk van de behandelingscondities is de afhankelijke variabele. Alle andere variabelen in de studie zijn vreemde variabelen.

De experimentele onderzoeksstrategie bewijst het bestaan van een oorzaak-gevolgrelatie tussen twee variabelen. Om dit doel te bereiken manipuleert een

experiment een variabele terwijl een tweede variabele wordt gemeten en de andere variabelen worden gecontroleerd

Een experiment of een echt experiment probeert aan te tonen dat veranderingen in een variabele direct

verantwoordelijk zijn voor veranderingen in een tweede variabele

In een experiment is de onafhankelijke variabele de variabele die gemanipuleerd wordt door de onderzoeker. In

gedragsonderzoek bestaat de onafhankelijke variabele meestal uit twee of meerdere behandelingscondities waaraan

de participanten worden blootgesteld

In een experiment is een behandelingsconditie een situatie of omgeving gekenmerkt door een specifieke waarde van de

gemanipuleerde variabele. Een experiment bevat twee of meerdere behandelingscondities die verschillen naargelang

de waarden van de gemanipuleerde variabele

Levels zijn de verschillende waarden van de onafhankelijke variabele geselecteerd om de behandelingscondities te

creëren en bepalen.

De afhankelijke variabele is de variabele die geobserveerd wordt op veranderingen om de effecten op het manipuleren

van de onafhankelijke variabele vast te stellen

Vreemde variabelen zijn alle variabelen in de studie behalve de (on)afhankelijke variabelen

CAUSALITEIT EN HET DERDE-VARIABLE PROBLEEMEen probleem voor experimenteel onderzoek is dat variabelen zelden bestaan in isolatie. In natuurlijke omstandigheden worden veranderingen in een variabele meestal vergezeld door veranderingen in vele andere gerelateerde variabelen. Hoewel het relatief makkelijk is om aan te tonen dat een variabele gerelateerd is aan een andere, is het veel moeilijker om de onderliggende oorzaak van de relatie te bewijzen. Om de aard van de relaties tussen variabelen te bepalen, vooral om de causale beïnvloeding van een gebeurtenis op een andere te bewijzen, is het essentieel dat een experiment de specifieke variabelen die

70

onderzocht worden afzondert en isoleert. De taak van het uiteen halen van een set van natuurlijk niet-geconnecteerde variabelen is het hart van de experimentele strategie.

Hoewel een studie kan bewijzen dat twee variabelen gerelateerd zijn, wil dit niet noodzakelijk zeggen dat er een directe (causale) relatie is tussen de twee variabelen. Het is altijd mogelijk dat een derde (ongeïdentificeerde) variabele de twee variabelen controleert en verantwoordelijk is voor het produceren van de geobserveerde relatie. Dit is het derde-variabele probleem.

CAUSALITEIT EN HET GERICHTHEIDSPROBLEEMHoewel een studie een relatie tussen twee variabelen kan bewijzen, verklaart het bestaan van een relatie niet altijd de richting van de relatie. Het resterende probleem is het bepalen van welke variabele de oorzaak is en welke het effect. Dit is het gerichtheidsprobleem.

DE NATUUR CONTROLERENOm een oorzaak-gevolgrelatie te bewijzen moet een onderzoeker de natuur controleren, een onnatuurlijke situatie creëren waarin de twee onderzochte variabelen zijn geïsoleerd van de beïnvloeding van andere variabelen en waarin de ware aard van een relatie gezien kan worden.

Er is een verschil tussen de condities waarin een experiment wordt uitgevoerd en de resultaten van het experiment. Dat een experiment plaatsvindt in een onnatuurlijke omgeving, wil nog niet noodzakelijk zeggen dat de resultaten onnatuurlijk zijn.

ELEMENTEN VAN EEN EXPERIMENT ONDERSCHEIDEN

Het algemene doel van de experimentele onderzoeksstrategie is het bestaan van een oorzaak-gevolgrelatie aantonen tussen twee variabelen. Een experiment probeert aan te tonen dat het veranderen van een variabele (de onafhankelijke variabele) veranderingen veroorzaakt in een tweede variabele (de afhankelijke variabele). Dit algemene doel kan opgesplitst worden in twee specifieke doelen.

1. De eerste stap in het aantonen van een oorzaak-gevolgrelatie is aantonen dat de ‘oorzaak’ gebeurt voor het ‘gevolg’ zich voordoet. In de context van een experiment wil dit zeggen dat je moet tonen dat een verandering in de waarde van de onafhankelijke variabele wordt gevolgd door een verandering in de afhankelijke variabele. Om dit te volbrengen manipuleert een onderzoeker eerst de onafhankelijke variabele en observeert dan de afhankelijke variabele om te zien of deze ook verandert.

2. Om te bewijzen dat een specifieke variabele verantwoordelijk is voor veranderingen in een andere variabele moet een experiment de kans uitsluiten dat de veranderingen veroorzaakt worden door een vreemde variabele.

MANIPULATIE (1)

71

Een onderscheidend kenmerk van de experimentele strategie is dat de onderzoeker een van de variabele manipuleert. Manipulatie wordt voltooid door eerst te bepalen welke specifieke waarden van de onafhankelijke variabele je wil onderzoeken. Dan creëer je een reeks van behandelingscondities die overeenkomen met die specifieke waarden. Als resultaat verandert de onafhankelijke variabele van de ene behandelingsconditie tot de andere.

In een experiment bestaat manipulatie uit het identificeren van de specifieke waarden van de onafhankelijke variabele die onderzocht wordt en dan het creëren van een reeks van behandelingscondities die overeenkomen met de reeks van

geïdentificeerde waarden

MANIPULATIE EN HET GERICHTHEIDSPROBLEEMHet primaire doel van manipulatie is onderzoekers toelaten de richting van een relatie te bepalen. Een techniek om de richting van een relatie te bepalen is door een van de variabelen te manipuleren (zorgt voor een toename en afname) en de tweede variabele te bekijken om te bepalen of deze is getroffen door de manipulatie. Wanneer er een relatie is tussen twee variabelen kan een onderzoeker manipulatie gebruiken om te bepalen welke variabele de oorzaak is en welke het gevolg is.

MANIPULATIE EN HET DERDE-VARIABELE PROBLEEMEen tweede doel van manipulatie is onderzoekers helpen om de beïnvloeding van externe variabelen te controleren. In een experiment moeten onderzoekers actief de onafhankelijke variabele manipuleren in plaats van te wachten tot de variabele uit zichzelf verandert. Als je variabelen uit zichzelf laat veranderen, is het altijd mogelijk dat andere variabelen ook veranderen en deze andere variabelen kunnen verantwoordelijk zijn voor de relatie die je observeert.

Het bestaan van een relatie betekent niet noodzakelijk dat er een direct verband is tussen de twee variabelen. Het is mogelijk dat een derde, externe variabele verantwoordelijk is voor de schijnbare relatie. Het gebrek aan een direct verband tussen variabelen kan aangetoond worden door manipulatie te gebruiken.

In een experiment is de onderzoeker verantwoordelijk voor de veroorzaking van de verandering van de onafhankelijke variabele door directe manipulatie. Op deze manier kan de onderzoeker er zeker van zijn dat veranderingen van de onafhankelijke variabele niet veroorzaakt worden door een externe variabele (een derde variabele) die het resultaat van de studie kan beïnvloeden. Dus, manipulatie helpt een aspect van het derde-variabele probleem in een experiment te elimineren.

CONTROLE (2)Het tweede onderscheidende kenmerk van een experiment is controle van andere variabelen; diegene buiten de onafhankelijke en afhankelijke variabelen. Om de relatie tussen twee specifieke variabelen accuraat te evalueren, moet een onderzoeker verzekeren dat de geobserveerde relatie niet ‘besmet’ is door de beïnvloeding van andere variabelen.

CONTROLE EN HET DERDE-VARIABELE PROBLEEMIn het algemeen is het doel van een experiment aantonen dat de gemanipuleerde variabele verantwoordelijk is voor de geobserveerde veranderingen van de afhankelijke

72

variabele. Om dit te bereiken moet een experiment elke andere verklaring voor de geobserveerde veranderingen uitsluiten; dus alle verstorende variabelen elimineren.

VREEMDE EN VERSTORENDE VARIABELENHet is essentieel dat een experiment voorkomt dat vreemde variabelen verstorende variabelen worden. Hoewel de focus in een experiment ligt op twee specifieke variabelen, de onafhankelijke en afhankelijke variabele, zijn er duizenden andere variabelen die bestaan in een experiment. Met duizenden potentieel verstorende variabelen lijkt het probleem van het controleren van elke vreemde variabele onoverkomelijk. Een verstorende variabele heeft twee belangrijke kenmerken:

1. Een vreemde variabele wordt enkel een verstorende variabele als deze de afhankelijke variabele beïnvloedt. Iets dat niet gerelateerd is aan de afhankelijke variabele is geen bedreiging.

2. Een verstorende variabele moet systematisch variëren met de onafhankelijke variabele. Een variabele die willekeurig verandert, met geen relatie tot de onafhankelijke variabele, is geen bedreiging.

De eerste stap in het controleren van vreemde variabelen is de variabelen identificeren die hoogstwaarschijnlijk de afhankelijke variabele zullen beïnvloeden. Dit identificatieproces is vooral gebaseerd op gezond verstand, simpel logisch redeneren en vorige ervaring met het controleren van vreemde variabelen.

VREEMDE VARIABELEN CONTROLEREN

Onderzoekers gebruiken drie primaire technieken om vreemde variabelen te controleren en ze ervan te weerhouden verstorende variabelen te worden. Twee van deze technieken houden het actief identificeren en controleren van individuele variabelen in. De laatste techniek is minder veeleisend en laat onderzoekers toe om meerdere variabelen tegelijkertijd te controleren.

CONTROLE DOOR CONSTANT TE HOUDEN OF TE MATCHENEens een gelimiteerde set van specifieke variabelen met echt potentieel als verstorende variabelen zijn geïdentificeerd, is het mogelijk om enige controle uit te oefenen over hen. Er zijn drie standaardmethoden om vreemde variabelen te controleren. Twee houden het actief tussenkomen om de variabelen te controleren door de variabele constant te houden of door waarden te matchen over de behandelingscondities in. De derde methode is randomisatie.

EEN VARIABELE CONSTANT HOUDENEen vreemde variabele kan compleet geëlimineerd worden door deze constant te houden. Door de omgeving en de procedures te standaardiseren kunnen de meeste omgevingsvariabelen constant gehouden worden. Deze techniek kan ook gebruikt worden met participantvariabelen.

Soms is het onmogelijk om een variabele compleet constant te houden. In plaats daarvan kiezen onderzoekers er soms voor om een variabele te beperken tot een gelimiteerde omvang.

73

Het constant houden van een variabele elimineert het potentieel dat deze een verstorende variabele wordt. Maar, deze methode kan ook negatieve consequenties hebben omdat hij de externe validiteit van een experiment kan limiteren.

WAARDEN MATCHEN OVER BEHANDELINGSCONDITIESControle over een vreemde variabele kan ook uitgeoefend worden door de levels van de variabele te matchen over behandelingscondities. Een andere veelvoorkomende vorm van matching is te verzekeren dat de gemiddelde waarde is (bijna) dezelfde voor alle behandelingen. Matching kan ook gebruikt worden om omgevingsvariabelen te controleren. Als laatste kan matching gebruikt worden om tijd gerelateerde factoren te controleren. Door de volgorde van twee behandelingen te variëren, I en II, ervaren sommige participanten behandeling I vroeg in de serie en anderen ervaren dezelfde behandeling later. Op dezelfde manier ervaren sommige participanten behandeling II vroeg en anderen later. Op deze manier zijn de behandelingscondities gematched met respect voor tijd. Het proces van behandelingscondities te matchen over de tijd heen, heet counterbalancing.

Meestal vereist het controleren van een variabele door te matchen of constant te houden wat tijd en inspanning van de onderzoeker en kan dit storen voor de experimentele participanten. Individuen matchen op basis van IQ eist dat de onderzoeker een IQ-score verkrijgt van elke participant voor het experiment kan beginnen. Hoewel het mogelijk is om enkele variabelen te controleren door te matchen of constant te houden, maken de eisen van deze controletechnieken het onpraktisch of onmogelijk om deze te gebruiken om alle vreemde variabelen te controleren. Daarom is actieve controle door te matchen of constant te houden aanbevolen voor een gelimiteerde set van specifieke variabelen die geïdentificeerd zijn als potentiële bedreigingen van een experiment.

CONTROLE DOOR RANDOMISATIEOmdat het onmogelijk is om de duizenden vreemde variabelen die een experiment kunnen verstoren actief te controleren, steunen onderzoekers meestal op een simpelere, meer passieve controletechniek gekend als randomisatie. Het principe achter randomisatie is de ontwrichting van een systematische relatie tussen vreemde variabelen en de onafhankelijke variabele, en daarbij voorkomen dat de vreemde variabelen verstorende variabelen worden.

Randomisatie brengt het gebruik van een onvoorspelbare en niet-vooringenomen procedure (zoals een muntstuk opgooien) met zich mee om verschillende waarden van elke vreemde variabele te verdelen over de behandelingscondities. De procedure die gebruikt wordt moet een random proces zijn, wat wil zeggen dat alle mogelijke verschillende uitkomsten evenveel kans hebben om uit te komen.

Een veelvoorkomend gebruik van randomisatie is random toewijzing waarbij een random proces wordt gebruikt om participanten toe te wijzen aan behandelingscondities. Omdat de toewijzing van participanten aan behandelingen is gebaseerd op een random proces, is het redelijk om aan te nemen dat individuele participantvariabelen ook random worden verdeeld over behandelingscondities. Specifiek moet het gebruik van random toewijzing verzekeren dat de participantvariabelen niet systematisch veranderen van een behandeling tot een andere en daarom geen verstorende variabelen kunnen zijn.

74

Randomisatie is het gebruik van een random proces om een systematische relatie tussen twee variabelen te helpen

vermijden

Random toewijzing is het gebruik van een random proces om participanten toe te wijzen aan behandelingscondities

Randomisatie kan ook gebruikt worden om omgevingsvariabelen te controleren. Als het onderzoeksschema enkele observaties vereist in de ochtend en enkele in de namiddag kan een random proces gebruikt worden om de behandelingscondities toe te wijzen aan de verschillende tijdstippen.

Randomisatie is een sterk werktuig om vreemde variabelen te controleren. Het primaire voordeel is dat het een methode aanbiedt om een massa aan variabelen gelijktijdig te controleren en het vereist geen specifieke aandacht voor elke vreemde variabele. Maar, randomisatie garandeert niet dat vreemde variabelen echt gecontroleerd worden; eerder gebruikt het kans om variabelen te controleren.

Omdat men niet kan vertrouwen op randomisatie om vreemde variabelen te controleren, moeten specifieke variabelen die geïdentificeerd zijn als variabelen met een hoog potentieel om de resultaten te beïnvloeden extra aandacht krijgen en gecontroleerd worden door te matchen of constant te houden. Dan kunnen andere variabelen gerandomiseerd worden met begrip dat ze waarschijnlijk gecontroleerd worden door kans, maar met het risico dat randomisatie misschien niet kan slagen in het bieden van adequate controle.

CONTROLEMETHODEN VERGELIJKENHet doel van een experiment is aan te tonen dat de scores verkregen in een behandelingsconditie consistent verschillen van de scores in een andere behandeling en dat de verschillen veroorzaakt worden door de behandelingen. In de terminologie van het experimentele design is het doel om te aan te tonen dat de verschillen in de afhankelijke variabele veroorzaakt worden door de onafhankelijke variabele. In deze context is het doel van controleren om te verzekeren dat geen enkele variabele verantwoordelijk kan zijn voor het verschillen van de scores.

(zie tabel 7.1)

VOORDELEN EN NADELEN VAN CONTROLEMETHODENDe twee actieve controlemethoden (constant houden en matchen) vereisen wat extra inspanning of extra metingen en worden daarom meestal gebruikt met maar een of twee specifieke variabelen die geïdentificeerd zijn als bedreigingen voor verstoring. Ook heeft het constant houden van een variabele het nadeel dat de generalisatie (externe validiteit) wordt gelimiteerd. Aan de andere kant heeft randomisatie het voordeel dat een grote variëteit aan variabelen tegelijkertijd gecontroleerd kunnen worden. Maar, randomisatie verzekert geen succes; er wordt op kans vertrouwd om de variabelen te verdelen over de verschillende behandelingen. Niettemin is randomisatie de primaire techniek om een groot aantal vreemde variabelen die bestaan in een experiment te controleren.

CONTROLEGROEPEN EN MANIPULATIECHECKS

CONTROLEGROEPEN

75

Een experiment houdt altijd vergelijkingen in. De experimentele strategie vereist het vergelijken van de observaties van de afhankelijke variabele over verschillende levels van de onafhankelijke variabele. In algemene termen vergelijkt een experiment observaties over verschillende behandelingscondities. Maar, soms wenst een onderzoeker om enkel één behandeling te evalueren in plaats van een set van verschillende behandelingen te vergelijken. In dit geval is het nog steeds mogelijk om een experiment uit te voeren. De oplossing is om de behandelingsconditie te vergelijken met een baseline ‘geen-behandeling’conditie. In experimentele terminologie heet de behandelingsconditie de experimentele groep en de ‘geen-behandeling’conditie heet de controlegroep. De term ‘groep’ is iet of wat misleidend. Het is mogelijk om, bijvoorbeeld, dezelfde set van individuen in zowel de behandeling als de geen-behandelingscondities te observeren. In dit type design wordt maar één ‘groep’ subjects gebruikt om twee ‘groepen’ van scores voor vergelijking te genereren.

De term experimentele groep verwijst naar de behandelingsconditie in een experiment

De term controlegroep verwijst naar de geen-behandelingsconditie in een experiment

GEEN-BEHANDELINGSCONTROLEGROEPENEen geen-behandelingscontrolegroep is een behandelingsconditie waarin de participanten de behandeling die geëvalueerd wordt niet krijgen. Het doel van de geen-behandelingscontrole is om een standaard van normaal gedrag, of baseline, te voorzien waarmee de behandelingsconditie vergelijken kan worden.

In een experiment is een geen-behandelingscontrolegroep een conditie waarin de

participanten de behandeling die geëvalueerd wordt niet krijgen

Op het eerste zicht lijk het dat een behandeling versus geen-behandeling experiment de onafhankelijke variabele elimineert. Maar, de onderzoeker creëert nog steeds behandelingscondities door verschillende waarden van de behandelingsvariabele te manipuleren; de geen-behandelingsconditie is een nulwaarde van de onafhankelijke variabele. Dus, het experiment vergelijkt een conditie met een ‘volledige waarde’ van de behandeling met een tweede conditie met een ‘nulwaarde’ van de behandeling. De onafhankelijke variabele bestaat nog steeds en zijn twee levels bestaan nu uit behandeling en geen-behandeling controle.

PLACEBO CONTROLEGROEPENEen placebo is passieve of onschadelijke medicatie, een valse medische behandeling zoals een suikerpil of een waterinjectie dat, op zichzelf, absoluut geen medisch effect heeft. Hoewel er geen biologische of farmacologische reden is voor een placebo om effectief te zijn, niettemin kan een placebo dramatische effecten hebben op gezondheid en gedrag. Het placebo-effect wordt verondersteld psychosomatisch te zijn: de geest (psyché), eerder dan het placebo zelf, heeft een effect op het lichaam (somatisch). Het feit dat een individu denkt of gelooft dat de medicatie effectief is, kan genoeg zijn om een reactie op de medicatie te veroorzaken.

76

Het placebo-effect verwijst naar een reactie door een participant op passieve medicatie dat geen echt effect heeft op het lichaam. Het placebo-effect doet zich simpelweg voor

omdat het individu denkt dat de medicatie effectief is

Hoewel het concept van het placebo-effect is ontstaan in medisch onderzoek, is het gegeneraliseerd naar andere situaties waarin een vermoedelijk ineffectieve behandeling een effect produceert. Algemene voorbeelden in gedragsonderzoek bevat het gebruik van inactieve drugs (vooral wanneer participanten geloven dat de psychotrope drugs krijgen), niet-alcoholische dranken (wanneer participanten alcohol verwachten) en niet-specifieke psychotherapie (therapie waar de therapeutische componenten zijn verwijderd).

In de context van experimenteel onderzoek kan het placebo-effect serieuze vragen genereren over de interpretatie van de resultaten. Wanneer een onderzoeker een significant verschil observeert tussen een behandelingsconditie en een geen-behandelingscontroleconditie, kan de onderzoeker er dan zeker van zijn dat het geobserveerde effect wordt veroorzaak door de behandeling of is er een deel (of alles) van het effect een placebo-effect? Het belang van deze vraag hangt af van het doel van het experimenteel onderzoek. Onderzoekers differentiëren vaak tussen resultaatonderzoek en procesonderzoek.

1. Resultaatonderzoek onderzoekt de effectiviteit van een behandeling. Het doel is om te bepalen of een behandeling een substantieel of klinisch significant effect produceert. Het gaat eerder om de algemene uitkomst van de behandeling dan het identificeren van de specifieke componenten die de behandeling effectief maken.

2. Procesonderzoek probeert de actieve componenten van de behandeling te identificeren. In procesonderzoek is het essentieel dat het placebo-effect gescheiden wordt van andere, actieve componenten van de behandeling.

Om placebo-effecten te scheiden van ‘echte’ behandelingseffecten voegen onderzoekers een of meerdere placebocontrolegroepen toe aan een experiment. De placebocontrole is een behandelingsconditie waarin de participanten een placebo krijgen in plaats van de echte behandeling. Het vergelijken van de placebo-controleconditie met de behandelingsconditie toont hoever het behandelingseffect reikt na het placebo-effect. Het is ook veelvoorkomend om een derde, geen-behadelingscontrolegroep toe te voegen. Het vergelijken van de placebocontrole met de geen-behandelingsconditie toont de omvang van het placebo-effect.

Een placebocontrolegroep is een conditie waarin de participanten een placebo krijgen in plaats van de echte

behandeling

MANIPULATIECHECKSIn een experiment manipuleert een onderzoeker altijd de onafhankelijke variabele. Hoewel deze manipulatie en de resultaten duidelijk zijn voor de onderzoeker, is er soms een vraag over het effect van de manipulatie op de participanten. Specifiek, zijn de participanten zich bewust van de manipulatie en hoe interpreteren ze deze manipulatie? Wanneer deze vragen belangrijk zijn voor de resultaten of de interpretatie van een experiment, voegen onderzoekers vaak een manipulatiecheck toe als onderdeel van de

77

studie. Een manipulatiecheck meet of de onafhankelijke variabele het gewenste effect had op de participant.

Een manipulatiecheck is een additionele meting om te beoordelen hoe de participanten de manipulatie hebben

waargenomen en geïnterpreteerd en/of om het directe effect van de manipulatie te beoordelen

Er zijn twee manieren om de manipulatie te checken. Als eerste kan een manipulatiecheck een expliciete meting van de onafhankelijke variabele zijn. Een tweede manier om de manipulatie te checken is door specifieke vragen over de manipulatie in een vragenlijst te zetten die de participanten invullen na hun deelname in het experiment.

Hoewel een manipulatiecheck gebruikt kan worden in elke studie, is dit vooral belangrijk in vier situaties.

1. Participantmanipulaties. Hoewel onderzoekers zeker kunnen zijn van het succes van omgevingsmanipulaties (zoals een verandering in het licht), is er vaak een goede reden om het succes van de manipulaties die bedoeld zijn om participanten te beïnvloeden in vraag te stellen.

2. Subtiele manipulaties. In sommige situaties is de variabele die gemanipuleerd wordt niet bepaald opvallend en kan mogelijk niet opgemerkt worden door de participanten.

3. Simulaties. In simulatieonderzoek probeert de onderzoeker een ‘real-world’ omgeving te creëren door elementen in de experimentele situatie te manipuleren. De effectiviteit van de simulatie hangt af van de perceptie en acceptatie van de participant. Een manipulatiecheck kan gebruikt worden om te beoordelen hoe participanten een geprobeerde simulatie waarnemen en hoe ze hierop reageren.

4. Placebocontrole. Zoals bij een simulatie hangt de effectiviteit van een placebo af van de geloofwaardigheid. Het is essentieel dat participanten geloven dat de placebo echt is; ze mogen geen vermoeden hebben dat ze misleid worden. Een manipulatiecheck kan gebruikt worden om het realisme van de placebo te beoordelen.

TOENAME VAN EXTERNE VALIDITEIT: SIMULATIES EN VELDSTUDIES

Het doel van de experimentele strategie is om een oorzaak-gevolgrelatie te bewijzen tussen twee variabelen. Om dit te doen creëert een experiment een kunstmatige, gecontroleerde omgeving waarin de twee onderzochte variabelen geïsoleerd worden van externe invloeden. Als resultaat worden experimenten meestal uitgevoerd in een labosetting. Een gecontroleerde omgeving verhoogt de interne validiteit van het onderzoek. Maar door het creëren van een kunstmatige omgeving riskeert de onderzoeker om resultaten te verkrijgen die de gebeurtenissen en relaties die voorkomen in een meer natuurlijke, real-world omgeving niet accuraat weergeven. Dit risico is een bedreiging van de externe validiteit. Een voorbeeld van dit probleem komt voor wanneer er vraagkenmerken aanwezig zijn. Vraagkenmerken zijn cues die gegeven worden aan de participant die deze kunnen beïnvloeden om zich op een bepaalde manier te gedragen.

78

Vraagkenmerken, en reactiviteit, hebben meer kans om problemen te worden in een labosetting. Onderzoekers proberen vaak om het realisme van de experimentele omgeving te maximaliseren om de externe validiteit van de resultaten te verhogen. Er worden twee standaardtechnieken gebruikt om dit te bereiken: simulatie en veldstudies.

SIMULATIESimulatie is de creatie van condities binnen een experiment die de natuurlijke omgeving die geobserveerd wordt simuleert of zo goed mogelijk dupliceert. De term ‘natuurlijke omgeving’ wordt gebruikt in een heel brede zin van het woord om de fysieke kenmerken van de omgeving, en belangrijker, de atmosfeer of mood te bedoelen.

Een simulatie is de creatie van condities binnen een experiment die de natuurlijke omgeving waarin de gedragen

worden onderzocht normaal voorkomen, simuleren of zo goed mogelijk dupliceren

Onderzoekers differentiëren vaak tussen alledaags (mundane) realisme en experimenteel realisme in de context van simulatie. Alledaags realisme verwijst naar de oppervlakkige, meestal fysieke, kenmerken van simulatie, die waarschijnlijk een klein positief effect hebben op de externe validiteit. Experimenteel realisme bevat de psychologische aspecten van de simulatie; de mate waarin de participanten ondergedompeld worden in de simulatie en zich normaal gedragen zonder acht te slaan op het feit dat ze meedoen aan een experiment. Natuurlijk is een succesvolle simulatie meer afhankelijk van experimenteel realisme dan alledaags realisme, en vaak kunnen de meer alledaagse aspecten van een simulatie geminimaliseerd of geëlimineerd worden.

VELDSTUDIESEen simulatie experiment kan gezien worden als een poging om de echte wereld in het labo te brengen om de externe validiteit van experimentele resultaten te verhogen. Een alternatieve procedure dat hetzelfde doel heeft, is het labo in de echte wereld brengen. Studies uitgevoerd in een real-world omgeving zijn veldstudies en onderzoekers spreken vaak over ‘het veld ingaan’ als een eufemisme voor onderzoek buiten het labo brengen.

Veldstudie is onderzoek uitgevoerd op een plaats dat de participant of het subject waarneemt als een natuurlijke

omgeving

VOORDELEN EN NADELEN VAN SIMULATIE EN VELDSTUDIESHoewel simulaties en veldstudies gebruikt kunnen worden om het realisme van experimenten te verhogen, zijn er zowel risico’s als voordelen verbonden aan deze technieken. Het duidelijke voordeel van beide procedures is dat ze onderzoekers toestaan om gedrag te onderzoeken in meer life-like situaties en daarom de kansen zouden moeten verhogen dat de experimentele resultaten accuraat de natuurlijke gebeurtenissen weergeven. Het nadeel van beide procedures is dat het toestaan dat de natuur een experiment verstoort betekent dat de onderzoeker soms controle verliest over de situatie en het risico loopt afbreuk te doen aan de interne validiteit van het experiment. Dit probleem is vooral belangrijk voor veldexperimenten. Simulatie experimenten geven onderzoekers de mogelijkheid om de toewijzing van participanten aan behandelingscondities te controleren. Maar, simulatie experimenten zijn volledig afhankelijk van de bereidwilligheid van de participanten om de simulatie te accepteren. Het maakt niet uit hoe realistisch de simulatie is, participanten weten dat het maar een

79

experiment is dat hun gedragingen geobserveerd worden. Deze kennis kan gedrag beïnvloeden en de experimentele resultaten verstoren.

HOOFDSTUK 8: EXPERIMENTELE DESIGNS: BETWEEN-SUBJECTDESIGNS (PG 219-245)

INTRODUCTIE IN BETWEEN-SUBJECT EXPERIMENTEN

REVIEW VAN DE EXPERIMENTELE ONDERZOEKSSTRATEGIEHet doel van de experimentele onderzoeksstrategie is het aantonen van een oorzaak-gevolgrelatie tussen twee variabelen. Om dit doel te bereiken, vereist de experimentele strategie verschillende basiskenmerken: 1) manipulatie van een variabele om een set van twee of meer behandelingscondities te creëren; 2) meting van een tweede variabele om een set van scores te verkrijgen binnen elke behandelingsconditie; 3) vergelijking van de scores tussen behandelingen; en 4) controle van alle andere variabelen om te voorkomen dat ze verstorende variabelen worden.

Aan het einde van de studie, vergelijkt de onderzoeker de scores van elke behandeling met de scores van elke andere behandeling. Als er consistente verschillen zijn tussen behandelingen, kan de onderzoeker concluderen dat de verschillen veroorzaakt zijn door de behandelingscondities.

Twee basis onderzoeksdesigns worden gebruikt om de scoregroepen te verkrijgen die vergeleken worden in een experiment:

1. De verschillende scoregroepen kunnen allemaal verkregen worden uit dezelfde groep van participanten. Deze strategie heet een within-subjectsdesign

2. Een alternatieve strategie is om elke scoregroep te verkrijgen van een andere groep van participanten. Dit type design, scores vergelijken van aparte groepen, heet een between-subjectsdesign

KARAKTERISTIEKEN VAN BETWEEN-SUBJECTSDESIGNHet bepalende kenmerk van een between-subjectsdesign is dat het verschillende groepen van individuen vergelijkt. In de context van een experiment, manipuleert een onderzoeker de onafhankelijke variabele om verschillende behandelingscondities te creëren en een aparte groep van participanten wordt toegewezen aan elk van de verschillende condities. De afhankelijke variabele wordt dan gemeten voor elk individu en de onderzoeker bekijkt de data en zoekt naar verschillen tussen de groepen.

(zie figuur 8.1 op pg222)

Dit hoofdstuk focust op het between-subjects experimentele design; het between-subjectsdesign zoals het gebruikt wordt in experimenteel onderzoek, waarin een onderzoekeer een onafhankelijke variabele manipuleert. Het algemene doel van een between-subjectsexperiment is bepalen of er verschillen bestaan tussen twee of meer behandelingscondities.

80

ONAFHANKELIJKE SCORESEen between-subjectsdesign staat maar één score voor elke participant toe. Elke individuele score vertegenwoordigt een aparte, unieke participant. Als een between-subjectsexperiment 30 scores produceert in behandeling A en 30 scores in behandeling B, dan moet het experiment een groep van 30 individuen aangenomen hebben in behandeling A en een andere groep van 30 individuen in behandeling B, met een totaal van 60 participanten. In de terminologie van experimenteel onderzoek, gebruikt een between-subjects experimenteel design een verschillende groep van participanten voor elk niveau van de onafhankelijke variabele en elke participant wordt maar blootgesteld aan één niveau van de onafhankelijke variabele.

Soms kan een onderzoeker meerdere metingen voor elk individu combineren in een enkele score. Wanneer de variabele die wordt gemeten niet bepaald stabiel is (vb. reactietijd), dan kan een onderzoeker kiezen om de variabele meerdere keren te meten en dan het gemiddelde nemen van deze metingen om een enkele, meer betrouwbare score te produceren.

Een between-subjects experimenteel design, ook gekend als een onafhankelijke-metingen experimenteel design, vereist een aparte, onafhankelijke groep van individuen voor elke behandelingsconditie. Als resultaat bevat de data voor

een between-subjectsdesign maar één score voor elke participant. Om in aanmerking te komen als een experiment,

moet het design aan alle andere vereisten van de experimentele onderzoeksstrategie, zoals manipulatie van

een onafhankelijke variabele en controle van vreemde variabelen, voldoen

VOORDELEN EN NADELEN VAN BETWEEN-SUBJECTSDESIGNEen groot voordeel van een between-subjectsdesign is dat elke individuele score onafhankelijk is van de andere scores. Omdat elke participant maar één keer gemeten wordt, kan de onderzoeker er vrij zeker van zijn dat de meting relatief ‘clean’ en ‘niet besmet’ is door andere behandelingsfactoren. Om deze reden wordt een between-subjectsdesign vaak een onafhankelijke-metingendesign genoemd. In een experiment wordt elke participant maar blootgesteld aan één behandelingsconditie. De score van de participant kan dan niet beïnvloed worden door factoren zoals:

Oefening of ervaring opgedaan in andere behandelingen Moeheid of verveling door het participeren in een reeks van andere behandelingen Contrasteffecten die resulteren door een behandeling met een andere te

vergelijken

Een nadeel van between-subjectsdesigns is dat ze een relatief groot aantal participanten vereisen. Elke participant draagt maar één score bij aan de totale data. Om drie verschillende behandelingscondities te vergelijken met 30 scores in elke behandeling, vereist het between-subjectsdesign 90 participanten. Dit kan een probleem zijn voor

81

onderzoek dat speciale populaties bevat waarin het aantal potentiële participanten relatief klein is.

INDIVIDUELE VERSCHILLENHet grootste nadeel van een between-subjectsdesign komt van het feit dat elke score verkregen is van een uniek individu die persoonlijke karakteristieken heeft die verschillend zijn van alle andere participanten.

Verschillen (zoals geslacht, leeftijd, persoonlijkheid en familieachtergrond) die bestaan tussen participanten aan het begin van een experiment zijn vooraf bestaande individuele verschillen, of gewoon individuele verschillen. De bezorgdheid met individuele verschillen is dat ze kunnen veroorzaken dat twee verschillende individuen twee verschillende scores produceren wanneer een afhankelijke variabele wordt gemeten in een onderzoek.

Individuele verschillen zijn persoonlijke karakteristieken die kunnen verschillen van de ene participant tot de andere

Soms is onderzoek gemaakt met de intentie om specifieke individuele verschillen te onderzoeken; bijvoorbeeld, een studie kan gemaakt zijn om gedrag of attitudes tussen mannen en vrouwen te vergelijken. Maar meestal zijn individuele verschillen gewoon vreemde variabelen die niet direct geadresseerd worden in het onderzoeksdesign. Voor een between-subjects experimenteel design zijn individuele verschillen een specifieke bezorgdheid en kunnen serieuze problemen creëren. De twee grootste bezorgdheden zijn:

1. Individuele verschillen kunnen verstorende variabelen worden. Stel dat een onderzoeker vaststelt dat participanten in behandeling A hogere scores hebben dan participanten in behandeling B. De onderzoeker zou kunnen concluderen dat de hogere scores veroorzaakt worden door de behandeling; maar individuele verschillen kunnen ook een verklaring zijn voor het verschil in de scores. Als de individuen in een behandeling in het algemeen ouder (of slimmer, of sterker) zijn dan de individuen in een andere behandeling, dan kunnen de individuele verschillen tussen de groepen misschien verklaren waarom een groep hogere scores heeft. Dit is een bedreiging voor interne validiteit en heet toewijzingsbias.

2. Individuele verschillen kunnen hoge variabiliteit in de scores produceren, wat het moeilijk maakt om te bepalen of de behandeling enig effect heeft.

INDIVIDUELE VERSCHILLEN ALS VERSTORENDE VARIABELEN

In een between-subjectsdesign wordt elk niveau van de onafhankelijke variabele (elke behandelingsconditie) weergegeven door een aparte groep van participanten. In deze conditie is een grote bezorgdheid om te verzekeren dat de verschillende groepen zo gelijkaardig mogelijk zijn behalve de onafhankelijke variabele gebruikt om de groepen te differentiëren. Elke vreemde variabele die systematisch de groep differentieert is een verstorende variabele.

Wanneer het toewijzingsproces van participanten aan behandelingscondities groepen met verschillende karakteristieken produceert, is de interne validiteit van de studie bedreigt.

82

ANDERE VERSTORENDE VARIABELENNaast de bedreiging van toewijzingsbias, moet een between-subjectsdesign ook begaan zijn met bedreigingen van interne validiteit van omgevingsvariabelen die systematisch kunnen veranderen van de ene behandeling tot de andere. Er zijn twee grote storingsbronnen die bestaan in een between-subjectsdesign

1. Verstoring van individuele verschillen; toewijzingsbias. Individuele verschillen zijn karakteristieken van participanten die kunnen verschillen van de ene participant tot de andere. Als de karakteristieken anders zijn van de ene groep tot de andere dan is het experiment verstoord door toewijzingsbias.

2. Verstoring van omgevingsvariabelen. Omgevingsvariabelen zijn karakteristieken van de omgeving die kunnen verschillen. Als deze variabelen verschillend zijn tussen groepen, dan is het experiment verstoord door omgevingsvariabelen.

EQUIVALENTE GROEPENEr zijn drie algemene technieken om verstorende variabelen te controleren: randomisatie, matching en constant houden. Deze technieken kunnen gebruikt worden om een studie te beschermen tegen verstorende omgevingsvariabelen. Maar met een between-subjectsdesign moet een onderzoeker de studie ook beschermen tegen toewijzingsbias. Gelukkig heeft een onderzoeker met een between-subjectsdesign controle over de toewijzing van individuen aan groepen. Dus, de onderzoeker heeft zowel de kans als de verantwoordelijkheid om equivalente groepen te creëren. Specifiek moeten de aparte groepen … zijn:

1. Gelijk gecreëerd. Het proces dat gebruikt wordt om participanten te verkrijgen moet zo gelijkaardig mogelijk zijn voor alle groepen

2. Gelijk behandeld. Behalve de behandelingscondities die met opzet gevarieerd zijn tussen groepen, moeten de groepen participanten exact dezelfde ervaringen krijgen

3. Samengesteld uit equivalente individuen. De karakteristieken van de participanten in een groep moeten zo gelijkaardig mogelijk zijn aan de karakteristieken van de participanten in elke andere groep

STORINGEN DOOR INDIVIDUELE VERSCHILLEN LIMITEREN

De eerste stap in het uitvoeren van een between-subjectsexperiment is participanten toewijzen aan verschillende groepen die overeenkomen met de behandelingscondities. Als het toewijzingsproces vooringenomen is waardoor groepen verschillende karakteristieken hebben, dan is de studie verstoord door individuele verschillen. Specifiek kan elk verschil in de scores van de ene groep tot de andere veroorzaakt zijn door toewijzingsbias in plaats van de behandelingen. Daarom moeten de initiële groepen zo gelijkaardig mogelijk zijn. Om dit te bereiken gebruiken onderzoekers meestal een van de volgende drie procedures om groepen voor een between-subjects experimentele studie op te richten. De drie procedures zijn dezelfde methodes als voor het controleren van potentieel verstorende variabelen in een experiment.

83

WILLEKEURIGE TOEWIJZING (RANDOMISATIE)Het doel is om er zeker van te zijn dat alle individuen dezelfde kans hebben om toegewezen te worden aan een groep.

In beperkte random toewijzing is het groepstoewijzingsproces gelimiteerd om te zorgen voor

vooraf bepaalde karakteristieken (zoals gelijke grootte) voor de aparte groepen

Het voordeel van het gebruiken van een random proces om groepen te maken is dat het eerlijk en niet vooringenomen is. Maar, een random proces garandeert geen perfecte gebalanceerde uitkomst. Specifiek is er altijd een kans dat random toewijzing groepen zal produceren die verschillende karakteristieken hebben en het experiment dus verstoren. Omdat pure kans geen betrouwbaar proces is om gebalanceerde en equivalente groepen te verkrijgen, wijzigen onderzoekers soms random processen door het plaatsen van limieten of het beoefenen van enige controle over de uitkomsten.

MATCHING GROEPEN (GEMATCHTE TOEWIJZING)In veel situaties kan een onderzoeker een paar specifieke variabelen identificeren die waarschijnlijk de scores van de participanten beïnvloeden. In plaats van te hopen dat random toewijzing equivalente groepen produceert, kan een onderzoeker matching gebruiken om te garanderen dat de verschillende groepen van participanten equivalent zijn (of bijna equivalent).

Het matchingproces vereist drie stappen:

1. Identificatie van de variabele(n) om te matchen over groepen2. Meten van de matching variabele voor elke participant3. Toewijzing van participanten aan groepen door middel van een beperkte random

toewijzing dat een balans tussen groepen verzekert

Matching houdt in dat individuen aan groepen worden toegewezen zodat een specifieke variabele is gebalanceerd, of gematched, over de groepen. De intentie is om groepen te

creëren die (bijna) equivalent zijn met respect voor de gematchte variabele

Matching groepen of participanten geeft onderzoekers een relatief makkelijke manier om er zeker van te zijn dat specifieke variabelen geen verstorende variabelen worden. Maar er is een prijs te betalen voor matching en er zijn limieten die de bruikbaarheid van dit proces beperken. Om groepen te matchen met respect voor een specifieke variabele, moet de onderzoeker eerst de variabele meten. De meetprocedure kan duur of vervelend zijn en voegt altijd een nieuw niveau van extra werk toe aan de studie. Ook kan het moeilijk of onmogelijk zijn om groepen te matchen op meerdere verschillende variabelen tegelijkertijd. Als laatste kunnen groepen niet gematched worden op elke variabele die participanten kan differentiëren. Daarom gebruiken onderzoekers matching meestal enkel voor variabelen die een groot potentieel hebben om verstorend te zijn.

84

VARIABELEN CONSTANT HOUDEN OF OMVANG VAN VARIABILITEIT BEPERKENEen andere methode om individuele verschillen te weerhouden van het worden van verstorende variabelen is de variabele constant houden.

Een alternatief voor het compleet constant houden van een variabele is om zijn omvang van waarden te beperken.

Hoewel een variabele constant houden (of de omvang beperken) een effectieve manier kan zijn om te voorkomen dat de variabele een onderzoek verstoort, heeft deze methode een serieus nadeel. Wanneer een variabele wordt weerhouden van het bereiken van zijn natuurlijke omvang van variatie, is de externe validiteit van het onderzoek gelimiteerd.

SAMENVATTING EN AANBEVELINGENToewijzingsbias (individuele verschillen tussen groepen) is altijd een potentieel verstorende variabele in een between-subjectsdesign. Daarom is het belangrijk voor onderzoekers om een groep participanten te creëren die zo equivalent mogelijk zijn aan het begin van het onderzoek. Meestal proberen onderzoekers equivalente groepen te creëren door het gebruiken van random toewijzing omdat het relatief makkelijk is en geen metingen of directe controle van vreemde variabelen vereist. Het aantal variabelen (individuele verschillen) die verschillen tussen groepen zouden kunnen creëren zijn oneindig en random toewijzing is een simpele methode om die verschillen te balanceren over groepen zonder naar elke individuele variabele te verwijzen. Maar, random toewijzing is niet perfect en kan geen equivalente groepen garanderen, zeker wanneer er een kleine steekproef gebruikt wordt. Pure kans is geen betrouwbaar proces om gebalanceerde equivalente groepen te verkrijgen.

Wanneer een of twee specifieke variabelen kunnen geïdentificeerd worden dat ze waarschijnlijk de afhankelijke variabel zullen beïnvloeden, dan kunnen deze variabelen gecontroleerd worden door ofwel groepen te matchen of door de variabele constant te houden. Maar, matching vereist pre-testing om de variabele(n) die gecontroleerd worden te meten en het kan moeilijk worden om meerdere variabelen tegelijkertijd te matchen. Een variabele constant houden garandeert dat de variabele het onderzoek niet kan verstoren, maar dit proces limiteert de externe validiteit van de onderzoeksresultaten.

INDIVIDUELE VERSCHILLEN EN VARIABILITEIT

Naast het worden van verstorende variabelen, hebben individuele verschillen het potentieel om hoge variabiliteit te produceren in scores binnen een onderzoek. Een hoge variabiliteit kan behandelingseffecten die eventueel kunnen bestaan verdoezelen en daarom de mogelijkheid van een succesvolle studie ondermijnen. In het algemeen is het doel van de meeste onderzoeken om een verschil aan te tonen tussen twee of meer behandelingscondities. Om dit doel te bereiken is het essentieel dat de scores verkregen in een conditie duidelijk merkbaar verschillend (hoger of lager) zijn dan de scores in een tweede conditie. Meestal wordt het verschil tussen behandelingen beschreven door de gemiddelde score te bepalen voor elke behandeling en dan de twee gemiddeldes te vergelijken. Maar, gewoon de twee scores vergelijken in niet genoeg om een merkbaar verschil aan te tonen. Het probleem zit hem in het feit dat in sommige situaties een verschil van 10 groot is, maar in andere omstandigheden is een verschil van 10 klein. De absolute grootte van het verschil moet geëvalueerd worden in relatie tot de variantie van de scores.

85

Variatie is een statistische waarde dat de grootte van de verschillen van de ene score tot de andere meet. Als de scores allemaal gelijkaardige waardes hebben, dan is de variantie klein; als er grote verschillen zijn tussen de scores, dan is de variantie groot.

In between-subjectsonderzoek wordt een groot deel van de variantie veroorzaakt door individuele verschillen. Onthoud dat elke individuele score een verschillend individu representeert. Wanneer er grote verschillen zijn tussen individuen, dan is er grote variantie.

VERSCHILLEN TUSSEN BEHANDELINGEN EN VARIANTIE BINNEN BEHANDELINGENGrote verschillen tussen behandelingen zijn goed, want ze zorgen voor bewijs van differentiële behandelingseffecten. Aan de andere kant zijn grote verschillen binnen behandelingen slecht, want de verschillen die bestaan binnenin de behandelingscondities bepalen de variantie van de scores en een grote variantie kan de patronen in de data verdoezelen.

We onderscheiden verschillen tussen behandelingen en variantie (verschillen) binnen behandelingen. Onderzoekers proberen meestal de verschillen tussen behandelingen te doen stijgen en de variantie binnen behandelingen te doen dalen. Omdat een between-subjectsdesign een aparte groep participanten heeft voor elke behandelingsconditie, is de variantie binnen behandelingen ook de variantie binnen groepen.

VARIANTIE BINNEN BEHANDELINGEN MINIMALISERENGrote individuele verschillen kunnen leiden tot grote variantie binnen behandelingen, wat het potentieel succes van een between-subjectsonderzoek kan ondermijnen. Daarom nemen onderzoekers de stappen die nodig zijn om de variantie te verminderen binnenin elk van de behandelingscondities.

STANDAARDISEERPROCEDURES EN BEHANDELINGSSETTINGEen manier om de variabiliteit binnen elke groep te minimaliseren is door er zeker van te zijn dat alle participanten binnen een groep exact hetzelfde behandeld worden. Hoewel bestaande individuele verschillen niet verminderd zijn, er zijn tenminste maatregelen genomen waardoor ze niet verhogen. Dus, onderzoekers moeten wijzigingen in de behandelingssetting of de procedures die gebruikt werden voor de individuen vermijden. Wanneer twee individuen verschillend behandeld worden, dan is er een kans dat verschillen tussen hun scores vergroot zullen zijn, en dus dat de variantie binnen de groep is gestegen. Standaardiseerprocedures maken het ook makkelijker voor andere onderzoekers om exact te begrijpen hoe de studie is uitgevoerd en maakt het mogelijk voor hen om de studie te repliceren in hun eigen onderzoeksfaciliteit.

INDIVIDUELE VERSCHILLEN LIMITERENEen variabele van een participant constant houden of zijn omvang beperken zouden effectieve manieren kunnen zijn die gebruikt worden om verstoring te limiteren van individuele verschillen. Deze techniek verlaagt ook de variantie binnen een groep participanten.

WILLEKEURIGE TOEWIJZING EN MATCHING

86

Random toewijzing of groepen matching kunnen gebruikt worden om verstoring te limiteren van individuele verschillen. Maar, deze technieken hebben geen effect op de variantie binnen groepen.

STEEKPROEFGROOTTEHoewel steekproefgrootte de individuele verschillen of variantie niet direct beïnvloedt, het gebruik van een grote steekproef kan helpen om de problemen geassocieerd met hoge variantie te minimaliseren. Maar, deze techniek heeft limieten omdat de invloed van steekproefgrootte voorkomt in relatie tot de vierkantswortel van de steekproefgrootte. De vierkantswortelrelatie betekent dat het een dramatische verhoging van de steekproefgrootte vereist om een echt effect te hebben. Om de effecten van hoge variantie te verlagen met factor 4, dan moet de steekproefgrootte vergroot worden met factor 16; een steekproef van 20 moet dan vergroten tot een steekproef van 320.

SAMENVATTING EN AANBEVELINGENDe beste technieken om de negatieve gevolgen van hoge variantie te minimaliseren zijn het standaardiseren van behandelingen en de individuele verschillen minimaliseren tussen de participanten in het onderzoek. Beide technieken helpen factors te elimineren die verschillen kunnen veroorzaken tussen scores en daarom de variantie kunnen verlagen binnen behandelingen. De techniek van het minimaliseren van individuele verschillen door een variabele constant te houden of zijn omvang te beperken heeft twee voordelen:

1. Het helpt equivalente groepen te creëren, wat de bedreiging van verstorende variabelen verlaagt

2. Het helpt de variantie binnen groepen te verlagen, wat het makkelijker maakt om behandelingseffecten te zien

Individuele verschillen limiteren heeft het serieuze nadeel dat het externe validiteit limiteert.

ANDERE BEDREIGINGEN VOOR INTERNE VALIDITEIT VAN BETWEEN-SUBJECTSDESIGN

DIFFERENTIËLE UITVALDe term uitval verwijst naar de terugtrekking van een participant uit een onderzoek voor deze compleet is. Zolang de mate van uitval zo goed als consistent is van de ene groep tot de andere, is het meestal geen bedreiging voor de interne validiteit. Maar, grote verschillen in uitvalgraad tussen groepen kunnen problemen creëren. Wanneer de groepen participanten merkbaar verschillend zijn, is het onderzoeker verstoord. Differentiële uitval verwijst naar verschillen in uitvalgraden van de ene groep tot de andere en kan de interne validiteit van een between-subjectsexperiment bedreigen.

Differentiële uitval is een bedreiging voor de interne validiteit omdat we niet weten of de verkregen verschillen tussen behandelingscondities veroorzaakt zijn door de behandelingen of door differentiële attributie.

COMMUNICATIE TUSSEN GROEPEN

87

Wanneer de participanten in een behandelingsconditie mogen praten met de participanten in een andere conditie, is er potentieel dat er zich een reeks problemen voordoet. Diffusie verwijst naar de verspreiding van de behandeling van de experimentele groep naar de controle groep, wat het verschil tussen de twee condities meestal doet dalen. Dit is een bedreiging voor de interne validiteit van een between-subjectsdesign omdat de echte effecten van de behandeling gemaskeerd kunnen worden door de gedeelde informatie.

Een ander risico is dat een onbehandelde groep informatie krijgt over de behandeling die gegeven wordt aan de andere groep en dezelfde of een gelijkaardige behandeling eist. Dit is compenserende equalisatie.

Als laatste kunnen proberen optreden wanneer participanten in een onbehandelde groep hun normale gedrag veranderen wanneer ze meer te weten komen over een speciale behandeling die gegeven werd aan een andere groep. Een mogelijkheid is dat de onbehandelde groep extra hard werkt om te tonen dat ze even goed kunnen presteren als de individuen die de speciale behandeling krijgen. Dit is compenserende rivaliteit. In dit geval is de prestatie die geobserveerd wordt door de onderzoeker veel hoger dan normaal. Het is ook mogelijk dat de participanten in een onbehandelde groep gewoon opgeven wanneer ze te weten komen dat een andere groep een speciale behandeling krijgen. Dit heet wrokkige demoralisatie. In dit geval wordt de onbehandelde groep minder productief en minder gemotiveerd omdat ze wrok dragen tegenover de verwachte superioriteit van de behandelde groep. Als resultaat blijkt het effect van de behandeling veel groter dan het eigenlijk is.

TOEPASSINGEN EN STATISTISCHE ANALYSES VAN BETWEEN-SUBJECTSDESIGNS

TWEE-GROEPEN GEMIDDELD VERSCHILDe simpelste versie van een between-subjects experimenteel design houdt het vergelijken van twee groepen participanten in: de onderzoeker manipuleert een onafhankelijke variabele met maar twee niveaus. Dit design heet het single-factor twee-groepen design of gewoon het twee-groependesign. Dit type design kan gebruikt worden om behandelingen te vergelijken of om het effect van een behandeling te evalueren door een behandelingsgroep en een controlegroep te vergelijken.

Het grootste voordeel van een twee-groependesign is zijn simpelheid. Het is makkelijk om een twee-groepenstudie op te zetten en er is geen subtiliteit of complexiteit om de resultaten te interpreteren; ofwel zijn de twee groepen verschillend ofwel zijn ze dit niet. Ook geven twee-groependesigns de beste kans om het verschil tussen de twee behandelingscondities te maximaliseren; dit komt doordat je tegenovergestelde, extreme waarden kan selecteren voor de onafhankelijke waarde.

Het grootste nadeel van een twee-groependesign is dat het relatief weinig informatie geeft. Met maar twee groepen heeft een onderzoeker maar twee echte datapunten om te vergelijken. Hoewel twee datapunten genoeg zijn om een verschil op te merken, zijn ze dikwijls niet genoeg om een compleet of gedetailleerd beeld te vormen van de gehele relatie tussen een onafhankelijke en een afhankelijke variabele.

Een twee-groepenstudie limiteert ook de opties wanneer een onderzoeker een behandelingsgroep en een controlegroep wenst te vergelijken. Vaak is het nodig om meerdere controlegroepen te gebruiken om een compleet beeld te krijgen van de effectiviteit van een behandeling. Twee algemene controles die vaak samen gebruikt

88

worden zijn een geen-behandelingscontrole en een placebocontrole. Met deze twee controlegroepen kunnen onderzoekers de echte behandelingseffecten onderscheiden van de placebo-effecten die optreden omdat participanten denken dat ze een behandeling krijgen.

GEMIDDELDES VERGELIJKEN VOOR MEER DAN TWEE GROEPENOnderzoeksvragen vereisen vaak meer dan twee groepen om de functionele relatie tussen een onafhankelijke en een afhankelijke relatie te evalueren of om meerdere verschillende controlegroepen in een enkele studie te vervatten. In deze gevallen kan een single-factor meerdere-groependesign of een meerdere-groependesign gebruikt worden.

Naast het onthullen van de volledige functionele relatie tussen variabelen, geeft een meerdere-groependesign ook sterker bewijs voor een echte oorzaak-gevolgrelatie die verkregen kan worden van een twee-groependesign. Met een meerdere-groependesign verandert de onderzoeker de behandelingscondities (onafhankelijke variabele) meerdere keren over meerdere groepen, verschillen in prestatie aantonend voor elke verschillende behandelingsconditie. In contrast, een twee-groependesign verandert de behandelingsconditie maar één keer en observeert maar één verschil in prestatie.

EEN WAARSCHUWING OVER MEERDERE-GROEPENDESIGNSHoewel een onderzoek met meer dan twee groepen een helder en overtuigend beeld kan geven over de relatie tussen een onafhankelijke en een afhankelijke variabele, is het mogelijk om te veel groepen te hebben in een onderzoek. Een voordeel van een simpel twee-groependesign is dat het de onderzoeker toelaat om het verschil tussen behandelingen te maximaliseren door tegenovergestelde extremen te selecteren voor de onafhankelijke variabele. Het spiegelbeeld van dit argument is dat een design met meer dan twee groepen de neiging heeft om het verschil tussen behandelingen te verminderen of te minimaliseren. Er is zelfs een extreme kans dat de verschillen tussen de behandelingen zo hard verminderen dat de verschillen niet meer significant zijn. Daarom, wanneer men een single-factor meerdere-groepenstudie opstelt, moet men zeker dat de gebruikte niveaus voor de onafhankelijke variabele voldoende verschillend zijn om substantiële verschillen toe te laten voor de afhankelijke variabele.

PROPORTIES VERGELIJKEN VOOR TWEE OF MEERDERE GROEPENVaak wordt de afhankelijke variabele in een onderzoek gemeten op een nominale of ordinale schaal. In dit geval heeft de onderzoeker geen numerieke score voor elke participant en kan hij de gemiddeldes voor de verschillende groepen niet berekenen en vergelijken. In de plaats wordt elk individu geclassificeerd in een categorie en de data bestaat uit een simpele frequentietelling van de participanten in elke categorie op de meetschaal.

HOOFDSTUK 9: EXPERIMENTELE DESIGNS: WITHIN-SUBJECTSDESIGN (PG 249-276)

WITHIN-SUBJECTSEXPERIMENTEN EN INTERNE VALIDITEIT

89

KARAKTERISTIEKEN VAN WITHIN-SUBJECTSDESIGNSHet bepalende karakter van een within-subjectsdesign is dat het een enkele groep participanten gebruikt en elk individu afzonderlijk test of observeert in alle verschillende behandelingen die vergeleken worden. Dus, in een within-subjectsdesign wordt de steekproef niet opgedeeld in verschillende groepen, maar bestaat eerder als een enkele groep die meedoet in elke behandelingsconditie. In een within-subjects experimenteel design participeert dezelfde groep individuen op elk niveau van de onafhankelijke variabele zodat elke participant alle verschillende niveaus van de onafhankelijke variabele ervaart.

Een within-subjectsdesign is ultiem in equivalente groepen omdat de groep in een behandelingsconditie absoluut identiek is aan de groep in elke andere conditie. In de context van statistische analyse heet een within-subjectsdesign vaak een herhaalde-metingendesign omdat het onderzoek metingen van dezelfde individuen onder andere omstandigheden herhaalt.


Een within-subjects experimenteel design, ook gekend als een herhaalde-metingen experimenteel design,

vergelijkt twee of meer verschillende behandelingscondities (of vergelijkt een behandeling en een controle) door dezelfde groep individuen in alle behandelingscondities die vergeleken

worden te observeren of te meten. Dus, een within-subjectsdesign zoekt naar verschillen tussen

behandelingscondities binnen dezelfde groep participanten. Om een experiment te zijn moet het design voldoen aan alle

andere vereisten van een experimentele onderzoeksstrategie, zoals manipulatie van een onafhankelijke variabele en

controle van vreemde variabelen

BEDREIGINGEN VAN INTERNE VALIDITEIT VAN WITHIN-SUBJECTS EXPERIMENTENEen within-subjects experimentele studie moet zich bewust zijn van de bedreigingen van interne validiteit van omgevingsvariabelen die systematisch kunnen veranderen van de ene behandeling tot de andere en van tijdgerelateerde factoren die de scores van de participanten kunnen beïnvloeden. Dus zijn er twee grote bronnen van potentiele verstoring voor een within-subjectsdesign.

1. Verstoring van omgevingsvariabelen. Omgevingsvariabelen zijn karakteristieken van de omgeving die kunnen veranderen van de ene behandelingsconditie tot de andere. Bijvoorbeeld: een behandeling kan ‘s ochtends geëvalueerd worden en een andere behandeling ’s avonds. Zulke variabelen kunnen verschillen in scores veroorzaken van de ene behandeling tot de andere en daarom een alternatieve verklaring voor de verschillen tussen behandelingen bieden

2. Verstoring van tijdgerelateerde variabelen. Een serieuze bedenking van within-subjectsdesigns komt van het feit dat het design vaak een reeks van metingen over de tijd heen vereist. Tijdens de tijd tussen de eerste meting en de finale meting kunnen de participanten beïnvloedt worden door een variëteit aan factoren naast de behandelingen die onderzocht worden en deze andere factoren kunnen de scores van de participanten beïnvloeden. Wanneer dit voorvalt is de interne validiteit van de studie bedreigd omdat een verandering in een score van een

90

participant van de ene behandeling tot de andere kan veroorzaakt zijn door een externe factor in plaats van de verschillende behandelingen. We identificeren 5 tijdgerelateerde bedreigingen van interne validiteit

a) Geschiedenis: de term geschiedenis verwijst naar de omgevingsgebeurtenissen buiten de behandeling die veranderen over de tijd en de scores in een behandeling anders kunnen beïnvloeden dan in een andere behandeling. Gebeurtenissen die voorkomen in de levens van participanten thuis, op school of op het werk kunnen hun prestatie of gedrag beïnvloeden in verschillende secties van het onderzoek.

Wanneer een groep individuen getest worden in een reeks van behandelingscondities, wordt elke externe gebeurtenis die de scores van de participant in een behandeling anders

beïnvloedt dan in een andere behandeling een geschiedeniseffect genoemd. Geschiedenis is een

bedreiging van interne validiteit omdat elk verschil dat geobserveerd wordt tussen behandelingscondities

veroorzaakt kan worden door geschiedenis in plaats van de behandelingen

b) Maturatie: elke systematische verandering in de fysiologie van participanten of psychologie dat voorkomt tijdens een onderzoek en de scores van de participanten beïnvloedt heet maturatie. Maturatie-effecten zijn vooral een bezorgdheid wanneer de onderzoeksparticipanten jonge kinderen of bejaarden zijn. Jonge kinderen kunnen nieuwe kennis en skills verkrijgen of groter en sterker worden in een relatief korte tijd. Als resultaat kunnen hun prestaties aan het einde van de reeks behandelingscondities heel verschillend zijn van hun prestaties in het begin en de veranderingen in de prestaties kunnen misschien niet veroorzaakt zijn door de behandelingen maar door maturatie. Bij bejaarde participanten kunnen maturatie-effecten vaak een nadelig effect hebben. Wanneer mensen ouder worden, kunnen ze hun zicht of gehoor verliezen wat hun prestaties kan beïnvloeden. In het algemeen bedreigt maturatie de interne validiteit van een studie uitgevoerd over de tijd heen omdat het ons vertrouwen verlaagt dat de verschillende behandelingscondities verantwoordelijk zijn voor de geobserveerde veranderingen in de scores van de participanten. Maturatie is een bepaalde bezorgdheid in onderzoekssituaties waarin de reeks behandelingen uitbreiden over een relatief lange tijd.

Maturatie is wanneer een groep individuen getest worden in een reeks van behandelingscondities, een fysiologische of psychologische verandering die voorkomt bij participanten

tijdens de studie en de score van de participanten beïnvloedt. Maturatie is een bedreiging voor interne validiteit omdat geobserveerde verschillen tussen behandelingscondities kunnen veroorzaakt zijn door maturatie in plaats van de

behandeling

c) Instrumentatie: De term instrumentatie (soms ook instrumentele bias of instrumenteel verval) verwijst naar veranderingen in een meetinstrument die gebeuren over de tijd heen. Gedragsobservatiesmetingen zijn veel meer gerelateerd tot instrumentatie dan andere types metingen.

Instrumentatie verwijst naar veranderingen in het meetinstrument die voorkomen tijdens een onderzoek waarin

participanten gemeten worden in een reeks van

91

behandelingscondities. Instrumentatie is een bedreiging voor interne validiteit omdat geobserveerde metingen tussen

behandelingscondities veroorzaakt kunnen zijn door veranderingen in het meetinstrument in plaats van de

behandelingen

d) Regressie naar het gemiddelde: statistische regressie, of regressie naar het gemiddelde, verwijst naar de neiging voor extreme scores in eender welke meting om naar het gemiddelde te bewegen (regressie) wanneer de meetprocedure wordt herhaald. Individuen die extreem hoog scoren op een meting tijdens de eerste test zijn waarschijnlijker om lager te scoren op de tweede test en omgekeerd, individuen die extreem laag scoren een meting tijdens de eerste test zijn waarschijnlijker om hoger te scoren op de tweede test. Statistische regressie komt voor omdat een score van een individu een functie is van zowel stabiele factoren zoals skills en van onstabiele factoren zoals geluk. Hoewel de stabiele factoren constant blijven van de ene meting tot de andere, kunnen de onstabiele factoren substantieel veranderen. In onderzoek is regressie een bezorgdheid wanneer participanten worden geselecteerd voor hun exceptioneel hoge (of lage) scores. In het algemeen bedreigt statistische regressie de interne validiteit van een onderzoek omdat het de mogelijkheid creëert da de geobserveerde veranderingen in de scores van de participanten veroorzaakt werden door regressie in plaats van de behandelingen.

Statistische regressie, of regressie naar het gemiddelde, is een wiskundig fenomeen waarin extreme scores (hoog of laag) bij een meting de neiging hebben om minder extreem te zijn bij een tweede meting. Regressie is een bedreiging voor interne validiteit omdat veranderingen

die voorkomen in scores van participanten van de ene behandeling tot de andere kunnen veroorzaakt zijn door

regressie in plaats van de behandelingen

e) Volgorde-effecten (oefening, moeheid en overdraageffecten): Wanneer individuen getest worden in een reeks behandelingscondities, kan participatie in een behandeling een invloed hebben op de scores van de participant in de volgende behandelingen. Elke mogelijke verandering in prestatie veroorzaakt door participatie in een eerdere behandeling heet een volgorde-effect en is een bedreiging voor de interne validiteit omdat het een alternatieve verklaring biedt voor de resultaten. Algemene voorbeelden van volgorde-effecten houden in: moeheid effecten (daling in prestatie als een participant zich doorheen een reeks van behandelingscondities werkt) en oefening effecten (verbetering van prestatie wanneer een participant ervaring verkrijgt doorheen de reeks behandelingscondities)Het is ook mogelijk dat een specifieke behandeling veranderingen veroorzaakt bij participanten zodat de sluimerende na-effecten van de behandeling worden overgedragen naar de volgende behandeling(en) en de scores van de participanten beïnvloeden. Deze effecten heten overdraageffecten. Een ander veel voorkomend voorbeeld van overdraging is een contrasteffect, waarin de subjectieve perceptie van een behandelingsconditie beïnvloed wordt door het contrast met de vorige behandeling. Merk op dat overdraageffecten veroorzaakt worden door het ervaren van een specifieke behandeling. Andere volgorde-effecten, zoals oefening en moeheid, komen van de algemene ervaring van in de studie te zijn. Deze andere volgorde-effecten heten progressieve fouten om ze te differentiëren van overdraageffecten.

92

Volgorde-effecten komen voor wanneer de ervaring van getest te worden in een behandelingsconditie (participeren en

gemeet worden) een invloed heeft op de scores van de participant in een latere behandelingsconditie. Volgorde-

effecten bedreigen interne validiteit omdat geobserveerde verschillen tussen behandelingscondities kunnen veroorzaakt zijn door volgorde-effecten in plaats van de behandelingen.

Overdraageffecten komen voor wanneer een behandelingsconditie een verandering produceert bij de

participanten die hun scores beïnvloeden in latere behandelingscondities

Progressieve fouten verwijzen naar de veranderingen in het gedrag of de prestaties van participanten die gerelateerd

zijn aan algemene ervaring in een onderzoek maar niet gerelateerd aan een specifieke behandeling. Veel

voorkomende voorbeelden van progressieve fouten zijn oefening en moeheid

TIJDGERELATEERDE FACTOREN EN VOLGORDE-EFFECTEN SCHEIDENHoewel de tijdgerelateerde bedreigingen voor interne validiteit meestal samen gegroepeerd zijn in een categorie, maken onderzoekers soms onderscheidingen tussen diegene de enkel gerelateerd zijn aan de tijd en diegene die gerelateerd zijn aan vorige ervaringen binnen de studie. Specifiek, bedreigingen van geschiedenis, maturatie, instrumentatie en regressie zijn enkel gerelateerd aan tijd en niet direct verbonden met ervaring in een eerdere behandeling. Aan de andere kant zijn volgorde-effecten direct gerelateerd aan ervaring verkregen door te participeren in eerdere behandelingscondities.

VOLGORDE-EFFECTEN ALS EEN VERSTORENDE VARIABELEVolgorde-effecten kunnen veranderingen produceren in scores van de ene behandeling tot de andere die niet veroorzaakt worden door de behandelingen en de resultaten kunnen verstoren van een studie.

OMGAAN MET TIJDGERELATEERDE BEDREIGINGEN EN VOLGORDE-EFFECTEN

TIJD CONTROLERENDe mogelijkheid dat een onderzoek beïnvloed zal zijn door een tijdgerelateerde bedreiging zoals geschiedenis of maturatie is direct gerelateerd aan de hoeveelheid tijd die nodig is om de studie te volbrengen. Door de tijd te controleren van de ene behandeling tot de andere heeft de onderzoeker enige controle over tijdgerelateerde bedreigingen voor interne validiteit.

Hoewel het inkorten van de tijd tussen behandelingen het risico van tijdgerelateerde bedreigingen kan verminderen, kan deze techniek de waarschijnlijkheid dat volgorde-effecten de resultaten zullen beïnvloeden, verhogen.

93

VERANDER NAAR EEN BETWEEN-SUBJECTSDESIGN Vaak beginnen onderzoekers met enige kennis of verwachtingen over het bestaan en de grootte van volgorde-effecten. In sommige situaties zijn de volgorde-effecten zo sterk en zo duidelijk dat een onderzoeker waarschijnlijk nog niet eens zou overwegen om een within-subjectsdesign te gebruiken. Meestal is een between-subjectsdesign (met een aparte groep voor elke behandeling) beschikbaar als een alternatief en elimineert elke bedreiging voor verstoring van volgorde-effecten volledig.

COUNTERBALANCING: BEHANDELINGEN MATCHEN MET RESPECT VOOR TIJDBij counterbalancing ondergaan verschillende participanten de behandelingscondities in verschillende volgorde zodat elke behandeling enkele participanten heeft die deze voor het eerst ervaren, enkele voor wie het de tweede is, de derde enz.… Als resultaat zijn de behandelingen gematched, of gebalanceerd, met respect voor tijd.

Voor een within-subjectsdesign is counterbalancing gedefinieerd als het veranderen van de volgorde waarin

behandelingscondities worden toegewezen aan een participant zodat de behandelingscondities gematched zijn

met respect voor tijd. Het doel is om elke mogelijke volgorde van behandelingen te gebruiken met een gelijk aantal participerende individuen in elke reeks. Het doel van

counterbalancing is om het potentieel op verstoring te elimineren door elke systematische relatie tussen de volgorde van behandelingen en tijdgerelateerde factoren te verbreken

COUNTERBALANCING EN VOLGORDE-EFFECTENVolgorde-effecten kunnen individuele scores en gemiddeldes veranderen, maar wanneer een design is gecounterbalanced beïnvloeden de veranderingen de gemiddeldeverschillen tussen behandelingen niet. Omdat de behandelingsverschillen niet getroffen zijn, bedreigen de volgorde-effecten de interne validiteit van de studie niet.

De waarde van het counterbalancen van een within-subjectsdesign is dat het voorkomt dat volgorde-effecten zich ophopen in een bepaalde behandelingsconditie. In de plaats zijn de volgorde-effecten gelijk verdeeld over alle verschillende condities zodat het mogelijk is om eerlijke, onpartijdige vergelijkingen tussen behandelingen te maken.

Aan de andere kant elimineert counterbalancing de volgorde-effecten niet; ze zijn nog steeds ingebed in de data. De volgorde-effecten zijn verborgen in de data zodat een onderzoeker niet kan zien of ze bestaan of hoe groot ze zijn.

LIMIETEN VAN COUNTERBALANCING

COUNTERBALANCING EN VARIANTIE Het doel van counterbalancing is om volgorde-effecten gelijk te verdelen over de verschillende behandelingscondities. Maar, dit proces elimineert de volgorde-effecten niet. De volgorde-effecten zijn nog steeds een deel van de data en kunnen nog steeds problemen creëren. Eén hiervan is dat ze de behandelingsgemiddeldes kunnen verdraaien. In situaties waarin het absolute niveau van prestatie belangrijk is, kan het counterbalancingproces de echte waarde van een behandelingsgemiddelde vermommen.

94

Een serieuzer probleem is dat counterbalancing de volgorde-effecten aan sommige individuen in elke behandeling toevoegt, maar niet aan alle individuen. Als resultaat verhogen de verschillen tussen scores binnen elke behandeling, wat ook toevoegt aan de variantie binnen behandelingen. Hoge variantie binnen behandelingen verlaagt de waarschijnlijkheid dat een studie significante verschillen tussen behandelingen zal verkrijgen.

ASYMMETRISCHE VOLGORDE-EFFECTENHet is zeker mogelijk dat een behandeling een groter volgorde-effect kan produceren dan een andere behandeling. In zulke situaties zijn de volgorde-effecten niet symmetrisch en balanceert de behandelingsvolgorde counterbalancen de volgorde-effecten niet.

COUNTERBALANCING EN HET AANTAL BEHANDELINGENOm een reeks behandelingen volledig te counterbalancen, is het noodzakelijk om de behandelingen in elke mogelijke volgorde te presenteren. De idee achter compleet counterbalancen is dat een bepaalde reeks behandelingscondities zijn eigen unieke volgorde-effect zou kunnen creëren.

Met maar twee behandelingscondities is compleet counterbalancen gemakkelijk: er zijn maar twee mogelijke volgordes. Maar, als het aantal behandelingen toeneemt, wordt compleet counterbalancen complexer. Als het aantal verschillende behandelingscondities wordt voorgesteld als n, dan is het aantal verschillende volgordes n!

n! = n (n-1)(n-2)(n-3)…

Bijvoorbeeld: met vier behandelingscondities zijn er 4! = 4 x 3 x 2 x 1 = 24 verschillende volgordes. In dit geval zou de onderzoeker minstens 24 gelijke groepen moeten hebben, dit wordt zelfs nog meer naargelang de hoeveelheid behandelingscondities. Een oplossing voor dit probleem is het gebruik van partiële counterbalancing. In plaats van elke mogelijke volgorde, gebruikt partiële counterbalancing genoeg verschillende volgordes om er zeker van te zijn dat elke behandelingsconditie eens als eerste voorkomt voor een groep participanten, eens als tweede voor een andere groep, enzovoort. Met vier behandelingen, bijvoorbeeld, vereist dit maar vier verschillende volgordes, zoals: ABCD, CADB, BDAC, DCAB.

Omdat partiële counterbalancing niet elke mogelijke volgorde van behandelingscondities gebruikt, is het een probleem om exact te beslissen welke volgordes men moet selecteren. Een simpele en onpartijdige procedure om volgordes te selecteren is het maken van een Latijns vierkant. Om een Latijns vierkant te creëren voor vier behandelingscondities, start je met een 4 x 4 matrix en vul je deze met de letters A, B, C en D, zoals volgt:

Lijst de letters ABCD in volgorde op in de bovenste rij van de matrix. Om de volgende rij te creëren, verschuif je de laatste letter in de rij naar het begin. Dit creëert DABC voor de tweede rij. Blijf de laatste letter verschuiven naar het begin van de lijn om elke nieuwe rij te creëren.

95

Een Latijns vierkant is een matrix van n elementen (letters) waarin elk element exact één keer in elke kolom en in elke rij voorkomt

WITHIN-SUBJECTSDESIGNS EN BETWEEN-SUBJECTSDESIGNS VERGELIJKEN

VOORDELEN VAN WITHIN-SUBJECTSDESIGNSEen voordeel van een within-subjectsdesign is dat het relatief weinig participanten vereist in vergelijking met een between-subjectsdesign. Omdat een within-subjectsdesign maar één groep vereist, is het vooral handig in situaties waarin participanten moeilijk te vinden zijn.

Het grootste voordeel van een within-subjectsdesign is dat het al de problemen gebaseerd op individuele verschillen elimineert. Als eerste heeft een within-subjectsdesign geen individuele verschillen tussen groepen omdat er maar één groep participanten is. De groep in de ene behandeling is exact dezelfde als de groep in de andere behandelingen. Ten tweede, omdat elke participant voorkomt in elke behandeling, dient elk individu als zijn eigen controle of baseline. Dit maakt het mogelijk om de variantie veroorzaakt door individuele verschillen te meten of verwijderen.

In een within-subjectsdesign zijn de volgende metingen mogelijk:

Het is mogelijk om de verschillen tussen behandelingen te meten zonder individuele verschillen. Omdat dezelfde participanten in elke behandeling voorkomen, zijn de behandelingseffecten en de individuele verschillen niet verbonden.

Het is mogelijk om de verschillen tussen individuen te meten. Wanneer de individuele verschillen consistent zijn over behandelingen, kunnen ze gemeten en verwijderd worden van de rest van de variantie in de data. Dit kan de negatieve effecten van een grote variantie verminderen.

NADELEN VAN EEN WITHIN-SUBJECTSDESIGNHet grootste nadeel komt van het feit dat elke participant meestal door een reeks behandelingscondities gaat waarvan vaak elke behandeling toegediend wordt op een verschillend tijdstip. Wanneer de behandelingen zich voordoen op verschillende tijdstippen, is er een kans voor tijdgerelateerde factoren, zoals moeheid of het weer, om de scores van de participanten te beïnvloeden.

Een ander potentieel probleem voor het within-subjectsdesign is participantenafslijting (participant attrition). Sommige individuen die het onderzoek starten, kunnen weg zijn voor de studie compleet is. Dit probleem is serieus wanneer de studie zich uitbreidt over een periode en participanten teruggeroepen moeten worden voor extra onderzoek. Participanten kunnen afspraken vergeten, interesse verliezen, stoppen, verhuizen of zelfs

96

A B C D

D A B C

C D A B

B C D A

sterven. Naast het verkleinen van de steekproefgrootte, kan het afslijtingsprobleem de vrijwilligersbias vergroten als enkel de meest toegewijde vrijwilligers doorgaan van begin tot einde.

KIEZEN TUSSEN WITHIN- OF BETWEEN-SUBJECTS1. Individuele verschillen. De verwachting dat individuele verschillen verstorende

variabelen kunnen worden of de variantie kunnen vergroten is een groot nadeel van between-subjectsdesign. Omdat het within-subjectsdesign de variantie verkleint, is het in het algemeen waarschijnlijker hier om een behandelingseffect te detecteren (als er een bestaat) dan bij een between-subjectsdesign. Als je grote individuele verschillen verwacht, is het meestal beter om een within-subjectsdesign te gebruiken.

2. Tijdgerelateerde factoren en volgorde-effecten. Er is meestal potentie voor factoren die veranderen doorheen de tijd om de resultaten van within-subjectsdesigns te verdraaien. Maar, dit probleem wordt geëlimineerd bij een between-subjectsdesign, waarin elk individu maar in één behandeling participeert en maar één keer wordt gemeten. Dus, wanneer je verwacht dat één (of meerdere) behandelingsconditie(s) een groot en langdurend effect zal hebben dat de participanten kan beïnvloeden in toekomstige condities, is het beter om een between-subjectsdesign te gebruiken.

3. Minder participanten. Omdat een within-subjectsdesign meerdere scores verkrijgt van elk individu, kan het veel data genereren van een relatief kleine set participanten. Een between-subjectsdesign produceert maar één score voor elke participant en vereist veel participanten om veel data te genereren.

MATCHED-SUBJECTSDESIGNSSoms proberen onderzoekers de voordelen van within-subjectsdesigns en between-subjectsdesigns te benaderen door het gebruik van een techniek genaamd matched-subjectsdesign. Een matched-subjectsdesign gebruikt een aparte groep voor elke behandelingsconditie, maar elk individu in een groep is gematched aan een individu in elke andere groep. Het matchen is gebaseerd op een variabele die beschouwd wordt relevant te zijn voor de specifieke studie.

In een matched-subjectsdesign is elk individu in een groep gematched met een participant in elke andere groep. Het

matchen is zo gedaan dat de gematchte individuen equivalent zijn met respect voor een variabele die de

onderzoeker relevant vindt voor de studie

Het doel van een matched-subjectsdesign is om al de voordelen van within- en between-subjectsdesigns te dupliceren zonder de nadelen van beide.

In het algemeen probeert een matched-subjectsdesign de problemen te elimineren die geassocieerd worden met between-subjectsexperimenten (individuele verschillen) en within-subjectsexperimenten (volgorde-effecten). Maar, dit type design kan subjects nooit perfect matchen.

TOEPASSINGEN EN STATISTISCHE ANALYSE VAN WITHIN-SUBJECTSDESIGNS

97

1. Omdat het within-subjectsdesign maar één groep vereist, is het vaak gebruikt wanneer het moeilijk of onmogelijk is om een grote groep participanten te verkrijgen. Als een onderzoeker een populatie onderzoekt met vreemde en zeldzame karakteristieken (Olympische atleten, vrouwen groter dan 2m…) dan is een within-subjectsdesign efficiënter omdat het minder participanten vereist.

2. Een groot voordeel van een within-subjectsdesign is dat het variabiliteit veroorzaakt door individuele verschillen verkleint of elimineert.

TWEE-BEHANDELINGENDESIGNSDe makkelijkste toepassing van een within-subjectsdesign is het evalueren van het verschil tussen twee behandelingscondities. Aan de positieve zijde is het design eenvoudig om uit te voeren en de resultaten zijn makkelijk te begrijpen. Met maar twee behandelingscondities kan een onderzoeker het verschil tussen behandelingen makkelijk maximaliseren door twee behandelingscondities te selecteren die duidelijk verschillend zijn. Ook is het heel makkelijk om het design te counterbalancen om de bedreiging van verstoring van tijdgerelateerde factoren of volgorde-effecten te minimaliseren. Aan de negatieve zijde zorgt een studie met maar twee behandelingen maar voor twee datapunten. In deze situatie is het mogelijk om een verschil tussen condities te demonstreren, maar de data zorgen niet voor een indicatie van de functionele relatie tussen de onafhankelijke en afhankelijke variabelen. We kunnen dus niet bepalen hoe de afhankelijke variabelen zou reageren op kleine, graduele veranderingen van de onafhankelijke variabele.

Met twee behandelingscondities kan een herhaalde-metingen t of een single-factor ANOVA (herhaalde metingen) gebruikt worden om de statistische significantie of het gemiddeldeverschil te evalueren, om te bepalen of het verkregen gemiddeldeverschil groter is dan wat normaal verwacht wordt van sampling error.

MEERDERE-BEHANDELINGENDESIGNSHet grote voordeel van het gebruiken van meer dan twee behandelingscondities, is dat de data waarschijnlijker zijn om de functionele relatie tussen de twee variabelen te onthullen. Een onderzoeker kan een reeks condities creëren (onafhankelijke variabele) en dan observeren hoe het gedrag van de participant (afhankelijke variabele) verandert wanneer ze doorheen de reeks condities gaan. Een meerdere-behandelingendesign produceert ook een overtuigendere demonstratie van een oorzaak-gevolgrelatie dan een twee-behandelingendesign.

Een nadeel is dat wanneer een onderzoeker te veel behandelingscondities creëert, kan de onderscheiding tussen behandelingen te klein worden om nog significante verschillen in gedrag te genereren. Ook verhoogt het meestal de hoeveel tijd die nodig is voor elke participant om de volledige reeks behandelingen te voltooien. Dit kan de waarschijnlijkheid van participantafslijting verhogen. Als laatste wordt de mogelijkheid om een design volledig te counterbalancen moeilijker naarmate het aantal behandelingscondities stijgt.

98

HOOFDSTUK 10: DE NIET-EXPERIMENTELE EN QUASI-EXPERIMENTELE STRATEGIEËN: (PG 279-307)NIET-EQUIVALENTE GROEPEN, PRE-POST EN ONTWIKKELINGSDESIGNS

NIET-EXPERIMENTELE EN QUASI-EXPERIMENTELE ONDERZOEKSSTRATEGIEËN

Het onderscheid tussen de niet-experimentele onderzoeksstrategie en de quasi-experimentele onderzoeksstrategie is de mate waarin de onderzoeksstrategie verstoring limiteert en bedreigingen van interne validiteit controleert. Als een onderzoeksdesign weinig of geen moeite doet om bedreigingen te minimaliseren, is het niet-experimenteel. Een quasi-experimenteel design doet moeite om bedreigingen van interne validiteit te minimaliseren en benadert de striktheid van een echt experiment.

STRUCTUUR VAN NIET-EXPERIMENTELE EN QUASI-EXPERIMENTELE DESIGNSEen niet-experimenteel of quasi-experimenteel onderzoek produceert ook groepen van scores om te vergelijken voor significante verschillen. Een variabele wordt gebruikt om de groepen of condities te creëren en de tweede variabele wordt gemeten om een set scores

99

te verkrijgen binnen elke conditie. Maar, in niet-experimenteel en quasi-experimenteel onderzoek worden de verschillende groepen of behandelingscondities niet gecreëerd door een onafhankelijke variabele te manipuleren. In de plaats worden de groepen meestal gedefinieerd in termen van een specifiek participantkenmerk (vb. man/vrouw) of in termen van tijd (vb. voor en na de behandeling). Deze twee methodes om groepen te definiëren produceren twee algemene categorieën van niet-experimentele en quasi-experimentele designs:

1. Between-subjectsdesigns of niet-equivalente groepsdesigns 2. Within-subjectsdesigns of pre-postdesigns

Zoals echte experimenten bevatten de niet-experimentele onderzoeksstrategie en de quasi-experimentele

onderzoeksstrategie meestal het vergelijken van scores uit verschillende groepen of condities. Maar, deze twee

strategieën gebruiken een niet-gemanipuleerde variabele om de groepen of condities die vergeleken worden te definiëren.

De niet-gemanipuleerde variabele is meestal een participantkenmerk (zoals man of vrouw) of een tijdsvariabele (zoals voor of na de behandeling). Het onderscheid tussen de twee strategieën is dat niet-experimentele designs weinig of geen moeite doen om de bedreigingen van interne validiteit

te controleren, terwijl quasi-experimentele designs actief proberen om de bedreigingen van interne validiteit te

limiteren.


BETWEEN-SUBJECTS NIET-EXPERIMENTELE EN QUASI-EXPERIMENTELE DESIGNS: NIET-EQUIVALENTE GROEPSDESIGNS

Een niet-equivalent groepsdesign is een onderzoek waarin de verschillende groepen van participanten worden gevormd onder omstandigheden die de onderzoeker niet toelaten de toewijzing van individuen aan groepen te controleren en de

groepen van participanten zijn daarom niet-equivalent. Specifiek kan de onderzoeker geen gebruik maken van

random toewijzing om groepen van participanten te creëren.

BEDREIGINGEN VAN INTERNE VALIDITEIT VOOR NIET-EQUIVALENTE GROEPSDESIGNS Het doel van de studie is om aan te tonen dat de factor die de groepen differentieert verantwoordelijk is voor de verschillen in de scores van de participanten van de ene groep tot de andere.

Maar, een niet-equivalent groepsdesign heeft een ingebouwde bedreiging van interne validiteit dat een ondubbelzinnige oorzaak-gevolgverklaring uitsluit: toewijzingsbias. Toewijzingsbias komt voor wanneer de toewijzingsprocedure groepen produceert die

100

verschillende participantkenmerken hebben. Omdat de toewijzing van participanten niet gecontroleerd wordt in een studie met niet-equivalente groepen, is dit type onderzoek altijd bedreigd door toewijzingsbias.

NIET-EXPERIMENTELE DESIGNS MET NIET-EQUIVALENTE GROEPEN

HET DIFFERENTIËLE ONDERZOEKSDESIGNEen onderzoek dat bestaande groepen vergelijkt, is een differentieel onderzoeksdesign omdat het doel is om verschillen vast te stellen tussen de al bestaande groepen. Dit type onderzoek wordt ook vaak ex post facto genoemd omdat het naar verschillen kijkt ‘na het feit’, verschillen die al bestaan tussen groepen. Omdat het differentiële onderzoeksdesign geen moeite doet om de bedreiging van toewijzingsbias te controleren, wordt het geclassificeerd als een niet-experimenteel onderzoeksdesign.

Een differentieel onderzoeksdesign is een onderzoek dat bestaande groepen vergelijkt. Een differentiële studie gebruikt een participantkenmerk zoals geslacht, ras of

persoonlijkheid om participant automatisch toe te wijzen aan groepen. De onderzoeker wijst niet willekeurig individuen aan groepen toe. Een afhankelijke variabele wordt dan gemeten voor elke participant om een set scores te verkrijgen binnen

elke groep. Het doel van de studie is om te bepalen of de scores voor een groep consistent verschillend zijn van de scores van een andere groep. Differentieel onderzoek is

geclassificeerd als een niet-experimenteel onderzoeksdesign

HET POSTTEST-ONLY NIET-EQUIVALENTE CONTROLEGROEPSDESIGN

Een niet-equivalent controlegroepsdesign gebruikt bestaande groepen, een daarvan in de behandelingsconditie

en de andere in de controleconditie. De onderzoeker wijst niet willekeurig individuen aan groepen toe

Een posttest-only niet-equivalente controlegroepsdesign is een veel voorkomend voorbeeld van een niet-equivalent controlegroepsdesign. Dit type onderzoek wordt soms ook een statische groepsvergelijking genoemd. In dit design wordt een groep participanten een behandeling gegeven en worden dan gemeten na de behandeling (dit is de posttest). De scores van de behandelde groep worden dan vergeleken met de scores van een niet-equivalente groep die de behandeling niet heeft gekregen (dit is de controlegroep). Dit design kan schematisch weergegeven worden door het gebruik van een reeks X’en en O’s om de reeks gebeurtenissen die ervaren werden door elke groep weer te geven. In dit notitiesysteem komt de letter X overeen met de behandeling en de letter O komt overeen met de observatie of de meting. Dus, de behandelingsgroep ervaart de behandeling eerst (X) gevolgd door observatie of metingen (O). De controlegroep krijgt geen behandeling, maar wordt enkel geobserveerd (O). De twee groepen worden als volgt gerepresenteerd:

X O (behandelingsgroep)

101

O (niet-equivalente controlegroep)

Als een design gebruik maakt van random toewijzing van participanten aan groepen, dan wordt een R geplaatst als het eerste symbool in elke notatielijn.

Een posttest-only niet-equivalent controlegroepsdesign vergelijkt twee niet-equivalente groepen van participanten.

Een groep wordt geobserveerd (gemeten) na het krijgen van een behandeling en de andere groep wordt gemeten op

hetzelfde moment maar krijgt geen behandeling. Dit is een voorbeeld van een niet-experimenteel onderzoeksdesign

EEN QUASI-EXPERIMENTEEL DESIGN MET NIET-EQUIVALENTE GROEPEN

HET PRETEST-POSTTEST NIET-EQUIVALENTE CONTROLEGROEPSDESIGNEen veel sterker design kan gecreëerd worden met een kleine aanpassing van het posttest-only niet-equivalente controlegroepsdesign. De aanpassing houdt het toevoegen van een pretest in dat metingen verkrijgt van beide groepen voor de behandeling wordt uitgevoerd. Het resulterende design is een pretest-posttest niet-equivalent controlegroepsdesign en kan als volgt gerepresenteerd worden:

O X O (behandelingsgroep)

O O (niet-equivalente controlegroep)

In dit design is de eerste stap om beide groepen te observeren (meten). De behandeling wordt dan uitgevoerd bij een groep, en na de behandeling worden beide groepen opnieuw geobserveerd.

Het toevoegen van de pretestmeting staat onderzoekers toe om het probleem van toewijzingsbias dat bestaat in alle niet-equivalente groepsonderzoeken te adresseren. Specifiek kan de onderzoeker nu de observaties voor de behandeling vergelijken om vast te stellen of de twee groepen echt wel gelijkaardig zijn. Als de groepen gelijkaardig zijn voor de behandeling, dan heeft de onderzoeker bewijs dat de participanten in de ene groep niet substantieel verschillend zijn van de participanten in een andere groep en dat de bedreiging van toewijzingsbias gereduceerd is.

Een pretest-posttest niet-equivalent controlegroepsdesign vergelijkt twee niet-equivalente

groepen. Een groep wordt twee keer gemeten, een keer voor de behandeling wordt uitgevoerd en een keer erna. De

andere groep wordt gemeten op dezelfde momenten maar krijgen geen behandeling. Omdat dit design probeert om de

bedreigingen van interne validiteit te limiteren wordt het geclassificeerd als quasi-experimenteel

Wanneer geschiedeniseffecten verschillen van de ene groep tot de andere, worden ze differentiële geschiedeniseffecten genoemd. De differentiële effecten kunnen een verstorende variabele zijn omdat verschillen geobserveerd tussen de twee groepen verklaard kunnen worden door hun verschillende geschiedenis.

WITHIN-SUBJECTS NIET-EXPERIMENTELE EN QUASI-EXPERIMENTELE DESIGNS: PRE-POSTDESIGNS

102

De tweede algemene categorie van niet-experimentele en quasi-experimentele designs bestaat uit studies waarin een reeks observaties worden gemaakt over de tijd heen: pre-postdesigns. In een typisch pre-postonderzoek, wordt een groep participanten geobserveerd (gemeten) voor en na de behandeling of gebeurtenis. Het doel van het pre-postdesign is om de beïnvloeding van de ingrijpende behandeling of gebeurtenis te evalueren door de observaties voor de behandeling te vergelijken met de observaties na de behandeling.

Een pre-postdesign is een onderzoek waarin een reeks observaties gemaakt worden over de tijd heen voor één groep

van participanten

BEDREIGINGEN VAN INTERNE VALIDITEIT VOOR PRE-POSTDESIGNSPre-poststudies zijn kwetsbaar voor bedreigingen; verschillen tussen de voorbehandeling observaties en de nabehandeling observaties kunnen verklaard worden door geschiedenis, instrumentatie, testeffecten, maturatie of regressie. In een pre-postdesign is het onmogelijk om de behandelingsvolgorde te counterbalancen.

EEN NIET-EXPERIMENTEEL PRE-POSTDESIGN

HET PRETEST-POSTTESTDESIGNDe simpelste versie van het pre-postdesign bestaat uit een observatie voor elke participant gemaakt voor de behandeling of gebeurtenis en een observatie gemaakt erna. Schematisch kan deze simpele vorm als volgt gerepresenteerd worden:

O X O

Dit type onderzoek heet pretest-posttestdesign. Omdat de pretest-postteststudie een oorzaak-gevolgconclusie uitsluit, is dit type onderzoek niet-experimenteel.

In het niet-experimentele pretest-posttestdesign wordt elk individu in een enkele groep participanten een keer voor de

behandeling gemeten en een keer na de behandeling

EEN QUASI-EXPERIMENTEEL PRE-POSTDESIGN

HET TIME-SERIES DESIGNEen simpele wijziging aan het pretest-posttestdesign vergroot de interne validiteit en zorgt voor een sterker onderzoeksdesign. De wijziging houdt in dat een reeks observaties gedaan worden in plaats van de enkele observatie, voor en na de behandeling. Dit wordt een time-series design genoemd en kan als volgt gerepresenteerd worden:

O O O X O O O

103

De ingrijpende behandeling of gebeurtenis (X) kan wel of niet gemanipuleerd zijn door de onderzoeker. Een onderzoek waarin de ingrijpende gebeurtenis niet gemanipuleerd is door de onderzoeker wordt een onderbroken-time-series design genoemd.

Een time-series design heeft een reeks observaties voor elke participant voor een behandeling of gebeurtenis en een

reeks observaties na de behandeling of gebeurtenis. Een behandeling is een manipulatie uitgevoerd door de

onderzoeker en een gebeurtenis in een extern voorval dat niet gecontroleerd of gemanipuleerd wordt door de

onderzoeker

In een time-series design hebben de pretest en posttest observatiereeksen verschillende waardevolle doelen. Als eerste staan de pretest observaties de onderzoeker toe om trends te zien die al kunnen bestaan in de data zelfs voor de behandeling wordt voorgesteld. Trends in de data zijn een indicator dat de scores beïnvloedt zijn door een factor die niets met de behandeling te maken heeft. Aan de andere kant, als de trends van mogelijke verstorende variabelen gelijk blijven voor de behandeling, dan kan de onderzoeker er vrij zeker van zijn dat deze potentiële bedreigingen van interne validiteit de participanten niet beïnvloeden. Dus, de reeks observaties staan een onderzoeker toe om de meeste bedreigingen van interne validiteit te minimaliseren. Daarom is het time-series design quasi-experimenteel.

Een extern event (geschiedenis) kan de externe validiteit schaden, maar enkel als deze gelijktijdig met de behandelingsconditie plaatsvindt. Als de externe gebeurtenis voorkomt op een ander tijdstip dan de introductie van behandeling, dan moet het makkelijk zijn om de geschiedeniseffecten te onderscheiden van de behandelingseffecten. Er is enkel een probleem wanneer de behandeling en het externe event PERFECT samenvallen. De onderzoeker kan met deze methode ook duidelijker zien of een effect blijft, of enkel tijdelijk is. Dus, geschiedeniseffecten (externe gebeurtenissen) zijn enkel een bedreiging voor validiteit wanneer er een perfecte overeenkomst is tussen het voorkomen van de gebeurtenis en de introductie van de behandeling.

De reeks observaties na de behandeling of gebeurtenis staan een onderzoeker ook toe om postbehandelingstrends te observeren.

SINGLE-CASE TOEPASSINGEN VAN TIME-SERIES DESIGNSOnderzoeksdesigns die focussen op een single-case in plaats van een groep participanten worden vaak single-case time-series designs genoemd of single-subject of single-case designs.

ONTWIKKELINGSONDERZOEKDESIGNS

Ontwikkelingsonderzoekdesigns zijn nog een type niet-experimenteel onderzoek dat gebruikt kan worden om veranderingen die samenhangen met leeftijd te onderzoeken. Het doel van ontwikkelingsonderzoekdesigns is om de relatie tussen leeftijd en andere variabelen te beschrijven.

Ontwikkelingsonderzoekdesigns worden gebruikt om veranderingen in gedrag gerelateerd met leeftijd te

onderzoeken

104

Twee basistypes van ontwikkelingsonderzoekdesigns zijn het cross-sectionele design en het longitudinale design.

HET CROSS-SECTIONEEL ONTWIKKELINGSONDERZOEKDESIGN Het cross-sectioneel ontwikkelingsonderzoekdesign is een between-subjectsdesign dat een aparte groep participanten gebruikt voor elk van de leeftijden die vergeleken worden. Een afhankelijke variabele wordt gemeten voor de individuen in elke groep en de groepen worden vergeleken om te bepalen of er leeftijdsverschillen zijn.

Het cross-sectioneel ontwikkelingsonderzoekdesign gebruikt verschillende groepen individuen, elke groep

representeert een verschillende leeftijd. De verschillende groepen worden op een bepaald moment gemeten en dan

vergeleken

Een cross-sectioneel design is een voorbeeld van een between-subjects niet-experimenteel design, specifieker een niet-equivalent groepsdesign. De verschillende groepen participanten zijn niet gecreëerd door het manipuleren van een onafhankelijke variabele; de groepen zijn gedefinieerd door een bestaande participantvariabele (leeftijd). Ook wijst de onderzoeker participanten niet willekeurig toe aan groepen; groepstoewijzing is vooraf bepaald door de leeftijd van elke participant.

STERKTES EN ZWAKTES VAN HET CROSS-SECTIONEEL ONTWIKKELINGSDESIGNEen duidelijk voordeel van het cross-sectioneel design is dat een onderzoeker kan observeren hoe gedrag verandert wanneer mensen ouder worden zonder te wachten op een groep participanten om ouder te worden. Met een cross-sectioneel design kan data verzameld worden in een korte tijdsperiode. Ook vereist cross-sectioneel onderzoek geen medewerking op lange termijn tussen de onderzoeker en de participant.

Een nadeel is dat een onderzoeker niets kan zeggen over hoe een bepaald individu zicht ontwikkelt over de tijd omdat individuen niet gevolgd worden over de jaren heen. Een serieuzer probleem is dat andere factoren behalve leeftijd de groepen kunnen differentiëren. In het algemeen worden individuen die dezelfde leeftijd hebben en in gelijkaardige omgevingen hebben geleefd cohorten genoemd. De omgevingsfactoren die een leeftijdsgroep differentiëren van een andere zijn cohorteffecten of generatie- effecten, en deze kunnen verantwoordelijk zijn voor geobserveerde verschillen tussen de groepen in plaats van leeftijd. Als resultaat zijn generatie-effecten een bedreiging voor de interne validiteit voor een cross-sectioneel design. De generatie van de participanten verandert van de ene groep tot de andere zodat de schijnbare relatie tussen leeftijd en andere variabelen ook veroorzaakt kunnen zijn door generatieverschillen.

Cohorten zijn individuen die rond dezelfde tijd geboren zijn en onder gelijkaardige omstandigheden opgroeiden.

De termen cohorteffecten en generatie-effecten verwijzen naar verschillen tussen leeftijdsgroepen (of

cohorten) veroorzaakt door unieke kenmerken of ervaringen buiten leeftijd

HET LONGITUDINALE ONTWIKKELINGSONDERZOEKSDESIGN

105

Het longitudinale ontwikkelingsonderzoeksdesign houdt in dat men een variabele meet in dezelfde groep individuen over een bepaalde tijdsperiode (meestal om de paar maanden of jaren). De individuen zijn meestal cohorten, ongeveer dezelfde leeftijd, die onder gelijkaardige omstandigheden opgroeide. Meerdere metingen van een bepaalde variabele worden gemaakt bij dezelfde individuen op twee of meer momenten in hun leven om de relatie tussen leeftijd en die variabele te onderzoeken.

Het longitudinale ontwikkelingsonderzoeksdesign onderzoekt ontwikkeling door een groep cohorten te

observeren of meten over de tijd heen

Een longitudinale studie is een voorbeeld van een within-subjects niet-experimenteel design, specifieker een enkele-groep pretest-posttest design. In een longitudinaal design wordt er geen behandeling uitgevoerd; de ‘behandeling’ is leeftijd. Een longitudinale studie kan beschreven worden als een reeks observaties gevolgd door een periode van ontwikkeling of ouder worden, en dan een andere reeks observaties. De verschillen tussen de initiële observaties en de finale observaties definiëren de effecten van ontwikkeling. Dus, longitudinale studies kunnen gezien worden als een soort pretest-posttest studies.

STERKTES EN ZWAKTES VAN HET LONGITUDINAAL ONTWIKKELINGSDESIGNEen groot voordeel van het longitudinaal onderzoeksdesign is de afwezigheid van cohorteffecten omdat de onderzoeker een groep mensen onderzoekt over de tijd in plaats van groepen te vergelijken die verschillende leeftijden representeren en uit verschillende generaties komen. Ten tweede, met een longitudinaal onderzoek kan een onderzoeker bespreken hoe het gedrag van een enkel individu verandert met de leeftijd. Maar, longitudinaal onderzoek is extreem tijdrovend, zowel voor de participanten als voor de onderzoeker. Ook zijn deze designs zeer duur om uit te voeren omdat onderzoekers mensen moeten opzoeken en hen overtuigen, wanneer het nodig is, om opnieuw te participeren in de studie. Als de studie vele jaren in beslag neemt, komt er nog een extra kost bij om nieuwe onderzoekers te trainen om de studie over te nemen. Verder zijn deze designs onderhevig aan hoge uitvalratings van participanten. Mensen verliezen interesse in de studie, verhuizen of sterven. Wanneer participanten stoppen met een studie heet dit participantenuitval (of participantenmortaliteit), en kan het de interne validiteit van het onderzoek verzwakken. Als de participanten die uitvallen systematisch verschillend zijn van diegene die blijven, dan kan de groep aan het einde van de studie verschillende kenmerken hebben dan de groep aan het begin.


CROSS-SECTIONELE LONGITUDINALE DESIGNSVele onderzoeken vergelijken de verkregen resultaten van aparte steekproeven (zoals een cross-sectioneel design) die verkregen werden op andere tijdstippen (zoals een longitudinaal design).

Between-subjectsdesign Within-subjectsdesign

Niet-equivalent groepsdesign

Pre-post design

106

Niet-experimenteel

Differentieel onderzoek

Vergelijkt bestaande groepen (vb. man/vrouw)

Pretest-posttest design

Vergelijkt voorbehandeling en nabehandeling scores

voor een groep participanten

Posttest-only niet-equivalent

controlegroepsdesign

Vergelijkt bestaande groepen nadat een groep

een behandeling heeft gekregen

Cross-sectioneel ontwikkelingsdesign

Vergelijkt bestaande groepen die van leeftijd

verschillen

Longitudinaal ontwikkelingsdesign

Observeert een groep individuen op verschillende

tijdstippen

Quasi-experimenteel

Pretest-posttest niet-equivalent

controlegroepsdesign

Voegt een pretest toe aan het posttest-only design

Time-series design

Vervangt de single pre en post scores in een pretest-posttest design met een

reeks metingen

TOEPASSINGEN, STATISTISCHE ANALYSE EN TERMINOLOGIE

TOEPASSINGEN EN ANALYSETwee-groependesigns hebben het voordeel van simpliciteit; ze zijn makkelijk om op te starten en de resultaten zijn makkelijk te begrijpen. Maar, een twee-groepen zorgt niet voor de gehele functionele relatie tussen variabelen die beschikbaar is in een multi-groependesign. Wanneer de data bestaat uit numerieke scores, dan bestaat de statische analyse uit het vergelijken van gemiddeldes met ofwel een t-test (onafhankelijke- of herhaalde-metingen) voor twee gemiddeldes of een single-factoranalyse van variantie (onafhankelijke- of herhaalde-metingen) voor meerdere gemiddeldes.

HET PRETEST-POSTTEST NIET-EQUIVALENTE CONTROLEGROEPSDESIGNAls de data bestaat uit numerieke scores, dan is de gepaste statistische analyse een tweefactoren, mixed design analyse van variantie (de pre-postfactor is within-subjects en de groepsfactor is between-subjects).

TERMINOLOGIE IN NIET-EXPERIMENTELE, QUASI-EXPERIMENTELE EN ONTWIKKELINGSDESIGNS In een echt experiment manipuleert de onderzoeker een onafhankelijke variabele om behandelingscondities te creëren en meet dan een afhankelijke variabele (scores) in elke

107

conditie; scores in een conditie worden vergeleken met de scores verkregen in een andere conditie. In niet-experimenteel en quasi-experimenteel onderzoek wordt geen onafhankelijke variabele gemanipuleerd. Maar, niet-experimentele studies vergelijken wel groepen scores. In niet-equivalente groepsstudies worden de scores van een groep participanten vergeleken met de scores van een andere groep. In pre-poststudies worden de verkregen scores voor de behandeling vergeleken met de verkregen scores na de behandeling. In het algemeen is de variabele die de groep (of reeks scores) differentieert gelijkaardig aan de onafhankelijke variabele in een experiment. Deze variabele heet een quasionafhankelijke variabele.

In de context van niet-experimenteel en quasi-experimenteel onderzoek wordt de variabele die gebruikt wordt om de

groepen participanten of scores die vergeleken worden te differentiëren de quasionafhankelijke variabele genoemd

en de variabele die gemeten wordt en scores binnen elke groep te verkrijgen is de afhankelijke variabele

HOOFDSTUK 11: FACTORIËLE DESIGNS (PG 311-343)

INTRODUCTIE VAN FACTORIËLE DESIGNS

In real-life komen variabelen zelden alleen voor. Mm meer complexe real-life situaties te onderzoeken, gebruiken onderzoekers designs met meer dan één onafhankelijke variabele: de factoriële designs.

EXPERIMENTELE FACTORIËLE DESIGNSWanneer twee of meer onafhankelijke variabelen worden gecombineerd in een single studie, worden de onafhankelijke variabelen meestal factoren genoemd. Een studie met twee of meer factoren is een factorieel design. Dit soort design is vaak vernoemd naar het aantal factoren, zoals een tweefactorendesign of een drie-factorendesign. Een studie met maar één onafhankelijke variabele is een single-factordesign.

Elke factor wordt aangeduid met een letter (A, B, C…). Factoriële designs gebruiken een notatiesysteem dat zowel het aantal factoren als het aantal waarden of niveaus die bestaan voor elke factor identificeert. Het totale aantal behandelingscondities kan bepaald worden door de niveaus van elke factor te vermenigvuldigen.

Een factor is een onafhankelijke variabele in een experiment, specifieker diegene die twee of meer onafhankelijke

variabelen omvatten

Een factorieel design is een onderzoeksdesign dat twee of meer factoren omvat

Een voordeel van een factorieel design is dat het een realistischere situatie creëert dan wat verkregen kan worden door een single factor in isolatie te onderzoeken. Omdat gedrag beïnvloed wordt door een variëteit aan factoren die meestal samen voorkomen, is het verstandig is twee of meer factoren tegelijkertijd te onderzoeken in een single studie. Het idee dat twee factoren samen kunnen voorkomen en unieke condities kunnen creëren die verschillen zijn van eender welke factor die alleen voorkomt ligt aan de grondslag van de waarde van een factorieel design.

HOOFDEFFECTEN EN INTERACTIES

108

De structuur van een tweefactorendesign kan voorgesteld worden door een matrix waarin de levels van een factor de kolommen bepalen en de levels van de tweede factor bepalen de rijen. Elke cel van de matrix komt overeen met een specifieke combinatie van factoren, dus een aparte behandelingsconditie. Het onderzoek houdt in dat een groep individuen onder de condities beschreven door elke cel worden geobserveerd en gemeten.

De data van een tweefactorenstudie voorziet drie aparte en verschillende sets van informatie die beschrijven hoe de twee factoren onafhankelijk en gezamenlijk gedrag beïnvloeden.

HOOFDEFFECTENVoorbeeld:

Elke kolom van de matrix komt overeen met een specifieke wijze van presenteren. Door de gemiddelde scores te berekenen van elke kolom, verkrijgen we een totaal gemiddelde voor elk van de presentatiewijze condities. Het vergelijken van de twee kolomgemiddeldes zorgt voor een indicatie van hoe de presentatiewijze de testprestatie beïnvloedt. Het verschil tussen de twee kolomgemiddeldes is het hoofdeffect voor presentatiewijze. De gemiddeldeverschillen tussen de kolommen bepalen het hoofdeffect voor een factor.

OP PAPIER OP SCHERM

Vooraf bepaalde tijd M = 22 M = 18 M = 20

Zelf bepaalde tijd M = 18 M = 14 M = 16

M = 20 M = 16

Rood = effect van presentatiewijze op prestatie (4)

Groen = effect van studietijd op prestatie (4)

Hoofdeffect = verschil tussen de gemiddelden van de 2 kolommen/rijen

DE INTERACTIE TUSSEN FACTORENIn sommige situaties zijn de effecten van een factor compleet onafhankelijk van de niveaus van de tweede factor. In dit geval heeft geen enkele factor een directe invloed op de andere.

In andere situaties heeft een factor wel een directe invloed op het effect van een tweede factor: een interactie tussen factoren of een interactie.

OP PAPIER OP SCHERM

Vooraf bepaalde tijd M = 20 M = 20 M = 20

109

Zelf bepaalde tijd M = 20 M = 12 M = 16

M = 20 M = 16

Deze tabel toont aan dat de presentatiewijze afhangt van de studietijd: er is een interactie, en dat het effect van het veranderen van papier naar scherm niet afhangt van de tijdcontrole: er is geen interactie

De gemiddeldeverschillen tussen de levels van een factor worden het hoofdeffect van die factor genoemd. Wanneer

de studie wordt gerepresenteerd als een matrix met een factor die de rijen voorstelt en de tweede factor die de

kolommen voorstelt, dan definiëren de gemiddeldeverschillen tussen de rijen het hoofdeffect voor een factor en de

gemiddeldeverschillen tussen de kolommen definiëren het hoofdeffect voor de tweede factor. Merk op dat een

tweefactorenstudie twee hoofdeffecten heeft; een voor elk van de twee factoren.

Een interactie tussen factoren (of een interactie) komt voor wanneer twee factoren, die samen voorkomen,

gemiddeldeverschillen produceren die niet verklaart worden door de hoofdeffecten van de twee factoren. Aan de andere

kant, als het hoofdeffect voor een factor evenzeer van toepassing is over alle levels van de tweede factor, dan zijn

de twee factoren onafhankelijk en is er geen interactie

ALTERNATIEVE OPVATTINGEN OVER DE INTERACTIE TUSSEN FACTORENEen lichtjes verschillend perspectief over het concept van interactie focust op de notie van onafhankelijkheid, in tegenstelling tot afhankelijkheid, tussen de factoren. Als de twee factoren onafhankelijk zijn zodat het effect van een factor niet beïnvloed is door de andere factor, dan is er geen interactie. Aan de andere kant, als de twee factoren afhankelijk zijn zodat een factor het effect van de andere wel beïnvloedt, dan is er een interactie. De notie van afhankelijkheid is consistent met de eerdere discussie over interacties; als een factor de effecten van de andere beïnvloedt, dan produceren unieke combinaties van de factoren unieke effecten.

Een interactie bestaat tussen de factoren wanneer de effecten van een factor afhankelijk zijn van de verschillende

levels van een tweede factor

Een tweede kijk op een interactie focust op het patroon dat geproduceerd wordt wanneer de gemiddeldes van een tweefactorenstudie gepresenteerd worden in een grafiek.

Figuur 11.2:

110

Voor deze specifieke set data zijn de lijnen in de grafiek parallel. Voor deze data komt de afstand tussen de lijnen overeen met het tijdcontrole-effect, het gemiddeldeverschil in testscores met vooraf bepaalde tijd en zelfbepaalde tijd. Dat dit verschil constant is wil zeggen dat het tijdcontrole-effect niet afhankelijk is van de presentatiewijze en dat er geen interactie tussen factoren is.

Figuur 11.3:

In dit geval zijn de lijnen niet parallel. De afstand tussen de lijnen verandert, wat wil zeggen dat het effect van het controleren van de tijd is verschillend voor op-papierpresentatie dan voor op-schermpresentatie. Voor deze data is het tijdcontrole-effect afhankelijk van de presentatiewijze en is er een interactie tussen factoren.

Parallelle lijnen = wel hoofdeffecten, geen interactie Kruisende lijnen = wel hoofdeffecten, wel interactie

Wanneer de resultaten van een tweefactorenstudie in een grafiek worden gezet, is het bestaan van niet-parallelle lijnen (lijnen die kruisen) een indicatie van een interactie tussen

de twee factoren

INTERACTIES IDENTIFICERENOm een interactie in een datamatrix te identificeren, moet je de gemiddeldeverschillen in elke individuele rij (of kolom) vergelijken met de gemiddeldeverschillen in andere rijen of kolommen. Als de grootte en de richting van de verschillen in een rij (of kolom) hetzelfde zijn als de overeenkomstige verschillen in andere rijen (of kolommen), dan is er geen interactie. Als de verschillen veranderen van de ene rij (of kolom) tot de andere, dan is er bewijs van een interactie. Maar merk op dat het bestaan van verschillen gewoon een

111

Papier Scherm0

5

10

15

20

25

Data van tabel 11.2

Vooraf bepaalde tijd Zelfbepaalde tijd

Papier Scherm0

5

10

15

20

25

Data van tabel 11.3

Vooraf bepaalde tijd Zelfbepaalde tijd

interactie aantoont. Een statistische test is nodig om te bepalen of de interactie significant is.

INTERPRETEREN VAN HOOFDEFFECTEN EN INTERACTIESDe gemiddeldeverschillen tussen kolommen en tussen rijen beschrijven de hoofdeffecten in een tweefactorenstudie en de extra gemiddeldeverschillen tussen cellen beschrijven de interactie. Maar, je moet je realiseren dat deze gemiddeldeverschillen gewoon beschrijvend zijn en dat ze geëvalueerd moeten worden door een statistische hypothesetest voor ze significant kunnen zijn. De verkregen gemiddeldeverschillen kunnen misschien geen echt behandelingseffect representeren maar kunnen veroorzaakt zijn door kans of error.

ONAFHANKELIJKHEID VAN HOOFDEFFECTEN EN INTERACTIESDe tweefactorenstudie laat onderzoekers toe om 3 aparte sets gemiddeldeverschillen te evalueren: (1) de gemiddeldeverschillen van het hoofdeffect van factor A, (2) de gemiddeldeverschillen van het hoofdeffect van factor B, en (3) de gemiddeldeverschillen van de interactie tussen factoren. De drie sets gemiddeldeverschillen zijn apart en compleet onafhankelijk. Dus, het is mogelijk voor de resultaten van een tweefactorenstudie om elke mogelijke combinatie van hoofdeffecten en interactie te laten zien.


TYPES FACTORIËLE DESIGNS EN ANALYSE Een aparte groep participanten voor elk van de individuele

behandelingscombinaties of cellen between-subjectsdesigns Dezelfde groepen individuele participanten voor alle verschillende cellen

within-subjectsdesigns

Het is ook mogelijk om een factorieel design te construeren waarin de factoren niet gemanipuleerd zijn maar eerder quasionafhankelijke variabelen zijn. Een factoriaal design kan ook elke combinatie van factoren gebruiken. Als resultaat kan een factoriële studie elementen combineren van experimentele en niet-experimentele onderzoeksstrategieën, en ka het elementen combineren van between-subjects en within-subjectsdesigns binnen een single onderzoek. De mogelijkheid om designs te mixen binnen een single onderzoek geeft onderzoekers het potentieel om meerdere verschillende onderzoeksstrategieën te blenden in één studie.

BETWEEN-SUBJECTS EN WITHIN-SUBJECTSDESIGNSHet is mogelijk om een factoriële studie te construeren dat enkel een between-subjectsdesign is; een studie waarin er een aparte groep participanten is voor elk van de behandelingscondities. Een nadeel voor een factoriële studie is dat een between-subjectsdesign een groot aantal participanten kan vereisen. Een ander nadeel van een between-subjectsdesign is dat individuele verschillen verstorende variabelen kunnen worden en de variantie van de scores kunnen verhogen. Een voordeel is dat een between-subjectsdesign elk probleem voor volgorde-effecten compleet vermijdt omdat

112

elke score compleet onafhankelijk is van elke andere score. In het algemeen passen between-subjectsdesigns het best in situaties waar veel participanten beschikbaar zijn, individuele verschillen relatief klein zijn en volgorde-effecten waarschijnlijk zijn.

Het is mogelijk om een factoriële studie te construeren dat enkel een within-subjectsdesign is. In dit geval participeert een enkele groep individuen in alle verschillende behandelingscondities. Een nadeel voor een factoriële studie is het aantal verschillende behandelingscondities dat elke participant moet ondergaan. Het grote aantal verschillende behandelingen kan zeer tijdrovend zijn, wat de kansen verhoogt dat participanten zullen stoppen en weggaan nog voor de behandeling is gestopt (participantenuitval). Ook kan het feit dat elke participant een lange reeks behandelingscondities moet ondergaan het potentieel voor testeffecten verhogen (zoals moeheid of oefeneffecten) en het moeilijker maken om het design te counterbalancen om de volgorde-effecten te controleren.

Twee voordelen van within-subjectsdesigns zijn dat ze maar één groep participanten vereisen en dat ze de problemen geassocieerd met individuele verschillen elimineren of grotendeels verminderen. In het algemeen passen within-subjectsdesigns het beste in situaties waar individuele verschillen relatief groot zijn en er weinig reden is om grote en verstorende volgorde-effecten te verwachten.

MIXED DESIGNS: WITHIN- EN BETWEEN-SUBJECTSHet is mogelijk om een mixed design te construeren, met een between-subjectsfactor en een within-subjectsfactor. Als het design wordt voorgesteld als een matrix met een factor die de rijen voorstelt en de tweede factor die de kolommen voorstelt, dan heeft het mixed design een aparte groep voor elke rij met elke groep participerend in alle verschillende kolommen.

Een mixed design is een factoriële studie dat twee verschillende onderzoeksdesigns combineert. Een algemeen voorbeeld van een mixed design is een factoriële studie met

een between-subjectsfactor en een within-subjectsfactor


EXPERIMENTELE EN NIET-EXPERIMENTELE OF QUASI-EXPERIMENTELE ONDERZOEKSSTRATEGIEËNHet is mogelijk om een factoriële studie te construeren dat enkel een experimenteel onderzoeksdesign is. In dit geval zijn beide factoren echte onafhankelijke variabelen die gemanipuleerd zijn door de onderzoeker. Het is ook mogelijk om een factoriële studie te construeren waarin alle factoren niet-gemanipuleerde, quasionafhankelijke variabelen zijn.

GECOMBINEERDE STRATEGIEËN: EXPERIMENTEEL EN QUASI-EXPERIMENTEEL OF NIET-EXPERIMENTEEL In de gedragswetenschappen is het normaal voor een factorieel design om een experimentele strategie te gebruiken voor een factor en een quasi-experimentele of niet-experimentele strategie voor een andere factor. Dit type studie is een voorbeeld van een gecombineerde strategie. Dit soort studie houdt een factor in dat een echte onafhankelijke variabele is bestaande uit een set van gemanipuleerde behandelingscondities en een tweede factor dat een quasionafhankelijke variabele is dat gewoonlijk in een van de volgende categorieën valt

113

1. De tweede factor is een reeds bestaand participantkenmerk zoals leeftijd of gender. Merk op dat bestaande participantkenmerken niet-equivalente groepen creëren; dus is deze factor een quasionafhankelijke variabele. Designs die een participantkenmerk toevoegen als een tweede factor zijn persoon-omgevingsdesigns (P X E) of persoon-situatiedesigns.

2. De tweede factor is tijd. In dit geval is de bezorgdheid van de onderzoeksvraag hoe de verschillende behandelingseffecten aanhouden over de tijd. Merk op dat tijd niet gecontroleerd of gemanipuleerd wordt door de onderzoeker, dus deze factor is een quasionafhankelijke variabele.

Een gecombineerde strategie studie gebruikt twee verschillende onderzoeksstrategieën in hetzelfde factoriële

design. Een factor is een echte onafhankelijke variabele (experimentele strategie) en een factor is een

quasionafhankelijke variabele (niet-experimentele of quasi-experimentele strategie)

PRETEST-POSTTEST CONTROLEGROEPSDESIGNDit design houdt twee aparte groepen participanten in. Een groep – de behandelingsgroep – wordt gemeten voor en na het krijgen van de behandeling. Een tweede groep – de controlegroep – wordt ook twee keer gemeten (pretest en posttest) maar krijgt geen behandeling tussen de twee metingen. Het design kan als volgt gerepresenteerd worden:

O X O (behandelingsgroep)

O O (niet-equivalente controlegroep)

Elke O representeert een observatie of meting en de X representeert een behandeling. Elke rij correspondeert met de reeks gebeurtenissen voor één groep.

Dit design is een voorbeeld van een tweefactoren mixed design. Een factor – behandeling/controle – is een between-subjectsfactor. De andere factor – pretest-posttest – is een within-subjectsfactor.

Als een onderzoeker een steekproef van participanten heeft en hen willekeurig kan toewijzen aan de twee groepen, dan is het design geclassificeerd als een gecombineerde strategie met een experimentele factor (behandeling/controle) en een niet-experimentele factor (pre-post). Deze versie van het pretest-posttest controlegroepsdesign kan als volgt gerepresenteerd worden:

R O X O (behandelingsgroep)

R O O (controlegroep)

De letter R staat voor random toewijzing, wat betekent dat de onderzoeker controle heeft over de toewijzing van participanten aan groepen en daarom equivalente groepen kan creëren.

HOGERE-ORDE FACTORIËLE DESIGNS

114

De basisconcepten van een tweefactoren-onderzoeksdesign kunnen uitgebreid worden naar meer complexe designs die drie of meer factoren inhouden; zulke designs zijn hogere-orde factoriële designs.

De logica voor het definiëren en interpreteren van hogere-orde interacties volgt het patroon van twee-wegeninteracties. Een drie-wegeninteractie zoals A X B X C duidt aan dat de twee-wegeninteractie tussen A en B afhankelijk is van de levels van factor C.

Hoewel het algemene idee van een drie-wegeninteractie makkelijk te begrijpen is, hebben de meeste mensen het moeilijk met het begrijpen of interpreteren van een vier-wegen (of hogere) interactie.

Hoewel het mogelijk is om factoren zonder limiet toe te voegen aan een studie, studies die meer dan drie factoren bevatten produceren complexe resultaten die moeilijk te begrijpen zijn en daarom vaak een gelimiteerde praktische waarde hebben.

TOEPASSINGEN VAN FACTORIËLE DESIGNS

EEN EERDERE STUDIE UITBREIDEN EN REPLICERENDe kritische lezer stelt vragen als:

Zouden dezelfde behandelingseffecten verkregen worden indien de behandelingen onder andere omstandigheden uitgevoerd werden?

Zouden de behandelingsresultaten veranderen indien individuen met verschillende kenmerken participeren?

Het ontwerpen van een onderzoek om deze vragen te beantwoorden zou een factorieel design inhouden.

Omdat huidig onderzoek de neiging heeft om op vorig onderzoek te bouwen, zijn factoriële designs veel voorkomend en zeer handig. In een single studie kan een onderzoeker eerder onderzoek repliceren en uitbreiden. De replicatie houdt in dat men de eerdere studie herhaalt door dezelfde factor of onafhankelijke variabele exact te gebruiken zoals in de eerdere studie. De uitbreiding houdt in dat men een tweede factor toevoegt in de vorm van nieuwe condities of nieuwe participantkenmerken om te bepalen of de vorige gerapporteerde effecten gegeneraliseerd kunnen worden naar nieuwe situaties of nieuwe populaties.

VARIANTIE VERMINDEREN IN BETWEEN-SUBJECTSDESIGNSIndividuele verschillen zoals leeftijd of gender kunnen serieuze problemen creëren voor between-subjects onderzoekdesigns. Een probleem is het simpele feit dat verschillen tussen participanten kunnen resulteren in grote variantie voor de scores binnen een behandelingsconditie. Grote variantie kan het moeilijk maken om significante verschillen op te merken tussen behandelingscondities. Vaak heeft een onderzoeker een rede om te vermoeden dat een specifiek participantskenmerk zoals leeftijd of gender, een grote factor is die meedraagt aan de variantie van de scores. In deze situatie is het vaak verleidelijk om de invloed van de specifieke kenmerken te elimineren of verminderen door deze constant te houden of door het bereik te beperken.

In een bepaalde situatie kan een onderzoeker in de verleiding komen om de studie te beperken door de leeftijd constant te houden (vb. enkel 10-jarigen gebruiken). Dit zal een

115

homogenere groep produceren met minder variantie, maar het zal ook de mogelijkheid van de onderzoeker limiteren om de resultaten te generaliseren. Het limiteren van generalisatie verlaagt de externe validiteit van de studie. Gelukkig bestaat er een relatief makkelijke oplossing voor dit dilemma dat de onderzoeker toestaat om de variantie in groepen te verminderen zonder externe validiteit op te geven. De oplossing houdt in dat men de specifieke variabele als een tweede factor gebruikt en daarmee een tweefactorenstudie creëert.

VOLGORDE-EFFECTEN IN WITHIN-SUBJECTSDESIGNS EVALUERENIn een within-subjectsdesign gaat elke participant doorheen een reeks behandelingscondities in een bepaalde volgorde. In deze situatie is het mogelijk dat behandelingen die eerder voorkomen in de orde de scores van de participanten voor behandelingen die later voorkomen in de orde kunnen beïnvloeden. Omdat volgorde-effecten de echte effecten van een behandelingsconditie kunnen wijzigen en verstoren, worden ze meestal behandeld als een verstorende variabele die geëlimineerd moet worden van de studie. In sommige omstandigheden kan het zijn dat een onderzoeker de volgorde-effecten toch wil onderzoeken (waar en hoe groot ze zijn). Bijvoorbeeld, een onderzoeker kan specifiek geïnteresseerd zijn in hoe de volgorde van behandelingen de effectiviteit van behandelingen beïnvloeden. Of het kan zijn dat een onderzoeker de volgorde-effecten wil verwijderen om een betere kijk op de data te krijgen.

VOLGORDE VAN BEHANDELINGEN ALS EEN TWEEDE FACTOR GEBRUIKENOm volgorde-effecten te meten en evalueren is het belangrijk om counterbalancing te gebruiken (= aparte groepen participanten die de behandelingen in verschillende volgordes ondergaan). Het makkelijkste voorbeeld van deze procedure is een within-subjectsdesign dat twee behandelingen vergelijkt: I en II. Het design is gecounterbalanced zodat de helft van de participanten beginnen met behandeling I en dat doorgaan naar behandeling II. De andere helft van de participanten starten met behandeling II en krijgen dan behandeling I. De structuur van dit gecounterbalanced design kan gepresenteerd worden als een matrix met de twee behandelingscondities die de kolommen definiëren en de volgorde van de behandelingen die de rijen definiëren.

De twee behandelingen vormen een within-subjectsfactor en de twee volgordes vormen een between-subjectsfactor. Door het gebruiken van de volgorde van de behandelingen als een tweede factor is het mogelijk om volgorde-effecten te evalueren die bestaan in de data. Er zijn drie mogelijke uitkomsten die voor kunnen komen en elke uitkomt produceert zijn eigen resultatenpatroon.

1. Geen volgorde-effecten. Wanneer er geen volgorde-effecten zijn, maakt het niet uit indien een behandeling eerst of tweedes wordt gepresenteerd. De data tonen een patroon zonder interactie. Het maakt geen verschil of een behandeling als eerste of als tweede wordt gepresenteerd; het gemiddelde blijft hetzelfde.

2. Symmetrische volgorde-effecten. Wanneer volgorde-effecten bestaan, worden de scores in de tweede behandeling beïnvloed door de participatie in de eerste behandeling. In deze situatie hangt de grootte van het behandelingseffect (I versus II) af van de volgorde van de behandelingen. Dus, het effect van een factor is afhankelijk van de andere factor. Wanneer volgorde-effecten bestaan komen ze voor in de tweefactorenanalyse als een interactie tussen behandelingen en de volgorde van de behandelingen.

116

3. Asymmetrische volgorde-effecten. Vaak zijn volgorde-effecten niet symmetrisch. Bijvoorbeeld, participatie in verschillende behandelingscondities kan verschillende levels van moeheid of oefening produceren. In het algemeen produceren asymmetrische volgorde-effecten een scheve, of asymmetrische, interactie tussen behandelingen en volgordes.

HOOFDSTUK 12: DE CORRELATIONELE ONDERZOEKSSTRATEGIE (PG 347-365)

EEN INTRODUCTIE IN CORRELATIONEEL ONDERZOEK

Het doel van de correlationele onderzoeksstrategie is om de associaties en relaties tussen variabelen te onderzoeken en beschrijven. Het doel is om vast te stellen dat een relatie tussen variabelen bestaan en om de aard van de relatie te beschrijven. De correlationele strategie probeert niet om de relatie te verklaren en doet geen moeite om de variabelen te manipuleren of te controleren.

De data voor een correlationele studie bestaat uit twee of meer metingen, één voor elke variabele die onderzocht wordt. Meestal worden de resultaten verkregen van hetzelfde individu. De metingen worden dan onderzocht om te bepalen of ze een consistent relatiepatroon vertonen.

In de correlationele onderzoeksstrategie worden twee of meer variabelen gemeten om een set scores (meestal twee scores) te verkrijgen voor elk individu. De metingen worden dan onderzocht om een relatiepatroon dat bestaat tussen de variabelen te identificeren en om de sterkte van de relatie te

meten

Een correlationele studie verkrijgt meestal twee of meer scores voor elk individu. Meestal verwijst het woord ‘individu’ naar een enkele persoon. Maar, het individu wordt bedoeld als een enkele bron, niet noodzakelijk als een enkele persoon.

CORRELATIONEEL, EXPERIMENTEEL EN DIFFERENTIEEL ONDERZOEK VERGELIJKENHet doel van een experimentele studie is om een oorzaak-gevolgrelatie aan te tonen tussen 2 variabelen. Om dit doel te bereiken vereist een experiment manipulatie van een variabele om behandelingscondities te creëren en meting van de tweede variabele om een set scores te verkrijgen binnen elke conditie. Alle andere variabelen worden gecontroleerd. De onderzoeker vergelijkt dan de scores van elke behandeling met de scores van andere behandelingen. Als er verschillen tussen behandelingen zijn, dan heeft de onderzoeker bewijs van een causale relatie tussen variabelen. De onderzoeker kan concluderen dat het manipuleren van een variabele veranderingen veroorzaakt in de tweede variabele. Merk op dat een experimentele studie maar één variabele meet en naar verschillen zoekt tussen twee of meer groepen van scores.

Het doel van een correlationele studie is om het bestaan van een relatie tussen twee variabelen aan te tonen. Merk op dat een correlationele studie niet probeert om de relatie te verklaren. Om het doel te bereiken houdt een correlationele studie niet in om variabelen te controleren of manipuleren. In de plaats meet de onderzoeker twee

117

verschillende variabelen voor elk individu. De onderzoeker zoekt dan naar een relatie binnen de set scores.

Differentieel onderzoek, een voorbeeld van een niet-experimenteel design, is zeer gelijkaardig aan correlationeel onderzoek. Het verschil tussen deze twee onderzoeksstrategieën is dat een correlationele studie de data als twee scores, X en Y, voor elk individu bekijkt en zoekt naar patronen binnen de scoreparen om te bepalen of er een relatie is. Een differentieel design stelt het bestaan van een relatie vast door een verschil aan te tonen tussen groepen. Een differentieel design gebruikt een van de twee variabelen of groepen participanten de definiëren en meet dan de tweede variabele om scores binnen elke groep te verkrijgen. Merk op dat de correlationele studie één groep participanten inhoudt met twee scores voor elk individu. De primaire focus van de correlationele studie ligt op de relatie tussen de twee variabelen. De differentiële studie houdt twee groepen scores in en focust op het verschil tussen groepen.

DE DATA EN STATISTISCHE ANALYSE VOOR CORRELATIONELE STUDIES

RELATIES VOOR NUMERIEKE SCORES (INTERVAL- OF RATIOSCHALEN) EN RANGEN (ORDINALE SCHAAL) EVALUERENWanneer de data bestaat uit numerieke waardes, worden de scores in elk paar geïdentificeerd als X en Y. De data kan gepresenteerd worden in een lijst met de twee scores voor elk individu of de scores kunnen ook getoond worden in een grafiek genaamd een scatter plot. In het scatter plot wordt elk individu gerepresenteerd door een enkel punt met een horizontale coördinaat bepaald door X-score van het individu en het verticale coördinaat dat overeenkomt met de Y-waarde. Het voordeel van een scatter plot is dat het toelaat om de kenmerken van de relatie tussen de twee variabelen te zien.

Onderzoeker berekenen een numerieke waarde, een correlatie of een correlatiecoëfficiënt, om de relatie tussen twee variabelen te meten en beschrijven. Een correlatie beschrijft drie karakteristieken van een relatie.

1. De richting van de relatie. Een positieve relatie is een relatie waarin individuen met grotere X-waarden ook grotere Y-waarden hebben; als de X-waarden kleiner worden, worden de geassocieerde Y-waarden ook kleiner. Positieve relaties worden aangeduid door positieve waarden (groter dan nul) voor de correlatie. In een scatter plot wordt een positieve relatie aangeduid door datapunten die rond een lijn clusteren die naar rechtsboven helt. Aan de andere kant, wordt een relatie waarin X en Y de neiging hebben om te veranderen in tegengestelde richtingen (als X verhoogt, verlaagt Y) een negatieve relatie genoemd. Negatieve relaties worden aangeduid door negatieve waarden (kleiner dan nul) voor de correlatie. In een scatter plot wordt een negatieve relatie aangeduid door datapunten die rond een lijn clusteren die naar rechtsonder helt.

In een positieve relatie hebben twee variabelen de neiging om in dezelfde richting te veranderen; als een variabele

groter wordt, wordt de andere variabele ook hoger

118

In een negatieve relatie hebben twee variabelen de neiging om in tegengestelde richting te veranderen; als een variabele

groter wordt, wordt de andere variabele kleiner

2. De vorm van de relatie. Onderzoekers zoeken naar een patroon in de data dat een consistente en voorspelbare relatie tussen de twee variabelen suggereert. In de meeste situaties zoeken onderzoekers naar een lineaire relatie waarin de datapunten in het scatter plot de neiging hebben om rond een rechte lijn te clusteren. Een Pearsoncorrelatie wordt gebruikt om lineaire relaties te beschrijven en meten wanneer beide variabelen numerieke scores van interval- of ratioschalen zijn.Het is mogelijk dat een relatie consistent en voorspelbaar is, maar niet lineair. Een relatie die consistent eenrichting is, ofwel consistent positief of consistent negatief, is een monotone relatie. In een positieve monotone relatie gaan verhogingen van een variabele meestal gepaard met verhogingen in de andere variabele. Maar, de hoeveelheid verhoging hoeft niet constant dezelfde grootte te hebben. Een Spearmancorrelatie wordt gebruikt om monotone relaties te beschrijven en meten wanneer beide variabelen rangen zijn van een ordinale score of getransformeerd zijn naar rangen.

3. De consistentie of sterkte van de relatie. Perfecte consistente relaties worden nooit gevonden in echte gedragswetenschappelijke data. Echt data laten een consistentiegraad zien. In correlationele studies wordt de consistentie van een relatie gemeten en beschreven door de numerieke waarde verkregen voor een correlatiecoëfficiënt. Een correlatie van +1.00 (of -1.00) toont een perfecte consistente relatie en een waarde van 0 toont helemaal geen consistentie. Tussenwaarden tonen verschillende consistentiewaarden. Merk op dat het teken van de correlatie (+ of -) en de numerieke waarde onafhankelijk zijn. Ook is het belangrijk op te merken dat een correlatiecoëfficiënt de consistentie of sterkte van een relatie tussen variabelen beschrijft. Zelfs de sterkste correlatie van 1.00 (of -1.00) betekent niet dat er een oorzaak-gevolgrelatie is tussen de twee variabelen.

Een correlatie, of een correlatiecoëfficiënt, is een numerieke waarde die de relatie tussen twee variabelen meet

en beschrijft. Het teken van de correlatie (+ of -) duidt de richting van de relatie aan. De numerieke waarde van de

correlatie (0.0 tot 1.0) duidt de sterkte of consistentie van de relatie aan. Het type correlatie (Pearson of Spearman) geeft

de vorm van de relatie weer

RELATIES VOOR NIET-NUMERIEKE SCORES VAN NOMINALE SCHALEN EVALUERENSoms produceert een correlationele studie twee of meer scores voor elk individu met minstens één score die niet uit numerieke waarden bestaat. In deze situatie zijn er verschillende alternatieven om de relatie te evalueren.

1. Als één van de scores numeriek is, zoals IQ, en de andere is niet-numeriek, zoals geslacht, dan is de beste strategie om de niet-numerieke variabele te gebruiken om de scores in aparte groepen te organiseren.

119

Als de niet-numerieke variabele uit exact twee categorieën bestaat, is het ook mogelijk om een speciale correlatie te berekenen. Eerst worden de twee categorieën numeriek gecodeerd als 0 en 1. De data bestaan dan uit twee scores per persoon en de Pearsoncorrelatie kan dan berekend worden voor de gecodeerde data. De resulterende data is een point-biseriale correlatie. De numerieke waarde van de correlatie meet de sterkte of consistentie van de relatie; maar het teken van de correlatie is betekenisloos (omdat 0 en 1 arbitrair zijn toegewezen) en het concept van een lineaire relatie heeft geen betekenis (omdat de scores gewoon verdeeld zijn in twee groepen).

2. Als beide variabelen niet-numeriek zien, wordt de relatie typische geëvalueerd door de data in een matrix de organiseren, met de categorieën van een variabele die de rijen vormen en de categorieën van de tweede variabele die de kolommen vormen. Elke cel van de matrix toont de frequentie of aantal individuen in die cel en data wordt geëvalueerd door een chi-kwadraat hypothesetest. Als de twee niet-numerieke variabelen beide bestaan uit exact twee categorieën, kan elk numeriek gecodeerd worden als 0 en 1. Als de Pearsoncorrelatie berekend wordt voor de gecodeerde data noemt men het resultaat de phi-coëfficiënt. De numerieke waarde van de correlatie meet de sterkte of consistentie van de relatie, maar het teken van de correlatie en het concept van een lineaire relatie zijn betekenisloos.

EEN CORRELATIE INTERPRETEREN EN STATISTISCH EVALUEREN Voor zowel numerieke als niet-numerieke data beschrijft de waarde van een correlatie, die varieert van 0.00 tot 1.00, de consistentie van de relatie met 1.00 (of -1.00) dat een perfecte consistentie relatie beschrijft en 0.00 dat een compleet gebrek aan consistentie beschrijft. Maar, er zijn twee extra factoren waarmee rekening moet gehouden worden wanneer de sterkte van een relatie geïnterpreteerd wordt. Eén is de coëfficiënt van determinatie, wat verkregen wordt door de correlatie te kwadrateren en de andere is de significantie van de correlatie.

DE STERKTE VAN EEN RELATIEDe meest voorkomende techniek voor het meten van de sterkte van de relatie tussen twee variabelen is om de coëfficiënt van determinatie, die verkregen wordt door de numerieke waarde van de correlatie te kwadrateren, te berekenen. Omdat een correlatie geïdentificeerd wordt door de letter r, is de coëfficiënt van determinatie r². Deze coëfficiënt meet hoeveel van de variabiliteit in een variabele voorspelbaar is van zijn relatie met de andere variabele. Een correlatie van r = 0.80 zou betekenen dat r² = 0.64 (of 64%) van de verschillen voorspelt kunnen worden.

De coëfficiënt van determinatie is de gekwadrateerde waarde van een correlatie en meet het percentage

variabiliteit in een variabele dat bepaald is, of voorspeld, door zijn relatie met de andere variabele

In de gedragswetenschappen hebben de verschillen die bestaan van het ene individu tot het andere de neiging om groot te zijn en zijn meestal moeilijk om te voorspellen of verklaren.

120

Richtlijnen voor het interpreteren van de sterkte van een correlatie:

Graad van de relatie Waarde van de correlatiecoëfficiënt of coëfficiënt van determinatie

Klein r = 0.10 of r² = 0.01 (1%)

Gemiddeld r = 0.30 of r² = 0.09 (9%)

Groot r = 0.50 of r² = 0.25 (25%)

DE SIGNIFICANTIE VAN EEN RELATIEDe statistische significantie van een correlatie is de tweede belangrijk factor voor het interpreteren van de sterkte van een correlatie. In de context van een correlatie betekent de term significant dat een gevonden correlatie in de steekproefdata zeer onwaarschijnlijk is geproduceerd door random variatie. Wanneer een steekproefcorrelatie significant is, kan je concluderen dat het een echte relatie representeert die bestaat in de populatie.

Met een kleine steekproef is het mogelijk om een schijnbaar heel sterke correlatie te verkrijgen, maar eigenlijk is er helemaal geen relatie tussen de twee variabelen. Met een steekproef van twee individuen zal je altijd een perfecte correlatie van 1.00 (of -1.00) verkrijgen.

TOEPASSINGEN VAN DE CORRELATIONELE STRATEGIE

VOORSPELLINGEen belangrijk gebruik van correlationeel onderzoek is om een relatie tussen 2 variabelen vast te stellen die gebruikt kan worden om voorspellingen te doen.

Het gebruik van correlationele resultaten om voorspellingen te maken is niet gelimiteerd tot voorspellingen over toekomstig gedrag. Wanneer twee variabelen consistent gerelateerd zijn is het mogelijk om kennis van een variabele te gebruiken om voorspellingen te helpen maken over de andere variabele.

Binnen een correlationele studie moeten de 2 onderzochte variabelen equivalent zijn. Correlationele studies identificeren vaak de ene variabele als de voorspellingsvariabele en de tweede variabele als de criteriavariabele. In een correlationele studie die gebruikt wordt voor voorspellingen is de aanwijzing van de twee variabelen meestal vrij duidelijk.

Het statistisch proces om een variabele te gebruiken om een andere te voorspellen is regressie. Het doel is om de vergelijking te vinden die de meest accurate voorspellingen produceert van Y (de criteriavariabele) voor elke waarde van X (de voorspellingsvariabele).

121

In situaties waarin een correlationele studie niet gebruikt wordt om voorspellingen te maken, hebben onderzoekers nog steeds de neiging om naar een voorspeller en een criteriavariabele te verwijzen. In deze situaties worden de labels meestal bepaald door het doel van de studie

Wanneer een correlationele studie een relatie tussen twee variabelen aantoont, staat het de onderzoeker toe om kennis

over een variabele te gebruiken om te helpen de tweede variabele te voorspellen of verklaren. In deze situatie is de eerste variabele de voorspellingsvariabele en de tweede

variabele (die verklaart of voorspelt wordt) de criteriavariabele.

BETROUWBAARHEID EN VALIDITEITBetrouwbaarheid evalueert de consistentie of stabiliteit van de metingen en validiteit evalueert de mate waarin de meetprocedure wel echt meet wat deze zou moeten meten. Zowel betrouwbaarheid als validiteit worden gedefinieerd door relaties die vastgesteld zijn door het gebruik van het correlationeel onderzoeksdesign.

STERKTES EN ZWAKTES VAN DE CORRELATIONELE ONDERZOEKSSTRATEGIE

De correlationele strategie wordt vaak gebruikt voor het inleidend werk in een gebied dat nog niet veel onderzoekaandacht gekregen heeft. Het correlationeel design kan variabelen identificeren en relaties tussen variabelen beschrijven die mogelijk verder onderzoek suggereren door het gebruik van de experimentele strategie om oorzaak-gevolgrelaties te bepalen. Ook staat een correlationeel onderzoeksdesign onderzoekers een kans toe om variabelen te onderzoeken die onmogelijk of onethisch zijn om te manipuleren.

Een voordeel van een correlationele studie is dat de onderzoeker gewoon records wat natuurlijk bestaat. Omdat de onderzoeker de variabelen of omgeving niet manipuleert, controleert of stoort is er een goede rede om te verwachten dat de metingen en de relaties de natuurlijke gebeurtenissen accuraat weergeven. Correlationele studie hebben een hoge externe validiteit. In het algemeen kan een correlationele studie aantonen dat een relatie bestaat en kan het zorgen voor een goede beschrijving van de relatie. Maar, een correlationele studie produceert meestal geen duidelijke en onpartijdige verklaring voor de relatie. Correlationele studies hebben een lage interne validiteit. Twee beperkingen ontstaan in verklaringen van resultaten van een correlationele studie.

1. Het derde-variabele probleem. Hoewel een correlationele studie kan aantonen dat twee variabelen gerelateerd zijn, betekent dat niet dat er een directe relatie is tussen de twee variabelen. Het is altijd mogelijk dat een derde (ongeïdentificeerde) variabele de twee variabelen controleert en verantwoordelijk is voor het produceren van de geobserveerde relatie. Dit is het derde-variabele probleem.

2. Het directionaliteitsprobleem. Een correlationele studie kan vaststellen dat twee variabelen gerelateerd zijn; veranderingen in een variabele zorgt voor veranderingen in de andere variabele. Maar, een correlationele studie bepaalt niet welke variabele de oorzaak en welke variabele het gevolg is. Dit is het directionaliteitsprobleem.

122

RELATIES MET MEER DAN TWEE VARIABELENIn de meeste situaties is een individuele variabele, vooral een gedrag, gerelateerd aan een massa andere variabelen. Een vaak gebruikte techniek voor het bestuderen van multivariate relaties is een statistische procedure genaamd meervoudige regressie. Het onderliggende concept is dat een criteriavariabele, zoals academische prestatie, voorspeld of verklaard kan worden door een set voorspellingsvariabelen, zoals IQ en motivatie.

Een interessant gebruik van een meervoudige regressie is om de relatie tussen twee specifieke variabelen te onderzoeker terwijl men de invloed van andere, potentieel verstorende variabelen controleert. Door het één voor één toevoegen van voorspellingsvariabelen in de regressieanalyse is het mogelijk om te zien hoe elke nieuwe variabele iets toevoegt aan de voorspelling na de invloed van de eerdere voorspellers al bekeken zijn.

De voorspellingsvariabelen voorspellen enkel, ze verklaren niet!

123

HOOFDSTUK 13: DE BESCHRIJVENDE ONDERZOEKSSTRATEGIE (PG 369-398)

EEN INTRODUCTIE IN HET BESCHRIJVEND ONDERZOEK

Beschrijvend onderzoek onderzoekt een variabele of een set variabelen meestal zoals ze natuurlijk voorkomen. Deze strategie onderzoekt geen relaties tussen variabelen, enkel de beschrijving van individuele variabelen. Het doel is om een enkele variabele te beschrijven of om aparte beschrijvingen voor elke variabele te verkrijgen wanneer er meerdere variabelen een rol spelen. Dit onderzoek is zeer handig als voorbereidend onderzoek (in de vroege stappen van het onderzoek) en in zijn eigen recht. De eerste stap in het begrijpen van een nieuw fenomeen is om wat ideeën van de variabele zoals hij natuurlijk voorkomt te verkrijgen. Ook kunnen de resultaten van beschrijvend onderzoek ons helpen om interessant, natuurlijk voorkomend gedrag vast te leggen.

Er zijn 3 soorten beschrijvend onderzoek: observationeel onderzoek, survey-onderzoek en casestudy onderzoek.

OBSERVATIONEEL ONDERZOEK

In het observationeel onderzoeksdesign observeert en noteert de onderzoeker systematisch het gedrag van individuen met de bedoeling om gedrag te beschrijven. Als een meettechniek kan gedragsobservatie gebruikt worden in een verscheidenheid van onderzoeksstrategieën zoals experimentele en correlationele designs. Maar, een studie dat gedragsobservatie gebruikt voor beschrijvende doeleinden wordt geclassificeerd als een observationeel onderzoeksdesign.

In het observationeel onderzoeksdesign observeert en noteert de onderzoeker systematisch het gedrag van

individuen om hun gedrag te beschrijven

GEDRAGSOBSERVATIEHet gedragsobservatieproces houdt de directe observatie en systematische notering van gedragingen in, meestal wanneer de gedragingen voorkomen in een natuurlijke situatie. Deze meettechniek introduceert twee speciale meetproblemen.

1. Omdat het doel is om natuurlijk gedrag te observeren is het essentieel dat de gedragingen niet worden verstoord of beïnvloed door de aanwezigheid van een onderzoeker. Dit roept de vraag op over vraagkarakteristieken en reactiviteit.

2. Observatie en metingen vereisen tenminste een bepaalde mate aan subjectie interpretatie van de onderzoeker. Het feit dat de metingen deels gebaseerd zijn op een subjectief oordeel roept de vraag op over betrouwbaarheid; zouden twee verschillende voorvallen van hetzelfde gedrag op dezelfde manier beoordeeld worden?

Het eerste probleem kan opgelost worden door de onderzoeker te vermommen, zodat de individuen niet weten dat hun gedragingen geobserveerd en genoteerd worden. Zolang we publieke gedragingen observeren op publieke plaatsen is er geen ethisch probleem met deze techniek. Een alternatieve procedure is om de participanten te habitueren aan de aanwezigheid van de onderzoeker. Habituatie vereist herhaalde blootstellingen totdat de aanwezigheid van de onderzoeker geen nieuwe stimulus meer is.

124

Om het tweede probleem, subjectiviteit, op te lossen gebruiken onderzoekers vaak drie onderling gerelateerde technieken om de objectiviteit van hun gedragsobservaties te verzekeren. Eerst ontwikkelen ze een lijst met goed beschreven gedragscategorieën; daarna gebruiken ze goed getrainde observeerders; en als laatste gebruiken ze meerdere observeerders om de interbeoordelaarsbetrouwbaarheid te beoordelen. Het ontwikkelen van een set gedragscategorieën betekent dat voor de observatie begint we de gedragscategorieën identificeren die we willen observeren en dan exact oplijsten welke gedragingen tellen als voorbeelden voor elke categorie. Een reeds bestaande lijst stelt observeerders in staat om exact te weten waar ze naar moeten zoeken en hoe ze elk gedrag moeten categoriseren. Ook zorgt een set van reeds vastgestelde gedragscategorieën voor een duidelijke operationele definitie van elk construct dat onderzocht wordt.

Tijdens de observatieperiode observeert en noteert normaal gezien maar één individu de gedragingen door het gebruiken van de set gedragscategorieën als een gids. Maar om betrouwbaarheid vast te stellen moeten twee of meer individuen gelijktijdig observeren en noteren voor enkele observatieperiodes. De mate van overeenstemming tussen de twee observeerders wordt dan berekend, ofwel door een correlatie te berekenen tussen de scores voor de twee observeerders ofwel door een proportie van overeenstemming te berekenen variërend van 1.00 (perfecte overeenstemming) tot 0 (geen overeenstemming) als een meting van interbeoordelaarsbetrouwbaarheid.

OBSERVATIES KWANTIFICERENGedragsobservatie omvat ook het omzetten van de observaties in numerieke scores die gebruikt kunnen worden om individuen en groepen te beschrijven. De creatie van numerieke waarde wordt meestal voltooid door een van deze drie technieken:

1. De frequentiemethode omvat het tellen van het aantal keer dat een specifiek gedrag voorkomt tijdens een fixed-time observatieperiode.

2. De duurmethode omvat het noteren van hoeveel tijd een individu spendeert aan een specifiek gedrag tijdens een fixed-time observatieperiode.

3. De intervalmethode omvat het verdelen van de observatieperiode in een reeks intervallen en dan het noteren of een specifiek gedrag tijdens elk interval voorkomt.

De eerste twee technieken zijn vaak geschikt voor specifieke gedragingen maar kunnen in sommige situaties leiden tot verstorende metingen. Een gedraging dat gedurende een halfuur aan één stuk door wordt uitgevoerd, heeft maar een score van 1 op frequentie. Een gedraging dat 25 keer voor telkens twee seconden wordt uitgevoerd, heeft maar een score van 50 op duur. In zulke situaties biedt de intervalmethode een manier op frequentie en duur te balanceren om een representatievere meting te verkrijgen.

OBSERVATIES SAMPLEN

125

Wanneer een observeerder geconfronteerd wordt met een complexe situatie, kan het onmogelijk zijn om gelijktijdig veel verschillende individuen te observeren en veel verschillende gedragingen te noteren. Een oplossing is om de situatie op te nemen zodat de scene herhaaldelijk kan afgespeeld worden om observaties te verzamelen. Een tweede oplossing is om een steekproef van de potentiële observeerders te nemen in plaats van proberen alles te observeren en noteren. De eerste stap in het proces van observaties samplen is om de observatieperiode in een reeks tijdsintervallen in te delen. Het samplingproces bestaat dan uit een van de volgende drie procedures:

1. Tijdsampling omvat het observeren van één interval, dan pauzeren tijdens de volgende interval om alle observaties te noteren. De volgorde van observeer-noteer-observeer-noteer wordt vervolgd doorheen de reeks intervallen.

2. Eventsampling omvat het identificeren van een specifieke gebeurtenis of gedraging om te observeren en noteren tijdens de eerste interval, dan het verplaatsen van de aandacht naar een andere gebeurtenis of gedraging tijdens de tweede interval enzoverder voor de gehele reeks intervallen.

3. Individusampling omvat het identificeren van een participant om de observeren tijdens de eerste interval, dan het verplaatsen van de aandacht naar een ander individu tijdens de tweede interval enzoverder.

INHOUDSANALYSE EN ARCHIEFONDERZOEKDezelfde technieken die gebruikt worden in gedragsobservatie kunnen toegepast worden op andere situaties die de directe observatie van lopende gedragingen niet omvatten. Wanneer onderzoekers gedragingen of gebeurtenissen in boeken, films of andere media meten, heet het meetproces inhoudsanalyse. Het meest voorkomende voorbeeld van inhoudsanalyse is het observeren van agressie op televisie. Gedragingen noteren uit historische archieven is archiefonderzoek.

Inhoudsanalyse omvat het gebruiken van de gedragsobservatietechnieken om het voorvallen van

specifieke gebeurtenissen in literatuur, films, televisieprogramma’s of gelijkaardige media te meten die

replica’s van gedragingen voorstellen

Archiefonderzoek omvat het kijken naar historische archieven om gedragingen of gebeurtenissen die voorvielen

in het verleden te meten

Om te verzekeren dat de metingen objectief en betrouwbaar zijn, volgen de processen van inhoudsanalyse en archiefonderzoek dezelfde regels die gebruikt worden voor gedragsobservatie. Specifiek omvat het meetproces de volgende:

1. Gedragscategorieën vaststellen om exact te bepalen welke gebeurtenissen zijn inbegrepen in elke categorie die gemeten worden

2. De frequentiemethode, de duurmethode of de intervalmethode gebruiken om een numerieke score voor elke gedragscategorie te verkrijgen

3. Meerdere observeerders gebruiken voor tenminste een deel van het meetproces om een meting van interbeoordelaarsbetrouwbaarheid te verkrijgen

OBSERVATIETYPES EN VOORBEELDENEthologen (onderzoekers die niet-mensen in hun natuurlijke omgeving onderzoeken) en onderzoekers die geïnteresseerd zijn in menselijk gedrag gebruiken vaak het

126

observationeel onderzoeksdesign. Er zijn drie basissoorten van observatie: naturalistische observatie, participantobservatie en bedrieglijke observatie.

NATURALISTISCHE OBSERVATIEWanneer een onderzoeker gedrag observeert en noteert in een natuurlijke setting zonder tussen te komen, is dit naturalistische observatie of niet-participerende observatie. Een natuurlijke setting is een setting waarin gedrag gewoon voorkomt en dat niet geregeld is met de bedoeling om gedrag te modificeren. In naturalistische observatie proberen onderzoekers zo onopvallend en niet opdringerig te zijn als mogelijk, passief noterend wat er zich voordoet.

In naturalistische observatie of niet-participerende observatie observeert een onderzoeker gedrag zo niet

opdringerig mogelijk in een natuurlijke setting

Naturalistische observatie is vooral handig om inzicht te krijgen in real-world gedrag. De resultaten van studies met natuurlijke observatie hebben ook een hoge mate van externe validiteit omdat het gedrag wordt onderzocht in real-world settings in tegenstelling tot labo’s. Verder is naturalistische observatie handig om gedragingen te onderzoeken die, om praktische of ethische redenen, niet gemanipuleerd kunnen worden door de onderzoeker.

Een nadeel van naturalistische observatie is de tijd die nodig is om dit type onderzoek uit te voeren. Een tweede probleem met naturalistische observatie is dat de observeerder moet oppassen om het gedrag dat geobserveerd wordt niet te verstoren of beïnvloeden omdat het doel is om natuurlijk gedrag te observeren.

PARTICIPANTSOBSERVATIEIn participantsobservatie observeert een onderzoeker niet van zo ver als bij natuurlijke observatie. In plaats daarvan interacteert de onderzoeker met de participanten en wordt hij één van hen om gedrag te observeren en noteren. Dit type observatie is nodig in situaties waarin onopvallende observatie niet mogelijk is.

In participantsobservatie engageert de onderzoeker zich in dezelfde activiteiten als de mensen die geobserveerd worden

zodat hun gedrag kan geobserveerd en genoteerd worden

Participantsobservatie staat onderzoekers toe om gedragingen te observeren die meestal niet open staan voor wetenschappelijke observatie – bijvoorbeeld, occulte activiteiten – en om informatie te krijgen dat mogelijk niet toegankelijk is voor buitenstaande observatie. Ook krijgt de onderzoeker een uniek perspectief en inzicht in gedrag dat niet verkrijgbaar is door van veraf te observeren, door dezelfde ervaringen te hebben als de participanten in de studie. De resultaten van participantsobservatiestudies hebben hoge externe validiteit omdat de gedragingen worden geobserveerd in real-world setting, niet in labo’s.

Er zijn meerdere nadelen van dit type observatie. Het is extreem tijdrovend. Ook is participantsobservatie potentieel gevaarlijk voor de observeerder. Verder kan de observeerder onbedoeld het gedrag van de participanten wijzingen door het direct interacteren met hen; en als laatste, door te interacteren met de participanten kan een observeerder objectiviteit verliezen.

Voorbeeld: Rosenhan’s experiment

127

BEDRIEGLIJKE OBSERVATIEEen ander type observatie is bedrieglijke observatie of gestructureerde observatie. In contrast met gedrag observeren in natuurlijke settings, stelt de observeerder zelf een situatie op waarin heel waarschijnlijk de gedragingen die geobserveerd moeten worden, worden geproduceerd zodat het niet nodig is om te wachten totdat ze natuurlijk voorkomen. De bedoeling van bedrieglijke observatie is om een gedraging te versnellen die natuurlijk voorkomt maar niet frequent, om een situatie te creëren waarin een natuurlijke gedragingen waarschijnlijk zal voorkomen en geobserveerd worden op een tijdigere manier.

Bedrieglijke observatie, of gestructureerde observatie, is de observatie van gedrag in settings die specifiek opgezet

zijn om het voorkomen van specifieke gedragingen te vergemakkelijken

Vaak worden zulke studies uitgevoerd in laboratoriumsettings.

Ontwikkelingspsychologen gebruiken deze methode vaak. Het bekendste voorbeeld is Piaget.

Bedrieglijke observatie kan ook plaatsvinden in een natuurlijke maar ‘opgezette’ omgeving: een veldsetting (wat de participant percipieert als een natuurlijke omgeving) opgezet door de onderzoeker met de bedoeling een gedraging te observeren en noteren. Gestructureerde observatie is een compromis tussen de puur beschrijvende natuurlijke observatie en manipulatieve veldexperimenten. Ethologen gebruiken frequent bedrieglijke observatie om responsen van dieren te onderzoeken.

Een voordeel van bedrieglijke observatie over zowel natuurlijke als participantsobservatie is dat onderzoekers niet moeten wachten op gedrag om natuurlijk voor te komen. In plaats daarvan is de omgeving gestructureerd op een manier dat de gewenste gedragingen waarschijnlijker zijn om voor te komen. Maar, een nadeel van bedrieglijke observatie is dat, omdat de omgeving minder natuurlijk is, het gedrag dat ook kan zijn.

STERKTES EN ZWAKTES VAN OBSERVATIONELE ONDERZOEKDESIGNSOnderzoeksdesign Sterktes Zwaktes

Gedrag geobserveerd in de echt wereld

Tijdrovend

Handig voor niet-gemanipuleerde

Potentieel voor

128

Naturalistische observatie gedragingen observeerderinvloed

Echt gedragingen geobserveerd en genoteerd

Potentieel voor subjectieve interpretatie

Participantsobservatie

Wanneer natuurlijke observatie onmogelijk is

Tijdrovend

Verkrijgen van info dat anders niet toegankelijk is

Potentieel voor objectiviteitsverlies

Participatie geeft een uniek perspectief

Verhoogde kans op observeerderinvloed

Bedrieglijke observatie Niet wachten tot gedragingen zich voordoen

Minder natuurlijk

Een probleem met observationeel onderzoek gaat over de ethiek, het idee dat mensen worden ‘gespioneerd’. Een ander nadeel is dat het gedrag gewoon beschrijft en niet verklaart.

HET SURVEY ONDERZOEKSDESIGN

Enquêtes en vragenlijsten worden uitgebreid gebruikt in de gedragswetenschappen als relatief efficiënte manieren om grote hoeveelheden informatie te verzamelen. Door mensen een paar zorgvuldig geconstrueerde vragen te presenteren, is het mogelijk zelf-gerapporteerde antwoorden te verkrijgen over attitudes, meningen, persoonlijke kenmerken en gedragingen.

Het doel van het survey onderzoeksdesign is om een accuraat beeld te krijgen van de onderzochte individuen. De enquête voorziet een ‘snapshot’ van de groep op een bepaald tijdstip. Soms focust survey onderzoek op een specifiek kenmerk zoals eetgedrag of politieke attitudes; ander survey onderzoek kan een meer complexer beeld van een variëteit aan gedragingen en opinies zoeken.

Een veel voorkomende toepassing van survey onderzoek is door bedrijven om meer accuratere beschrijvingen van hun klanten te verkrijgen.

Survey onderzoek uitvoeren presenteert onderzoekers met vier problemen die opgelost moeten worden vooraleer de resultaten accuraat en betekenisvol zijn. Eert moeten surveyvragen ontwikkelt worden. Als tweede, moeten de vragen verzameld en georganiseerd worden om een goed geconstrueerde survey te produceren. Als een derde moet een selectieproces ontwikkelt worden om exact te bepalen wie zal participanten in de survey en wie niet; surveyparticipanten moeten representatief zijn voor de algemene groep. Als laatste moeten onderzoekers bepalen hoe de survey zal uitgevoerd worden. Zullen participanten geprinte surveys via mail krijgen; zullen de surveyvragen voorgelezen worden voor mensen over de telefoon; of zullen participanten de vragen online invullen in een internetsurvey of in persoon?

TYPE VRAGEN

129

Er zijn verschillen manieren om participanten te vragen om zelf-gerapporteerde informatie. Soms kun je voldoende hebben aan een ja of nee-antwoord, maar in andere omstandigheden kan je een kwantitatief antwoord willen. Verschillende types vragen moedigen verschillende types responsen aan. Ook staan verschillen types vragen verschillende mate van vrijheid in antwoorden van de participanten toe. De verwoording van een vraag kan ook bias in een antwoord introduceren. Als laatste staan verschillende types vragen verschillende types statistische analyse en interpretatie toe.

OPEN VRAGENEen open vraag introduceert een onderwerp en staat participanten toe om in hun eigen woorden te antwoorden.

Het grootste voordeel van een open vraag is dat het een individu de grootste flexibiliteit toestaat in het kiezen hoe te antwoorden. Een open vraag legt heel weinig beperkingen op aan de participanten en is daarom waarschijnlijker om elk individu’s echte gedachten of meningen te onthullen. Hoewel de vraag de participanten in een bepaalde richting kan duwen of en specifiek standpunt kan suggereren, zijn individuen vrij om hun eigen gedachten te uiten. Maar, dit kan ook een groot nadeel zijn. Bijvoorbeeld: verschillende participanten kunnen de vraag vanuit een heel ander standpunt benaderen, wat de onderzoeker achterlaat met antwoorden die onmogelijk te vergelijken of samen te vatten zijn.

Een tweede nadeel van open vragen is dat de antwoorden vaak moeilijk samen te vatten of te analyseren zijn met conventionele statistische methoden. Vaak moet de onderzoeker wat subjectieve interpretatie toepassen op het antwoord.

Als laatste kunnen de responsen op open vragen gelimiteerd zijn door het vermogen of de bereidwilligheid om zijn of haar gedachten te uiten.

GESLOTEN VRAGENEen gesloten vraag presenteert de participant met een gelimiteerd aantal responsalternatieven, en beperkt daardoor de responsmogelijkheden. Zoals een meerkeuzevraag vraagt een gesloten vraag de participant om het beste of meest geschikte antwoord te selecteren in een reeks keuzes.

Omdat deze vragen een gelimiteerde en vooraf bepaalde set responsen produceert zijn ze makkelijk om te analyseren en samenvatten. Meestal zijn de data in een tabel gegoten en gerapporteerd als percentages of proporties van participanten die elk alternatief selecteren.

Het is ook mogelijk om kwantitatieve informatie te verkrijgen van gesloten vragen door het gebruiken van een geordende set van responsalternatieven (niet – zelden – meestal – vaak – altijd). Met dit type vraag is het soms mogelijk om een soort gemiddeld antwoord te berekenen voor een groep participanten.

Als laatste kan een element van een open vraag toegestaan worden in een gesloten vraag door het toevoegen van een lege categorie waar participanten vrij zijn om hun eigen antwoord in te vullen.

SCHAALVRAGENEen schaalvraag vereist een participant om te antwoorden door een numerieke waarde te selecteren op een vooraf bepaalde schaal. Filmrecensenten gebruiken vaak dit type schaal om films te evalueren met een nummer van 1 tot 10. De numerieke schaal die met

130

elke vraag gepaard gaat presenteert meestal een reeks responsalternatieven van zeer positief tot zeer negatief.

De schaal is meestal gepresenteerd als een horizontale lijn verdeeld in categorieën zodat participanten gewoon een nummer kunnen omcirkelen of een X kunnen zetten op de locatie die correspondeert met hun respons. Dit type schaalvraag is een Likertschaal. Merk op dat de schaal is gepresenteerd met gelijke spaties tussen de verschillende responskeuzes. Het idee om een intervalmeetschaal te simuleren en de responsen van schalen worden meestal behandeld als intervalmetingen. Dus, de afstand tussen akkoord en zeer akkoord wordt behandeld als een 1-puntsafstand die equivalent is aan elk ander 1-puntsverschil op de schaal.

Er is een absolute regel om het aantal categorieën voor een schaalvraag te bepalen; maar onderzoekers gebruiken meestal 5 tot 10 numerieke waarden. De redenering achter deze reeks waarden is gebaseerd op twee observaties:

1. Participanten hebben de neiging om de twee extreme categorieën aan de tegengestelde kanten van de schaal te vermijden, zeker als de geïdentificeerd zijn met labels die extreme attitudes of meningen aanduiden. Dus, de echte schaal is effectief verminderd met twee categorieën.

2. Participanten hebben moeilijkheden om meer dan 9 of 10 verschillende levels te onderscheiden. Als de schaal meer dan 10 opties aanbiedt, blendt de participanten de categorieën meestal en creëert hij zijn eigen 10-puntenschaal.

Er is ook geen absolute regel om de categorieën te labelen. Meestal worden de tegengestelde extremen geïdentificeerd met verbale labels die ankers noemen die de eindpunten van de schaal vaststellen. Ook is de centrale categorie vaak gelabeld, zeker als het een neutrale respons representeert. Voorbij de eindpunten en het midden is categorieën labelen optioneel.

Een opmerking van schaal vragen is dat wanneer vragen is een serie allemaal dezelfde antwoordkeuzes hebben, hebben participanten de neiging om hetzelfde antwoord te gebruiken voor alle (of de meerderheid) van de vragen. Deze neiging is een responsset. Bijvoorbeeld: met een Likertschaal gebruiken sommige participanten het neutrale antwoord voor alles. Een rationalisatie is dat ze zich echt niet aangetrokken voelen tot een van de antwoorden, dus dat ze echt neutraal zijn. (Een waarschijnlijkere verklaring is dat ze gewoon snel willen stoppen).

Een andere mogelijkheid is dat een participant de akkoord categorie kan gebruiken voor alle antwoorden behalve voor diegene waarbij er een sterk meningsverschil is. Om dit probleem te minimaliseren is het aanbevolen dat de items een mix van positieve en negatieve uitspraken bevatten, en ook wat afwisselende bewoordingen van hetzelfde item.

De bedoeling is om respondenten te forceren om heen en weer te bewegen tussen tegengestelde zijdes van de schaal zodat ze niet op een single responsset kunnen terugvallen voor het beantwoorden van de vragen.

Een andere veel voorkomende schaal, de semantische differentiële, presenteert bipolaire adjectievenparen (zoals blij – verdrietig, vervelend – opgewonden) en vraagt elke participant om de locatie tussen de twee adjectieven te identificeren dat het best een specifiek individu beschrijft.

131

Het grootste voordeel van schaalvragen is dat ze numerieke waarden produceren die behandeld kunnen worden als metingen van een intervalschaal.

Een tweede voordeel van schaalvragen is dat participanten ze meestal makkelijk te begrijpen en beantwoorden vinden. Omdat de schaal verschillende maten van respons toelaat, worden participanten niet gedwongen in een absolute ja of nee, alles-of-niets keuze. In plaats daarvan kunnen de hun antwoorden kwalificeren door maten van overeenstemming of goedkeuring aan te duiden. Het is ook makkelijk voor participanten om door een lange reeks vragen te gaan nadat de schaal geïntroduceerd werd aan het begin van de enquête. Dus, het is mogelijk om veel data te verzamelen over een variëteit aan verschillende onderwerpen in een single, relatief efficiënte enquête.

EEN SURVEY OPSTELLENEens de enquêtevragen zijn bepaald is de volgende stap om de vragen in een coherente enquête te organiseren die participanten makkelijk kunnen begrijpen en afmaken. Er zijn een paar algemene richtlijnen voor het creëren van een georganiseerde enquête.

1. Demografische vragen (zoals leeftijd, geslacht, educatieniveau) moeten aan het einde van de enquête geplaatst worden. Deze items worden gezien als saai en je wil niet dat participanten stoppen omdat ze zich vervelen bij de eerste paar vragen. Ook het eerst identificeren van leeftijd, ras of geslacht kan invloed hebben op hoe de participant enquêtevragen beantwoordt die gerelateerd zijn aan deze variabelen.

2. Gevoelige vragen of items die schaamte of ongemak kunnen veroorzaken moeten in het midden van de enquête geplaatst worden. Tegen de tijd dat participanten deze items tegenkomen, zijn ze waarschijnlijk al opgewarmd aan het onderwerp en zijn ze toegewijd aan het voltooien van de enquête.

3. Vragen over hetzelfde algemene onderwerp moeten samen gegroepeerd worden. Ook vragen in hetzelfde formaat moeten samen gegroepeerd worden; bijvoorbeeld: alle schaalvragen samen. Het groeperen van vragen vergemakkelijkt de enquête zodat participanten niet moeten springen van het ene onderwerp naar het andere of wisselen van een type vraag naar een andere type vraag.

4. Als participanten de enquête gaan lezen, dan moet het formaat van elke pagina relatief simpel en overzichtelijk zijn. Vragen die dicht op elkaar staan en elke vierkante millimeter van de pagina lijken te vullen creëren een overweldigend voorkomen dat participanten kan intimideren.

5. Woordenschat en taalstijl moeten makkelijk te begrijpen zijn voor de participanten.

RELEVANTE EN REPRESENTATIEVE INDIVIDUEN SELECTERENOnderzoekers willen hun resultaten van de steekproef meestal generaliseren naar de targetpopulatie. Ook is de externe validiteit van een studie gelimiteerd, deels door de representativiteit van de steekproef naar de populatie. Het survey onderzoeksdesign introduceert een paar extra bedenkingen over steekproefselectie. Als eerste adresseren veel surveys een specifiek probleem dat maar relevant is voor een kleine subset van de algemene populatie.

Als tweede focussen sommige surveys op een specifiek onderwerp of groep mensen, maar sommige surveys zoeken naar een ruime cross-sectie van de algemene populatie om te beschrijven. In dit geval mag de steekproef niet te beperkt zijn.

132

Soms zoeken individuele onderzoekers professionele hulp om surveys voor te bereiden en participanten te identificeren.

EEN ENQUÊTE UITVOERENEr zijn een aantal mogelijkheid voor het uitvoeren van een survey met elk zijn voor- en nadelen:

INTERNETSURVEYS Over de jaren heen is het uitvoeren van surveys over het internet populairder geworden. Meestal wordt een e-mail of andere uitnodiging verzonden met daarin een link of de vraag om een bepaalde surveysite te bezoeken. Voorbeelden: SurveyMonkey, Google Forms…

Internetsurveys voorzien een economisch en efficiënt medium voor het bereiken van een groot aantal potentiële respondenten. Een gerelateerd voordeel van internetsurveys is dat een onderzoeker een grotere toegankelijkheid heeft tot participanten met een bepaald kenmerk. Het is makkelijker om mensen te vinden die een specifiek(e) interesse, geloof of kenmerk delen dan veel meer mensen dit vragen via mail of aan de telefoon. Er is een besparing van tijd, printkosten en telefoonrekeningen.

Een ander voordeel van een internetsurvey is de flexibiliteit in het presenteren van vragen en responsalternatieven. Het vermogen om irrelevante vragen over te slaan of naar een set gerelateerde vragen te gaan gebaseerd op de antwoorden van een individu, maakt het mogelijk om een survey te individualiseren om de maximale hoeveelheid info van elk individu te verkrijgen.

Maar het uitvoeren van een survey via het internet heeft ook heel wat nadelen gerelateerd aan problemen van de steekproef. Omdat participanten vaak gerekruteerd worden als gebruikers van specifieke sociale media kunnen de individuen in de steekproef verschillen van internetgebruikers in het algemeen en andere individuen die niet op het internet zitten. Internetsurveys zijn ook onderhevig aan non-respons bias, wat betekent dat de mensen die de surveys afwerken een zelfgeselecteerde steekproef zijn die misschien niet representatief zijn voor de populatie. Verder kan het moeilijk zijn om de steekproef te controleren. Bijvoorbeeld: er is geen simpel systeem om emailadressen te organiseren. Vele huishoudens hebben meerdere computers met meerdere gebruikers die allemaal een ander emailadres hebben. Ook hebben veel mensen meer dan één emailadres. Dit maakt het moeilijk om een steekproef van individuen of huishoudens te identificeren en selecteren.

Internetsurveys zijn het best gecontroleerd wanneer ze uitgevoerd worden in een gesloten groep emailgebruikers zoals een universiteit of en andere organisatie met een gemeenschappelijk emailadres.

GEMAILDE SURVEYS Individuen bereiken is het gemakkelijkst via de post. Gebruikers kunnen de enquête invullen wanneer het hunzelf past en kunnen er relatief zeker van zijn dat antwoorden anoniem en vertrouwelijk zijn. Aan de andere kant, het feit dat de survey anoniem is betekent dat een onderzoeker nooit helemaal zeker kan zijn welke persoon in het huishouden de enquête echt heeft ingevuld en teruggestuurd.

Het versturen van surveys is meestal een relatief simpel en makkelijk proces, hoewel een groot aantal surveys printen, ze adresseren en frankering betalen duur en tijdrovend kan

133

zijn. De kosten worden verergerd door het feit dat responsratings de neiging hebben om zeer laag te zijn voor gemailde surveys. Een responsgraad van 10% tot 20% is vrij typisch. Dit betekent dat je tenminste 5 keer het aantal surveys moet verdelen dat je wenst terug te krijgen.

Bijkomstig bij het kosten van een lage responsgraad, kan er een bias zijn tussen diegenen die de surveys terugsturen en diegene die dit niet doen. Een duidelijke mogelijkheid is dat mensen die het meest geïnteresseerd zijn in het surveyonderwerp (diegenen met de meest intense gevoelens) het meest waarschijnlijk de survey zullen invullen en terugsturen. Deze trend creëert een non-responsbias in de steekproef: de individuen die de surveys terugsturen zijn meestal niet representatief voor de gehele groep die ze krijgt. Niet-respons bias kan je vermogen limiteren om surveyresultaten te generaliseren en vormt een bedreiging voor de externe validiteit van je studie.

Hoewel het onmogelijk is om non-responsbias volledig te elimineren, kunnen verscheidene actief de algemene responsgraad verhogen en daarbij de bias verlagen. Als eerste kunnen responsgraden significant verbetert worden als er een goede voorpagina met de survey gepaard gaat. Een voorpagina moet de survey introduceren en vragen voor participatie en de volgende elementen bevatten:

1. Een verklaring waarom het onderwerp belangrijk is. 2. Een verklaring over de nuttigheid van de resultaten. 3. Een nadruk op de belangrijkheid van elke individuele respons. De intentie is om

alle mensen aan te moedigen om te antwoorden, of ze nu wel of niet overtuigd zijn van de problemen in de survey.

4. Een contactpersoon (naam, adres en telefoonnummer) die participanten kunnen bellen of schrijven indien ze vragen of opmerkingen hebben.

5. De handtekening van een persoon die herkend en gerespecteerd wordt door individuen in de steekproef.

Een tweede techniek om mensen meer te laten antwoorden is om een beloning aan de vragenlijst te binden.

Een derde techniek is om de participanten op voorhand een waarschuwing te geven over de enquête en een follow-up reminder na het afronden ervan. Een mail op voorhand dat ze ‘verkozen’ zijn, laat ze speciaal voelen omdat ze geselecteerd zijn en zorgt ervoor dat ze hun mail in de gaten houden. Een reminder om hem in te vullen een week later zorgt ervoor dat ze het zeker niet vergeten en stuur daarna zeker een bedankje.

TELEFOONSURVEYS Voordelen:

o Kan vanuit huis/kantooro Grote groep mensen wanneer de vragenlijst niet lang is

Nadelen:o Tijdrovend

Belangrijke puntjes voor een succesvol telefonisch interview:

1. Hou de vragen kort en gebruik een klein aantal antwoordmogelijkheden. De vragen zijn niet zichtbaar dus moeten ze duidelijk en makkelijk te onthouden zijn.

2. Oefen om de vragenlijst luidop te zeggen, een vraag horen is anders dan een vraag lezen.

134

3. Pas op voor interviewerbias: de toon van de vragensteller kan beïnvloedend zijn. Op voorhand een neutrale stem oefenen is dus belangrijk. Wanneer de participant de vraag niet begrijpt, is de enige optie de vraag op dezelfde manier opnieuw voor te lezen in plaats van deze te proberen uitleggen of herformuleren.

4. Begin met jezelf voor te stellen om niet over te komen als ‘junk telefonist’ die gewoon iets wil aansmeren aan de participant. Maak duidelijk dat je gewoon een vragenlijst wilt afnemen (gelijkaardig aan de voorpagina).

PERSOONLIJKE SURVEYS EN INTERVIEWSKan je doen door mensen op afspraak te laten komen of vrijwilligers te verzamelen. Kan in reeds bestaande groepen, een interview bij 1 persoon…Interviews worden vaak als inefficiënt gezien, maar de informatie kan heel waardevol zijn. Interviews zijn vooral handig bij een specifieke kleine groep personen, sleutelinformanten: mensen met een uniek perspectief/idee of unieke toegang tot informatie (president…). Interviews geven ook meer diepte, detail. Mensen die niet kunnen lezen of schrijven of kleine kinderen zijn hierdoor ook bereikbaar.

Ook hier kan interviewerbias een probleem vormen. De onderzoeker moet een consistente attitude hebben doorheen het hele interview om dit risico te minimaliseren (een mild positieve reactie op elk antwoord van de participant).

VOOR- EN NADELEN VAN SURVEYONDERZOEK

Surveytype Sterktes Zwaktes

Internetsurveys

Efficiënt om uit te voeren bij een groot aantal

participanten

Initiële kost voor site

Toegang tot groot aantal individuen met gelijke

kenmerken

Steekproef is mogelijk niet representatief

135

Survey kan geïndividualiseerd worden gebaseerd op responsen

van de participant

Kan de compositie van de steekproef niet controleren

Gemailde surveys

Gemakkelijk en anoniem Kan duur zijn

Niet bedreigend voor participanten

Lage responsgraad en non-responsbias

Makkelijke uit te voeren Onzeker over wie de survey invult

Telefoonsurveys

Kunnen uitgevoerd worden van thuis uit of vanuit hun

kantoor

Tijdrovend

Participanten kunnen thuis of in hun kantoor blijven

Potentieel voor interviewerbias

Persoonlijke surveys

Efficiënt om uit te voeren met groepen

Tijdrovend: individuele interviews

100% responsgraad Risico op interviewerbias

Flexibel (groepen of individuele interviews)

HET CASESTUDIEDESIGN

Soms is er meer interesse in individueel gedrag, vooral in veldstudies van klinische psychologie behandelingen

Idiografische behandeling = intensieve studie van individuen

Nomothetische behandeling = intensieve studie van groepen

Een casestudie is een studie over ene individu met als doel een uitgebreide beschrijving te verkrijgen. Hier kan een interventie/behandeling bij gepaard gaan. Wanneer dit NIET zo is dan noemt men het casegeschiedenis.

Het casestudiedesign omvat de dieptestudie en gedetailleerde beschrijving van een enkel individu (of een heel kleine groep). Een casestudie kan een interventie om

behandeling omvatten die is uitgevoerd door de onderzoeker. Wanneer een casestudie geen behandeling of interventie

omvat, noemt men dit een casegeschiedenis

TOEPASSINGEN VAN HET CASESTUDIEDESIGN

136

Vooral gebruikt in klinische psychologie. Groepsstudies houden vaak weinig rekening met het individu, casestudies kunnen dus voor ene handige uitbreiding zorgen. Casestudies kunnen soms ook direct leiden tot theorieën (zoals bij Piaget).

ZELDZAME FENOMENEN EN ONGEWONE KLINISCHE CASESCasestudies worden vaak uitgevoerd op mensen met een zeldzame aandoening zoals een persoonlijkheidsstoornis of dissociatieve stoornis, personen die dus meer dan één persoonlijkheid hebben. Voorbeeld: Eve White/Eve Black: The three faces of Eve, bekende studie.

Mensen met zeldzame hersenaandoeningen hersenactiviteit beter begrijpen. Voorbeeld: HM: hippocampus verwijderd om epileptische aanvallen te stoppen.

CASESTUDIES ALS TEGENVOORBEELDENEen uitzondering op de regel aantonen met casestudies.

Voorbeeld: studie over cognitieve desensitisatie om fobieën te behandelen, nieuwe techniek mensen ‘wijsmaken’ dat hun fobieën genezen zijn follow-up studie heeft aangetoond dat het echt niet werkt.

Mevrouw H: spinnenfobie, verklaarde na de behandeling dat er niets was veranderd.

VOOR- EN NADELEN VAN HET CASESTUDIEDESIGNSterktes Zwaktes

Niet veralgemeend over een diverse groep Gelimiteerde generalisatie

Gedetailleerde beschrijving Potentieel voor selectieve bias

Levendig, krachtig, overtuigend Potentieel voor subjectieve interpretatie

Compatibel met klinisch werk

Kan zeldzamen en ongewone gebeurtenissen onderzoeken

Kan uitzonderingen identificeren tot op de regel

137

HOOFDSTUK 14: SINGLE-SUBJECT ONDERZOEKSDESIGNS (PG 401-439)

INTRODUCTIE

Single-subject/single-casedesigns worden uitgevoerd met 1 participant. Het zijn experimentele studies omdat ze onbevooroordeelde oorzaak-gevolgrelaties aantonen. Het voordeel van deze studie is dat ze onderzoekers de mogelijkheid geven om data te verzamelen over situaties waarin een enkel individu behandeld, geobserveerd en gemeten wordt.

Single-subjectsdesigns, of single-casedesigns, zijn onderzoeksdesigns dat de resultaten van een enkele

participant of subject gebruiken om het bestaan van oorzaak-gevolgrelaties vast te stellen. Om zich te kwalificeren als experimenten moeten deze designs manipulatie van een

onafhankelijke variabele bevatten en controle van vreemde variabelen om alternatieve verklaringen voor de

onderzoeksresultaten te voorkomen

In het verleden werd dit soort studies vooral gedaan door behavioristen die aan operante conditionering deden. Clinici hebben deze methode overgenomen.

DE RESULTATEN VAN EEN SINGLE-SUBJECTSTUDIE EVALUEREN

138

Er wordt geen scoreset bekomen zoals bij andere studies, maar een visuele grafiek van de simpele data van het onderzoek.

Een verandering in een grafiek toont niet noodzakelijk een oorzaak-gevolg aan, hier zijn 2 redenen voor:

De resultaten stellen geen echt experiment voor omdat er geen controle is over de bijzondere variabelen geen duidelijk, niet bevooroordeeld antwoord

Het verschil tussen voor en na de behandeling kan door toeval veroorzaakt zijn. Er is variabiliteit in de dag-tot-dag observaties, dit is een natuurlijk deel van gedrag en meting. Het patroon kan gewoon variabiliteit zijn (‘statistisch significantieprobleem’).

Er kan geen rekening gehouden worden met de kans zoals bij BSD en WSD.

Om te kwalificeren als een echt experiment moet de grafiek overtuigend bewijs leveren dat de behandeling echt de oorzaak is van de veranderingen in het gedrag.

FASEN EN FASEVERANDERINGEN

Een fase is een reeks observaties van hetzelfde individu onder dezelfde condities.

Baselineobservaties zijn observaties die gemaakt zijn wanneer er geen behandeling uitgevoerd werd. Een reeks

baselineobservaties noemen we een baselinefase en wordt geïdentificeerd door de letter A.

Behandelingsobservaties zijn observaties die gemaakt zijn wanneer er wel een behandeling uitgevoerd werd. Een reeks behandelingsobservaties noemen we een behandelingsfase

en wordt geïdentificeerd door de letter B.

Wanneer er meerdere behandelingen zijn, worden meerdere letters gebruikt. Wanneer er gewijzigde behandelingscondities zijn worden deze onderverdeeld in B1, B2… Wanneer een fase twee of meer behandelingen tegelijk ondergaat, benoemen we deze bijvoorbeeld als A-B-B1-1-BC-C A = baseline, B = behandeling, B1 = gewijzigde behandeling (modificatie) omdat B misschien niet effectief was, A= terug naar baseline, B en C samen, C alleen.

LEVEL, TREND EN STABILITEITDe reeks observaties moeten een duidelijk patroon weergeven dat het gedrag beschrijft.

Het level van gedrag is een manier om een patroon binnen een fase te beschrijven. Level refereert naar de ‘grootte’ van iemands antwoorden. Als alle observaties binnen een fase dezelfde grootte hebben, dan is er een consistent/stabiel level van gedrag binnen die fase. Stabiele data vormen ongeveer een horizontale lijn op een grafiek.

Een consistent level komt voor wanneer een reeks metingen ongeveer allemaal dezelfde grootte hebben. In een grafiek

clusteren de reeks datapunten rond een horizontale lijn

Een trend is een alternatieve manier om een patroon aan te tonen binnen een fase. Trend verwijst naar een consistente stijging/daling in de ‘grootte’/’zwaarte’ van gedrag.

139

Een consistente trend komt voor wanneer de verschillen tussen de metingen consistent in dezelfde richting gaan en ongeveer dezelfde grootte hebben. In een grafiek clusteren

de reeks datapunten rond een schuine lijn

Hier wordt dus geen statistische methode voor gebruikt, maar is puur visueel op de grafiek.

De kritische factor is stabiliteit in de data. Wanneer een rechte lijn gevormd kan worden is de data stabiel (dit moet niet perfect recht zijn). (voorbeelden op pg 409)

De stabiliteit van een reeks observaties verwijst naar de mate waarin de observaties een patroon tonen van een

consistent level of consistente trend. Stabiele data kunnen weinig variatie van een perfect consistent patroon tonen,

maar de variatie zou relatief klein moeten zijn en het lineair patroon relatief duidelijk

OMGAAN MET ONSTABIELE DATAEr zijn enkele technieken om bij onstabiele data toch een stabiel patroon te vinden:

Wachten observaties blijven maken en hopen dat de data stabiliseert en een duidelijk patroon onthult. Soms reageert een participant onvoorspelbaar omdat de studie nieuw is en heeft hij een paar dagen nodig om consistent gedrag te vertonen.

Data van telkens 2 dagen naar een gemiddelde brengen kan er ook voor zorgen dat de resultaten stabieler zijn (dus bijvoorbeeld: gemiddelde van data van dag 1 en 2 samen, van dag 3 en 4 samen…) (voorbeeld pg 410)

Patronen zoeken in de onstabiliteit of redenen zoeken voor de onstabiliteit en deze aanpakken.

LENGTE VAN EEN FASEOm een patroon te kunnen zien moet een fase minstens 3 observaties bevatten. Bij hoge variabiliteit moeten zeker meer observaties gedaan worden.

FASES VERANDERENFaseverandering is een manipulatie van de onafhankelijke variabele en wordt bekomen door een behandeling toe te voegen, weg te halen of te veranderen. Dit proces zet een nieuwe fase van start.

Een fase bestaat uit een reeks observatie van hetzelfde individu onder dezelfde omstandigheden. Een

faseverandering omvat het veranderen van de omstandigheden, meestal door het uitvoeren of stoppen van

een behandeling

140

Het doel hiervan is om aan te tonen dat er hierdoor veranderingen in gedrag veroorzaakt worden.

BESLISSEN WANNEER FASES MOETEN VERANDERENWanneer er een duidelijk patroon is in de vorige fase.

Veranderen van een baselinefase naar een behandelingsfase, wanneer de data in een baseline verbetering toont mag de onderzoeker nog geen behandeling inlassen: 2 redenen:

Klinische reden: wanneer er al verbetering is, is er nog geen nood aan een verandering

Experimentele reden: dit zou geen betrouwbare resultaten opleveren

Gevaarlijk of levensbedreigend gedrag in de baseline ethisch verplicht om de behandeling meteen te beginnen in plaats van eerst een aantal stadiums te doorlopen. Als het gedrag terug onder controle is, kan de onderzoeker opnieuw beginnen.

De data binnen de behandelingsfase kan een vervroegde fase om veranderingen vragen. Wanneer een behandeling een plotse en ernstige verandering in gedrag veroorzaakt, moet de onderzoeker de fase meteen stoppen of wijzigen.

VISUELE INSPECTIETECHNIEKENRichtlijnen om te weten of een verandering in data duidelijk genoeg is:

Verandering in gemiddeld level: grote veranderingen in gemiddelden is een teken van echte verschillen.

Plotselinge verandering in level: het laatste datapunt van de fase vergelijken met het eerste in de volgende fasen, een groot verschil toont een plotse reactie van de participant aan.

Verandering in trend: wanneer de geobserveerde trend in een fase opvallend verschillend is van die in een andere, is dat een duidelijke indicatie van een verschil tussen fases.

Reactietijd van verandering: een vertraging tussen de verandering in de fase en wanneer het gedrag mee verandert doet de betrouwbaarheid van de oorzaak-gevolgrelatie geen goed. Dit is het meest overtuigende bewijs.

HET ABAB OMKERINGSDESIGN

De letters verwijzen naar de lettersequentie van fases. Het ABAB design of omkeringsdesign is het meest voorkomende en bestaat uit 4 fases: A = baseline, B = behandeling, A = terug naar baseline, B = herhaling van behandeling

Aantonen dat er een duidelijk verschil is tussen behandeling en baseline. Aantonen dat de veranderingen hetzelfde blijven in elke baseline en in elke

behandeling.

Elementen die het mogelijk maken een oorzakelijke relatie aan te tonen:

Baseline – behandeling: er moet een verschil zijn. Behandeling – baseline: gedrag keert ongeveer terug naar hoe het was in de

eerste baseline. Dit is de omkeringscomponent.

141

Baseline – behandeling: een replicatie van stap 1. Dit sluit uit dat in stap 1 de veranderingen toevallig waren.

het kan ook gebruikt worden om aan te tonen dat een behandeling net NIET werkt. (Craig en Keans: accupunctuur)

Een ABAB design, of een omkeringsdesign, is een single-subject experimenteel design dat bestaat uit 4 fasen: een

baselinefase, een behandelingsfase, een terug-naar-baselinefase en een tweede behandelingsfase. Het doel van

het design is om aan te tonen dat de behandeling veranderingen in het gedrag van de participant veroorzaakt

BEPERKINGEN VAN HET ABAB DESIGN De geloofwaardigheid is grotendeels afhankelijk van de omkering. Een behandeling opeens weer weghalen kan praktische en ethische vragen opleveren.

PRAKTISCHE VRAGENHet kan zijn dat na de omkering het gedrag van de baseline niet terugkeert omdat de patiënt genezen is, en het gedrag van de behandeling dus voortzet.

Het kan ook zijn dat de participant in mindere mate terugkeert naar de baseline.

ETHISCHE VRAGENEen behandeling die effectief blijkt te zijn opeens stopzetten kan terug ongemakken bezorgen voor de cliënt. Twee voorwaarden kunnen dit minimaliseren:

Iedereen wordt ervan verzekerd dat het terugtrekken van de behandeling tijdelijk is

Het terugtrekken van de behandeling kan praktisch noodzakelijk zijn. De cliënt moet terugkeren naar zijn normale leven als trial-periode om te kijken of het effect op lange termijn blijft bestaan of verdwijnt

VARIATIES VAN HET ABAB DESIGN: COMPLEXERE FASEVERANDERINGDESIGNS CREËREN Een behandeling C kan toegevoegd worden als de cliënt niet reageert op de eerste behandelingsconditie.

Het kan zijn dat er voor behandeling C een bijzondere variabele de oorzaak wordt van de veranderingen of dat het effect komt van een van de eerdere maar gewoon vertraagd is. Het kan ook zijn dat het effect van C enkel voorkomt als het samen voorkomt met bijvoorbeeld B en B1.

142

Het vertrouwen in het oorzaak-gevolgeffect komt voort uit het repliceren van de fases en precies achterhalen waardoor het effect veroorzaakt werd.

kan dus heel complex worden!

MULTIPLE-BASELINEDESIGNS

Het basisprobleem van de single-subject methode is dus de omkering, naast het ethische dilemma zijn ze enkel geschikt voor behandelingen met een tijdelijk effect. Het meerdere-baselinedesign is een alternatief dat geen omkering nodig heeft en dus goed is voor behandelingen die langdurige of permanente effecten hebben.

Een multiple-baseline design heeft enkel een verandering in één fase nodig en bevestigt de betrouwbaarheid door die fase te repliceren op een tweede participant. Het zijn gelijktijdige observaties van de participanten die twee verschillende baseline periodes ondergaan (de ene iets langer dan de andere) (voorbeeld pg 424).

Wanneer twee participanten gebruikt worden spreekt men van multiple-baseline over subjects.

Het is ook mogelijk een studie uit te voeren waarbij meerdere gedragingen voor één participant gemeten worden. De gedragingen moeten onafhankelijk van elkaar zijn en apart behandeld worden. Deze methode noemen we de multiple-baseline over gedragingen.

Het is ook mogelijk een behandeling voor één gedraging over verschillende situaties te testen door twee aparte situaties tegelijk te meten en dan een behandeling toe te voegen op twee verschillende momenten voor de twee situaties, dit is multiple-baseline over situaties.

Een multiple-baselinedesign begint met twee gelijktijdige baselinefases. Een behandelingsfase wordt geïnitieerd voor een van de baselines terwijl baselineobservaties doorgaan voor de andere. Op een later tijdstip wordt de behandeling

geïnitieerd voor de tweede baseline

Wanneer de initiële baselinefases overeenkomen met hetzelfde gedrag voor twee aparte participanten, is het

design een multiple-baseline over subjects

Wanneer de initiële baselinefases overeenkomen met twee aparte gedragingen voor dezelfde participant, is het design

een multiple-baseline over gedragingen

Wanneer de initiële baselinefases overeenkomen met hetzelfde gedrag in twee aparte situaties, is het design een

multiple-baseline over situaties

RATIONALE VOOR HET MULTIPLE-BASELINEDESIGNCriteria voor een succesvol MBD = criteria ABAB

Duidelijke en onmiddellijke verandering in het gedragspatroon van baseline naar treatment.

143

Minstens 2 demonstraties dat het gedrag verandert bij behandeling replicatie

STERKTES EN ZWAKTES VAN HET MULTIPLE-BASELINEDESIGN Voordelen:

o Geen omkering nodig goed voor langdurige effecten Nadelen:

o Eén participant, meerdere gedragingen moeilijk om op elkaar gelijkende maar onafhankelijke gedragingen te zien

o Risico dat veranderingen in het ene gedrag die van het andere gedrag mee beïnvloeden

o Bij MBD mag de behandeling enkel het gedrag beïnvloeden dat het zou moeten beïnvloeden anders lagere betrouwbaarheid

o Individuele verschillen tussen participanten/gedragingen kunnen andere uitkomsten hebben en de resultaten kunnen dan minder geloofwaardig overkomen

ANDERE SINGLE-SUBJECTDESIGNS

Specifieke vragen of onderzoekssituaties: 3 alternatieve single-subjectdesigns:

HET DISMANTLING, OF COMPONENTANALYSE, DESIGN

Een dismantlingdesign, of een componentanalysedesign, bestaat uit een reeks fasen

waarbij in elke fase een component toegevoegd of verwijderd wordt van een complexe behandeling om te bepalen hoe elk

deeltje bijdraagt tot het algemene behandelingseffect

2 strategieën om dit design uit te voeren:

Beginnen met een full-treatmentfase en deeltjes verwijderen Beginnen met een baselinefase en deeltjes van de behandeling toevoegen

HET VERANDERENDE-CRITERIUMDESIGNSoms wordt onderzoek gedaan naar een probleem dat verschillende groottes heeft of levels die duidelijk beschreven zijn en makkelijk te verstaan door zowel cliënt als clinicus. De clinicus verandert de criteria tijdens de studie en kijkt of het gedrag mee verandert (bijvoorbeeld: het aantal sigaretten roken per dag). Een veranderend-criteriumdesign heeft een reeks fases die elk een verschillend specifiek criteria bevatten die een targetlevel van gedrag bevatten.

Een probleem is dat het gedrag de criterialevels volgt en geen algemene trend. Om dit op te lossen zorgen onderzoekers ervoor dat er ook stappen terug in zitten en variëren ze in de lengte van de criteria fases niet-lineaire criteriasequentie.

Een veranderend-criteriumdesign bestaat uit een reeks fases waarin elke fase is beschreven door een specifiek criterium dat een targetlevel van gedrag bepaalt. Het

criteriumlevel verandert van de ene fase tot de volgende. Bewijs voor een succesvol behandelingseffect wordt

verkregen wanneer het level van gedrag van de participant 144

verandert overeenkomstig met de veranderende-criteriumlevels

HET ALTERNERENDE-BEHANDELINGSDESIGNHet alternerende-behandelingsdesign of discreet-trialsdesign laat een onderzoeker toe te switchen tussen behandelingen zonder te moeten wachten tot een reeks observaties een level, trend, stabiliteit… vertoont.

Beginnen door met een random proces te kiezen welk van de twee condities bestuurd zal worden voor elke observatie.

Basisvereisten:

Het moet mogelijk zijn om te kunnen switchen. Het gedrag van de participant moet onmiddellijk veranderen wanneer de

behandeling toegevoegd wordt.

In een alternerend-behandelingsdesign, of een discreet-trialsdesign, worden twee (of meer) behandelingscondities

willekeurig gealterneerd van de ene observatie tot de andere. Het resultaat is een reeks observaties die een

overeenkomstige reeks alternerende behandelingscondities representeert

Voordelen:

Snelle vergelijking van 2 behandelingen Snelle verandering tussen condities Kan gebruikt worden om verschillende technieken te vergelijken waarin

verschillen tussen therapeuten en condities van nature verschillen

ALGEMENE STERKTES EN ZWAKTES VAN SINGLE-SUBJECTSDESIGNS

3 fundamentele verschillen tussen SSD en traditionele groepsdesigns:

1 persoon versus meerdere SSD veel flexibeler en kan makkelijk veranderen tijdens de studie zelf SSD vraagt voortdurende evaluatie versus slechts 1 of 2 keer meten

VOORDELEN VAN SSD Oorzaak-gevolg relaties tussen behandelingen en gedragingen met maar 1

participant clinici kunnen therapie geven en tegelijk experimenten uitvoeren Flexibiliteit wanneer een participant niet reageert op therapie kan men deze

gewoon wijzigen behandeling persoonlijker maken en aanpassen aan wat de cliënt nodig heeft

NADELEN VAN SSD

145

De relatie kan enkel aangetoond worden voor 1 participant moeilijk te veralgemenen (externe validiteit)

De participant is zich bewust van de behandeling omdat er constant veranderingen gebeuren reactiviteitprobleem (interne validiteit)

Geen statistische controle, enkel visueel (grafieken) Statistische significantie effect is waarschijnlijk niet toevallig Praktische significantie het effect is substantieel en groot genoeg Klinische significantie

146

Methodologie - VPPK€¦ · Web viewgebruikt observatie of directe zintuigelijke ervaringen om...

Documents

Transcript of Methodologie - VPPK€¦ · Web viewgebruikt observatie of directe zintuigelijke ervaringen om...