pedagogischekringleuven.files.wordpress.com · Web viewInformatie over het conceptueel model van...

Kwantitatieve methoden in pedagogisch onderzoek 2017-2018

Methoden in pedagogisch onderzoek 1Kwantitatief, kwalitatief en gemengd onderzoekVoorbeeld rilatine

1. Observatie: toenamen rilatine gebruik bij studenten 2. Inductie: neurowetenschappelijk onderzoek 3. Deductie: rilatine bij studenten leid tot hogere score op aandacht en geheugen 4. Toetsing: rilatine + placebo test 5. Evaluatie: hypothese niet bevestigd

Voorbeeld gedrag

•

1


Het onderzoeksproces Oefening: Om welk soort vraagstelling(en) gaat het bij volgende problemen

In dit onderzoek willen we onderzoeken in welke mate en op welke wijze kenmerken van de cliënten, de begeleiders, de werking en de organisatie van een setting samenhangen met de kwaliteit van leven bij personen met ernstige meervoudige beperkingen.

= relationeel, we onderzoeken samenhang.

Deze projectaanvraag gaat de effecten na van “gemengde leeromgevingen” op het leren van studenten, namelijk: de percepties betreffende de leeromgeving; de leerbenadering en de leerresultaten van studenten.

= causaal of evaluerend.

Er is nog maar weinig onderzoek verricht naar ouderlijk gedrag bij jonge kinderen met een autismespectrumstoornis (ASS). Het doel van deze studie is dan ook het in kaart brengen van de ouderlijke gedragingen bij kinderen met ASS en hun associaties met het optreden van gedragsproblemen.

= beschrijvend, relationeel

In dit onderzoek gaan we na in welke mate differentieel opvoeden door ouders verschillen in sociaal aanpassingsgedrag van kinderen verklaart.

= causaal

2


Probleem, theorie en conceptueel modelOefening:

Wat zijn de onderzoekselementen en variabelen in onderstaande masterproef?

Onderzoekselement: leerlingen in het 3de leerjaar

Variabelen: rekenvaardigheden

Soortvraag: relationeel

Oefening

In scholen met een kansarme leerlingenpopulatie werd een onderzoek uitgevoerd naar het effect van georganiseerde sportcompetitie tijdens de speeltijden en de middagpauze op het spijbelgedrag. De afhankelijke variabele in het onderzoek is:

a. Kansarmoede

b. Organisatie van sportcompetitie

c. Spijbelgedrag

Het juiste antwoord is (c) spijbelgedrag. De organisatie van sportcompetitie (b) is de onafhankelijke variabele (de variabele die een invloed uitoefent op de afhankelijke variabele). Kansarmoede (a) is een eigenschap van de populatie/steekproef, en is in zekere zin ook een onafhankelijke variabele.

3


Oefening

Een onderzoekster bestudeert de relaties tussen de volgende variabelen: geslacht van kinderen, sociaal milieu, opvoedingsstijl van ouders, temperament van kinderen, empathisch vermogen van kinderen en morele ontwikkeling van kinderen. Ze verwacht dat:

- Er een invloed is van sociaal milieu op de opvoedingsstijl van de ouders. - Het temperament van het kind een effect heeft op de opvoedingsstijl van ouders, vooral voor

jongens.- De opvoedingsstijl van ouder een invloed heeft op het empathisch vermogen van kinderen- Een beter empathisch vermogen leidt tot een betere morele ontwikkeling van kinderen

Geef voor elk van bovenstaande variabelen aan of het onafhankelijke, afhankelijke, interveniërende, moderator of storende variabelen zijn en waarom.

Geslacht: moderator (+ onafhankelijke variabele): bepaalt relatie tussen temperament van het kind en opvoedingsstijl (dwz. Doet zich voor bij jongens, maar niet bij meisjes).

Sociaal milieu: onafhankelijke variabele (t.o.v. opvoedingsstijl van de ouders)

Opvoedingsstijl van de ouders: interveniërende variabele of mediator; afhankelijke variabele t.o.v. sociaal milieu en temperament; onafhankelijke variabele t.o.v. empathisch vermogen en morele ontwikkeling van kinderen.

Temperament van het kind: onafhankelijke variabele t.o.v. opvoedingsstijl

Empathisch vermogen van het kind: interveniërende variabele of mediator; afhankelijke variabele t.o.v. opvoedingsstijl, onafhankelijke variabele t.o.v. morele ontwikkeling van het kind

Morele ontwikkeling van het kind: afhankelijke variabele t.o.v. empathisch vermogen van het kind

Schematisch ziet dat er als volgt uit:

4


Oefening

Voldoet deze uitspraak aan de kenmerken van een goede hypothese? Indien niet, herformuleer deze uitspraak zodat ze voldoet aan de kenmerken van een goede hypothese.

Kinderen die vaak fysiek gestraft worden, vertonen meer agressief gedrag

Als-dan stelling Er wordt iets gezegd over onderzoekselementen Er wordt iets gezegd over variabelen: gestraft worden, agressief gedrag Wijst op positief verband Is toetsbaar, we kunnen aggresief gedrag en straffen meten • = goede hypothese

Een harde opvoeding is goed voor kinderen

Geen als dan Onderzoekselementen: kinderen Variabele: opvoeding Verband: geen verband aangeduid in hypothese Toetsbaar: nee • = normatieve uitspraak, waarden uitspraak, geen hypothese

Als leerkrachten hun stem verheffen, dan gaan ze stemknobbels ontwikkelen

Niet helemaal. (1) Als-dan uitspraak of stelling obv. theorie? Ja. Het is denkbaar dat er theorieën bestaan over stembelasting die zeggen als je je stem vaak gaat belasten, dan krijg je problemen met je stembanden. (2) Onderzoekselementen? Ja, i.c. leerkrachten (3) Variabelen? Ja, i.c. stem verheffen & stemknobbels ontwikkelen (4) Verband + richting? Niet helemaal. Er wordt weliswaar gesproken over een verband tussen stem verheffen en stemknobbels ontwikkelen. Maar, de richting van dit verband (positief/negatief) is niet helemaal duidelijk. We zouden deze hypothese kunnen verbeteren door de richting van het verband tussen de variabelen duidelijker te specifiëren. Bijvoorbeeld: Als leerkrachten vaak hun stem verheffen, dan gaan ze meer stemknobbels ontwikkelen.

5


Oefening

Bekijk het artikel van De Smedt et al. (2009) op TOLEDO. Maak een conceptueel model van dit onderzoek door op volgende vragen te antwoorden:

• Wat zijn de onderzoekselementen?• Welke variabelen zijn opgenomen in het onderzoek (geef aan om welk soort variabelen het

gaat)?• Welke hypothesen worden er geformuleerd m.b.t. de verschillende variabelen?

Informatie over het conceptueel model van een onderzoek waarover gerapporteerd wordt in een tijdschriftartikel (zoals in het geval van De Smedt et al. 2009) vindt u meestal in het eerste deel van het artikel, i.e. onder de hoofding Introduction of Background

Onderzoekselementen: Kinderen die in het begin van het eerste leerjaar zitten (ze worden nogmaals gemeten als ze in het tweede leerjaar zitten).

Variabelen:

• Vergelijken van hoeveelheden (numerical magnitude comparison) onafhankelijke variabele

• Rekenvaardigheid (mathematics achievement) afhankelijke variabele • Algemene verwerkingssnelheid (processing speed) storende factor (testvariabele) • Intelligentie storende factor (testvariabele)

Hypothesen: Er wordt een verband verwacht tussen vergelijken van hoeveelheden en rekenvaardigheid. De richting van het verband wordt echter niet specifiek uitgedrukt. Impliciet kan je afleiden dat men de volgende hypothese wil toetsen: “Als kinderen uit het eerste leerjaar goed presteren op het vergelijken van hoeveelheden, dan zullen ze in het tweede leerjaar ook goed presteren op een rekenvaardigheidstoets”.

Bekijk het artikel van Mueller en Oppenheimer (2014) op TOLEDO. Maak voor elk van de studies uit dit artikel een conceptueel model door op volgende vragen te antwoorden:

• Wat zijn de onderzoekselementen?• Welke variabelen zijn opgenomen in het onderzoek (geef aan om welk soort variabelen het

gaat)?• Welke hypothesen worden er geformuleerd m.b.t. de verschillende variabelen?

Informatie over het conceptueel model van een onderzoek waarover gerapporteerd wordt in dit tijdschriftartikel vindt u zowel in de algemene inleiding (p. 1159-1160) en aan het begin van elke studie (telkens net voor participants). Deze informatie is echter zeer beperkt. Kenmerkend voor dit tijdschrift is dat de artikelen die gepubliceerd worden zeer kort zijn en er weinig ruimte is om dit conceptueel model uitgebreid te beschrijven. Informatie over het conceptueel model is ook impliciet af te leiden uit de operationalisatie van van dit conceptuele model die telkens onder de titels participants en procedure beschreven wordt. Dit kan ook afgeleid worden uit de resultaten waar de scores op de verschillende variabelen besproken worden.

6


Studie 1

Onderzoekselementen: Studenten

Variabelen:

- Noteerconditie (laptop vs. pen-en-papier) – onafhankelijke variabele - Lezing (welk college de studenten te zien kregen) – onafhankelijke variabele - Feitenkennis – afhankelijke variabele - Conceptuele kennis – afhankelijke variabele - Aantal woorden overlap (met het college) – afhankelijke variabele • Daarnaast worden nog een test afgenomen (werkgeheugen) waarvan de gegevens niet

verder geanalyseerd worden.

Hypothesen: Er wordt een verband verwacht tussen noteerconditie enerzijds en de prestaties op de feitenkennis en conceptuele kennis toets anderzijds. De richting van het verband is niet helemaal duidelijk. Wat de invloed op feitenkennis betreft zijn er zowel studies die een voordeel van laptop gebruik als een nadeel van laptop gebruik aantonen. Op basis van die tegenstrijdige resultaten wordt hier open gelaten wat het effect van noteerconditie op feitenkennis gaat zijn. Wat conceptuele kennis betreft wordt er impliciet verwacht dat de scores hoger gaan liggen in de pen-en-papier conditie, gegeven dat uit vorig onderzoek blijkt dat het letterlijk nota nemen zorgt voor lagere prestaties op conceptuele vragen én dat de auteurs verwachten dat er meer letterlijk nota zal genomen worden in de laptop conditie (zie hieronder). De auteurs verwachten wel een verband verwacht tussen noteer conditie en aantal woorden overlap. Dit laatste wordt gezien als een indicator voor het letterlijk nota nemen. De auteurs verwachten dat het aantal woorden overlap (met het college) hoger zal zijn in de laptopconditie dan in de pen-en-papier conditie.

Studie 2


Variabelen: Een aantal variabelen zijn identiek aan studie 1:

- Lezing (welk college de studenten te zien kregen) – onafhankelijke variabele – - Feitenkennis – afhankelijke variabele - Conceptuele kennis – afhankelijke variabele - Aantal woorden overlap (met het college) – afhankelijke variabele •• Bijkomende variabelen: - Er wordt een extra noteerconditie toegevoegd: (1) pen-en-papier; (2) laptop zonder

bijkomende instructie; (3) laptop waarbij expliciet gevraagd wordt om niet letterlijk nota te nemen

- Er worden een aantal bijkomende variabelen verzameld, i.c. gemiddeld punt voor vakken aan de universiteit (self-reported grade point average), SAT (= toets voor schoolse prestaties die in de VS centraal afgenomen wordt voor studenten naar de universiteit gaan), zelfrapportering over zijn/haar eigen prestaties aan de universiteit (academic self-efficacy, Need for Cognition scores), werkgeheugen (reading span). Deze variabelen zouden als storende variabelen, i.c. testvariabelen kunnen beschouwd worden.

7


Hypothesen: Het eerste doel van studie 2 is om de bevindingen uit studie 1 te repliceren. Dat betekent dat men dezelfde resultaten verwacht als in studie 1. M.n. personen die via pen-en-papier noteren gaan hoger scoren op conceptuele vragen dan personen die via een laptop noteren. Er wordt geen verschil verwacht tussen de noteercondities voor feitenkennis. De auteurs verwachten een verband verwacht tussen noteer conditie en aantal woorden overlap. Dit laatste wordt gezien als een indicator voor het letterlijk nota nemen. De auteurs verwachten dat het aantal woorden overlap (met het college) hoger zal zijn in de laptopconditie dan in de pen-en-papier conditie.

Als we naar de twee specifieke laptop-condities kijken (zonder en mét noteerinstructie), wordt er verwacht dat er in de laptopconditie mét noteerinstructie minder letterlijk genoteerd wordt en dus minder aantal woorden overlap (met het college) zal zijn dan in de laptopconditie zonder noteerinstructie. Daarmee verwant wordt er ook (eerder impliciet) verwacht dat studenten in de laptopconditie met noteerconditie beter gaan score op de conceptuele vragen dan

studenten in de laptopconditie zonder interventie.

Studie 3


Variabelen: Een aantal variabelen zijn identiek aan studie 1/2

- Feitenkennis – afhankelijke variabele - Conceptuele kennis – afhankelijke variabele - Aantal woorden overlap (met het college) – afhankelijke variabele • Bijkomende variabelen: - Het al dan niet nalezen van de nota’s voor ze de toets krijgen (onafhankelijke variabele). Dit

leidt tot 4 condities: (1) pen-en-papier, niet nalezen; (2) pen-enpapier, nalezen; (3) laptop, niet nalezen; (4) laptop, nalezen

Hypothesen: In principe kan men dezelfde resultaten verwacht als in studie 1. Er wordt geen verschil verwacht tussen de noteercondities voor feitenkennis. Personen die via penen-papier noteren gaan hoger scoren op conceptuele vragen dan personen die via een laptop noteren. De auteurs verwachten verder dat dit verband verder afhangt van het feit of de deelnemers hun nota’s mogen nalezen of niet. Er wordt echter geen concrete hypothese m.b.t. het effect van deze laatste variabele geformuleerd

8


SteekproeftrekkingOefening

U trekt telkens een steekproef van n = 100 studenten uit de volgende drie populaties:

Studenten Bachelor Ped. Wet.: N = 427Studenten Master Ped. Wet.: N = 358Schakelprogramma Ped. Wet.: N = 142

Bereken de respectievelijke steekproeffracties.

Steekproeffractie = n/N; we trekken telkens een steekproef van n = 100

Studenten uit de Bachelor Pedagogiek: 100/427 = 0.23 Studenten uit het schakelprogramma Pedagogiek: 100/358 = 0.28 Generatiestudenten uit de Bachelor Pedagogiek: 100/142 = 0.70

Merk op dat hoe groter de populatie wordt, hoe meer eenheden men in de steekproef moet opnemen om eenzelfde steekproeffractie te bekomen.

oefening

Een onderzoeker wil een onderzoek doen naar de motivatie van studenten uit de Bachelor Pedagogische Wetenschappen. Deze populatie bestaat uit 427 studenten, waarvan 10% mannen. De onderzoeker wil een gestratificeerde steekproef van 50 deelnemers trekken. Beschrijf hoe het aantal mannen/vrouwen er zal uitzien in:

(a) Een proportioneel gestratificeerde steekproef

(b) Een niet-proportioneel gestratificeerde steekproef

(a) Een proportioneel gestratificeerde steekproef verondersteld dat de verdeling mannen/vrouwen in de steekproef gelijk is aan de verdeling mannen/vrouwen in de populatie. Aangezien de populatie 10% mannen bevat, dient onze steekproef ook 10% mannen te bevatten. Voor een steekproef van 50 personen zullen we dus 5 mannen en 45 vrouwen moeten selecteren.

(b) In een niet-proportioneel gestratificeerde steekproef is de verdeling mannen/vrouwen niet gelijk aan de verdeling mannen/vrouwen in de populatie. We zouden bijvoorbeeld een steekproef kunnen trekken met evenveel mannen als vrouwen, bvb. 25 mannen en 25 vrouwen.

9


Oefening

Een onderzoeker is geïnteresseerd in de effecten van kind-, persoonlijkheids- en omgevingskenmerken op ouderlijk opvoedingsgedrag. Hij wil dit onderzoek uitvoeren bij 300 tweeoudergezinnen in Vlaanderen met een kind in het vierde tot zesde leerjaar. De onderzoeker verwacht dat deze effecten zullen verschillen naargelang het geslacht en leeftijd van het kind.

Hoe zou u een getrapte steekproef trekken indien 10 basisscholen verspreid over Vlaanderen bereid zouden zijn mee te werken aan dit onderzoek?

Primair 10 scholen 30 kinderen/school

Secundair 3 leerjaren 10 kinderen/ leerjaar

Tertiair geslacht 5 meisjes, 5 jongens

Uit deze 10 scholen (primaire eenheden) kunnen we klassen trekken (secundaire eenheden) en uit elk van deze klassen kunnen we leerlingen (tertiaire eenheden) gaan trekken. Omdat de onderzoeker geïnteresseerd is in de effecten van leeftijd en geslacht is het belangrijk dat we gelijke aantallen hebben voor de verschillende niveaus van elk van deze twee variabelen (geslacht: evenveel jongens als meisjes; leeftijd: evenveel kinderen uit het vierde, vijfde en zesde leerjaar). Daarom gaan we deze steekproef op een nietproportioneel gestratificeerde wijze trekken.

Een mogelijke oplossing zou zijn om uit elk van de deelnemende basisscholen 30 kinderen te selecteren: 10 kinderen uit het vierde leerjaar, 10 kinderen uit het vijfde leerjaar en 10 kinderen uit het zesde leerjaar. We zouden er dan kunnen voor zorgen dat per leerjaar 5 jongens en 5 meisjes geselecteerd worden. Op die manier omvat de steekproef evenveel jongens als meisjes en zijn er evenveel kinderen uit het vierde, vijfde en zesde leerjaar.

U dient bij het trekken van de steekproefeenheden wel te verifiëren of het gaat om kinderen die uit een tweeoudergezin komen (= inclusiecriterium). De onderzoeksvraag is immers gericht op kinderen uit dit soort gezinnen.

Oefening

Bekijk de steekproeftrekking van De Smedt et al. (2009)

- Welk soort steekproef is hier getrokken?- Hoe zou u dit kunnen optimaliseren?

Zoals vaak gebeurd in rapportage van onderzoek in wetenschappelijke artikelen is de beschikbare informatie over de steekproeftrekking in De Smedt et al. (2009) zeer beperkt. Er zijn dan ook verschillende antwoorden mogelijk m.b.t. het soort steekproef dat hier getrokken is. Concreet gaat

10


het om 1 school waaruit 3 klassen van het eerste leerjaar geselecteerd zijn. Het zou kunnen gaan om een clustersteekproef, waarbij we in eerste instantie at random een school gekozen hebben, uit die school alle klassen van het eerste leerjaar hebben opgenomen en uit elke klas alle leerlingen uit de klas getest hebben. Stel dat we niet alle eerste leerjaar klassen of niet alle leerlingen uit een klas hebben getrokken, maar at random klassen of leerlingen uit klassen hebben getrokken, dan is er sprake van een twee- of meertrapssteekproef. Indien we onze school niet at random hadden geselecteerd, dan is er sprake van een gemakssteekproef. In realiteit was de school niet at random geselecteerd, en zijn alle kinderen uit die school opgenomen in het onderzoek.

Een optimalisering van de steekproef zou het trekken van een meertrapssteekproef kunnen zijn. De huidige steekproef komt uit een provinciestad, maar het zou misschien beter zijn om scholen uit zowel dorpen, kleinere steden als grote steden te selecteren. Op die manier vormt onze uiteindelijke steekproef een betere afspiegeling van de populatie van Vlaamse kinderen. We zouden aselect een aantal scholen kunnen selecteren (primair niveau), uit die scholen aselect een aantal klassen kunnen selecteren (secundair niveau) en uit die klassen aselect een aantal leerlingen (tertiaire niveau) kunnen kiezen. Op dit laatste niveau zouden we er nog voor kunnen zorgen dat het aantal jongens en meisjes gelijk is (niet-proportionele stratificatie), als we bijvoorbeeld de prestaties van jongens en meisjes zouden willen vergelijken. Deze getrapte steekproef zal representatiever zijn voor de (Vlaamse) populatie van normaal ontwikkelende kinderen uit het eerste leerjaar, waarover dit onderzoek gaat.

Hoe zou u de getrapte steekproef uit dit artikel “Linkse winst, met groenen in topvorm” trekken?

Het onderzoek gaat over Vlamingen. U zou in elke provincie (primaire eenheden) een aantal postcodes (secundaire eenheden) kunnen selecteren (u zou er kunnen voor zorgen dat u steden, gemeenten en dorpen selecteert). Voor elke postcode trekt u willekeurig een gelijk aantal mannen en vrouwen uit volgende leeftijdscategorieën (tertiaire eenheden): 18 – 29 jaar; 30 – 39 jaar; 40 – 49 jaar; 50 – 59 jaar; 60 – 69 jaar. In het artikel wordt vermeld dat de steekproef 1013 personen omvat. Uiteraard moet u rekening houden met het feit dat een aantal (allicht veel) van de oorspronkelijk geselecteerde deelnemers niet op de vragen geantwoord hebben (non-response). Om die reden kan u uit die 1013 niet afleiden hoeveel deelnemers in de oorspronkelijke steekproef gecontacteerd werden.

11


Methode van dataverzamelingOefening

Beoordeel de formulering en de antwoordmogelijkheid in de volgende vragen

(1) De formulering van de vraag is goed: ze is begrijpelijk, neutraal, ondubbelzinnig en eendimensioneel. Het gaat om een meerkeuzevraag, maar er is een probleem m.b.t de antwoordmogelijkheden. Er is namelijk overlap tussen de categorieën 20-30 jaar en 30-40 jaar.

(2) Hoewel de vraag goed te begrijpen is, is ze niet acceptabel en bedreigend geformuleerd. De kans op sociaal-wenselijke antwoorden is in dit geval dus groot. Het is ook niet helemaal duidelijk wat precies met sport en zware fysieke inspanningen bedoeld wordt. De vraag is ook niet eendimensioneel: er wordt zowel gepeild naar zowel sport als naar fysieke inspanningen (het is best denkbaar dat voor deze twee dimensies het antwoord op de vraag niet hetzelfde is). Voor de antwoordmogelijkheden wordt gebruik gemaakt van een rating-schaal. Er wordt gebruik gemaakt van een schaal met een even aantal punten, wat het risico op neutrale antwoorden verkleint. Er worden voldoende punten op de schaal voorzien, wat differentiatie in de antwoorden toelaat.

(3) De vraag is goed te begrijpen, maar ze komt opnieuw zeer bedreigend over. Er is een risico voor sociaal wenselijke antwoorden, zeker omdat er maar twee antwoordmogelijkheden gegeven worden. De vraag is niet helemaal ondubbelzinnig: wat wordt bedoeld met veel? De vraag is mogelijks ook niet eendimensioneel. Het zou kunnen dat iemand veel ruzie heeft met zijn vader, maar niet met zijn moeder (of vice versa). De dichotome antwoordmogelijkheid is problematisch: de antwoordcategorieën laten geen variabiliteit en nuance toe.

Beoordeel het soort vragen en de formulering die hier gebruikt worden.

In Frankrijk is beroering ontstaan over de nieuwe app “Mon fils est-il gay?” Daarmee kunnen ouders via een smartphone te weten komen of hun zoon homo is. Twintig eenvoudige vragen beantwoorden, meer is er niet nodig om het verdict te horen (…)

Het beantwoorden van 20 ja-nee vragen moet uitsluitsel bieden. Die gaan van “Houdt hij van voetbal?” , “Is zijn vader autoritair?” tot “Luistert hij naar muziek uit musicals?” …

Het gaat om gesloten vragen met dichotome antwoordmogelijkheid. Het probleem met dit soort vragen – zeker in deze situatie – is dat ze weinig variabiliteit hebben en geen ruimte laten voor nuance. Hoewel de vragen begrijpelijk en niet te moeilijk zijn, zijn ze zeer suggestief geformuleerd. De titel van de applicatie zal het gedrag van de respondenten al in een bepaalde richting sturen.

12


Oefening

U wil onderzoek doen naar invloed van het hebben van een kind met autisme op het opvoedingsgedrag van ouders ten opzichte van broers en zussen? Kiest u voor observatie of vragenlijst? Motiveer je keuze.

We zouden voor observatie kunnen kiezen omdat we iets te weten willen komen over feitelijk gedrag (opvoeding). Bovendien gaat het om gedragingen waarvan mensen zich niet altijd bewust zijn (opvoeding vaak een vanzelfsprekend proces van interacties waarbij de betrokken zich niet altijd bewust zijn van wat ze doen), of die moeilijk te verwoorden of benoemen zijn wanneer er expliciet naar gevraagd wordt. Een nadeel van observatie is echter dat we slechts informatie over het hier en nu krijgen (= het specifieke moment dat we geobserveerd hebben). Indien u geïnteresseerd zou zijn in het opvoedingsgedrag op verschillende periodes in de ontwikkeling, of indien we willen peilen naar bijvoorbeeld de opvoedingsdoelen en –waarden die ouders belangrijk vinden, zullen we een vragenlijst of interview moeten afnemen. In realiteit zullen in onderzoek vaak verschillende dataverzamelingsmethoden gecombineerd worden, in dit geval zowel observatie als interview.

13


Validiteit en betrouwbaarheidOefeningen

Een coach doet onderzoek naar de prestaties van zwemmers en neemt een gestandaardiseerde test voor gezichtsscherpte af in zijn club. De resultaten van de test correleren significant met de sportieve prestaties van de deelnemers. Op basis daarvan besluit de coach de test op te nemen in een screeningsprocedure. Niet iedereen is het daar mee eens en volgende argumenten worden gegeven:

1. De test heeft een lage betrouwbaarheid

2. De test heeft een lage inhoudsvaliditeit

Welk van de onderstaande uitspraken is correct:

a. Beide argumenten zijn onjuist

b. Argument 1 is juist, argument 2 is onjuist

c. Argument 1 is onjuist, argument 2 is juist

Het juiste antwoord is c. Met de betrouwbaarheid van het onderzoek is allicht niets verkeerd, telkens wanneer deze proef opnieuw wordt afgenomen zullen daar min of meer dezelfde resultaten uitkomen. Het onderzoek heeft echter wel een lage inhoudsvaliditeit aangezien de prestatie van sporters van veel meer variabelen afhankelijk is dan alleen ooghandcoördinatie en optische kwaliteiten. Denk hierbij bijvoorbeeld aan conditie, inzicht en inzettingsvermogen.

Een leerkracht heeft een toets voor begrijpend lezen ontwikkeld en vraagt je om de kwaliteit van dit meetinstrument te evalueren. De toets bestaat uit 20 items. Hoe zou u de criteriumvaliditeit van deze toets bepalen?

Bij criteriumvaliditeit onderzoeken we de samenhang tussen de prestaties op de test en een extern criterium. Dat criterium kan in het heden liggen (concurrente validiteit) of in de toekomst (predictieve validiteit). In dit geval zou de leerkracht de samenhang tussen de prestaties op de nieuwe toets en het rapportcijfer voor taal (concurrent) of de eindscore voor taal aan het einde van het schooljaar (predictief) kunnen berekenen.

Een onderzoeker wil een instrument ontwikkelen om het voorkomen van dyslexie vroegtijdig op te sporen bij kinderen uit de derde kleuterklas. Uit de literatuur blijkt dat het kunnen aangeven of woorden rijmen of niet, wanneer het gemeten worden bij kinderen uit de derde kleuterklas een belangrijke voorspeller is van toekomstige leesprestaties in de lagere school.

De onderzoeker maakt een test die bestaat uit 20 woordparen waarvan kinderen moeten aangeven of ze al dan niet rijmen. De onderzoeker wil de kwaliteit van zijn instrument evalueren. Hoe zou hij dit het beste aanpakken?

De kwaliteit van het meetinstrument kunnen we evalueren door te gaan kijken naar validiteit en betrouwbaarheid van het instrument.

14


Validiteit:

We kunnen in eerste instantie iets zeggen over de inhoudsvaliditeit van de test. De onderzoeker heeft zich in de constructie van de test gebaseerd op wetenschappelijke literatuur die zegt dat kunnen aangeven of woorden rijmen of niet een belangrijke voorspeller van leesvaardigheid is. Tegen deze achtergrond heeft de test dus inhoudsvaliditeit. De (predictieve) criteriumvaliditeit zouden we kunnen onderzoeken door de scores op de test in de derde kleuterklas te correleren met de leesprestaties van dezelfde kinderen wanneer ze in het eerste leerjaar zitten. Om de constructvaliditeit van de test te bepalen zouden we kunnen gaan kijken wie van de groep kinderen uit de derde kleuterklas later in de lagere school dyslexie (ernstige leesproblemen) ontwikkelt en wie niet. Wanneer vastgesteld is welke van deze kinderen dyslexie hebben en welke niet zouden we retrospectief kunnen terugkijken naar de scores van elk van deze kinderen op de test toen ze in de derde kleuterklas zaten: als de kinderen uit de dyslexiegroep dan een lagere score op de nieuwe test hebben dan de kinderen die geen dyslexie ontwikkelen, biedt dit evidentie voor de constructvaliditeit van de test.

Betrouwbaarheid:

De stabiliteit van het meetinstrument kunnen we nagaan door bijvoorbeeld test-hertest betrouwbaarheid te meten. In dat geval nemen we de test twee keer af bij een zelfde groep van kinderen uit de derde kleuterklas en berekenen we de samenhang tussen beide metingen. We kunnen ook de interne consistentie van de items uit de test onderzoeken. Hiertoe zouden we bijvoorbeeld Cronbach α kunnen berekenen

15


Experimenteel onderzoekVoorbeelden:

De docent methoden besluit om vanaf dit academiejaar geen hoorcolleges meer te geven. Vanaf nu vinden er enkel nog kleine groepssessies plaats waarin de docent op basis van de vragen van studenten een aantal concepten uit de cursus verduidelijkt.

Op het examen in de januari-zittijd stelt de docent vast dat de punten van de studenten duidelijk hoger liggen dan de vorige jaren. De docent besluit dat zijn nieuwe aanpak beter is dan de klassieke hoorcolleges.

Is deze conclusie terecht? Nee zijn er alternatieve verklaringen mogelijk? Andere studenten (verschillende intelligentie, motivatie, …) Ander examen (=meting) (gemakkelijker examen) Nieuwe assistenten (geven beter uitleg)

Een onderwijzeres in het eerste leerjaar stelt vast dat sommige kinderen uit haar klas niet kunnen volgen met lezen. Daarop vraagt ze de kinderen om in twee minuten zoveel mogelijk woorden van een bepaalde lijst te lezen en laat de 5 zwakste lezers tijdens de speeltijd bijwerken door een leesmoeder.

Na 4 weken blijkt dat deze 5 leerlingen op 2 minuten tijd beduidend veel meer woorden lezen dan voordien. De onderwijzeres besluit dat bijwerken via een leesmoeder effectief is.

Is deze conclusie terecht? Nee Zijn er alternatieve verklaringen mogelijk? Geheugen effect (toets wordt de tweede keer beter gemaakt) Kinderen oefenen meer met hun ouders Spontane vooruitgang (kinderen leren op korte tijd veel bij)

Een onderzoekster van de dienst studieadvies vraagt zich af of het gebruik van TOLEDO leidt tot betere prestaties.

Ze vergelijkt daartoe twee groepen studenten die de cursus “Methoden van Pedagogisch Onderzoek” volgen. De ene groep volgt dit in 1ste Bach in Kortrijk, de andere groep volgt dit in 1ste Bach in Leuven. De docent in Kortrijk maakt intensief gebruik van TOLEDO; de docent in Leuven niet. De prestaties op het examen voor dit vak worden vergeleken (Leuven = januari; Kortrijk = juni). De studenten in Leuven scoren beter dan de studenten in Kortrijk. De onderzoekster besluit dat het gebruik van TOLEDO niet tot betere prestaties leidt.

Is deze conclusie terecht? Nee Zijn er alternatieve verklaringen mogelijk? De prof (manier van les geven, duidelijke uitleg, ...) Andere studenten Ander examen moment

16


oefening

Beschrijf voor elk van de studies uit het artikel van Mueller & Oppenheimer (2014) wat de verschillende condities in elk van deze experimenten zijn.

Studie 1: 2 condities: - Noteren via laptop (laptop) - Noteren via pen-en-papier (longhand)

Studie 2: 3 condities - Noteren via pen-en-papier (longhand) - Noteren via laptop zonder bijkomende instructie (laptop – no intervention) - Noteren via laptop mét bijkomende instructie (laptop – intervention)

Studie 3: 4 condities - Noteren via pen-en-papier, zonder nakijken voor de test (longhand – no study) - Noteren via pen-en-papier, met nakijken voor de test (longhand – study) - Noteren via laptop, zonder nakijken voor test de test (laptop – no study) - Noteren via laptop, met nakijken voor de test (laptop – study)

Oefening

Geef drie variabele(n) waarop je zou kunnen matchen in

a. Het rilatine experiment

b. De studies van Mueller & Oppenheimer (2014)

Het heeft enkel zin te matchen op variabelen waarvan we vermoeden dat ze samenhangen met onze OV, i.c. de interventie, en/of onze AV, i.c. de metingen waarop we het effect van onze interventie onderzoeken.

(a) Rilatine O.a. geheugencapaciteit, aandachtsniveau, studierichting, geslacht, leeftijd, …

(b) Mueller & Oppenheimer O.a. studierichting, studeerresultaten, leeftijd, geslacht,

oefening

Een onderzoekster wil het effect van het programma Triple P (positive parenting program) op het zelfbeeld van kleuters onderzoeken. Veertig gezinnen zijn bereid om aan dit onderzoek deel te nemen. Het programma bestaat uit 3 sessies van 90 minuten. Het zelfbeeld van de kleuters zal worden gemeten aan de hand van een gestandaardiseerde test (Harter Pictorial Scale of Perceived Competence). In deze test wordt aan kleuters gevraagd hoe competent ze zich voelen in bepaalde vaardigheden.

• Welke experimenteel design zou u selecteren om dit te onderzoeken en hoe gaat dit design er concreet uit zien. Motiveer je keuze.

We zouden dit kunnen onderzoeken via een pre-test post-test design. Eerst wordt het zelfbeeld van de kleuter in die 40 gezinnen gemeten via de gestandaardiseerde test over het zelfbeeld (pre-test). Vervolgens worden uit deze 40 gezinnen at random 20 gezinnen geselecteerd die zullen deelnemen aan het Triple P programma. De overige 20 gezinnen worden toegewezen aan de controlegroep die het Triple P programma niet krijgt Na de 3 sessies van het programma, wordt opnieuw dezelfde test over het zelfbeeld afgenomen bij alle kleuters in die 40 gezinnen.

17


Een geavanceerdere opzet zou zijn om de 20 gezinnen in de controlegroep een alternatief programma van 3 sessies aan te bieden dat niet op positive parenting focust. Bijvoorbeeld 3 sessies over EHBO bij kleuters, of over voorlezen bij kleuters, …

- We gaan ervan uit dat dit een goeie meting is - Ov: triple P- Aantal waarden : 2- Posttest only design of pre-test en posttest design - Voormeting randomisatie tripple P / controlegroep nameting

Controle groep: droge informatie geven over EHBO bij kinderen Verschil tussen de twee kleiner en dus een beter resultaat

- randomisering: ouders zijn ad random toegewezen aan een bepaalde groep

Dit kan volgens een bepaalde variabelen, maar dit moet verklaard worden

Bv. even veel gescheiden als niet gescheiden ouders in beide groepen

Uitbreiding met pre-test posttest design is mogelijk

Stel dat we het rilatine-experiment opnieuw zouden uitvoeren, maar dat we deze keer zouden kiezen voor een binnen-subject design. Hoe zou dit design er dan concreet uit zien?

Aan het rilatine-experiment van de VUB namen 20 studenten deel. Deze 20 studenten worden at random verdeeld over twee volgordes: de helft krijgt eerst rilatine en dan een placebo, de andere helft krijgt eerst de placebo en dan rilatine (= contrabalanceren). Concreet zou het experiment er als volgt kunnen uitzien. Op tijdstip 1 krijgen alle studenten– zoals in de video – een pil. De studenten uit volgorde 1 krijgen een pil met rilatine, de studenten uit volgorde 2 krijgen een pil zonder rilatine (studenten weten niet tot welke volgorde ze behoren, dit wordt ook niet bekend gemaakt achteraf). Na inname van de pillen meten we – net zoals in het oorspronkelijke experiment – de bloeddruk, lichaamstemperatuur, aandacht en geheugen. Enkele dagen later (tijdstip 2) herhalen we het experiment opnieuw: de studenten uit volgorde 1 krijgen nu een pil zonder rilatine, de studenten uit volgorde 2 krijgen een pil met rilatine (opnieuw weten ze niet tot welke volgorde ze behoren). Na inname van de pillen meten we – net zoals in het oorspronkelijk experiment – de bloeddruk, lichaamstemperatuur, aandacht, en geheugen. De eerste drie metingen doen we op dezelfde manier, voor het meten van het geheugen zouden we kunnen overwegen om een nieuwe, maar analoge, test af te nemen, om eventueel geheugen effecten te vermijden. Het is belangrijk dat tijdstip 1 en tijdstip 2 voldoende uit elkaar liggen om het probleem van differentiële overdracht (i.c. dat het effect van rilatine op tijdstip 1 nog zou doorwerken op tijdstip 2) te vermijden.

Eerst randomisatie van subjecten

Iedereen krijgt beide interventies

Groep 1: eerst rilatine, dan placebo

Groep 2: eerst placebo, dan rilatine

18


Aandachtspunten: differentiële overdracht

Zorgen voor voldoende tijd tussen beide interventies zodat het effect van de ene interventie geen invloed heeft op de tweede interventie

Een onderzoekster wil het effect van ipads op het leren van taal onderzoeken. Ze wil ook onderzoeken of het effect van ipads hetzelfde is bij jongens en meisjes. Twintig leerkrachten uit het 1ste jaar secundair zijn bereid om met hun klas aan dit onderzoek mee te doen.

Welk experimenteel design zou u selecteren om dit te onderzoeken en waarom. Beschrijf hoe dit design er concreet gaat uit zien (i.c. condities, metingen, …).

In dit onderzoek wordt het effect van twee onafhankelijke variabelen (Ipad, en geslacht) bestudeerd. De ene variabele (Ipad) is manipuleerbaar, de andere (geslacht) niet. Het gaat dus om een factorieel design, meer specifiek een mixed design, dat we bijvoorbeeld kunnen combineren met een pre-test post-test design. Concreet zouden we in alle deelnemende klassen vóór de start van het experiment een taaltoets kunnen afnemen (= voormeting). Vervolgens worden de klassen at random verdeeld over twee condities: 10 klassen zullen gebruik maken van de Ipad tijdens de taalles, de andere 10 klassen krijgen de normale taal-instructie zonder Ipad. Na 10 weken wordt bij iedereen opnieuw dezelfde taaltoets (= nameting) afgenomen. Om het effect van geslacht te kunnen onderzoeken zullen we niet alle leerlingen mee opnemen in onze analyse. Uit elke klas zullen we precies evenveel jongens als meisjes at random selecteren om in onze analyse mee op te nemen. Op die manier is de verdeling van geslacht identiek over de beide condities (= matching).

Variabelen: ipads, het effect bij jongens/ meisjes

= factoreel design (combinatie manipuleerbaar en niet manipuleerbare variabelen)

Mixed design

Aandachtspunten:

- Randomisatie en matching

- Randomisatie: conditie ad random toewijzen aan klas

- Matching in termen van variabelen (geslacht)

Hoe zou je het volgende onderzoeksopzet kunnen verbeteren zodat storende factoren onder controle zijn?

Een onderwijzeres in het eerste leerjaar stelt vast dat sommige kinderen uit haar klas niet kunnen volgen met lezen. Daarop vraagt ze de kinderen om in twee minuten zoveel mogelijk woorden van een bepaalde lijst te lezen en laat de 5 zwakste lezers tijdens de speeltijd bijwerken door een leesmoeder.

Na 4 weken blijkt dat deze 5 leerlingen op 2 minuten tijd beduidend veel meer woorden lezen dan voordien. De onderwijzeres besluit dat bijwerken via een leesmoeder effectief is.

Het opzet van dit onderzoek zou kunnen verbeterd worden door het opnemen van een controlegroep én door de deelnemers at random toe te wijzen aan de experimentele groep en de

19


controle groep. Deze controlegroep dient eveneens zwakke lezers te bevatten. De controlegroep zou dan ofwel geen interventie ofwel een andere interventie (maar geen leesmoeder) mogen krijgen. De zwakke lezers moeten gerandomiseerd toegewezen worden aan experimentele en controleconditie.

Storende factoren: extra aandacht die ouders thuis kunnen geven

Hoe uitschakelen:

- Controle groep

Geef voor elk van de studies uit het artikel van Mueller & Oppenheimer (2014) aan welk soort experimenteel design er vermoedelijk gebruikt is.

Studie 1:

- Posttest only (er is slechts 1 OV, en geen voormeting)

Studie 2:

- Noteren via pen-en-papier (longhand) - Noteren via laptop zonder bijkomende instructie (laptop – no intervention) - Noteren via laptop mét bijkomende instructie (laptop – intervention) - Vermoedelijk een post-test only design - Er zitten echter 2 onafhankelijke variabelen in, nl.

manier van noteren (pen-enpapier vs. laptop) en een specifieke instructie om op een bepaalde manier te noteren (intervention vs. no-intervention), waardoor deze studie lijkt op een factorieel design. Er is hier echter géén sprake van een factorieel design omdat de condities van manier van noteren énkel in de laptop conditie voorkomen (en niet in de pen-en-papier conditie). Een volledig factorieel design zou vereisen dat je ook binnen de pen-en-papier conditie zowel een groep met ‘noteer’-interventie hebt interventie en één zonder ‘noteer’-interventie. Dat is niet het geval.

Studie 3: 4 condities

- Noteren via pen-en-papier, zonder nakijken voor de test (longhand – no study)- Noteren via pen-en-papier, met nakijken voor de test (longhand – study) - Noteren via laptop, zonder nakijken voor test de test (laptop – no study) - Noteren via laptop, met nakijken voor de test (laptop – study)

20


Correlationeel onderzoekOefening

Een onderzoeker wil de invloed van fonologische vaardigheden (e.g. begrijpen van de klankstructuur van de taal, bvb. door aan te geven of twee woorden rijmen of niet) op leesprestaties onderzoeken. Bedenk zowel een experimenteel als een correlationeel design om de hypothese te toetsen dat betere fonologische vaardigheden leiden tot betere leesprestaties.

Experimenteel design

We zouden dit via een pre-test post-test design kunnen onderzoeken. Stel dat 50 kinderen uit het eerste leerjaar aan het onderzoek willen deelnemen. We zouden bij elk van die 50 kinderen de leesprestaties kunnen nagaan met een gestandaardiseerde leestest. Vervolgens worden de kinderen willekeurig verdeeld over twee groepen: de ene groep oefent gedurende 4 weken met een trainingsprogramma dat fonologische vaardigheden stimuleert, de andere groep krijgt gedurende deze 4 weken geen extra training. Na deze 4 weken wordt opnieuw de gestandaardiseerde leestest bij alle kinderen afgenomen. De prestaties van de twee groepen op de leestest wordt vergeleken.

Correlationeel design

De vraagstelling van de onderzoeker lijkt eerder van causale aard te zijn, i.e. invloed van fonologische vaardigheden op leesprestaties. Om die reden zouden we voor een crosslagged panel onderzoek kunnen opteren. We zouden de fonologische vaardigheden en leesprestaties van 50 kinderen kunnen meten aan de start van het eerste leerjaar via gestandaardiseerde tests (i.c. een test voor fonologische vaardigheden, bvb. rijmen; en een test voor lezen) (tijdstip 1). We zouden diezelfde tests een jaar later opnieuw kunnen afnemen bij dezelfde groep van kinderen (tijdstip 2). Indien we een verband vinden tussen fonologische vaardigheid op tijdstip 1 en leesvaardigheid op tijdstip 2, en dit verband blijft bestaan na controle voor leesvaardigheid op tijdstip 1, dan kunnen we (voorzichtig) besluiten dat fonologische vaardigheden een invloed hebben op leesprestaties. Eventueel kunnen we hierbij nog eens extra statistisch controleren voor storende factoren zoals intelligentie en opleidingsniveau van de ouders.

oefening

21


Beoordeel de studie van De Smedt et al. (2009) op TOLEDO obv. checklist op de vorige slide

Is het doel van de studie duidelijk? Levert ze een significante bijdrage aan de literatuur?

Doel = Onderzoek naar de invloed van numerieke representaties op individuele verschillen in rekenvaardigheid (1e paragraaf van de inleiding: 469 – 470).

Bijdrage = Voorspelt het begrijpen en voorstellen van hoeveelheden latere rekenprestaties? Op basis van de op dat moment bestaande literatuur weten we dat er een samenhang is tussen het voorstellen van hoeveelheden en rekenen, maar we weten nog niet of de voorstelling van hoeveelheden latere rekenprestaties voorspelt (zie inleiding p. 470, 2de paragraaf)

Bouwt de studie verder op bestaande en relevante literatuur?

Ja. Deze wordt uitvoerig toegelicht op p. 470 – 471. De bestaande studies over de samenhang tussen het voorstellen van hoeveelheden en rekenen worden besproken. Er wordt ook aangegeven waarom een dergelijke relatie vanuit theoretisch perspectief verwacht kan worden.

Tegelijkertijd worden beperkingen aan de bestaande literatuur aangegeven (p. 471, laatste paragraaf), m.n. het feit dat er enkel cross-sectionele studies zijn. Er wordt ook aangegeven hoe de huidige studie dit probleem gaat oplossen, door gebruik te maken van een longitudinaal onderzoeksopzet.

Is de onderzoeksvraag en/of hypothese duidelijk geformuleerd?

De onderzoeksvraag staat onderaan p. 471: voorspellen individuele verschillen in het begrijpen van hoeveelheden latere individuele verschillen in rekenprestaties?

De onderzoeksvraag is een vraag naar (predictieve) samenhang.

De variabelen omvatten rekenprestaties enerzijds en prestaties op een test van getallen vergelijken anderzijds.

Onderzoekselementen zijn kinderen die aan het begin van het eerste leerjaar zitten.

Er wordt een hypothese geformuleerd bovenaan p. 472. Die hypothese zegt iets over het verband tussen de variabelen en ze is toetsbaar. Echter, er wordt geen expliciete uitspraak gedaan over de richting van het verband. Ook wordt niet expliciet gezegd op welk soort onderzoekselementen het onderzoek betrekking heeft (normale kinderen? kinderen met leerproblemen?).

Wordt de steekproef duidelijk beschreven en zorgt deze selectie van de onderzoekselementen voor een vertekening van de resultaten?

De populatie voor dit onderzoek is duidelijk: kinderen die op het eerste meetmoment in het begin van het

22


eerste leerjaar zitten.

Er worden inclusiecriteria vermeld: kinderen die allemaal in hetzelfde jaar geboren zijn (dus geen zittenblijvers) en die geen ontwikkelingsproblemen vertonen. Het gaat dus om normaal ontwikkelende kinderen.

Wijze van steekproeftrekking: onduidelijk. Het is niet duidelijk of het hier gaat om aselecte steekproef (was die school die in het onderzoek opgenomen werd at random gekozen) of een gemakssteekproef (die school was toevallig voorhanden)? Zijn alle kinderen uit die school die aan de inclusiecriteria voldoen opgenomen in het onderzoek of slechts een selectie? Deze onduidelijkheden zorgen ervoor dat de externe validiteit of generalisatie van deze studie beperkt is.

Er wordt iets gezegd over de context (plaats) waarin de steekproef verzameld is (p. 472: provincial town in the east of Flanders), maar het is niet duidelijk wat daaronder verstaan moet worden. Anderzijds is het tijdstip van de dataverzameling duidelijk omschreven.

Worden de gebruikte meetinstrumenten en procedures beschreven en zorgt dit voor een vertekening van de resultaten?

De instrumenten lijken op het eerste gezicht inhoudsvalide te zijn (i.c. indicatoren van de vaardigheden die het onderzoek wil meten).

Er wordt gebruik gemaakt van gestandaardiseerde toetsen. Criteria voor afname en scoring worden vermeld.

Er worden geen betrouwbaarheid en validiteitsgegevens gerapporteerd. Zeker in een correlationeel onderzoek kan dit leiden tot een vertekening van de resultaten.

Het is niet duidelijk of de gegevens door 1 of meerdere personen verzameld werden (en of die getraind werden).

Past het design bij de onderzoeksvraag?

Ja. De onderzoeksvraag is een vraag naar samenhang en tegen die achtergrond is een correlationeel design, zoals hier gebruikt, gerechtvaardigd. De onderzoeksvraag houdt ook een vraag naar voorspelling in: de tijdsvolgorde waarin de gegevens verzameld worden is belangrijk. Hier wordt aan tegemoet gekomen door een longitudinaal opzet te gebruiken.

Zijn “storende” factoren onder controle?

Er wordt rekening gehouden met een aantal storende variabelen die het verband tussen voorstellen van hoeveelheden en rekenen kunnen verklaren (zie p. 472 2de paragraaf). Er wordt gecontroleerd voor intelligentie en het herkennen van getallen.

Op basis van de beschreven literatuur is het niet helemaal duidelijk of er nog andere storende variabelen zijn. Mogelijke storende variabelen, die een impact hebben op de resultaten van deze studie, zouden kunnen zijn: het sociaal milieu waaruit de leerlingen afkomstig zijn, hun voorkennis over hoeveelheden die ze opgedaan hebben in de kleuterklas, taalvaardigheid.

Worden de resultaten duidelijk beschreven en worden de juiste procedures gebruikt?

Aan het begin van de methode-sectie (p. 472) wordt vermeld hoeveel kinderen er uitvallen op het tweede meetmoment. De reden voor uitval wordt niet gegeven en kan mogelijks tot een vertekening van de resultaten

23


lijden.

Er worden beschrijvende statistieken gegeven (Tabel 2) en correlaties berekend. Omdat de data op intervalniveau verzameld zijn, is het gebruik van correlatie en regressie gerechtvaardigd. De correlaties met de variabele accuraatheid van hoeveelheden vergelijken moeten voorzichtig geïnterpreteerd worden: de scores op deze variabele zijn vrij hoog én er is weinig spreiding in de scores (Tabel 2).

Worden de resultaten gekoppeld aan de onderzoeksvragen?

Ja. Enerzijds worden de vooropgestelde verbanden (p. 472 bovenaan) onderzocht; anderzijds worden de vooropgestelde controle-analyses (p. 472 bovenaan) uitgevoerd.

Worden de conclusies ondersteund door de gegevens?

Ja. De geobserveerde verbanden worden correct weergegeven (p. 476-477).

Er worden geen causale uitspraken gedaan, wat correct is omdat deze studie geen experimenteel design gebruikt. Strikt genomen is deze studie wel een longitudinale studie, maar omdat niet op elk meetmoment alle variabele(n) gemeten worden kunnen zelfs geen voorzichtige causale interpretaties gedaan worden. Dat gebeurt, terecht, ook niet in deze studie.

De uitspraken m.b.t. “voorspeller” zijn wél gerechtvaardigd omdat de gegevens over hoeveelheden vergelijken verzameld werden vóór de gegevens op de algemene rekentoets.

Worden beperkingen aan het onderzoek besproken?

Ja (zie laatste paragraaf en de paragraaf voor de voorlaatste paragraaf op p. 477).

Deze zijn gelinkt aan mogelijke storende factoren die de resultaten beïnvloeden (zie punt 7).

Kunnen de conclusies gegeneraliseerd worden naar andere contexten?

Generalisatie is beperkt. De gegevens werden slechts in 1 school verzameld en de context waarin de gegevens verzameld zijn is niet helemaal duidelijk. De studie heeft dan ook een beperkte externe validiteit.

Samengevat: Het conceptueel model en de onderzoeksvragen zijn duidelijk geformuleerd. De steekproef is niet helemaal duidelijk omschreven. Er worden geen betrouwbaarheids- en validiteitsgegevens van de gebruikte instrumenten weergegeven en dit kan mogelijks leiden tot een vertekening van de resultaten. De resultaten worden correct weergegeven en de conclusies zijn gerechtvaardigd. De generalisatie van de studie is echter beperkt.

Onderzoeksontwerp Welk probleem en voor wie?Hypothese opstellen

24


Hoe steekproef trekken?Hoe variabelen meten? (welk instrument)Welk design?

- Vraag: causaal- elementen: mannen en vrouwen tussen 30 en 60 die vaak koffie drinken- Variabelen

o OV= hoeveel caffeïne o AV= visueel geheugen

als mensen tussen 30 en 60, regelmatig koffie drinken… Gestratificeerde steekproef leeftijd en geslacht proportioneelcontrole-conditie: zo veel mogelijk gelijkend, caffeïnevrijfilmpje en gestandaardiseerde testPretest-posttest design en

- Vraag = causaal invloed- Elementen: vlaamse kleuters met hoog en lage SES- Var:

o OV bordspelen o AV: rekenprestaties, moderator = SES

Hoe meer bordspelen hoe beter ze het gaan doen afhankelijk van SESGestratificeerde meertrapssteekproef. Gestratificeerd op niveau van kleuters omdat je niet alle kleuters wilt, maar die met hoge en lage SES Bevragen SES en rekenen meten met gestandaardiseerde rekentoets op niveau van de kleutersFactorieel pretest-posttest design matchen en randomiseren

En voorbeeld beetje uitwerken (gedurende halfuur per dag spelletje versus boekje)

25


1) Welk probleem en voor wie- Vraag = causaal zoeken naar invloed- Elementen= kinderen die door echtscheiding gaan uit 1ste en 2de kleuterklas- Variabelen=

o OV= echtscheidingo AV=

cognitieve ontwikkeling sociaal-emotionele ontwikkeling, maar enkel voor kinderen uit laag-sociaal economisch

milieu (moderator)2) Causale hypothese (blijkt uit opgave), maar niet mogelijk om experimenteel onderzoek uit te voeren

longitudinaal onderzoek komt meest in de buurt- Als ouders van kinderen een scheiding doormaken, dan heeft dat een negatieve invloed op sociaal-

emotionele ontwikkeling en geen invloed op de cognitieve ontwikkeling. - Als de kinderen uit een laag-economisch milieu komen ondervinden ze wel een negatieve invloed

op sociaal-emotionele ontwikkeling 3) Steekproef trekken

- 10 scholen uit Vlaams-Brabant en uit elke school 1 klas uit het eerste en 1 uit het tweede nemen. En daaruit alle kinderen met gescheiden ouders. Meertraps : op elk niveau aselect trekken tot niveau kinderen waar een cluster van gescheiden ouders genomen wordt (vlaanderen- Vlaams- Brabant – scholen (= trap 1 want je kiest hier)-klassen-leerlingen))

4) meten via gestandaardiseerde - IQ-test - sociaal-emotioneel welbevinden test - SES meten: hoe meten wie in elke SES groep zit: inkomen en opleidingsniveau v/d moeder

5) elk jaar gedurende drie jaar longitudinale studie, cross lagged panel onderzoek

termen gebruiken, maar uitleg hoeft niet

26


- Vraag = causaal- Elementen = eerstejaarsstudenten methoden pedagogisch onderzoek- Variabelen=

o OV: slides o AV: studieresultaten

2) Als op voorhand online wordt gezet leidt dit tot negatieve resultaten

3) Niet-aselecte steekproef: gemakssteekproef: je wilt iets zeggen over de studenten, kan je ze maar even goed nemen. Je wilt ook niets zeggen over de andere richtingen en vakken

5) Posttest-only design: ene groep krijgt slides voor de les en anderen niet en achteraf test + randomisatie en matchen obv geslacht

geen interesse in storende factoren tenzij naar gevraagd

- Vraag = causaal - Variabelen

o leesprestaties = AV o voorlezen = OVo kwartaal = moderator

2) extra voorlezen zal effect hebben en zal groter zijn bij kinderen van jan-maart

3) meertraps: op elk niveau een EAS en daarbinnen gestratificeerd om de kwartalen in rekening te nemen

4) meten via gestandaardiseerde leestests en geboortekwartaal nagaan via geboortedatum

27


5) 2 OV factorieel design bv. gedurende maand elke dag 15 min voorlezen en nadien een leestestje

28

pedagogischekringleuven.files.wordpress.com · Web viewInformatie over het conceptueel model van...

Documents

Transcript of pedagogischekringleuven.files.wordpress.com · Web viewInformatie over het conceptueel model van...