Dia 1

18-5-2011 Samantha Bouwmeester College 8 Testtheorie

Dia 2

Vraagonzuiverheid Item functioneert verschillend in verschillende populaties (Differential item functioning, DIF) Welk van onderstaande alternatieven is een voorbeeld van een criterium-referenced test? a.De bloktoets van 1.4 b.De VGT c.De DAT d.De WISC Bij vraagonzuiverheid doet de vraag beroep op nog een andere dan te meten psychologische eigenschap! Vraagzuiver: IRF is identiek in verschillende groepen. Mensen met dezelfde uit verschillende groepen hebben dezelfde IRF, en dus dezelfde kansen op een goed antwoord. 2

Dia 3

Voorbeeld vraagonzuiverheid: Psychologie studenten van de EUR en de UVT met dezelfde hebben niet dezelfde kans om het item correct te beantwoorden. DIF is NIET hetzelfde als een verschil in gemiddelde meetwaarde van groepen! In dit voorbeeld: Studenten aan de EUR kunnen een hogere gemiddelde score hebben op dit item dan de UVT studenten terwijl de IRF hetzelfde is. 3 Welk van onderstaande alternatieven is een voorbeeld van een criterium-referenced test? a.De bloktoets van 1.4 b.De VGT c.De DAT d.De WISC UVT studenten EUR studenten

Dia 4

Nog even MHM en errorbars 4 Mean Scoregroep Het gemiddelde geeft de proportie mensen weer die vraag 17 correct heeft beantwoord. Errorbar: Het 95% BI van de gemiddelde score in groep 1. Mean 1.96SE Errorbar: Het 95% BI van de gemiddelde score in groep 1. Mean 1.96SE

Dia 5

5 En DMM en errorbars 5 Mean Scoregroep vraag 18 Eis is: items mogen niet snijden (in de populatie) Maar: Items mogen wel raken! In de steekproef hebben we steekproef variantie en daarom snijden items som toevallig Een snijding met twee niet-overlappende 95% BIs is significant!

Dia 6

En dan nog even de testinfomatiefunctie 6 0.1 0.2 0.25 0.55 + = 0.1 0.25 0.6 + =

Dia 7

Hoofdstuk 5: Corrigeren voor gokken bij MC vragen? Toevalscorrectie X Eerlijk antwoord11010011106 Verwacht antwoord1111117 12345678910 Weet je antwoord?ja neejanee ja nee 4 keuze - items - In totaal 7 correcte antwoorden, dus 3 foute antwoorden. - Kans op goed antwoord bij gokken: , kans op fout antwoord bij gokken: - Dus aantal fout (3) is deel van het totaal aantal gegokte antwoorden - Totaal aantal gegokte antwoorden = 3 / = 4 - Er is dan dus 1 antwoord goed gegokt. - De voor-gissen-gecorrigeerde (eerlijke?) score is dus: 7-1=6. - In formulevorm: 7

Dia 8

Is de voor-gissen-gecorrigeerde score wel eerlijk? Eigenlijk is er geen scherp onderscheid te maken tussen wel en niet weten (ondercorrectie, overcorrectie) Er bestaat een kans op een fout antwoord, terwijl er niet is gegokt: dubbel gestraft... De variantie van de gecorrigeerde score is altijd groter dan die van de ongecorrigeerde score: S 2 (X c ) > S 2 (X). Hierdoor zal de betrouwbaarheid van de gecorrigeerde score hoger uitvallen, zonder dat er beter gemeten is X c is lineaire transformatie van X, dus r(X c, X)= 1, en r(X, Y)= r(X c,Y) 8

Dia 9

Bewerkte scores en normen ruwe score = de eerste score, zonder bewerking. Heeft weinig betekenis. 8 goed Van de hoeveel opgaven? Hoeveel goed voor een voldoende? Hoe verhoudt het zich t.o.v. de groep? Norm is een referentiekader voor de evaluatie van de ruwe scores dat is gebaseerd op de kenmerken van de verdeling van de ruwe scores in een populatie NB: bewerkte score is nog geen norm! afhankelijk v.d. prestaties van anderen. afgezet tegen populatie 9

Dia 10

1.Een absolute standaard -> criterion referenced - vb. Bloktoets: 25 goed = 5.5. Ruwe scoreBewerkte score 0-240 (gezakt) 25-401 (geslaagd) Drie soorten vergelijkingen: 1.Een absolute standaard. 2.Een referentiegroep. 3.Een populatie. 10 Niet afhankelijk van groepsgrootte Niet afhankelijk van scores anderen Niet afhankelijk van populatie

Dia 11

2. Met een referentiegroep -> norm-referenced Rangscores: de beste 3 Percentielscores: rangscore uitgedrukt in percentage: percentage respondenten uit de steekproef met een lagere of gelijke score. testscorefFpPPercentiel score 15 5555-.5*5=2.5 2 12 17121717-.5*12=11 3 18 35183535-.5*18=26 4 8 438 43-.5*8=39 5 20 63206363-.5*20=53 6 22 85228585-.5*22=74 71510015100100-.5*15=92.5 n=100 11

Dia 12

Percentielscore bij score =3 Neem de cumulatieve score behorend bij score 3, en trek daar de helft van het aantal mensen met score 3 van af: 5+12+18-1/2 18 = 26 Maak hier een percentage van: n/100 12

Dia 13

Rationale lineaire interpolatie: percentielscore = percentage mensen met score tot aan 3). Van de mensen met score 3 heeft ongeveer de helft een echte score tussen 2.5 en 3.0 en een helft heeft echtescore tussen 3.0 en 3.5. We gaan er dus van uit dat er een continue lineaire schaal onder de discrete scores ligt. We nemen alleen de eerste helft mee voor de percentielscore van score 3. 13 Waarom dat gedoe met f en niet gewoon F ?

Dia 14

14 SPSS doet het een beetje anders Percentielscore: de gemiddelde rangscore van alle respondenten met de ruwe score n/100

Dia 15

NB. Het gemiddelde van Z is 0 en de SD is 1 (altijd!) 3. Uitgaande van een populatie. Afwijkingsscore geeft aan hoever de score van een persoon van het gemiddelde ligt. Z drukt uit hoeveel standaarddeviaties de score van een persoon van het gemiddelde ligt. Z is dus eigenlijk gestandaardiseerde afwijkingsscore Z is NIET per se normaal verdeeld!! 15

Dia 16

Z is een lineaire transformatie van X: 16 Bij een lineaire transformatie blijft de vorm van de verdeling precies hetzelfde.

Dia 17

17 Genormaliseerde standaardscores : niet-lineaire transformatie, we maken de verdeling zo normaal mogelijk. Niet-lineaire transformaties wanneer een variabele scheef naar rechts is: Deze transformaties zorgen er allemaal voor dat grote waarden van X relatief wat minder groot worden ten opzichte van kleine waarden.

Dia 18

18 Z 102030405060708090 Ieder stukje bevat 10% van de populatie 10 2030405060908070 T=Z10+50 30 557085100115170155130IQ=Z15+100 -1.75 -1.25 -.75-.25 1.751.25.75.25 213456789 Stanines percentielen

Dia 19

Verdeling percentielscores 19 Ieder percentiel bevat 10% van de scores. Daarom is de verdeling van de percentielscores altijd rechthoekig!

Dia 20

20 Als X normaal verdeeld is, dan kun je de kans op een score van X of hoger/lager opzoeken in de tabel, of door spss laten berekenen. Cdf.normal(Zscore,0,1)

Dia 21

Als de verdeling normaal is, en n is groot, dan p(Z) is gelijk aan percentielscore / 100 21 Kans op een score van 8 of lager? P(X8) Volgens normale verdeling:.76 Volgens percentielscore/100 ook.76 76% 47362591110 X

Dia 22

22 Als verdeling is niet normaal is, dan kun je de p-waarden uit de standaard normale verdeling niet gebruiken Maar percentielscores zijn nog wel bruikbaar 90-100% 0-10% score 1score 16 t/m 20 P(Z (X2)=1-.975=.025