Transcript of 18-5-2011 Samantha Bouwmeester College 8 Testtheorie.
- Dia 1
- 18-5-2011 Samantha Bouwmeester College 8 Testtheorie
- Dia 2
- Vraagonzuiverheid Item functioneert verschillend in
verschillende populaties (Differential item functioning, DIF) Welk
van onderstaande alternatieven is een voorbeeld van een
criterium-referenced test? a.De bloktoets van 1.4 b.De VGT c.De DAT
d.De WISC Bij vraagonzuiverheid doet de vraag beroep op nog een
andere dan te meten psychologische eigenschap! Vraagzuiver: IRF is
identiek in verschillende groepen. Mensen met dezelfde uit
verschillende groepen hebben dezelfde IRF, en dus dezelfde kansen
op een goed antwoord. 2
- Dia 3
- Voorbeeld vraagonzuiverheid: Psychologie studenten van de EUR
en de UVT met dezelfde hebben niet dezelfde kans om het item
correct te beantwoorden. DIF is NIET hetzelfde als een verschil in
gemiddelde meetwaarde van groepen! In dit voorbeeld: Studenten aan
de EUR kunnen een hogere gemiddelde score hebben op dit item dan de
UVT studenten terwijl de IRF hetzelfde is. 3 Welk van onderstaande
alternatieven is een voorbeeld van een criterium-referenced test?
a.De bloktoets van 1.4 b.De VGT c.De DAT d.De WISC UVT studenten
EUR studenten
- Dia 4
- Nog even MHM en errorbars 4 Mean Scoregroep Het gemiddelde
geeft de proportie mensen weer die vraag 17 correct heeft
beantwoord. Errorbar: Het 95% BI van de gemiddelde score in groep
1. Mean 1.96SE Errorbar: Het 95% BI van de gemiddelde score in
groep 1. Mean 1.96SE
- Dia 5
- 5 En DMM en errorbars 5 Mean Scoregroep vraag 18 Eis is: items
mogen niet snijden (in de populatie) Maar: Items mogen wel raken!
In de steekproef hebben we steekproef variantie en daarom snijden
items som toevallig Een snijding met twee niet-overlappende 95% BIs
is significant!
- Dia 6
- En dan nog even de testinfomatiefunctie 6 0.1 0.2 0.25 0.55 + =
0.1 0.25 0.6 + =
- Dia 7
- Hoofdstuk 5: Corrigeren voor gokken bij MC vragen?
Toevalscorrectie X Eerlijk antwoord11010011106 Verwacht
antwoord1111117 12345678910 Weet je antwoord?ja neejanee ja nee 4
keuze - items - In totaal 7 correcte antwoorden, dus 3 foute
antwoorden. - Kans op goed antwoord bij gokken: , kans op fout
antwoord bij gokken: - Dus aantal fout (3) is deel van het totaal
aantal gegokte antwoorden - Totaal aantal gegokte antwoorden = 3 /
= 4 - Er is dan dus 1 antwoord goed gegokt. - De
voor-gissen-gecorrigeerde (eerlijke?) score is dus: 7-1=6. - In
formulevorm: 7
- Dia 8
- Is de voor-gissen-gecorrigeerde score wel eerlijk? Eigenlijk is
er geen scherp onderscheid te maken tussen wel en niet weten
(ondercorrectie, overcorrectie) Er bestaat een kans op een fout
antwoord, terwijl er niet is gegokt: dubbel gestraft... De
variantie van de gecorrigeerde score is altijd groter dan die van
de ongecorrigeerde score: S 2 (X c ) > S 2 (X). Hierdoor zal de
betrouwbaarheid van de gecorrigeerde score hoger uitvallen, zonder
dat er beter gemeten is X c is lineaire transformatie van X, dus
r(X c, X)= 1, en r(X, Y)= r(X c,Y) 8
- Dia 9
- Bewerkte scores en normen ruwe score = de eerste score, zonder
bewerking. Heeft weinig betekenis. 8 goed Van de hoeveel opgaven?
Hoeveel goed voor een voldoende? Hoe verhoudt het zich t.o.v. de
groep? Norm is een referentiekader voor de evaluatie van de ruwe
scores dat is gebaseerd op de kenmerken van de verdeling van de
ruwe scores in een populatie NB: bewerkte score is nog geen norm!
afhankelijk v.d. prestaties van anderen. afgezet tegen populatie
9
- Dia 10
- 1.Een absolute standaard -> criterion referenced - vb.
Bloktoets: 25 goed = 5.5. Ruwe scoreBewerkte score 0-240 (gezakt)
25-401 (geslaagd) Drie soorten vergelijkingen: 1.Een absolute
standaard. 2.Een referentiegroep. 3.Een populatie. 10 Niet
afhankelijk van groepsgrootte Niet afhankelijk van scores anderen
Niet afhankelijk van populatie
- Dia 11
- 2. Met een referentiegroep -> norm-referenced Rangscores: de
beste 3 Percentielscores: rangscore uitgedrukt in percentage:
percentage respondenten uit de steekproef met een lagere of gelijke
score. testscorefFpPPercentiel score 15 5555-.5*5=2.5 2 12
17121717-.5*12=11 3 18 35183535-.5*18=26 4 8 438 43-.5*8=39 5 20
63206363-.5*20=53 6 22 85228585-.5*22=74 71510015100100-.5*15=92.5
n=100 11
- Dia 12
- Percentielscore bij score =3 Neem de cumulatieve score behorend
bij score 3, en trek daar de helft van het aantal mensen met score
3 van af: 5+12+18-1/2 18 = 26 Maak hier een percentage van: n/100
12
- Dia 13
- Rationale lineaire interpolatie: percentielscore = percentage
mensen met score tot aan 3). Van de mensen met score 3 heeft
ongeveer de helft een echte score tussen 2.5 en 3.0 en een helft
heeft echtescore tussen 3.0 en 3.5. We gaan er dus van uit dat er
een continue lineaire schaal onder de discrete scores ligt. We
nemen alleen de eerste helft mee voor de percentielscore van score
3. 13 Waarom dat gedoe met f en niet gewoon F ?
- Dia 14
- 14 SPSS doet het een beetje anders Percentielscore: de
gemiddelde rangscore van alle respondenten met de ruwe score
n/100
- Dia 15
- NB. Het gemiddelde van Z is 0 en de SD is 1 (altijd!) 3.
Uitgaande van een populatie. Afwijkingsscore geeft aan hoever de
score van een persoon van het gemiddelde ligt. Z drukt uit hoeveel
standaarddeviaties de score van een persoon van het gemiddelde
ligt. Z is dus eigenlijk gestandaardiseerde afwijkingsscore Z is
NIET per se normaal verdeeld!! 15
- Dia 16
- Z is een lineaire transformatie van X: 16 Bij een lineaire
transformatie blijft de vorm van de verdeling precies
hetzelfde.
- Dia 17
- 17 Genormaliseerde standaardscores : niet-lineaire
transformatie, we maken de verdeling zo normaal mogelijk.
Niet-lineaire transformaties wanneer een variabele scheef naar
rechts is: Deze transformaties zorgen er allemaal voor dat grote
waarden van X relatief wat minder groot worden ten opzichte van
kleine waarden.
- Dia 18
- 18 Z 102030405060708090 Ieder stukje bevat 10% van de populatie
10 2030405060908070 T=Z10+50 30 557085100115170155130IQ=Z15+100
-1.75 -1.25 -.75-.25 1.751.25.75.25 213456789 Stanines
percentielen
- Dia 19
- Verdeling percentielscores 19 Ieder percentiel bevat 10% van de
scores. Daarom is de verdeling van de percentielscores altijd
rechthoekig!
- Dia 20
- 20 Als X normaal verdeeld is, dan kun je de kans op een score
van X of hoger/lager opzoeken in de tabel, of door spss laten
berekenen. Cdf.normal(Zscore,0,1)
- Dia 21
- Als de verdeling normaal is, en n is groot, dan p(Z) is gelijk
aan percentielscore / 100 21 Kans op een score van 8 of lager?
P(X8) Volgens normale verdeling:.76 Volgens percentielscore/100
ook.76 76% 47362591110 X
- Dia 22
- 22 Als verdeling is niet normaal is, dan kun je de p-waarden
uit de standaard normale verdeling niet gebruiken Maar
percentielscores zijn nog wel bruikbaar 90-100% 0-10% score 1score
16 t/m 20 P(Z (X2)=1-.975=.025