Screening van toetsen: Psychometrische analysePeter de Vries

Examencommissie Psy/MPS

23 maart 2011

Psychometrische analyse

Toets: bepalen welke studenten de stof beheersen en welke niet

(summatieve functie).

Representativiteit en validiteit: vooraf te bepalen m.b.v. o.m.

toetsmatrijs

Naderhand: psychometrische analyses

Moeilijkheid van de vragen

Onderscheidingsvermogen van de vragen

Betrouwbaarheid van de toets

Psychometrische analyse

Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen,

eventueel “reparatie”:

Item achteraf uit de toets verwijderen

Item verwijderen en score aanpassen

Modelantwoord wijzigen

NB: Psychometrische normen en uitkomsten vormen indicaties!

Vraagmoeilijkheid : p-waarde

Open vraag: p-waarde = gemiddelde score op een vraag (proportie)

Lage p-waarde: zeer moeilijke vraag

Hoge p-waarde: zeer makkelijke vraag

Idealiter: gemiddelde moeilijkheid, p = 0,5

P-waarde gesloten toetsvraag: proportie correct beantwoord.

Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en

gokkans.

Vraagmoeilijkheid : p-waarde

Overzicht normen voor p-waarden bij (summatieve) toetsen

Soort toetsvraag“Norm” voor de p-waarde

Open (OV) 0,50

Gesloten (MC) 2 alternatieven3 alternatieven4 alternatieven5 alternatieven

0,750,680,630,60

Onderscheidingsvermogen: item-testcorelatie of item-restcorrelatie

Toetsvragen moeten onderscheid maken tussen studenten met een hoge

en lage eindscore (hoog- resp. laagscoorders) wanneer

hoogscoorders beter scoren op een vraag dan laagscoorders, is er

sprake van een positieve correlatie tussen item- en totaalscore.

item-testcorrelatie; bij minder dan 25 vragen item-restcorrelatie [bij

gebruik van SPSS is item-restcorrelaties aan te bevelen ongeacht aantal

vragen]

NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers;

wanneer <50 dan item-testcorrelatie voorzichtig interpreteren!

Onderscheidingsvermogen: item-testcorelatie of item-restcorrelatie

Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie)

Gevonden waardenKwalificatie

0,35 en hoger 0,25 - 0,350,15 - 0,25Minder dan 0,15

Goed/zeer goedVoldoende/goedMiddelmatig/voldoendeSlecht/middelmatig

Betrouwbaarheid toets: Cronbach’s α

Cronbach’s α: stabiliteit/consistentie toets o.b.v. enkele afname

Normwaarden betrouwbaarheid toets

0,90 en hoger zeer goed

0,80 - 0,90 voldoende/goed

0,70 - 0,80 middelmatig/voldoende

Minder dan 0,70 slecht/middelmatig

I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel. Echter:

Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie

Lage aantallen items of studenten hebben een negatieve invloed.

Reparatiemogelijkheden

Mogelijkheden om psychometrische kwaliteit te verhogen op basis van

lage p-waarden en item-testcorrelaties:

Vraag anders sleutelen

Antwoordopties herzien (als daar reden toe is)

Vraag verwijderen

Verbetering van vragen “meenemen voor een volgend tentamen”

Reparatiemogelijkheden

Indien Cronbach’s α kleiner dan 0,70:

Risico op te veel onjuiste zak/slaagbeslissingen

Mogelijk negatieve item-testcorrelaties

Reparatie:

Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is)

Betrouwbaarheidsanalyse op subsets van items: bijv. op alle

kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van

toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er

geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α

...

Reparatiemogelijkheden

Indien Cronbach’s α tussen 0,70 en 0,80:

Acceptabel indien gecompenseerd door andere toetsscore

Verwijderen items met negatieve item-testcorrelatie

Analyse op subsets uitvoeren.

Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)

25 meerkeuze vragen, 6 open vragen (weging 40 : 60)

Gemiddelde cijfer: 7,05 (SD = 1,51)

Aantal studenten: 17 (klein, want < 50)

3 onvoldoendes (≈ 18 %) wellicht wat aan de makkelijke kant…

Cijferverdeling:

Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)

2 sets psychometrische analyses, voor MC en OV.

Bewerking: 0 of 1 punt voor MCvragen: voor OV ligt score tussen 0 en 1

Invoeren in SPSS.

Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)

Run SPSS-syntax:

RELIABILITY

/VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25

/SCALE('Meerkeuzevragen') ALL

/MODEL=ALPHA

/STATISTICS=DESCRIPTIVE SCALE CORR

/SUMMARY=TOTAL.

RELIABILITY

/VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6

/SCALE('Open Vragen') ALL

/MODEL=ALPHA

/STATISTICS=DESCRIPTIVE SCALE CORR

/SUMMARY=TOTAL.

Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties

Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)

Output open vragen: α (is wat laag …) p-waarden

Item-restcorrelatiesα als 1 van de items verwijderd zou worden

Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)

Output meerkeuzevragen:

p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen.

α (is wederom laag …)

p-waarden zijn gespreid

Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)

Output meerkeuzevragen:

Item-restcorrelaties laten een aantal lage waarden zien…

…maar deze is wel erg laag…

α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe…

Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar.

Herhaling van de analyses levert de volgende gegevens (α = 0,66):

α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over?

Tot slot

Niet onbelangrijk:

Psychometrische gegevens zijn slechts ter indicatie

Lage aantallen items hebben een negatieve invloed op de analyses

Idem voor lage aantallen studenten

Psychometrisch analyseren betekent vaak kiezen tussen twee kwaden;

verwijdering van items kan weliswaar tot betere analyseresultaten leiden,

maar daardoor kan ook bijv. de representativiteit in het gedrang komen…

Vragen?