16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies1.

16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 1

Programma

• Oefening “Wat kan er misgaan?”

• Presentatie en casus“Toetsanalyse”

• Oefening “Toetsinformatie voor

examencies”


Oefening

“Wat kan er mis gaan rond een toets?“Noem minstens 10 dingen !

Schrijf op ene geeltjeEn

Plak op flipovervel onder:• Validiteit • Betrouwbaarheid• Transparantie• Efficiëntie


Bedreigingen van kwaliteit van toetsen

Geen goede afspiegeling van de leerstof: te weinig, onevenwichtige verdeling

Er worden andere vaardigheden getoetst dan in de leerdoelen zijn aangegeven, bijvoorbeeld kennis i.p.v. toepassen

De toets meet niet wat je wil meten: bijvoorbeeld via kennis handelingsbekwaamheid willen meten

Te weinig vragen om goed beeld te krijgen Te weinig vragen om de leerstof te dekken Te weinig meerkeuzevragen om raadkans te compenseren Vragen zijn niet eenduidig


In metaforen gedacht…

ValiditeitJe wilt iemands lichaamslengte meten en gebruikt daarvoor een weegschaal

BetrouwbaarheidJe wilt iemands lichaamslengte meten en gebruikt daarvoor een meetlint van elastiek


Deelnemersmap1. CW/PSY Stappenplan docent voor toetsing vak2. HvA Stappenplan voor toetsing3. TENTAM handleiding4. Zelfevaluatie-instrument:kwaliteit toetsen

(Horst/Metz)5. Casus: Toetsanalyse (Bender)6. Actieplan7. Slides presentatie Toetsanalyse


Het totale proces

Stappen in het toetsproces

• Ontwerp (toetsvormkeuze en toetsmatrijs)• Constructie• Afname• Nakijken en beoordelen• Analyse en evaluatie


Expertmodule 2: toetsconstructie

Stappen in het toetsontwerp1. Bepaal de leerdoelen2. Kies de toetsvorm3. Maak een toetsmatrijs4. Formuleer vragen5. Maak antwoordmodel6. Bepaal de scoring


Expertmodule 3: toetsanalyse

Toetsen beoordelen: vooraf• procedures voor toetsconstructieToetsen beoordelen: achteraf• psychometrische gegevens• evaluaties• klachtenManagement-/toetsinformatie• rapportages voor examencommissie• jaarverslag van examencommissie


Dossier van een vakWelke informatie heb jij nodig als examencommissielid?• Vakbeschrijving • Leerdoelen en niveau• Toetsschema• Toetsmatrijs• Tentamen/opdracht• Cesuur/ antwoordmodel• Tentamenanalyse gegevens• Resultaten (aanmeldingen, deelnemers,

slaagpercentages)• Evaluatieresultaten• Bijzonderheden, klachten• Reflectie en acties van de docent


Beoordelen van toetsmatrijs


Inventarisatie van onderwerpenRelatie tussen leerdoelen en toets

Expert module 3: Toetsanalyse

Nakijken en beoordelen

Analyse en evaluatie

Cesuur

Cesuur = Grens voldoende/onvoldoende

Absolute cesuur: hangt niet af van prestaties van de groep

• Vb. >= 55 punten is voldoende

Relatieve cesuur: afhankelijk van hoe er gepresteerd is door de groep

• Vb. Bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur


Cesuur-overwegingenAbsoluut:Doelstellingen zijn vooraf bekend, criteria dus ookVooral studenten zijn verantwoordelijk voor resultaatGaat uit van ideale situatie

Voor beide vormen geldt: denk aan de kwaliteitseis ‘transparantie’. De cesuurvorm moet kunnen worden beargumenteerd

Relatief:Onderwijs en toets richten zich op toegelaten studentenVooral docent is verantwoordelijk voor resultaatSpeelt in op situatie


BeantwoordingstijdOpen vragenAntwoord-omvang1 woord of zin1 min.0,25 p. (A4) 5 min.0,5 p. (A4) 10 min.1 p. (A4) 25 min.

2 pp. (A4) 60 min.

Gesloten vragenAlternatievenJuist/onjuist 50 sec.2 alternatieven 50 sec.3 alternatieven 60 sec.4/5 alternatieven 75 sec.

16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Vergeet niet de leestijd!

15

Beoordelen mc-tentamen Kwaliteit van de vragen

(zie expertmodule 2: toetsconstructie)

Aantal vragen: Bij enkel meerkeuzevragen geldt:

– 2-keuze: minimaal 60-80 vragen– 3-keuze: minimaal 45-60 vragen– 4-keuze: minimaal 40 vragen

Bij een combinatie van open vragen en meerkeuzevragen kunnen dit er minder zijn.

• Vuistregel: hoe zwaarder de open vragen meewegen in de totale toets, des te minder MC-vragen nodig zijn.


Open vragen beoordelen

• Zijn de normantwoorden vooraf vastgesteld ?

• Welke waardering krijgen afwijkende antwoorden ?

• Is het aantal punten van elk van de vragen of van de toetsonderdelen bepaald ?

• Zijn de tentamens anoniem nagekeken?• Zijn twijfelgevallen door collega’s

beoordeeld ?


Beoordelen van een casusCasus zelf Is een realistische beroepspraktijk gebruikt ? Is de casus kort en concreet gehouden ? Is de benodigde informatie verstrekt ? Is de situatie zo objectief mogelijk geschetst ?

Bijbehorende vragen Zijn heldere normantwoorden opgesteld ? Leiden de vragen naar de normantwoorden ? Zijn de vragen direct aan casus gerelateerd ? Zijn de vragen op essentiële elementen,

beslissingen gericht ?


Toetsanalyse

Psychometrische gegevens

Peter de Vries (examencommissie Psychologie)

Toetsen en beoordelen: achteraf

Representativiteit en validiteit:• vooraf te bepalen m.b.v. de

toetsmatrijs

Achteraf: psychometrische analyses1. Betrouwbaarheid van de toets

(Cronbach’s α )2. Moeilijkheid van de vragen

(p-waarde)3. Onderscheidingsvermogen van de

vragen (Rit, Rir)


1. Betrouwbaarheid MC-toetsHoe wordt betrouwbaarheid vastgesteld?• Door statistische analyse: hoe sterk is de

samenhang tussen resultaten van soortgelijke metingen?

• Binnen een toets• Tussen toetsen (komt zelden voor)

Van invloed op de betrouwbaarheid zijn:• Aantal metingen• Aantal toetsitems• Formulering toetsvragen• Formulering instructie geaccepteerde antwoorden• Duidelijkheid beoordelingscriteria


Betrouwbaarheid toets: Cronbach’s α

Cronbach’s α: stabiliteit/consistentie toets o.b.v. enkele afname

Normwaarden betrouwbaarheid toets• 0,90 en hoger zeer goed• 0,80 - 0,90 voldoende/goed• 0,70 - 0,80 middelmatig/voldoende• Minder dan 0,70 slecht/middelmatig

I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel, maar:• Psychometrische gegevens, en dus ook

betrouwbaarheidsscores, zijn ter indicatie• Lage aantallen items of studenten hebben een

negatieve invloed.


2. Vraagmoeilijkheid : p-waarde

Open vraag: p-waarde = gemiddelde score op een vraag (proportie)• Lage p-waarde: zeer moeilijke vraag• Hoge p-waarde: zeer makkelijke vraag • Idealiter: gemiddelde moeilijkheid, p = 0,5

P-waarde gesloten toetsvraag: proportie correct beantwoord.• Idealiter: p-waarde ligt midden tussen de

maximale p-waarde (1) en gokkans.


Vraagmoeilijkheid : p-waarde


Overzicht normen voor p-waarden bij (summatieve) toetsen

Soort toetsvraag

“Norm” voor de p-waarde

Open (OV) 0,50

Gesloten (MC) 2 alternatieven3 alternatieven4 alternatieven5 alternatieven

0,750,680,63 0,60

24

3. OnderscheidingsvermogenToetsvragen moeten onderscheid maken tussen

studenten met een hoge en lage eindscore (hoog- resp. laagscoorders) wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore.

item-testcorrelatie; bij meer dan 25 vragen item-restcorrelatie; bij minder dan 25 vragen

NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren!


Onderscheidingsvermogen


Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie)

Gevonden waardenKwalificatie

0,35 en hoger 0,25 - 0,350,15 - 0,25Minder dan 0,15

Goed/zeer goedVoldoende/goedMiddelmatig/voldoendeSlecht/middelmatig

26

Psychometrische analyse

Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”:• Item achteraf uit de toets verwijderen• Item verwijderen en score aanpassen• Modelantwoord wijzigen

NB: Psychometrische normen en uitkomsten vormen indicaties!


Reparatiemogelijkheden

Indien Cronbach’s α kleiner dan 0,70:• Risico op te veel onjuiste zak/slaagbeslissingen• Mogelijk negatieve item-testcorrelaties

Reparatie:• Vraag uit toets verwijderen (als daar inhoudelijk

gezien aanleiding toe is)• Betrouwbaarheidsanalyse op subsets van items:

bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ...


Voorbeeld: Tentamen uit 2010

• 25 meerkeuze vragen, 6 open vragen (weging 40 : 60)• gemiddelde cijfer: 7,05 (SD = 1,51) • aantal studenten: 17 (klein, want < 50)• 3 onvoldoendes (≈ 18 %) wellicht wat aan de makkelijke

kant…• cijferverdeling:

16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 29Peter de Vries (examencommissie Psychologie)

* Dit voorbeeld incl. volgende 4 slides + slide 44 is ontleend aan een op 23 mrt ’11 door Peter de Vries (examencommissie Psychologie) verzorgde bijeenkomst over toetsanalyse voor GW-docenten. http://www.utwente.nl/toetsing/nieuwsberichten-Toetsing/Toetsanalyse-Tentam-workshop-GW/

Voorbeeld

2 sets psychometrische analyses, voor MC en OV.0 of 1 punt voor MC-vragen: voor OV ligt score tussen 0 en 1


VoorbeeldOutput open vragen:


α (is wat laag …)

p-waarden

Item-restcorrelaties

α als 1 van de items verwijderd zou worden

31Peter de Vries (examencommissie Psychologie)

VoorbeeldOutput meerkeuzevragen:


p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen.

α (is wederom laag …)

p-waarden zijn gespreid


VoorbeeldOutput meerkeuzevragen:


Item-restcorrelaties laten een aantal lage waarden zien…

…maar deze is wel erg laag…

α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe…


VoorbeeldVerwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66):


α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over?


CASUS

Problemen verhelpen

Casus

vraag sleutel p-waarde Rit misdat a b c

1 2 0,91 -0,03 0,0 0,04 0,91 0,05

2 2 0,35 0,04 1,5 0,39 0,35 0,26

3 3 0,75 0,34 0,0 0,03 0,22 0,75

4 3 0,20 0,29 0,0 0,35 0,45 0,20

5 1 0,52 0,15 0,0 0,52 0,24 0,24

..

105 1 0,92 0,20 0,0 0,92 0,05 0,03

106 2 0,66 0,39 1,5 0,33 0,66 0,01

107 3 0,72 0,22 1,5 0,13 0,15 0,72

108 1 0,28 0,15 1,5 0,48 0,25 0,27

109 1 0,86 0,30 1,5 0,86 0,14 0,00


W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

Casus


1 2 0,91 -0,03 0,0 0,04 0,91 0,05

2 2 0,35 0,04 1,5 0,39 0,35 0,26

3 3 0,75 0,34 0,0 0,03 0,22 0,75

4 3 0,20 0,29 0,0 0,35 0,45 0,20

5 1 0,52 0,15 0,0 0,52 0,24 0,24

..

105 1 0,92 0,20 0,0 0,92 0,05 0,03

106 2 0,66 0,39 1,5 0,33 0,66 0,01

107 3 0,72 0,22 1,5 0,13 0,15 0,72

108 1 0,28 0,15 1,5 0,48 0,25 0,27

109 1 0,86 0,30 1,5 0,86 0,14 0,00



Voorbeeld SPSS-syntax

Run SPSS-syntax:RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17

MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL.

RELIABILITY /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL.

Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties


TENTAM

Handleiding TENTAM (zie map)


OVERZICHT


Resultaten: Scores


Resultaten: Analyses


Resultaten: Overig


• Ruwe data• Correlatie matrix• Frequentieverdeling (cijfers)• Administratiebestand OSIRIS

Bewaken van het eindniveau

kwaliteitsborging afstudeertrajecten

Accreditatie-eisen

• Worden alle eindkwalificaties getoetst?• Toetsplan en toetsmatrijsen samen vepalen of je

alles dekt op het juiste niveau

• Worden ze op de juiste manier getoetst?• Betrouwbaar en transparant

• Niveau en beoordeling van afstudeerscripties meesterproef, integrale toetsing vraagt extra aandacht• Het geheel is meer dan de som van de delen• Eisen vanuit toetsconstructie

afstudeerhandleiding, procedures, externe beoordelaars, cum laudes e.d.


toetsanalyse

evalueren

evaluatievragen

1. Hoe vond je het tentamen? Moeilijk/makkelijk

2. Was het tentamen representatief voor de leerstof? Ja/nee

3. Was het tentamen te doen binnen de daarvoor bestemde tijd? Ja/nee

4. Wist je wat je kon verwachten op het tentamen? Ja/nee


Toetsanalyse

Rapporteren vanuit

examencommissie

Toetsinformatie

• In hoeverre is het toetsplan uitgevoerd ?• Is het goed uitgevoerd?• Wie bewaakt het geheel?• Welke procedure spreek je af met elkaar als

leden van de examencommissie en met de opleidingsdirecteur en de docenten?


Dossier van een vakWelke informatie heb jij nodig als examencommissielid?• Vakbeschrijving • Leerdoelen en niveau• Toetsschema• Toetsmatrijs• Tentamen/opdracht• Cesuur/ antwoordmodel• Tentamenanalyse gegevens• Resultaten (aanmeldingen, deelnemers,

slaagpercentages)• Evaluatieresultaten• Bijzonderheden, klachten• Reflectie en acties van de docent


actieplan


Wat? Wie? deadline

Tips en literatuur

www.utwente.nl/toetsingwww.score.hva.nlwww.toetswijzer.nl

Van Berkel, H., A. Bax (2006) Toetsen in het hoger onderwijs: Bohn Stafleu van Loghum

Bender, W (2003) Toetsen in het hoger onderwijs Assen: Koninklijke Van Gorcum BV

Dousma, T., Horsten, A., Brants, J. (1997) Tentamineren Groningen: Wolters-Noordhoff


http://www.score.hva.nl/

http://www.score.hva.nl/

http://www.toetswijzer.nl/

http://www.toetswijzer.nl/

16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies1.

Documents

Transcript of 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies1.