Post on 12-May-2015
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 1
Programma
• Oefening “Wat kan er misgaan?”
• Presentatie en casus“Toetsanalyse”
• Oefening “Toetsinformatie voor
examencies”
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 2
Oefening
“Wat kan er mis gaan rond een toets?“Noem minstens 10 dingen !
Schrijf op ene geeltjeEn
Plak op flipovervel onder:• Validiteit • Betrouwbaarheid• Transparantie• Efficiëntie
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 3
Bedreigingen van kwaliteit van toetsen
Geen goede afspiegeling van de leerstof: te weinig, onevenwichtige verdeling
Er worden andere vaardigheden getoetst dan in de leerdoelen zijn aangegeven, bijvoorbeeld kennis i.p.v. toepassen
De toets meet niet wat je wil meten: bijvoorbeeld via kennis handelingsbekwaamheid willen meten
Te weinig vragen om goed beeld te krijgen Te weinig vragen om de leerstof te dekken Te weinig meerkeuzevragen om raadkans te compenseren Vragen zijn niet eenduidig
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 4
In metaforen gedacht…
ValiditeitJe wilt iemands lichaamslengte meten en gebruikt daarvoor een weegschaal
BetrouwbaarheidJe wilt iemands lichaamslengte meten en gebruikt daarvoor een meetlint van elastiek
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 5
Deelnemersmap1. CW/PSY Stappenplan docent voor toetsing vak2. HvA Stappenplan voor toetsing3. TENTAM handleiding4. Zelfevaluatie-instrument:kwaliteit toetsen
(Horst/Metz)5. Casus: Toetsanalyse (Bender)6. Actieplan7. Slides presentatie Toetsanalyse
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 6
Het totale proces
Stappen in het toetsproces
• Ontwerp (toetsvormkeuze en toetsmatrijs)• Constructie• Afname• Nakijken en beoordelen• Analyse en evaluatie
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 7
Expertmodule 2: toetsconstructie
Stappen in het toetsontwerp1. Bepaal de leerdoelen2. Kies de toetsvorm3. Maak een toetsmatrijs4. Formuleer vragen5. Maak antwoordmodel6. Bepaal de scoring
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 8
Expertmodule 3: toetsanalyse
Toetsen beoordelen: vooraf• procedures voor toetsconstructieToetsen beoordelen: achteraf• psychometrische gegevens• evaluaties• klachtenManagement-/toetsinformatie• rapportages voor examencommissie• jaarverslag van examencommissie
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 9
Dossier van een vakWelke informatie heb jij nodig als examencommissielid?• Vakbeschrijving • Leerdoelen en niveau• Toetsschema• Toetsmatrijs• Tentamen/opdracht• Cesuur/ antwoordmodel• Tentamenanalyse gegevens• Resultaten (aanmeldingen, deelnemers,
slaagpercentages)• Evaluatieresultaten• Bijzonderheden, klachten• Reflectie en acties van de docent
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 10
Beoordelen van toetsmatrijs
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 11
Inventarisatie van onderwerpenRelatie tussen leerdoelen en toets
Expert module 3: Toetsanalyse
Nakijken en beoordelen
Analyse en evaluatie
Cesuur
Cesuur = Grens voldoende/onvoldoende
Absolute cesuur: hangt niet af van prestaties van de groep
• Vb. >= 55 punten is voldoende
Relatieve cesuur: afhankelijk van hoe er gepresteerd is door de groep
• Vb. Bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 13
Cesuur-overwegingenAbsoluut:Doelstellingen zijn vooraf bekend, criteria dus ookVooral studenten zijn verantwoordelijk voor resultaatGaat uit van ideale situatie
Voor beide vormen geldt: denk aan de kwaliteitseis ‘transparantie’. De cesuurvorm moet kunnen worden beargumenteerd
Relatief:Onderwijs en toets richten zich op toegelaten studentenVooral docent is verantwoordelijk voor resultaatSpeelt in op situatie
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 14
BeantwoordingstijdOpen vragenAntwoord-omvang1 woord of zin1 min.0,25 p. (A4) 5 min.0,5 p. (A4) 10 min.1 p. (A4) 25 min.
2 pp. (A4) 60 min.
Gesloten vragenAlternatievenJuist/onjuist 50 sec.2 alternatieven 50 sec.3 alternatieven 60 sec.4/5 alternatieven 75 sec.
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Vergeet niet de leestijd!
15
Beoordelen mc-tentamen Kwaliteit van de vragen
(zie expertmodule 2: toetsconstructie)
Aantal vragen: Bij enkel meerkeuzevragen geldt:
– 2-keuze: minimaal 60-80 vragen– 3-keuze: minimaal 45-60 vragen– 4-keuze: minimaal 40 vragen
Bij een combinatie van open vragen en meerkeuzevragen kunnen dit er minder zijn.
• Vuistregel: hoe zwaarder de open vragen meewegen in de totale toets, des te minder MC-vragen nodig zijn.
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 16
Open vragen beoordelen
• Zijn de normantwoorden vooraf vastgesteld ?
• Welke waardering krijgen afwijkende antwoorden ?
• Is het aantal punten van elk van de vragen of van de toetsonderdelen bepaald ?
• Zijn de tentamens anoniem nagekeken?• Zijn twijfelgevallen door collega’s
beoordeeld ?
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 17
Beoordelen van een casusCasus zelf Is een realistische beroepspraktijk gebruikt ? Is de casus kort en concreet gehouden ? Is de benodigde informatie verstrekt ? Is de situatie zo objectief mogelijk geschetst ?
Bijbehorende vragen Zijn heldere normantwoorden opgesteld ? Leiden de vragen naar de normantwoorden ? Zijn de vragen direct aan casus gerelateerd ? Zijn de vragen op essentiële elementen,
beslissingen gericht ?
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 18
Toetsanalyse
Psychometrische gegevens
Peter de Vries (examencommissie Psychologie)
Toetsen en beoordelen: achteraf
Representativiteit en validiteit:• vooraf te bepalen m.b.v. de
toetsmatrijs
Achteraf: psychometrische analyses1. Betrouwbaarheid van de toets
(Cronbach’s α )2. Moeilijkheid van de vragen
(p-waarde)3. Onderscheidingsvermogen van de
vragen (Rit, Rir)
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 20
1. Betrouwbaarheid MC-toetsHoe wordt betrouwbaarheid vastgesteld?• Door statistische analyse: hoe sterk is de
samenhang tussen resultaten van soortgelijke metingen?
• Binnen een toets• Tussen toetsen (komt zelden voor)
Van invloed op de betrouwbaarheid zijn:• Aantal metingen• Aantal toetsitems• Formulering toetsvragen• Formulering instructie geaccepteerde antwoorden• Duidelijkheid beoordelingscriteria
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 21
Betrouwbaarheid toets: Cronbach’s α
Cronbach’s α: stabiliteit/consistentie toets o.b.v. enkele afname
Normwaarden betrouwbaarheid toets• 0,90 en hoger zeer goed• 0,80 - 0,90 voldoende/goed• 0,70 - 0,80 middelmatig/voldoende• Minder dan 0,70 slecht/middelmatig
I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel, maar:• Psychometrische gegevens, en dus ook
betrouwbaarheidsscores, zijn ter indicatie• Lage aantallen items of studenten hebben een
negatieve invloed.
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 22
2. Vraagmoeilijkheid : p-waarde
Open vraag: p-waarde = gemiddelde score op een vraag (proportie)• Lage p-waarde: zeer moeilijke vraag• Hoge p-waarde: zeer makkelijke vraag • Idealiter: gemiddelde moeilijkheid, p = 0,5
P-waarde gesloten toetsvraag: proportie correct beantwoord.• Idealiter: p-waarde ligt midden tussen de
maximale p-waarde (1) en gokkans.
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 23
Vraagmoeilijkheid : p-waarde
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Overzicht normen voor p-waarden bij (summatieve) toetsen
Soort toetsvraag
“Norm” voor de p-waarde
Open (OV) 0,50
Gesloten (MC) 2 alternatieven3 alternatieven4 alternatieven5 alternatieven
0,750,680,63 0,60
24
3. OnderscheidingsvermogenToetsvragen moeten onderscheid maken tussen
studenten met een hoge en lage eindscore (hoog- resp. laagscoorders) wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore.
item-testcorrelatie; bij meer dan 25 vragen item-restcorrelatie; bij minder dan 25 vragen
NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren!
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 25
Onderscheidingsvermogen
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie)
Gevonden waardenKwalificatie
0,35 en hoger 0,25 - 0,350,15 - 0,25Minder dan 0,15
Goed/zeer goedVoldoende/goedMiddelmatig/voldoendeSlecht/middelmatig
26
Psychometrische analyse
Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”:• Item achteraf uit de toets verwijderen• Item verwijderen en score aanpassen• Modelantwoord wijzigen
NB: Psychometrische normen en uitkomsten vormen indicaties!
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 27
Reparatiemogelijkheden
Indien Cronbach’s α kleiner dan 0,70:• Risico op te veel onjuiste zak/slaagbeslissingen• Mogelijk negatieve item-testcorrelaties
Reparatie:• Vraag uit toets verwijderen (als daar inhoudelijk
gezien aanleiding toe is)• Betrouwbaarheidsanalyse op subsets van items:
bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ...
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 28
Voorbeeld: Tentamen uit 2010
• 25 meerkeuze vragen, 6 open vragen (weging 40 : 60)• gemiddelde cijfer: 7,05 (SD = 1,51) • aantal studenten: 17 (klein, want < 50)• 3 onvoldoendes (≈ 18 %) wellicht wat aan de makkelijke
kant…• cijferverdeling:
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 29Peter de Vries (examencommissie Psychologie)
* Dit voorbeeld incl. volgende 4 slides + slide 44 is ontleend aan een op 23 mrt ’11 door Peter de Vries (examencommissie Psychologie) verzorgde bijeenkomst over toetsanalyse voor GW-docenten. http://www.utwente.nl/toetsing/nieuwsberichten-Toetsing/Toetsanalyse-Tentam-workshop-GW/
Voorbeeld
2 sets psychometrische analyses, voor MC en OV.0 of 1 punt voor MC-vragen: voor OV ligt score tussen 0 en 1
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 30Peter de Vries (examencommissie Psychologie)
VoorbeeldOutput open vragen:
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
α (is wat laag …)
p-waarden
Item-restcorrelaties
α als 1 van de items verwijderd zou worden
31Peter de Vries (examencommissie Psychologie)
VoorbeeldOutput meerkeuzevragen:
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen.
α (is wederom laag …)
p-waarden zijn gespreid
32Peter de Vries (examencommissie Psychologie)
VoorbeeldOutput meerkeuzevragen:
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Item-restcorrelaties laten een aantal lage waarden zien…
…maar deze is wel erg laag…
α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe…
33Peter de Vries (examencommissie Psychologie)
VoorbeeldVerwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66):
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over?
34Peter de Vries (examencommissie Psychologie)
CASUS
Problemen verhelpen
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 36
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 37
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 38
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 39
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 40
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 41
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 42
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Casus
vraag sleutel p-waarde Rit misdat a b c
1 2 0,91 -0,03 0,0 0,04 0,91 0,05
2 2 0,35 0,04 1,5 0,39 0,35 0,26
3 3 0,75 0,34 0,0 0,03 0,22 0,75
4 3 0,20 0,29 0,0 0,35 0,45 0,20
5 1 0,52 0,15 0,0 0,52 0,24 0,24
..
105 1 0,92 0,20 0,0 0,92 0,05 0,03
106 2 0,66 0,39 1,5 0,33 0,66 0,01
107 3 0,72 0,22 1,5 0,13 0,15 0,72
108 1 0,28 0,15 1,5 0,48 0,25 0,27
109 1 0,86 0,30 1,5 0,86 0,14 0,00
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 43
W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum
Voorbeeld SPSS-syntax
Run SPSS-syntax:RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17
MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL.
RELIABILITY /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL.
Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 44Peter de Vries (examencommissie Psychologie)
TENTAM
Handleiding TENTAM (zie map)
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 45
OVERZICHT
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 46
Resultaten: Scores
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 47
Resultaten: Analyses
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 48
Resultaten: Overig
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 49
• Ruwe data• Correlatie matrix• Frequentieverdeling (cijfers)• Administratiebestand OSIRIS
Bewaken van het eindniveau
kwaliteitsborging afstudeertrajecten
Accreditatie-eisen
• Worden alle eindkwalificaties getoetst?• Toetsplan en toetsmatrijsen samen vepalen of je
alles dekt op het juiste niveau
• Worden ze op de juiste manier getoetst?• Betrouwbaar en transparant
• Niveau en beoordeling van afstudeerscripties meesterproef, integrale toetsing vraagt extra aandacht• Het geheel is meer dan de som van de delen• Eisen vanuit toetsconstructie
afstudeerhandleiding, procedures, externe beoordelaars, cum laudes e.d.
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 51
toetsanalyse
evalueren
evaluatievragen
1. Hoe vond je het tentamen? Moeilijk/makkelijk
2. Was het tentamen representatief voor de leerstof? Ja/nee
3. Was het tentamen te doen binnen de daarvoor bestemde tijd? Ja/nee
4. Wist je wat je kon verwachten op het tentamen? Ja/nee
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 53
Toetsanalyse
Rapporteren vanuit
examencommissie
Toetsinformatie
• In hoeverre is het toetsplan uitgevoerd ?• Is het goed uitgevoerd?• Wie bewaakt het geheel?• Welke procedure spreek je af met elkaar als
leden van de examencommissie en met de opleidingsdirecteur en de docenten?
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 55
Dossier van een vakWelke informatie heb jij nodig als examencommissielid?• Vakbeschrijving • Leerdoelen en niveau• Toetsschema• Toetsmatrijs• Tentamen/opdracht• Cesuur/ antwoordmodel• Tentamenanalyse gegevens• Resultaten (aanmeldingen, deelnemers,
slaagpercentages)• Evaluatieresultaten• Bijzonderheden, klachten• Reflectie en acties van de docent
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 56
actieplan
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 57
Wat? Wie? deadline
Tips en literatuur
www.utwente.nl/toetsingwww.score.hva.nlwww.toetswijzer.nl
Van Berkel, H., A. Bax (2006) Toetsen in het hoger onderwijs: Bohn Stafleu van Loghum
Bender, W (2003) Toetsen in het hoger onderwijs Assen: Koninklijke Van Gorcum BV
Dousma, T., Horsten, A., Brants, J. (1997) Tentamineren Groningen: Wolters-Noordhoff
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 58