1

Toetsen en Rendement HANovatie themadag 3 november 2010.

Silvester Draaijer

Onderwijscentrum VU

s.draaijer@ond.vu.nl

Workshop 1 10.45-11.55 uur: Compensatorisch Toetsen

2

Typen toetskoppelingen

Conjunctief: alle toetsen moeten met een voldoende worden afgesloten

Complementair: niet op alle toetsen hoeft een voldoende cijfer te worden gehaald

Compensatorisch: een deel van de toetsen mag met een onvoldoende worden afgesloten MITS er één of meer hogere score in het curriculum tegenover staan.

3

Casus -1 Welke van onderstaande examenregelingen is het ‘beste’

• In ons curriculum worden herkansingen afgeschaft. Als een cursus niet met een voldoende wordt afgesloten dient het volgend academisch jaar te worden overgedaan

• In ons curriculum mogen maar maximaal 3 eindtoetsen herkanst te worden per student per jaar.

• In ons curriculum mag de eindtoets van elke cursus maar éénmaal per jaar herkanst worden.

• In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop van de 1e kans worden herhaald, mits de score op de 1e kans hoger was dan een 5,0 en daarna direct na de zomervakantie.

• In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop van de 1e kans worden herhaald en daarna direct na de zomervakantie.

4

Casus 0 Welke van onderstaande examenregelingen is het ‘beste’

• Een eerstejaarsprogramma bestaat uit 10 cursussen. Een student slaagt voor het eerstejaarsprogramma indien:

• hij alle cursussen met een voldoende afsluit.

• hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan.

• hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan, mits gecompenseerd met een 8 op een ander willekeurig vak.

• hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan, mits gecompenseerd met een 8 op vak in hetzelfde thema (bijv. methoden en technieken, communicatie, project e.d.).

5

Casus A Welke van onderstaande toetsen is de ‘beste’.

U geeft een toets aan studenten. In de toets zitten 20 vierkeuzevragen.

• Als een student 1 of meer vragen fout heeft zakt hij voor de toets.

• Als een student 10 of meer vragen fouten heeft is hij gezakt voor de toets.

• Als een student 7 of meer vragen fouten heeft is hij gezakt voor de toets.

• een student 3 of meer vragen fout heeft zakt hij voor de toets.

6

Casus B Welke van onderstaande cursussen is de ‘beste’.

• U geeft een cursus aan studenten. De toetsing bestaat uit 4 opdrachten die elk 10% van het eindcijfer bepalen en 1 eindtoets die 60% van het eindcijfer bepaalt.

• De student slaagt voor de cursus als alle onderdelen met een voldoende zijn afgerond. Bij niet slagen moet de gehele cursus worden over gedaan.

• De student slaagt voor de cursus als het gemiddelde van de opdrachten voldoende is gescoord en hij slaagt voor de eindtoets. Bij niet slagen moet de gehele cursus worden over gedaan.

• De student slaagt voor de cursus als het gemiddelde van de opdrachten voldoende is gescoord en hij een voldoende scoort voor de eindtoets. Bij niet slagen moet de gehele cursus worden over gedaan.

• De student slaagt voor de cursus als het gemiddelde van alle opdrachten en de eindtoets tot een voldoende leidt. Bij niet slagen moet de gehele cursus worden over gedaan.

• De student slaagt voor de cursus als het gemiddelde van alle opdrachten en de eindtoets tot een voldoende leidt. Bij niet slagen kan de student zelf bepalen welk onderdeel hij herkanst om alsnog gemiddeld op een voldoende uit te komen.

7

Waarom compensatorisch?

• Om foute examenbeslissingen te verminderen (misclassificaties)

• Stimuleert om hard te studeren en niet uit te stellen. Wilbrink1

Zie:

heeft e.e.a. theoretisch benaderd en komt op basis van nutsfuncties tot de conclusie dat studenten simpelweg harder gaan studeren bij compensatorisch toetsen, mits de toetsen ‘doorzichtig’ zijn.

http://www.benwilbrink.nl/publicaties/77CesuurbepalingCOWO.htm. Dit betreft een ‘oud’ artikel van Ben Wilbrink uit 1977! Hoe veel geldigheid heeft die informatie op dit moment dan nog steeds!

1 http://www.benwilbrink.nl/publicaties/95StudiestrategieORD.htm

8

Wat kan er wettelijk?

De wetgever schrijft voor dat de faculteit vastlegt hoeveel malen per studiejaar de gelegenheid wordt geboden tot het afleggen van de tentamens (art. 7.13 WHW).

Ten aanzien van het Bindend Studieadvies stelt de wetgever als eis dat 'de desbetreffende opleiding zorgt voor zodanige voorzieningen dat de mogelijkheden voor goede studievoortgang zijn gewaarborgd' (art. 7.8b WHW).

9

En wat zegt de ethiek2

?

Bespreking van casus Universiteit Utrecht

• Gelijkheidsbeginsel

• Gokkans

• Knowledge of results.

• Geen cum-laude.

• Bestrijding van gokgedrag en zesjescultuur.

• Optimaal gebruik van voorzieningen.

• Verhoogde slaagkans voor vele studenten.

• Bestrijding van gokgedrag.

• Schade voor minder vlotte studeerders.

• A-normale studenten worden gedupeerd.

• Inconsistente prikkels.

• Beheersing van de regeldruk.

Maar wat zou je moeten concluderen?

2 Wes Holleman, weblog onderwijs 7-6-2010, http://www.onderwijsethiek.nl

10

Effecten compensatorisch toetsen

• Snellere doorstroming, minder deelname aan herkansingen.

• Geen aantoonbare negatieve gevolgen.

• Het voordeel van conjunctief toetsen is ook niet aangetoond.

• Meer positieve BSA adviezen (dus minder voorwaardelijke gevallen)

• Gelijkblijvend aantal negatieve BSA adviezen

• Minder discussie over bijvoorbeeld de 5,4’s etc. De eisen kunnen gewoon wat zwaarder worden. Dat is positief. Zie bijvoorbeeld: http://www.dub.uu.nl/content/strengere-herkansingseisen-zijn-bedoeld-als-straf of http://www.onderwijsethiek.nl/?p=1762

• Maken docenten dan vakken moeilijker? Misschien. Interessant.

11

Mogelijke nadelen van compensatorisch toetsen

• Laag cijfer op een belangrijk vak gecompenseerd kan worden door een hoog cijfer op een minder belangrijk vak. Maar wat is belangrijk? --> het vak waarop laag wordt gescoord.

• Laatste vak verwaarlozen – geen docent wil zijn/haar vak meer in juni hoeven afronden? Dus heel erg moeilijk vak in het begin van het curriculum plaatsen

• Beschuldiging moeten pareren dat compensatorisch toetsen een NEP-onderwijsverbetering is.

• Oplossen dmv toepassing van gedeeltelijke compensatie

o Alleen 5-en compenseren

o Alleen 1 vak onvoldoende

o Alleen 1 vak binnen cluster van ‘vergelijkbare’ vakken

o Compensatie alleen laten gelden voor beperkte periode

o Zorg dat het eindbeeld van een opleiding helder is!

12

Toetsen en Rendement

Workshop 2 13.00 – 14.10 uur: Cesuurstelling en Misclassificaties.

13

Cesuurstelling - Zak/slaaggrens Onderbelicht fenomeen in het onderwijs

Algemeen model voor toetsen en scoreverdeling

Betrouwbaarheid • Betrouwbaarheid neemt toe bij toename van aantal vragen (of

opdrachten, criteria, beoordelingen etc.)

• Betrouwbaarheid neemt toe bij grotere spreiding van kennis in de te toetsen populatie.

14

Basisprincipes voor cesuurstelling Absoluut Bij de absolute methode bepaalt u vooraf de

voldoende/onvoldoende grens (cesuurscore). Die grens wordt ingegeven door het uitgangspunt dat gecontroleerd moet worden of studenten voldoen aan de eisen die kunnen worden afgeleid uit de doelstellingen van het onderwijs.

Relatief De relatieve methode gaat uit van het idee dat de toets afgestemd moet zijn op studenten die gerechtigd zijn tot het volgen van onderwijs. Op basis van dat principe moet de meerderheid van hen in staat geacht worden om te slagen voor een toets. Omdat vooraf niet bekend is waartoe studenten bij het gegeven onderwijs en de gegeven toets in staat zijn, kan de norm niet vooraf worden vastgesteld. Het resultaat op de toets moet worden afgewacht om de grens te kunnen vaststellen.

Compromis De compromismethode probeert de principiële verschillen tussen absoluut en relatief cesuurstellen te overbruggen en heeft in de onderwijspraktijk de voorkeur. Bij de compromismethode wordt in het algemeen uitgegaan van een absolute norm en wordt aangegeven onder welke omstandigheden van deze absolute norm zal worden afgeweken. Een van de compromismethoden staat hieronder beschreven.

15

Meer uitgewerkte methoden Absoluut

Angoff (kans dat een 6-jes student de vraag goed beantwoord)

Nedelsky (meerkeuzevragen – elimineren van alternatieven – rest wordt kans)

Ebel (matrix met kans hoeveel items 6-jes student per cel goed heeft)

Kernitem

Neem ongeveer 25% van de vragen die echt de kern van de stof bevatten en die elk goed onderscheid maken tussen de studenten die de stof beheersen en die deze niet beheersen. Bepaal op basis daarvan de cesuur.

Bookmark (orden de items van gemakkelijk naar moeilijk en kies midden tussen tussen het moeilijkste item dat een zesjesstudent

16

correct zal beantwoorden (item B) en het makkelijkste item dat een zesjesstudent fout zal beantwoorden (item A)).

JBF (Janboerefluitjes) 60% van de helft

Relatief

Grading on the curve (bij veronderstelde normaalverdeling: werken met gebruik van gemiddelde score + constante * de Standaard Afwijking om vooraf bepaald percentage gezakten te bereiken)

17

Contrast-groep (vergelijk verdeling van 2 groepen waarvan op voorhand bekend is dat ze tot een mindere cq. betere groep behoren)

Grens-groep (selecteer groep van 6-jes studenten, maak de verdeling en bepaal op basis daarvan de cesuur = mediaan)

Compromis

Beuk (bepaal eerst absolute cesuurscore, vergelijk met behaald slagingspercentage: middel deze twee)

18

Hofstee (bepaald

Meer lezen:

Kloppenbur, M. (2003). Hoofdstuk 9: Normeren Ontwikkeling van een psychometrische kwaliteitsanalyse voor de toetsenbank van de Examenbank EbA, te downloaden o.a. via https://www.surfgroepen.nl/sites/qmpvu/Diverse%20manuals%20van%20Questionmark/Normeren.pdf of http://www.examenbank.nl/media/items2/110.pdf

Gregory J. Cizek and Michael B. Bunch (2007). Standard setting. A guide to establishing and evaluating performance standerds on tests. Sage.

19

R. K. Hambleton and M. J. Pitoniak (2006). Setting performance standards. In R. L. Brennan: Educational measurement 4th edition pp. 433-470.

20

Score en betrouwbaarheid van de uitslag

• Betrouwbaarheid neemt toe bij toename van aantal vragen (of opdrachten, criteria, beoordeingen etc.)

• Betrouwbaarheid neemt toe bij grotere spreiding van kennis in de de toetsen populatie.

Stel op toets is max score =100, Standaard afwijking = 4,5 punten

Stel score 67 punten: 90% interval tussen 67+/- 4,5*1,65= 59,6 - 74,4 punten (range van 14,8 punten!).

Zakslaaggrens toets 67 punten

90% betrouwbaar terecht gezakt 52,1 punten

90% betrouwbaar terecht geslaagd 81,9 punten

21

Misclassificaties

Dousma et al. (1997) Tentamineren.

In percentage: 22/200=11% onterecht gezakten

22

In combinatie conjunctief en compensatorisch toetsen

Enig eenvoudig rekenwerk omtrent kansen van onterecht zakken (op basis van Wilbrink, 1977!)

Stel, een student is in principe redelijk bekwaam en in staat om te slagen. Stel nu dat hij voor elke afzonderlijke toets een kans van 10% heeft om onterecht te zakken. En stel de propedeuse bestaat uit 5 vakken.

Wat is de kans dat hij in één keer slaagt bij conjunctief toetsbeleid?

(1-0,1)5=0,590

En de kans om niet in één keer te slagen?

1-kans om wel te slagen = 0,406

Wat is nu de kans om in 1 keer te slagen als er ook nog één herkansingsmogelijkheid is?

(0,9+0,09)5=0,95

is een kans van 1 op 20 dat hij het onterecht niet haalt.

En wat als de kans om onterecht te zakken 0,5 is. Wat is de kans dan om in één keer te slagen inclusief herkansing?

(0,5+0,5*0,5)5=0,240

23

Enig eenvoudig rekenwerk omtrent studievertraging

Conjunctief

Stel, een student is in principe redelijk bekwaam en in staat om te slagen. Stel dat een studiefase bestaat uit 12 toetsen. Stel nu dat hij voor elke afzonderlijke toets een kans van 10% heeft om te zakken. Stel dat het tijdverlies voor een herhaling van de toets 1,5 maand bedraagt.

Wat is de verwachte vertraging van de student per onderdeel bij conjunctief toetsen?

0,1 *1,5+(0,1)2*1,5+(0,1)3*1,5=0,166 maand

Wat is de totale studievertraging?

12*(0,166) =2 maanden

Wat is de totale studievertraging als de kans 20% is om te zakken?

12(0,2*1,5+(0,2)2*1,5+(0,2)3*1,5 = 4,5 maanden

24

Compensatorisch

Stel dat er sprake is van een student die gemiddeld een 6,75 kan scoren. In principe kan hij voor de 12 vakken totaal 6,75*12=81 punten halen.

Om te slagen wordt de regel gehanteerd dat er gemiddeld een 6,5 gescoord moet worden over de 12 vakken. De cesuurscore is derhalve

6,5*12=78 punten

Stel dat over alle vakken gemiddeld de standaardmeetfout 1 punt bedraagt.

Wat is nu de kans dat hij minder dan 78 punten behaald?

We rekenen met de standaardmeetfout. De standaardmeetfout op de totale score is namelijk

12*1*1/12 = 1 punt

Verwaarloosbaar klein derhalve.

25

Andere kijkwijze

Toets 1 Toets 2 Toets 3 Totaal onterecht gezakt conjunctief

Totaal onterecht gezakt compensatorisch

Conjunctief Casus A1: 100% nieuw zakt

10% van totaal zakt onterecht

10% extra van totaal zakt onterecht

10% extra van totaal zakt onterecht

30%

Compensatorisch

Casus A2: 100% nieuw zakt, maar daarvan compenseert 50%

5% van totaal maar onterecht gezakten compenseert met toets 2 of 3

5% van totaal maar onterecht gezakten compenseert met toets 1 of 3

5% van totaal maar onterecht gezakten compenseert met toets 1 of 2

0%

Conjunctief Casus B1:

50% nieuw zakt

10% van totaal zakt onterecht

5% extra van totaal zakt onterecht

5% extra van totaal zakt onterecht

20%

Compensatorisch

Casus B2:

5% van totaal maar onterecht gezakten compenseert met toets 2 of 3

5% van totaal maar onterecht gezakten compenseert met toets 1 of 3

5% van totaal maar onterecht gezakten compenseert met toets 1 of 2

5%