314 Digitaal Toetsen Doordenken Van Het Gehele Proces Sylvester Draaijer

Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS

SURF Onderwijsdagen

2009

Digitaal Toetsen: doordenken van het hele proces

Silvester Draaijer

Onderwijscentrum VU


SURF Onderwijsdagen

2009

Toetsing op de VU

• Onderwijscentrum VU:– Tentamenservice (schrapkaarten – 1300 tentamens

per jaar)

– Blackboard’s Assessment Module– Respondus– Questionmark Perception


SURF Onderwijsdagen

2009

Toetsing in het Onderwijs

• Toetsen is belangrijk onderdeel van het leerproces:“Toetsing dicteert namelijk in belangrijke mate het

leren. Voor studenten vormen de toetsen de sleutel voor succes in hun onderwijsloopbaan. De vorm, de inhoud, de programmering en de regelgeving bepalen feitelijk wat en hoe studenten zullen leren. Voor studenten is de toetsing het feitelijke curriculum.”

Prof. Cees van der Vleuten in ‘Toetsen en ICT in het hoger onderwijs’


SURF Onderwijsdagen

2009

Large Scale toetsen

• Casus

• Stel het is 1 december. CvB geeft opdracht een projectgroep– Ontwikkel een digitale toets ‘basiskennis wetenschappelijk

denken’.– Neem deze af in de tweede week van het begin van het

academisch jaar, bij 4000 eerstejaars studenten– De studenten en faculteiten moeten binnen twee weken de

uitslag ontvangen.– De toets moet een betrouwbare uitslag geven over de

beheersing van de studenten op diverse deelonderwerpen van wetenschappelijk denken en die groep identificeren die extra ondersteuning nodig heeft

– De toets moet de eerstkomende 5 jaar herhaald worden afgenomen.


SURF Onderwijsdagen

2009

Het aanpakken van small en mid-scale digitale toetsprojecten

• Bij faculteit X van instelling Y is een groepje docenten geïnteresseerd in het ontwikkelen en afnemen van een digitale toets voor ongeveer 100 studenten. Ze hebben het volgende plan opgeschreven.

– We willen de studenten een random toets aanbieden zodat we zeker weten dat de studenten niet bij elkaar kunnen afkijken.

– We willen gebruik maken van alle vraagtypen en multi-media, want anders is het project veel minder zinvol.

– Iedere student krijgt een toets met 25 vragen.– De indeling van de stof is zo dat elke docent voor ongeveer 1/5 deel verantwoordelijk is

voor de inhoud van de toets. De docenten weten het best welke stof ze aanbieden en zij krijgen de vrijheid om de vragenbank naar hun eigen inzicht in te delen.

– We willen achteraf precies weten welke vragen door welke student zijn beantwoord en hoe de vragen ‘scoren’.

– We hebben beperkte tijd om de vragen te ontwikkelen.– We willen zelf de logistiek tijdens de toets regelen om direct in te kunnen grijpen als dat

nodig is.– Één van ons zal aangewezen worden al coördinator van het hele project.

• Taak: Identificeer de ‘kritische’ punten in dit plan– Welke punten zou u aan de orde stellen bij een eerstvolgende bijeenkomst van het

docententeam en de coördinator?


SURF Onderwijsdagen

2009

Analyse

• Beschrijf welke expertise bijeengebracht moet worden

• Beschrijf wie waar verantwoordelijk voor is• Beschrijf projectfasen en een globale planning


SURF Onderwijsdagen

2009

Geheide missers bij small en mid-scale digitale toetsprojecten


SURF Onderwijsdagen

2009

We hebben een testserver – start met een pilot

• Testservers bieden te weinig performance om een onderwijskundige pilot goed te laten verlopen – te hoge belasting maakt dat machines snel crashen/vastlopen


SURF Onderwijsdagen

2009

Geen fall-back procedure hebben

• Bij de eerste digitale toetsen op een nieuw systeem treden er bijna altijd technische problemen op.– Zorg dat er een toets op papier klaarligt– Zorg dat het een low-stakes toets is– Zorg dat je ‘langzaam’ inlogt– Zorg dat je weet wat je gaat zeggen tegen studenten

en examencommissie als het toch helemaal mis loopt

• Iedereen een 6• Herkansing al vast inplannen (zeg dat de toets uit twee delen

bestaat)


SURF Onderwijsdagen

2009

We gaan toetsen maken die toetsvragen ‘random’ uit de database halen

• Vragen kunnen elkaars antwoord weg kunnen geven– Vragen kunnen ‘dubbel’ in de toets komen– Bij meerdere pogingen kunnen studenten dezelfde

vraag krijgen

• Het bereken van de betrouwbaarheid van een toets wordt bijna onmogelijk

• Het in de hand houden van de moeilijkheidsgraad van een toets is bijna onmogelijk


SURF Onderwijsdagen

2009

We gaan adaptief toetsen

• Echt adaptief toetsen vereist IRT (Item Respons Theory) aanpak

• Semi-adaptief toetsen vergt zeer goed doordachte toetsbank en studenten willen op basis van duidelijke aanwijzingen weten op welk niveau ze zitten

• Cognitief niveau van de vraag is ongelijk aan moeilijkheidsgraad van vragen


SURF Onderwijsdagen

2009

Concentreer je vooral op de vragenbank

• Er blijkt dat het samenstellen van een toets op heel andere criteria plaatsvindt dan indeling van een vragenbank (waar vaak individuele vragen teruggevonden moeten kunnen worden)


SURF Onderwijsdagen

2009

Sla zoveel mogelijk meta-data op bij toetsvragen

• Kost erg veel tijd van ‘iemand’. Als die iemand zijn taak niet goed uitvoert, of de taak wordt over meerdere personen verdeeld dan geldt: garbage in en garbage out


SURF Onderwijsdagen

2009

De toetsuitslag zal direct aan de studenten gegeven worden

• Zoals bij elke toets dient er een analyse plaats te vinden. Slechte vragen verwijderd, eventueel cesuur aanpassing gepleegd en herberekening van scores.

voorbeeld TENTAMEN : DOCENT : ***** **-**-2001FACULTEIT: *** AFDELING : *** _______________________________________________________________MEERKEUZE VRAGEN FORMULIER 1 P - WAARDENVRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir _______________________________________________________________ 1 0.06 0.08 0.11 +0.75 0.00 0.75 0.19 0.34 2 0.09 0.06 +0.79 0.05 0.01 0.79 0.16 0.21 3 +0.81 0.05 0.08 0.06 0.00 0.81 0.16 0.24 4 0.16 0.12 +0.60 0.13 0.00 0.60 0.24 0.37 5 0.26 0.03 +0.71 0.01 0.00 0.71 0.21 0.34 6 0.10 +0.77 0.12 0.02 0.00 0.77 0.18 0.26 7 +0.79 0.03 0.16 0.03 0.00 0.79 0.16 0.26 8 0.31 0.06 +0.52 0.11 0.00 0.52 0.25 0.27 9 0.08 0.40 0.03 +0.49 0.00 0.49 0.25 0.17 10 0.06 0.03 +0.87 0.04 0.00 0.87 0.11 0.27 11 0.10 0.02 +0.83 0.05 0.00 0.83 0.14 0.32 12 0.05 0.03 +0.86 0.06 0.00 0.86 0.12 0.30 13 0.54 +0.26 0.16 0.04 0.00 0.26 0.19 -0.07 14 0.25 0.21 0.11 +0.44 0.00 0.44 0.25 0.30 15 0.23 +0.62 0.04 0.10 0.00 0.62 0.23 0.31 16 +0.49 0.29 0.08 0.14 0.00 0.49 0.25 0.24 17 0.01 0.34 +0.65 0.01 0.00 0.65 0.23 0.14 18 0.07 0.06 +0.85 0.02 0.00 0.85 0.13 -0.10 19 0.01 0.08 +0.88 0.04 0.00 0.88 0.11 0.31 20 0.30 +0.35 0.11 0.24 0.00 0.35 0.23 0.05 21 +0.82 0.03 0.07 0.08 0.00 0.82 0.14 0.35 22 0.21 0.36 0.31 +0.12 0.00 0.12 0.11 0.09 23 +0.86 0.09 0.03 0.01 0.00 0.86 0.12 0.23 24 +0.83 0.03 0.10 0.05 0.00 0.83 0.14 0.36 25 +0.84 0.08 0.01 0.06 0.00 0.84 0.13 0.32 26 +0.46 0.05 0.05 0.44 0.00 0.46 0.25 0.56 27 0.23 +0.66 0.06 0.06 0.00 0.66 0.23 0.61 28 0.18 0.19 0.25 +0.37 0.00 0.37 0.23 0.44 29 0.14 +0.64 0.08 0.14 0.00 0.64 0.23 0.40 30 0.07 0.07 +0.79 0.06 0.00 0.79 0.16 0.36 31 +0.66 0.16 0.03 0.14 0.00 0.66 0.22 0.40 32 0.09 +0.48 0.18 0.25 0.00 0.48 0.25 0.37 33 +0.74 0.05 0.02 0.19 0.00 0.74 0.19 0.49 34 +0.55 0.08 0.24 0.13 0.00 0.55 0.25 0.01 35 0.03 0.27 +0.51 0.18 0.00 0.51 0.25 0.46 36 0.15 +0.18 0.45 0.22 0.00 0.18 0.14 0.04 37 0.16 0.08 +0.43 0.32 0.01 0.43 0.24 0.18 38 0.32 +0.60 0.06 0.02 0.00 0.60 0.24 0.39 39 0.38 0.13 0.08 +0.42 0.00 0.42 0.24 0.48 40 0.19 0.05 +0.71 0.05 0.00 0.71 0.21 0.28KR-20 : 0.82Aantal studenten : 154 | S KR20 KR20(75) Gem. Score Gem. p-waarde______|___________________________________________________________ | MK | 6.16 0.82 0.89 25.00 0.63 WO | --- --- --- --- ---


SURF Onderwijsdagen

2009

De kwaliteit van de toetsing gaat omhoog

• Niet gedefinieerd wat ‘kwaliteit’ is• De kwaliteit van de toetsing gaat alleen

omhoog als er ingezet wordt op het systematisch ontwikkelen van toetsen en vragen waarbij ook training in het ontwikkelen van toetsvragen meegenomen moet worden.


SURF Onderwijsdagen

2009

Het rendement gaat omhoog

• Rendement van een toets heeft betrekking op stellen van cesuur

• Wat wel geldt: goede studenten terecht laten slagen en niet-goede studenten terecht laten zakken (en vice versa)

raadscore

cijfer

1

5,5

10

maximale score

cesuurscore

Proportie studenten die slaagt.

Onterecht Terecht

Gezakt

Geslaagd


SURF Onderwijsdagen

2009

Een verfijnde rechtenstructuur en beveiliging van toetsvragen levert een goede work-flow op en zorgt voor betere kwaliteit

• Deze insteek heeft twee kanten. • 1) natuurlijk is alles dan veilig, maar • 2) het werkproces kan ook onmogelijk worden

doordat een overview van de hoeveelheid werk en taken mist en de work-load niet goed te plannen valt als er teveel afhankelijkheden zijn in het ontwerpproces.


SURF Onderwijsdagen

2009

Niet ‘doortesten’ van de meest ‘domme’ student in tentamensituatie

• Het blijkt dat er altijd ‘rare’ dingen optreden tijdens een toets in de echte situatie

– Op PC van ontwikkelaar doet de toets het, maar in PC-lokaal waar de toets worden afgenomen zijn er problemen

• Andere resolutie• Verkeerde versie van Flash, Java, IE, Ff etc.• Systeembeheer heeft toegang tot bijv. streaming video afgesloten• Afbeelding blijken bij ontwikkelaar vanaf de lokale machine getoond te worden en niet via het

netwerk/internet

– Student gebruikt onmogelijke toetscombinaties om symbolen in te voeren– Sneltoetsen van de PC/laptop worden aangeraakt– Stekker zit niet in het stopcontact– Alle PC’s worden centraal op een bepaald moment uitgezet– Toetsen van toetsenbord zitten vast– Software die op de achtergrond draait geeft een probleem met opstarten

van toets– PC start met een automatische installatie van nieuwe software –

virusscanners, window-update, flash-player, secure client update etc.


SURF Onderwijsdagen

2009

Neem toetsen af op studentenlaptops

• Als je dit niet heel goed voorbereid is er kans op grote problemen tijdens de afname van de toets.

• Zie voorgaande slides


SURF Onderwijsdagen

2009

Innovatieve vraagtypes maken authentiek toetsen mogelijk en leiden tot vragen die meer naar inzicht, toepassing, analyse en evaluatie vragen• Toetsvragen ontwikkelen

met op maat gemaakte authentieke situaties (video, verhalen) is heel duur en

• De stimulus van de vraag is de belangrijkste factor als het gaat om het te ontlokken denkproces, niet de vorm van de vraag


SURF Onderwijsdagen

2009

Niet behandeld

• Geld• Centraal – Decentraal• Ondersteuning• Van bovenaf opgelegd• Slechtziende student• Slechthorende student• Inkijkrecht door student• Competentiegericht toetsen• Computercapaciteit• Feedback


SURF Onderwijsdagen

2009

En toch doorgaan, doen

• Student verwacht het• Kansen benutten door doordachte aanpak

• Silvester Draaijer• [email protected]


SURF Onderwijsdagen

2009

We zijn ‘gezamenlijk’ verantwoordelijk voor de toets

• Als er geen ‘product’ champion is zal bij tegenslag mislukking optreden, frustratie, boze gezichten

• Duidelijk afbakenen wie wanneer wat en hoeveel en in welke vorm moet opleveren

• Bereid zijn tot ‘training’, ‘scholing’, kritiek op ontwikkelde vragen etc.

• Handwerk van invoeren van vragen en zorgen dat plaatjes, lay-out e.d. goed zijn aan ‘expert’ uitbesteden anders wordt het echt lelijk en slecht – studenten zien dat direct– expert op gebied van de toetssoftware en HTML/graphics)


SURF Onderwijsdagen

2009

Projectplan

• Team samenstellen– Inhoudsdeskundigen– Toetsdeskundigen– Applicatiebeheerder– Functioneel beheerder– Digitaal Toetsdeskundige


SURF Onderwijsdagen

2009

Projectplan

• Planning– Analyse

• Kick-off• Bepalen van Kennisdomein en deeldomeinen• Desk-Research naar vergelijkbare toetsen• Desk-Research naar wetenschappelijke literatuur erover• Installeren van software bij ontwikkelaars• Benoemen van coordinator/redacteur over de toetsvragen

– Inwerken• Training van vraagontwikkelaars over mogelijkheden van de toetssoftware en bedienen van de

software

– Gezamenlijk bepalen van hoofdindeling van de toets en daarvan afgeleid de indeling van de vragenbank

– Ontwikkelen van beperkte set van ‘voorbeeldvragen’ die dienen als mal– Regelen electriciteit– Regelen Internetaansluiting– Regelen roostering– Regelen beveiliging– Toetsdeskundigen– Applicatiebeheerder– Functioneel beheerder– Digitaal Toetsdeskundige


SURF Onderwijsdagen

2009

Meer info

• Silvester Draaijer ([email protected])• Flexibilisering van Toetsing:

http://www.du.nl/flextoets

314 Digitaal Toetsen Doordenken Van Het Gehele Proces Sylvester Draaijer

Education

Transcript of 314 Digitaal Toetsen Doordenken Van Het Gehele Proces Sylvester Draaijer