QuickstartEffectief digitaal toetsen op de VU

Belang Type Werkstuk Open vragen Gesloten vragen

Elkaar beoordelen

Samenwerken

Formatief (low-stake)

Zelfstudie en diagnose

CanvasTurnitin GradeMark

AssignmentsPortfolioPerusall

Canvas Quizzes

Mentimeter

Canvas Quizzes

MentimeterPeerWise

Canvas Assignment

(peer review)Turnitin

PeerMarkBuddyCheck Discussions

Canvas Collaborations

Summatief Tussentoetsen(medium-

stake)

CanvasTurnitin GradeMark

Assignments Portfolio

TestVision TestVision CanvasAssigment

BuddyCheckTurnitin

Eindwerk-stukken en tentamens

(high-stake)

CanvasTurnitin GradeMark

Assignments

TestVision TestVision

Waar gaat deze notitie over?Vaak hebben docenten behoefte aan informatie die hen helpt bij het bepalen van manieren om het toetsproces efficiënt en effectief vorm te geven met behulp van ICT en hoe dat past bij de te toetsen kennis of vaardigheid. Inmiddels zijn er zoveel ICT-middelen beschikbaar dat er een uitgebreide keuze is van mogelijkheden. Er is behoefte aan niet te veel theoretische achtergrondinformatie, maar concrete informatie ‘ hoe en waarmee je het moet doen’. In die behoefte probeert deze bijdrage te voorzien.

© Silvester Draaijer, Vrije Universiteit AmsterdamBeleidsadviseur Dienst Student- en Onderwijszaken

1

1 Formatief en/of Summatief toetsenEen eerste stap in het bepalen van de wijze van inzet van ICT bij toetsen, is het onderscheiden van formatief en summatief toetsen.

Bij formatief toetsen is het expliciete doel om het leren te bevorderen en wordt het geven van cijfers in principe ontraden. Cijfers verhinderen dat studenten zich richten op zowel de stof als de inhoudelijke feedback. Voorbeelden van formatief toetsen zijn: zelftests, tussenresultaten van werkstukken, peer-feedback op werkstukken, (peer)-feedback op groepsprocessen e.d.

Bij summatief toetsen is het doel om studenten te beoordelen en tellen resultaten op de toetsen gedeeltelijk (medium-stakes) of geheel (high-stakes) mee voor een eindbeoordeling met zak/slaagbeslissing. Bij summatief toetsen is het uitoefenen van controle van belang (wordt er niet ongeoorloofd samengewerkt, gespiekt e.d.) en verdient de technische betrouwbaarheid van de afname en de psychometrische betrouwbaarheid van de beoordeling veel aandacht. Voorbeelden van summatief toetsen zijn: tentamens, scripties of deeltoetsen.

Formatief(low-stakes)

Semi-summatief(medium-stakes)

Summatief (high-stakes)

Zelftests Oefentoets Peiling in collegezaal Peer-Instruction Muddiest-Point Feedback op conceptwerkstukken Peer-feedback op

conceptwerkstukken Portfolio

Bonustoetsen Deeltoetsen Portfolio Peer-Assessment Peer-Assessment van groepswerk

Tentamens Selectietoetsen Scripties Essays Deeltoetsen

Vanuit de ontwerpprincipes VU Onderwijs en principes van zgn. Constructive Alignment, moeten in een cursusontwerp de leerdoelen, doceren/leren en toetsing op elkaar versterkende wijze worden gecombineerd. Vanuit de VU wordt met name de ontwerpfilosofie van L Dee Fink gevolgd rondom het ontwerpen van ‘Significant Learning Experiences’.

2

2 Open en/of gesloten vraagvormen De tweede stap is om te bepalen of er getoetst wordt met open vragen en/of toetsen met gesloten vragen.

Gesloten vragen Open vragen

Kenmerk Juist/Onjuist, multiple-choice, multiple-response, matching, drag-and-drop

Kort antwoordvragen, essay, scriptieOpdrachten gemaakt met behulp van beroepssoftware zoals bijv. SPSS, Excel, Matlab etc.

Onderwijskundige voordelen

Met gesloten vragen kun je studenten snel en effectief bevragen over een breed terrein. Beoordeling is objectiever en kan betrouwbaarder plaatsvinden.

Met open vragen moeten studenten kennis uit zichzelf halen, kan naar originele argumentatie worden gevraagd en kunnen complexere vaardigheden en representaties worden gevraagd (bijv. simulaties, wiskundige vergelijkingen, tekeningen, schema’s e.d.)

Nadelen Gesloten vragen kunnen tot oppervlakkig leergedrag leiden en het formuleren van goede toetsvragen vergt een flinke tijdsinvestering.

Open vragen zijn niet automatisch na te kijken.

Wat voegt ICT toe?

Er kan tijdswinst worden geboekt door de aanleg van vragenbanken of gebruik te maken van kant-en-klare vragenbanken. Studenten kunnen thuis getoetst worden. Er kan multimedia worden gebruikt in vragen. De docent kan veel gemakkelijker de vooruitgang van studenten volgen en daar op sturen (learning analytics).

Het nakijken en geven van feedback kan veel efficiënter worden door dit online uit te voeren met gestandaardiseerde feedback, peer-review en peer-feedback.

3

3 Formatief toetsen (low-stakes)Een belangrijke bijdrage van digitalisering ligt op het terrein van intensiever formatief kunnen toetsen. Formatief toetsen heeft vooral betrekking op zelfstudie; het werken aan opdrachten of beantwoorden van toetsvragen en het ontvangen van feedback daarop is bewezen effectief voor het laten beklijven en toepassen van kennis.

Denk bij formatief toetsen bijvoorbeeld aan quizzes en oefentoetsen op basis van Juist/Onjuist vragen, multiple choice vragen of andere gesloten vraagvormen. De computer maakt het mogelijk om studenten intensief en regelmatig te toetsen met relatief weinig beslag op ruimte en middelen. Studenten kunnen thuis deze toetsen maken. De docent kan goed monitoren wat de studenten doen (participatie en scores bijhouden).

Het simpelweg klaarzetten van formatieve toetsen zal in de praktijk blijken weinig effect te hebben. Het is van belang dat formatieve toetsen goed didactisch verweven worden in het onderwijs; de docent moet ze een duidelijke plek geven (constructive alignment) en het belang ervan benadrukken.

Als input voor de bijeenkomsten of online discussion boards kunnen de resultaten op online toetsen worden gebruikt (hoe staat het met de participatiegraad, welke vragen hebben geleid tot problemen of vragen etc.). Met Mediasite en Kaltura is het mogelijk om in weblectures of kennisclips online quizzes in te voegen om de studenten de stof te laten verwerken. Het is eveneens zeer effectief om studenten in groepjes van 2-3 studenten vragen laten beantwoorden (collaborative testing). Het is een activerende methode om studenten zelf toetsvragen te laten ontwikkelen in bijvoorbeeld PeerWise.

Tijdens colleges is het bewezen effectief om studenten via peer-instruction (zie de tabel hieronder) op basis van Concept-Tests te bevragen. Mentimeter kan hier goed bij worden ingezet om studenten via de mobiele telefoon vragen te laten beantwoorden. Het is ook mogelijk om te werken met interventiemethoden zoals muddiest point bijvoorbeeld. Vragen van studenten kunnen dan het snelst op digitale wijze verzameld worden en deze methoden kunnen eventueel gecombineerd worden om aanwezigheid bij colleges te laten registreren.

Werkvorm Werkwijze

Peer instruction

1. Presenteer een multiple-choicevraag op een beamer die een misconceptie adresseert.

2. Laat studenten 30 seconden nadenken en via Mentimeter aangeven wat zij denken dat het correct antwoord is.

3. Als onvoldoende studenten het correcte antwoord geven, laat studenten met hun buurman/vrouw een minuut discussiëren over de vraag en elkaar laten overtuigen van het correcte antwoord.

4. Laat studenten weer antwoorden wat zij denken dat het goede alternatief is.a. Als voldoende studenten het correct alternatief hebben gegeven ga

door naar het volgende onderwerp

4

b. Als onvoldoende studenten het correcte antwoord hebben gegeven ga over tot uitleg en instructie

Zie o.a.: https://www.youtube.com/watch?v=Rixx-Qtnt5I Muddiest Point

1. Geef studenten halverwege of op het eind van een college 2-3 minuten om aan te geven wat ze het meest onduidelijke element van het college vond.

2. Laat ze de punten inbrengen door via de beamer een Mentimeter Word Cloud van het college te laten verschijnen.

3. Lees de punten schuin door. Interpreteer waar de studenten problemen mee hebben.

4. Kom er direct op terug via de online leeromgeving (bijv. discussion board) of het volgende college.

Zie o.a.: https://www.youtube.com/watch?v=SvT6RmuZigw

Het is van groot belang om de feedback goed te geven. Inhoudelijk moet feedback de student zo mogelijk aanzetten tot verdieping. Maar ook de timing is van belang. Bij quizzes moet de feedback bijv. niet direct na iedere vraag gegeven worden, maar dient de student eerst een poging te ondernemen voor beantwoorden waarna de feedback een klein beetje verlaat wordt gegeven, bijvoorbeeld door de vragen in groepjes van 5 stuks aan te bieden. Zie bijgaande voorbeeld over ‘Setting the appropriate Assessment Cut Score’: http://goo.gl/RhJBN. Meer informatie over het ontwikkelen van feedback kun je vinden via: http://goo.gl/cl9Xt.

**

5

Docenten op de VU hebben in principe alle digitale middelen tot hun beschikking om dit formatieve toetsproces vorm te geven. Binnen Canvas is een goede quiz-module beschikbaar. In Canvas kun je zelf vragenbanken aanleggen en de resultaten op hun toetsen uitlezen. Met behulp van het programma Respondus kun je deze vragenbanken nog gemakkelijker aanmaken en naar verschillende cursussen publiceren. Canvas is minder geschikt voor summatief toetsen omdat het cursusmateriaal tijdens de toetsafname niet goed af te schermen is. Voor formatieve toetsen is het echter erg geschikt.

Om de impact en efficiency te vergroten is het sterk aan te raden om gebruik te maken van vragenbanken die de grote Amerikaanse en Engelse uitgeverijen meer en meer ter beschikking stellen, bijvoorbeeld via het Respondus Test Bank network. Deze kunnen rechtstreeks Canvas worden geïmporteerd of via hun eigen systemen worden uitgeleverd (bijv. methodes van Pearson, McGraw-Hill e.d.)

4 Learning AnalyticsEen interessante vorm van passief formatief toetsen betreft de toepassing van Learning Analytics. Dit is een aanpak waarbij gekeken wordt hoe en in welke mate studenten aanwezig zijn in de digitale omgevingen van de VU. Op basis van samenhang tussen dit online gedrag en studievoortgang kunnen faculteiten al in een heel vroeg stadium extra informatie verzamelen over bijvoorbeeld mogelijk studiefalen.

6

Op het niveau van docenten is al een ingebouwde mogelijkheid beschikbaar in de vorm van het Analytics dashboard van elke Canvas cursus. In de Quiz module van Canvas kunnen uitgebreide psychometrische analyses worden opgevraagd.

5 Tussentoetsen met gesloten vragen (medium stake)

Een andere belangrijke bijdrage van digitaal toetsen kan zijn om studenten te verplichten om regelmatiger en om meer ‘time-on-task’ te laten studeren. Bijvoorbeeld door studenten verplicht te laten deelnemen aan de toetsen of dat er bonuspunten of deelcijfers toegekend worden aan toetsen. Op dat moment neemt het belang van een meer zorgvuldig ontwikkelde toets toe, het belang van het voorkomen van technisch problemen en het belang van een meer ‘fraudebestendige’ toetsafname.

Een opleiding of docent kan ervoor kiezen om studenten dergelijke toetsen thuis te laten maken, maar meer beperkingen op te leggen aan de duur en het tijdstip waarop deze toetsen kunnen worden afgenomen. Er kan worden besloten om studenten random vragen uit grotere vragenbanken aan te bieden of vragen met random gekozen variabelen aan te bieden, zodat studenten minder snel antwoorden met elkaar uitwisselen. Het is een mogelijkheid om de toets bijvoorbeeld maar één moment in de week aan te bieden en de toets zichzelf laten afsluiten na een bepaalde tijd.

Het leereffect van tussentoetsen met gesloten vragen is in principe echter niet hoog. Uit onderzoek is bekend dat – zodra studenten cijfers voor toetsen krijgen (of als ze er voor kunnen ‘zakken’ of ‘slagen’) – inhoudelijke feedback door studenten niet meer wordt gelezen. Het is daarom sterk aan te raden om voor deze situatie zowel een ‘oefentoets’ klaar te zetten die de studenten laat voorbereiden op de eigenlijke ‘deeltoets’. Voor de oefentoets (waarvoor je geen cijfer geeft) gaat u vooral zorgen voor een goed feedbackmechanisme. Daar vindt het leren plaats. Daarna is de ‘deeltoets’ in feite een formaliteit.

7

Technisch gezien kan dit worden gerealiseerd met de speciale toetssoftware TestVision van de VU en daarbinnen de gesloten vragen.

dan Canvas en de performance kan gegarandeerd worden (data-beveiliging, snelheid). Bovendien bezit TestVision een zeer goed systeem voor toets- en vraaganalyse en inzage achteraf. Het is af te raden om TestVision op grote schaal te gebruiken voor formatief toetsen omdat er kosten per assessment (gemaakt tentamen) aan verbonden zijn: gebruik dan de Canvas quiz module. Additioneel kan gebruik worden gemaakt van de mogelijkheid om de studenten in een computerzaal of de DigiTenT deze toetsen te laten maken. In de DigiTenT kan veilige toetsing op grote schaal worden uitgevoerd. Voor meer informatie over deze mogelijkheid kun je contact opnemen met de key user van je faculteit, zie VUnet.

6 Open vragen (medium stake)Een andere vorm van tussentoetsen is studenten open vragen te laten beantwoorden. Met digitale middelen kan dit. Het kan gaan om kort antwoord vragen, maar ook essayvragen, rapporten, (concept) onderzoeksverslagen e.d. Digitale middelen kunnen hier zeer behulpzaam zijn bij het verzamelen van deze document, het distribueren en het online of op papier na te kijken. De docent kan dit zelf doen, of de docent kan besluiten er een Peer-Review opdracht van te maken. De docent kan daarbij (bijv. samen met de studenten) voorgestructureerde criteria (Rubrics) klaarzetten op basis waarvan de studenten beoordelingen kunnen uitvoeren. De docent dient de ingeleverde werkstukken altijd te laten scannen door de plagiaatdetector van de VU (Turnitin).

8

Voor dergelijke toepassingen kan gebruik worden gemaakt van de G Suite for Education omgeving van de VU. In Canvas kan de docent nakijkcriteria invoeren, zgn Rubrics, waarmee de bijdragen van studenten snel beoordeeld kunnen worden. Beoordeling kan zelfs anoniem en worden uitgevoerd door meerdere docent wat de betrouwbaarheid van de beoordeling ten goede komt en studenten beter inzicht geeft in van wat hen verwacht wordt.

Specifiek voor het digitaal nakijken van werkstukken heeft de VU Turnitin beschikbaar. Daarmee kan naast het beoordelen en geven van feedback ook direct op plagiaat worden gecontroleerd.

Via dit programma kan digitaal ingeleverd werk worden gecontroleerd op plagiaat, er kan online mee worden nagekeken (efficiënt voor de docenten door mogelijkheid van opbouw van gestandaardiseerd commentaar en feedback) en studenten kunnen elkaars werk laten beoordelen (al dan niet via anonieme toewijzing). Ook hier is een afweging nodig met betrekking tot het niet geven van cijfers ten bate van de feedbackfunctie.

Vrij nieuw is het gratis systeem Perusall dat gebruikt kan worden om studenten gezamenlijk literatuur te laten bestuderen.

7 Eindtoetsen, tentamens (high-stake)7.1 Open vragenDoor eindtoetsen via het beeldscherm af te nemen wordt het mogelijk om studenten tentamens met open vragen digitaal te laten inleveren. Hierdoor hoeft de student niet meer tijdens tentamens te schrijven met de hand en hoeven docenten niet meer onleesbare teksten na te kijken.

Ook wordt het mogelijk om studenten tijdens een toets te laten werken met professionele computerprogramma’s zoals SPSS, R, Mathematica of andere (online) software. Zij kunnen dan bijvoorbeeld opdrachten uitvoeren en de resultaten daarvan ofwel inleveren als een bestand, ofwel resultaten daarvan inleveren via een separaat programma.

7.2 Gesloten vragenAls de docent tentamens afneemt via gesloten vragen, dan zijn de resultaten op de toets vrijwel direct na afloop van de toets beschikbaar. Na inspectie door de docent en eventueel bijstelling kan de uitslag snel bekend worden gemaakt. Bovendien kan vrijwel direct na de toets bijvoorbeeld een nabespreking plaatsvinden om discutabele vragen te onderzoeken.

De docent kan ook besluiten om toetsen af te nemen gebaseerd op vragen getrokken uit grotere vragenbanken. Daarmee wordt het mogelijk om niet elk jaar nieuwe tentamens te ontwikkelen, maar te werken aan het opbouwen van een beschermd bestand van eerder gevalideerde vragen (waarover na afloop van de toetsen derhalve geen studentoordeel meer hoeft te worden gevraagd).

Het is erg efficiënt om toetsvragen te ontwikkelen in TestVision. Dit maakt het goed mogelijk om inzicht te krijgen in het overzicht van ontwikkelde toetsvragen en toetsen op de VU. De vragen kunnen prima beheerd en hergebruikt worden.

De docent kan gebruik maken van de DigiTenT met ruim 580 werkplekken om dit op grote schaal uit te voeren. Voor meer informatie over deze mogelijkheid kun je contact opnemen met de key user van je faculteit – zie VUnet.

9

Technisch gezien kan dit worden gerealiseerd met de speciale toetssoftware TestVision van de VU en daarbinnen de gesloten vragen.

8 Overzicht van systemen

8.1 Gesloten vragen

Programma VU-licentie Sterke punten Aandachtspunten

Canvas Quizzes Ja, volledige licentie Alles online, ontwikkelen, afnemen, analyseren, integratie met Canvas Gradebook. Laagdrempeling, veel vraagtypen, eenvoudige routing mogelijk.

Geen afscherming van cursusmateriaal tijdens de toetsafname.

TestVision

Ja, volledige licentie. Ontwikkelen van vragen in grote centrale vragenbank. Ook afnemen en analyseren van toetsresultaten. Vele vraagtypen mogelijk, speciale custom-made vraagtypen mogelijk, speciale routing van vragenblokken en randomisering mogelijk, beveiligde afnameomgeving mogelijk.

Kosten per assessment voor de faculteit.

Respondus Lokaal ontwikkelen van vragenbanken, uitwisselen van vragen met andere toetsprogramma’s.

PeerWise Nee, maar gratis. Studenten ontwikkelen zelf toetsvragen en kunnen deze van elkaar zien en gebruiken. Docenten kunnen deze vragen zelf hergebruiken. Geheel online.

https://peerwise.cs.auckland.ac.nz/

Mentimeter Ja, volledige licentie tot aan 2020

Docenten kunnen tijdens colleges of bijeenkomsten vragen aan studenten stellen die zij real-time kunnen beantwoorden via bijv. tablets en smartphones De resultaten worden real-time weergegeven

10

8.2 Open vragen, werkstukken, groepsopdrachten en samenwerkenLaten inleveren van open vragen en deze nakijken en beoordelen, zowel door docenten als door medestudenten.

Programma VU-licentie Sterke punten

Canvas Assignment

Ja, volledig Geheel online. Docent kan online werkstukken opslaan en van scoring voorzien. Ook anoniem en vraag voor vraag en door meerdere beoordelaars. Er wordt gebruik gemaakt van standaard Canvas functionaliteit. Studenten kunnen tekstdocument inleveren in een assignment. Alles online. Docent kan kiezen om studenten elkaar al dan niet anoniem te reviewen in zelf-selecterende groepen. Rubric en rating-scale scoring is mogelijk. Laagdrempelig.

TestVision Ja, volledige licentie.

Ontwikkelen van vragen in grote centrale vragenbank. Ook afnemen en analyseren van toetsresultaten. Vele vraagtypen mogelijk, speciale custom-made vraagtypen mogelijk, speciale routing van vragenblokken en randomisering mogelijk, beveiligde afnameomgeving mogelijk.

Turnitin GradeMark en PeerMark

Ja, volledigGeheel online. Volledig geïntegreerd met Canvas. Werkstukken worden centraal opgeslagen, sterk in ‘standaard’ commentaar geven, aggregeren van gegevens over groepen studenten. Rubric scoring mogelijk. Docent kan kiezen om studenten elkaar al dan niet anoniem te reviewen in zelf-selecterende groepen. Rubric en rating-scale scoring is mogelijk, Online en inline annoteren van ingeleverde teksten mogelijk. Gaat samen met plagiaat-controle

Perusall Nee, maar gratisGeheel online. Studenten kunnen gezamenlijk teksten bestuderen. https://perusall.com

G Suite for Education

Ja, volledig, behalve e-mail

Geheel online. Studenten kunnen gezamenlijk aan online documenten werken (docs, sheets, presentaties). Gezamenlijke documenten kunnen vanuit Canvas worden aangemaakt (Collaboration/Samenwerking).

BuddyCheck Deels/nog in ontwikkeling

Online systeem waarmee groepsleden (van bijvoorbeeld een project) elkaar (anoniem) kunnen beoordelen op bijdrage aan hun groepswerk. Geïntegreerd in Canvas.

I Hate Statistics

Alleen FGBOnline systeem om te toetsen en oefenen met Statistiek opgaven. https://www.ihatestatistics.com/

11