Deze steekkaart maakt deel uit van het boek "Steekkaarten doceerpraktijk" van Mieke Clement en Lies Laga (Eds.), uitgegeven door Garant.

Elektronisch toetsen Omschrijving Een toetsplatform is een elektronische omgeving waar toetsen worden aangeboden. Studenten kunnen de toetsen elektronisch invullen en feedback of scores krijgen op de toets zonder rechtstreekse tussen-komst van een docent. De meeste toetsplatforms slaan de toetsgegevens op zodat het didactisch team (zie steekkaart ‘Didac-tisch team’) de activiteiten van de studenten kan nagaan en eventueel individuele antwoorden hand-matig kan scoren of van feedback kan voorzien. Een toetsplatform kan zowel voor formatieve als summatieve evaluatie worden gebruikt (zie steek-kaart ‘Evalueren’). Waarover gaat het? Men kan twee soorten elektronische toetsplatformen onderscheiden: - Vraagbatterij-platform: Met dit soort platform worden specifieke vaardigheden getoetst aan de

hand van vastgelegde vragenbatterijen (bijv. een platform om ICT-vaardigheden te meten of een platform om de kennis van veiligheidsvoorschriften te testen). Een dergelijk platform wordt aan-gekocht en kan ogenblikkelijk worden gebruikt. Het didactisch team kan niets aan de aangeboden vragen of toetsen veranderen.

- Schil-platform: Dit soort platform biedt een standaardstructuur aan waarbinnen het didactisch team eigen vragen, toetsen en feedback kan invoeren op een gebruiksvriendelijke manier, vaak met be-hulp van een wizard. Het platform slaat de ingegeven informatie op en biedt de toetsen aan de stu-denten aan, volgens de wensen van het didactisch team. Er zijn meerdere schil-platformen, sommi-ge worden gratis aangeboden, andere zijn producten van commerciële firma's. De mogelijkheden die worden aangeboden zijn afhankelijk van het platform dat wordt gebruikt. Een aantal namen zijn: Test Pilot, WebmcQ, Question Mark Perception, USolv-IT. Daarnaast beschikt een aantal digitale leerplatformen, zoals WebCT en Blackboard, ook over een toetsplatform-onderdeel.

Deze steekkaart gaat vooral in op het schil-platform omdat deze het meest wordt en kan worden ge-bruikt in het onderwijs. Een vraagbatterij-platform is heel specifiek en daardoor slechts op een beperkt terrein bruikbaar. Bovendien heeft het didactisch team bij een schil-platform meer bewegingsruimte zodat eigen accenten mogelijk zijn. Hierdoor kan er beter worden ingespeeld op de voordelen van een elektronisch toetsplatform. Meer bewegingsruimte houdt evenwel ook risico’s in (zie hiervoor Aanbe-velingen en valkuilen). Een aantal valkuilen geldt voor beide soorten platformen. Waaruit bestaat het? Een toetsplatform bestaat uit verschillende onderdelen die samen zorgen dat studenten op een elektro-nische manier toetsen kunnen afleggen en feedback krijgen. Globaal kunnen er drie grote delen worden onderscheiden: 1) module voor het aanmaken van vragen en toetsen; 2) module voor het aanbieden van toetsen aan studenten, en 3) module voor het beheer (toegang verlenen aan studenten en leden van het didactisch team, opslaan

van vragen en toetsen en bijhouden en verwerken van antwoorden van studenten).

Deze steekkaart maakt deel uit van het boek "Steekkaarten doceerpraktijk" van Mieke Clement en Lies Laga (Eds.), uitgegeven door Garant.

Module voor het aanmaken van vragen en toetsen Met deze softwarecomponent(en) kan het didactisch team eigen vragen en toetsen aanmaken en aan-passen in een relatief gebruiksvriendelijke interface. Vaak worden vragen en toetsen apart van elkaar opgesteld en bewaard. Dat heeft als voordeel dat vragen in meerdere toetsen kunnen worden gebruikt zonder ze telkens opnieuw te moeten invoeren. Voor het opstellen van de vragen bieden de meeste toetsplatformen allerhande vormen van gesloten vragen aan, bijvoorbeeld meerkeuzevragen, ja/nee-vragen of selectievragen. Meestal is het mogelijk om het aantal antwoordalternatieven en de score per vraag of per alternatief te bepalen. Sommige platformen geven ook de mogelijkheid om open vragen te formuleren. Daarnaast is er de mogelijkheid om feedback te formuleren. Afhankelijk van het platform kan de feed-back worden gespecificeerd. Sommige platformen maken alleen een onderscheid tussen juiste en foute antwoorden. Andere laten toe om voor de verschillende antwoordmogelijkheden andere feedback te formuleren of om feedback per vragengroep te geven. Kort-antwoordvragen kunnen dikwijls elektro-nisch worden verbeterd, dit is voorlopig nog niet mogelijk voor uitgebreide-antwoordvragen. Vaak is het mogelijk om figuren of multimediabestanden te koppelen aan de vragen of aan de feed-back. Bij het samenstellen van een toets moet worden aangegeven uit welke vragen die moet bestaan. Voor de selectie van de vragen zijn vaak meerdere mogelijkheden voorzien, bijvoorbeeld alle vragen over een bepaald thema, een willekeurig aantal vragen of één specifieke vraag. Daarnaast kan men ook het moment vastleggen waarop studenten feedback krijgen, bijvoorbeeld na elke vraag, na een reeks vra-gen of op het einde van de toets. Sommige systemen laten ook toe om geen feedback te geven of om enkel feedback te geven als de student een antwoord heeft gegeven. Tot slot is het in een aantal systemen mogelijk om het verloop doorheen de toets te laten afhangen van de gegeven antwoorden zodat men een meer gepersonali-seerde toets kan maken. Hierdoor wordt het platform meer een oefenomgeving voor de student. Module voor het aanbieden van toetsen aan studenten De toetsen worden meestal aangeboden via een beveiligde intranet- of internetsite. De student surft naar een bepaalde pagina, logt in, maakt de toets en krijgt feedback. In bepaalde gevallen is het ook mogelijk om toetsen aan te bieden op een cd-rom. Om de toetsen online beschikbaar te maken, moeten ze op een server worden geplaatst. Die server kan in eigen beheer zijn of in beheer van de aanbieder van het platform. Module voor het beheer In deze module wordt de toegang van studenten en de leden van de didactische teams verzorgd. Daar-naast maakt deze module zowel het bewaren van vragen en toetsen als het bewaren van de antwoorden van de studenten mogelijk. De antwoorden kunnen achteraf door het didactisch team worden bekeken via een analysetool. De mogelijke analyses zijn afhankelijk van het gebruikte platform. Zo biedt een aantal platformen de mogelijkheid tot psychometrische analyses (zie steekkaart ‘Meerkeuzevragen’). De resultaten kunnen worden gebruikt door het didactisch team om de toets of het onderwijs te opti-maliseren. Soms is het ook mogelijk om achteraf scores of feedback toe te kennen aan open vragen. Een toetsplatform kan zowel door een individuele docent worden gebruikt als door een volledig(e) de-partement, faculteit of instelling. Naarmate het aantal gebruikers stijgt, worden aspecten als beheer, beveiliging en privacy belangrijker. Soms bestaat de mogelijkheid een gezamenlijke databank aan te maken. Een gezamenlijke databank heeft als voordeel dat men gemakkelijker vragen en toetsen kan gebruiken van andere docenten, wat een aanzienlijke tijdsbesparing voor het didactisch team kan betekenen. Bij een gezamenlijke databank is het beheer en de beveiliging erg belangrijk om het ongewenst wissen van vragen of bevuiling van de databank tegen te gaan. Tevens is openheid naar andere didactische teams noodzakelijk. Om een geza-

Deze steekkaart maakt deel uit van het boek "Steekkaarten doceerpraktijk" van Mieke Clement en Lies Laga (Eds.), uitgegeven door Garant.

menlijke databank werkbaar te maken, is het aan te raden om metadata, d.i. informatie die de vragen omschrijven, aan de vragen toe te voegen. Deze metadata bevatten informatie over het onderwerp van de vraag, de aard van de vraag en de moeilijkheidsgraad. Op basis van de metadata kan men vervol-gens vragen selecteren. Waarvoor en hoe kan je het gebruiken? Een toetsplatform biedt de mogelijkheid om op een elektronische manier toetsen aan te bieden en feedback te voorzien op de antwoorden van de studenten. Een toetsplatform kan zowel voor formatief als summatief evalueren worden gebruikt. Een toetsplatform kan dan ook op uiteenlopende manieren worden gebruikt afhankelijk van de vorm en het doel van de evaluatie. Een toetsplatform kan worden gekozen omwille van de mogelijkheid om gepersonaliseerde toetsen te maken. Tijdsefficiëntie voor zowel het didactisch team als de student kan een andere reden zijn om te kiezen voor een toetsplatform. Na een initiële tijdsinvestering door het didactisch team kan een quasi onbe-perkt aantal studenten toetsen afleggen, zonder veel tussenkomst van het didactisch team. De student krijgt onmiddellijk feedback en heeft een grotere vrijheid over het moment waarop hij de toets aflegt. Indien gewenst, kan het didactisch team evenwel de toegang van de studenten beperken, zowel wat betreft de tijdsperiode als wat betreft het aantal keer dat de toets mag worden afgelegd. Voor summatief evalueren (zie steekkaart ‘Evalueren’) is de beveiliging een belangrijk aandachtspunt. De meeste systemen werken via intra- of internet. Identiteitscontrole is hierdoor niet vanzelfsprekend. En het is moeilijk na te gaan of de student externe bronnen gebruikt tijdens het afleggen van een toets. Voor formatief evalueren zijn deze facetten van ondergeschikt belang. Bij formatieve evaluatie (zie steekkaart ‘Evalueren’) is het geven van gerichte feedback cruciaal voor het effect dat de evaluatie heeft op het leergedrag. Het geven van feedback op individuele basis is echter tijds- en arbeidsintensief als dit handmatig moet gebeuren. Met een toetsplatform kan dit wor-den gereduceerd. Het is mogelijk om op een geautomatiseerde manier iedere student heel gedetail-leerde en gerichte feedback te geven afhankelijk van het antwoord dat de student geeft en de (veron-derstelde) redenering die tot dat antwoord heeft geleid. Het gebruik van een toetsplatform voor formatieve evaluatie kan worden aangevuld met de mogelijk-heid tot een persoonlijk gesprek met het didactisch team of de studiebegeleider wanneer de student dat wil. Wanneer het toetsplatform wordt gebruikt voor meerdere opleidingsonderdelen dan wordt het mogelijk om het leergedrag en karakteristieke fouten van een bepaalde student te overzien. Als een studiebegeleider alle antwoorden van een student over meerdere toetsen kan inzien, krijgt deze een beter overzicht en kan hij misschien patronen ontdekken. Hij zou bijvoorbeeld kunnen zien dat een student qua inzicht ver genoeg staat maar telkens moeite heeft met het toepassen van de leerstof. Het toetsplatform kan dan worden gebruikt als een vakoverschrijdend begeleidingsinstrument. Aanbevelingen en valkuilen - Een goede toets met uitgebreide en bruikbare feedback voor de studenten beschikbaar stellen, vergt

een grote inspanning en is tijdsintensief. Het is belangrijk om planmatig te werk te gaan zodat wordt vermeden dat er achteraf nog allerhande aanpassingen moeten worden gemaakt. Eerst moet het didactisch team voor zichzelf duidelijk maken wat de bedoeling is van de toets. Op basis daar-van wordt dan de vraagvorm geselecteerd, de geschikte vragen uitgedacht, de feedback geformu-leerd afhankelijk van het antwoord en de samenstelling van de toets uitgedacht. Daarna kunnen de vragen en toetsen op een handige en logische manier worden ingevoerd en samengesteld.

Deze steekkaart maakt deel uit van het boek "Steekkaarten doceerpraktijk" van Mieke Clement en Lies Laga (Eds.), uitgegeven door Garant.

- In een toetsplatform kunnen zowel gesloten als open vragen worden gesteld. Goede vragen formu-leren is niet eenvoudig (zie steekkaart ‘Meerkeuzevragen’).

- Er komen vrij snel veel gegevens in een toetsplatform terecht. Aan de kant van vraag- en toetsgege-vens betekent dit vragen, vraaggroepen, toetsen, figuren, multimediafiles. Daarnaast zijn er dan ook de antwoorddatabanken. Goed beheer van de verschillende bestanden en databanken is daarom van groot belang. Zeker als het systeem door meerdere mensen wordt gebruikt, is het belangrijk dat duidelijke afspraken worden gemaakt en nagekomen.

- De resultaatsgegevens kunnen interessante informatie opleveren, als ze op een goede manier wor-den opgeslagen. Het is belangrijk om op voorhand na te gaan hoe de antwoorden worden bewaard door het toetsplatform zodat daar bij de samenstelling van de vragen en toetsen rekening mee wordt gehouden.

- Wanneer het toetsplatform wordt gebruikt als begeleidingsinstrument over meerdere opleidings-onderdelen heen, dan is grote openheid noodzakelijk. Evaluatie wordt vaak beschouwd als een individuele bevoegdheid van het didactisch team en dit moet worden doorbroken als men het toets-platform wil gebruiken als overkoepelend begeleidingsinstrument. Idealiter worden ook afspraken gemaakt over de samenstelling van toetsen en over de codering van vragen, zodat de studiebegelei-der op een eenvoudige manier patronen in fouten kan nagaan.

- Er is enige scepsis of terughoudendheid bij studenten voor een toetsplatform, vooral bij formatieve evaluatie. Studenten stellen zich vragen over de mate waarop een elektronische toets hun vaardig-heden en kennis kan nagaan. Vooral indien de summatieve evaluatie een andere vorm aanneemt dan de formatieve evaluatie rijzen er twijfels. De terughoudendheid komt tot uiting in de vrees van studenten dat hun antwoorden consequenties zullen hebben op de manier waarop het didactisch team hen zal beoordelen op het eindexamen. Bij een toetsplatform wordt deze vrees versterkt door het feit dat de antwoorden van de studenten worden opgeslagen in een databank. Een duidelijke communicatie naar de student toe kan hier een antwoord bieden. Er kan worden verondersteld dat deze scepsis zal verminderen naarmate studenten meer ervaring hebben met dergelijke werkvormen en het leereffect ervan.

Gebruik van een digitaal leerplatform Hieronder worden enkele voorbeelden gegeven van hoe een digitaal leerplatform kan worden ingezet bij elektronisch toetsen: - verduidelijken van de functie van elektronische toetsen en de verwachtingen naar studenten toe; - linken naar toetsen aangemaakt via elektronische toetsplatformen, tenzij deze platformen reeds deel

uitmaken van het digitaal leerplatform zelf (zie Waarover gaat het?); - via elektronische toetsen geïndividualiseerde, foutspecifieke feedback geven aan (grote groepen

van) studenten; - elektronisch opvolgen van de resultaten van studenten op (tussentijdse) toetsen; - … Wil je er meer over weten? Mogelijkheden van toetsplatformen: http://www.edusite.nl/docs/edutrip2003/het_afnemen_van_toetsen_met_de_computer.pdf http://download.citogroep.nl/pub/ict-cbt/cbt_onderzoek.pdf Toetsen door middel van de computer: Computer Assisted Assessment (CAA) http://www.caacentre.ac.uk/index.shtml Brown, S., Racre, P., & Bull, J. (1999). Computer-assisted assessment in higher education. London: Kogan Page.

Deze steekkaart maakt deel uit van het boek "Steekkaarten doceerpraktijk" van Mieke Clement en Lies Laga (Eds.), uitgegeven door Garant.

Daniels, J. & van der Vleuten, C. (2002). De rol van ICT in toetsen en beoordelen. In J. Frencken, e.a. (red.), ICT in het hoger onderwijs: Stand van zaken (pp. 37-52). Leiden: ICLON. Gipps, C. (2005). What is the role for ICT-based assessment in universities? Studies in Higher Education, 30(2), 171-180. Stephens, D. (2001). Use of computer assisted assessment: Benefits to students and staff. Education for Information, 19, 265-275. Veel toetsplatformen hebben een eigen website, bijvoorbeeld: - Exambuilder: http://www.exambuilder.com/index.htm - Examiner: http://www.xmn.com/index.html - Pedagogue: http://www.pedagogue.com/mainInterface.html - Question Mark perception: http://www.qmark.com - Testpilot : http://www.clearlearning.com/ - USolv-IT: http://www.kulak.be/facult/wet/wiskunde/ooi/