4 De mogelijkheden van ICT in het toetsproces Flexibilisering... · Metadata betekent letterlijk:...

Flexibilisering van Toetsing

pagina 60 van 60

4 De mogelijkheden van ICT in het toetsproces In dit hoofdstuk staat de vraag centraal op welke manier we ICT kunnen gebruiken om toetsvragen en toetsen te ontwikkelen, te beheren, af te nemen en te verwerken. Ook staan we stil bij de vraag aan welke organisatorische voorwaarden daarvoor moet worden voldaan. Bij het ontwikkelen en beheren, en bij het afnemen van toetsen gaan we uitsluitend in op de mogelijke rol van ICT bij gesloten toetsvragen. Pas bij het verwerken van toetsen gaan we ook in op vrije tekstopdrachten. De reden daarvoor is dat ICT alleen bij de verwerking van dit type vragen een betekenisvolle rol kan spelen.

4.1 Gesloten toetsvragen ontwikkelen en beheren in een itembank

Het beheer van toetsen en toetsvragen is de verantwoordelijkheid van de toetsmakers en toetsgebruikers. In de toetscyclus neemt het beheer een centrale plaats in (zie ook het toetsfasenmodel in hoofdstuk 2 van dit boek). Vanuit het oogpunt van efficiency en effectiviteit is het het beste om alle vragen en alle toetsen per instelling onder te brengen in één systeem. Te vaak nog hebben docenten al hun vragen in hun eigen computer in Word-bestanden gezet. Het kan makkelijker en beter, bijvoorbeeld met behulp van een itembank. Een itembank is een geautomatiseerd toetssysteem, waarin een groot aantal toetsvragen opgeslagen kan worden. De programmatuur om deze database te vullen, doorzoeken, ordenen en om selecties van toetsvragen te maken het een ‘itembanksysteem’. Bij sommige instellingen bevat een itembank meer dan 10.000 vragen. Het gebruik van een itembank voor de opslag van vragen en het samenstellen van toetsen heeft een aantal belangrijke voordelen (Dousma, Horsten et al. 1997): • een vraag hoeft slechts éénmaal te worden ingetypt; • een vraag is snel te verbeteren, waardoor typografische fouten voorkomen kunnen worden; • kwalitatief slechte vragen zijn snel op te sporen en te verbeteren; • er is een goed zicht op de totale itembank en de verdeling naar leerstofonderdelen

(eenvoudig te onderhouden); • toetsvragen zijn eenvoudig te selecteren voor opname in een toets; • meerdere toetsversies, bijvoorbeeld om spieken tegen te gaan, zijn simpel te produceren; • opslag van analyseresultaten kan worden geautomatiseerd.

4.1.1 Een itembank ontwerpen

Voordat een itembank op instellings-, opleidings- of disciplineniveau gevuld wordt met toetsvragen, is het van essentieel belang om de hoofdindeling van de itembank vast te leggen. Daarvoor zijn de volgende beslissingen van belang: 1. bepaal de doelen die de itembank moet dienen; 2. bepaal de hoofdstructuur van de itembank en metadatamodel. Het doel van een itembank Om te beginnen is het van belang om na te gaan voor welke functie een itembank in het onderwijs ingezet gaat worden. Gaat het om toetsvragen voor digitaal onderwijsmateriaal, om toetsvragen en toetsen voor zelfstudie en oefendoeleinden, of gaat het om toetsvragen en toetsen voor diagnostische of summatieve doeleinden? Het kan zijn dat binnen één itembank toetsvragen en toetsen worden opgenomen voor al deze functies. Het is echter ook mogelijk om voor elke


pagina 61 van 61

toepassing een andere itembank op te zetten. Een vuistregel kan zijn om toetsvragen die ingezet worden in digitaal onderwijsmateriaal niet in een itembank op te slaan. De inzet in dergelijk materiaal moet bij voorkeur direct gekoppeld worden aan dat materiaal. Zelfstudie en oefening Gaat het om materiaal voor zelfstudie en oefening, dan kan het lonen om daarvoor een aparte itembank op te zetten. Een itembankfunctionaliteit zoals die beschikbaar is in standaard digitale leeromgevingen kan hiervoor al erg geschikt zijn. De kwaliteitsbewaking van dergelijk toetsmateriaal hoeft aan minder stringente eisen te worden onderworpen en hangt direct samen met de inhoud van een specifieke cursus of vakinhoud. Voor dergelijke toetsbanken is het aan te raden om zo contextrijk mogelijk toetsvragen te ontwikkelen; door contextrijke formulering van de stam van vragen, door te variëren in vraagtype, door plaatjes, geluid of film te gebruiken en goede feedback te formuleren, wordt de inzet van ICT bij toetsing waardevoller. Hiermee komen de didactische voordelen van ICT en beeldschermafname het best tot hun recht. Houd er echter wel rekening mee dat het formuleren van goede feedback de ontwikkeltijd voor toetsvragen erg kan vergroten. Sterker nog, het formuleren van feedback kan net zo veel of zelfs meer tijd kosten dan het maken van een goede toetsvraag. Voor de oefenfunctie kan die inspanning echter zeker de moeite waard zijn. Diagnose en certificering Gaat het om materiaal voor zelfstudie-, formatief-diagnostische of summatieve doeleinden, dan is het aan te raden om deze in één itembank onder te brengen. Gezien de kwaliteitseisen voor dergelijke toetsvragen en toetsen is het dan ook zinvol om die uitgebreid te beheren. Wel is het belangrijk om binnen de structuur van die itembank het onderscheid duidelijk te maken tussen vragen die worden gebruikt voor de enerzijds diagnostische en anderzijds summatieve doeleinden. Toetsvragen die aan studenten voorgelegd worden voor summatieve doeleinden, moeten immers goed beschermd worden zodat deze niet al bekend zijn en verspreid kunnen worden voorafgaand aan dergelijke toetsen. Verder kan gesteld worden dat in itembanken voor diagnostische of summatieve doeleinden meer gestandaardiseerd zou moeten worden op vraagtype. Grote variatie in vraagvormen maakt het namelijk moeilijker om de psychometrische kwaliteit van dergelijke vragen te kunnen. Als we uitgaan van een systematisch proces van toetsvraagontwikkeling, levert veel variatie in vraagvorm bovendien een extra complex proces op voor wat betreft scholing, screening e.d. Ook maakt veel variatie in vraagvorm het moeilijker om gestructureerd toetsmatrijzen te ontwikkelen. Vraagvormen zoals matrixvragen en matchingsvragen bevragen studenten immers op veel informatie en onderwerpen tegelijkertijd. Dat maakt dat het moeilijker wordt om representatieve selecties uit een databestand te maken. De kans op overlap van vragen of de kans dat vragen antwoorden weggeven voor andere vragen, neemt dan sterk toe. Tot slot kan gezegd worden dat de inzet van veel complexere vraagtypes en het gebruik van multimedia bij summatieve beeldschermafname sneller kan leiden tot technische onbetrouwbaarheid van dergelijke systemen. De complexiteit van de techniek maakt dat deze eerder kan falen. Juist om die reden moet het dan ook mogelijk zijn om terug te vallen op schriftelijke afname, waarvoor bij voorkeur vraagtypen worden gekozen die ook op die wijze te beantwoorden en snel nagekeken kunnen worden.

Welke primaire vraagvorm kiest u?


pagina 62 van 62

• Ja/nee-vragen: Geschikt voor bevragen van een breed spectrum van onderwerpen doordat certificerende toetsen in het algemeen tussen de 70 en 100 vragen moeten bevatten om enerzijds de toetslengte acceptabel te houden en anderzijds nog een waardevolle toetsanalyse te kunnen doen. Bovendien geschikt voor afname met pen en papier met automatische verwerking zodat beeldschermafname niet per se nodig is.

• Multiplechoicevragen met vier alternatieven: Geschikt voor bevragen van een smaller spectrum van onderwerpen doordat certificerende toetsen in het algemeen tussen de 40 en 50 vragen moeten bevatten. Dat is nodig om enerzijds de toetslengte acceptabel te houden en anderzijds nog een waardevolle toetsanalyse te kunnen doen. Bovendien geschikt voor afname met pen en papier met automatische verwerking zodat beeldschermafname niet per se nodig is.

• Multimediale vraagvormen (hot-spot, drag&drop, matching, dropdown, aanvulvragen): dit is meer geschikt voor het bevragen op een hoger cognitief niveau, niet meer geschikt voor pen & papierafname met automatische verwerking. Als summatieve beeldschermtoetsing plaatsvindt zal er een betrouwbare omgeving beschikbaar moeten zijn.

• Een casusachtige vraagvorm (stam met meerdere vragen of stellingen): deze vorm is meer geschikt voor het bevragen op een hoger cognitief niveau, niet meer geschikt voor pen-en-papierafname met automatische verwerking. Voor itembankdoeleinden met een certificerend karakter veroorzaakt een dergelijke vrijheid een exponentiële toename van de complexiteit om toetsvragen te selecteren.

De hoofdstructuur van de itembank bepalen Een itembank moet gezien worden als een relationele database. In die database zitten verschillende toetsvragen met de daarbij behorende gegevens (stam, alternatieven, feedback, teksten, plaatjes, beoordelingscriteria, etc.). Meestal zijn databases zo ingericht dat per vakinhoudelijk onderwerp een subverdeling duidelijk zichtbaar is: • domein/competentie,

o subdomein/subcompetentie, •subsubdomein/subsubcompetentie

• toetsvraag A • toetsvraag B • toetsvraag C

Het kiezen en afbakenen van deze onderwerp-/domeinindeling is vaak al een moeilijk proces en dient ook op het hoogste niveau bediscussieerd te worden. Vaak komt boven op deze indeling bijvoorbeeld nog een indeling naar organisatorische eenheid, zoals een faculteit of vakgroep, waartoe het domein behoort, en soms zelf een specifieke docent. Dat laatste zou echter vanuit het oogpunt van schaalvergroting en specialisatie ongewenst zijn. Daarnaast bevat een itembank de mogelijkheid om aan toetsvragen metadata te koppelen. Metadata betekent letterlijk: data over data (gegevens over gegevens), het is beschrijvende informatie over eigenschappen van data, in dit geval toetsvragen. Een metadatabeschrijvingsmodel bestaat over het algemeen uit een verzameling van kenmerken, waarbij elk van die kenmerken een (vastgestelde) waarde aan kan nemen. Een kenmerk kan bijvoorbeeld ‘moeilijkheidsgraad’ zijn en deze kan alleen de vastgestelde waarden ‘gemakkelijk’, ‘gemiddeld’ of ‘moeilijk’ aannemen. Een metadatamodel kan de volgende kenmerken bevatten:


pagina 63 van 63

• Gebruiksgegevens (bijvoorbeeld ‘wie’ heeft een vraag het laatst bewerkt of wie is inhoudelijk verantwoordelijk voor een vraag);

• Validatie (bijvoorbeeld wanneer gescreend en door wie); • Bevragingsniveau (bijvoorbeeld kennis, begrip, toepassing of denken); • Kenmerken over functie van toetsvraag (bijvoorbeeld ‘oefenen’, ‘diagnostisch’, ‘summatief’); • Inhoudelijke kenmerken of attributen, zoals onderwerpen of trefwoorden; • Levenscyclus(bijvoorbeeld wanneer beantwoord en door wie); • Vraagvorm (bijvoorbeeld multiple choice, multiple answer, TF en Match); • Psychometrische kenmerken (bijvoorbeeld moeilijkheidsgraad van de toetsvraag). Een metadatamodel heeft een verband met de structuur van de itembank. Elk van de kenmerken zou namelijk kunnen resulteren in aparte databestanden, waarbij het gegeven kenmerk de primaire ordeningssleutel is. Over het algemeen is het vakinhoudelijk onderwerp echter de belangrijkste ordeningssleutel. Daaroverheen worden dan metadatagegevens geplaatst. Als de metadata erg uitgebreid zijn, dan zal ook de tijd voor het invoeren en beheren (met name volledigheidscontrole) van de itembank toenemen. Het invoeren zal dan zeker niet meer overgelaten kunnen worden aan individuele docenten.

Kader 22 Voorbeeld van een metadatamodel (White 2002)

e3an staat voor Electrical and Electronics Engineers Assessment Network. Het e3an-project houdt zich bezig met bouwen en in de lucht houden van een netwerk voor toetsing van engineering assessments voor docenten in Groot-Brittannië. Het project wordt geleid door Su White en is een samenwerking tussen de universiteiten van Southampton, Bournemouth en Portsmouth. Voor dit project zijn richtlijnen geschreven voor de makers van de toetsvragen. Veel van deze richtlijnen hebben betrekking op technische aspecten. In dit voorbeeld zijn het echter de metadata die van belang zijn. In het project wordt aan de makers van toetsvragen een Word-sjabloon aangeleverd6. Het sjabloon zorgt ervoor dat de metadata gestructureerd ingevoerd worden, waardoor de kwaliteit van de metadata gewaarborgd blijft. Type of Item What sort of question?

Time Expected to take in mins

Level Introductory, intermediate, advanced or postgraduate

Discrimination Threshold Students, Good Students, Excellent Students

Cognitive Level Knowledge, understanding, application, analysis, synthesis, evaluation

Style Formative, Summative, Formative or Summative, Diagnostic

Theme Which Subject Theme was this question designed for?

Subthemes What part of that theme?

Related Themes What Other Themes might find this question useful?

Description Free text for use by people browsing the database

Keywords Free Text, for use by people searching the database. e.g. mention theorem tested

Validation Can you confirm that this question has been validated and conforms to the e3an

question guidelines?

Peer Reviewed Date of peer review (dd/mm/yyyy)

Reviewer(s) Who was/were the reviewer(s)?

Comments Comments made by the reviewer.

6 http://www.e3an.ac.uk/consultants/portal/writing/new/metadata.dot

http://www.e3an.ac.uk/consultants/portal/writing/new/metadata.dot


pagina 64 van 64

Veel meer informatie over het opzetten van een gezamenlijke itembank is ontwikkeld in het kader van een project van de Digitale Universiteit ‘Digitale Voortgangstoetsen Tweedegraads Lerarenopleiding’. Daarvan komt informatie beschikbaar via de website van de Digitale Universiteit: http://www.digiuni.nl > Producten > Digitale Toetsen > Digitale Voortgangstoetsen Tweedegraads Lerarenopleidingen > On-line presentatie

4.1.2 Digitaal toetsbeheer

Individuele docenten zien het beheer van toetsen en toetsvragen in een itembank al snel als een probleem. Het beeld van de docent die al zijn vragen in MS-Word heeft staan is bekend. Het nadeel van uitgebreide toetsbestanden in Word is dat het niet eenvoudig is om vragen toe te voegen of te selecteren. Zonder verdere technologische of organisatorische ondersteuning kunnen deze docenten zo echter wel hun werk uitvoeren. Flexibilisering op dit terrein zou een eerste innovatiestap kunnen zijn. Soms hebben docenten zelf een toetsbank aangelegd in een eenvoudig databasesysteem. De toetsen worden per tentamen geprint.

Kader 23 Docenten van de Haagse Hogeschool zetten zelf een Filemaker-bestand in elkaar

De Haagse Hogeschool, afdeling Industrieel Productontwerpen, biedt probleemgestuurd onderwijs (PGO). De studenten moeten gedurende een aantal weken werken aan verschillende probleemtaken. De afsluiting bestaat uit een toets over het gehele blok. De toets bepaalt het grootste deel van het eindcijfer. De opleiding heeft bepaald dat deze eindtoetsen altijd moeten bestaan uit ja/nee/-vragen. In elke toets moeten minimaal 80 vragen gesteld worden. Elk jaar staan de docenten weer voor de taak om deze toetsen samen te stellen. Een lastig karwei. Met het programma TIBS kan aan een itembank gewerkt worden, maar de docenten ervaren het als een te grote drempel om dat programma te ‘bemachtigen’: Het is ‘in bezit’ bij specialisten in een ‘andere afdeling’ en ze moeten op een of andere manier geld krijgen om een dergelijk programma te gebruiken. Twee docenten besluiten daarop om zelf maar een itembankje te maken. Een van de docenten is handig in het werken met het databaseprogramma Filemaker. Hij ontwerpt een eenvoudige itembank, waarin plaatjes en extra kenmerken toegevoegd kunnen worden. Met deze itembank kan gemakkelijk een random selectie van vragen gemaakt kan worden en kan de toets mooi uitgeprint worden.

Gedurende één blok besluiten ze onderling om elke week elk 50 toetsvragen te formuleren en in de bank te plaatsen. Zo zullen ze aan het eind van het blok zo’n 600 vragen hebben verzameld. Het is een flinke klus, maar ze houden elkaar aan de afspraak. Dan komt de tijd om de toets te maken. Ze maken een random selectie van ongeveer 100 vragen. Ze controleren de uitdraai en verwijderen de

http://www.digiuni.nl


pagina 65 van 65

slechte vragen, verbeteren de nog overgebleven taalfouten en controleren of onderwerpen niet dubbel voorkomen. Na afloop van de toets verwerken ze de toetsanalyse (die gedaan wordt door een centrale dienst van de instelling) in de itembank. Van elke vraag is dan bekend bij welke toets deze vraag is voorgelegd en welke Rit-waarde bij een vraag hoort. Ongeveer zes jaar achter elkaar volgen ze deze procedure. Een goede investering vinden de docenten zelf! Voor geïnteresseerden is het Filemaker-bestand te vinden in de website van Flexibilisering van Toetsing. Natuurlijk moet individuele docenten op dit moment worden aangeraden om gebruik te maken van eenvoudige programma’s zoals Respondus, MicroTest of Diploma (Brownstone) die voor minder dan € 100,- te koop zijn.

In Nederland stellen bijna alle instellingen een elektronische leeromgeving (zoals Blackboard, N@Tschool! of WebCT) beschikbaar te stellen aan studenten en docenten. Daarin kunnen docenten zelf toetsbanken maken. Binnen die omgevingen hebben de docenten bovendien de vrijheid om zelf te bepalen hoe ze de toetsen aanmaken, beheren en uitleveren. Deze systemen worden steeds meer gebruikt. Ook zijn er (gratis) internetomgevingen beschikbaar om eenvoudige toetsbanken in aan te maken (Quia, TOIA, EDU, WebAssign). Toch zien docenten er vaak tegenop om hun bestaande toetsmateriaal in Word-formaat handmatig om te zetten naar de elektronische leeromgeving, omdat ze denken dat het knip- en plakwerk een tijdrovende bezigheid is. De huidige programma’s bieden echter steeds meer faciliteiten om het inlezen van tekstbestanden te vergemakkelijken. Een andere zorg die docenten hebben is dat hun toetsbank niet geconverteerd kan worden naar andere omgevingen. Ze stellen de terechte vraag of hun investering in tijd niet verloren gaat door almaar opkomende nieuwe technologieën en standaarden. De opkomst van de huidige IMS QTI-standaard lijkt echter definitief door te zetten, waardoor dat probleem steeds minder reëel wordt. Bovendien evolueren bestaande – eenvoudigere – itembankprogramma’s zodanig dat ze bijna altijd een uitvoermogelijkheid hebben naar bijvoorbeeld WebCT of Blackboard (Respondus, Diploma, MicroTest). Anders is transport van data via QTI files meestal mogelijk (zie Kader 25). Als het gaat om het opzetten van itembanken op het niveau van vakgroepen, opleidingen of gehele instellingen, dan zijn geavanceerde itembankprogramma’s nodig. Te denken valt dan aan programma’s zoals TestVision, Etude, Questionmark Perception, FastTest en Examiner. Deze programma’s bieden te veel functies voor de docenten die zo nu en dan iets met een itembank willen doen, maar zijn zeker noodzakelijk voor specialisten om dergelijke grote bestanden goed te kunnen beheren. Voorbeeld van succesvol toetsbeheer Een succesvol voorbeeld van het gezamenlijk opbouwen en beheren van een itembank is het Maastrichtse probleemgestuurd onderwijs (zie onderstaande kadertekst). Binnen dat onderwijs wordt door middel van een voortgangstoets alle studenten op eindniveau op hun kennis getoetst. Gedurende hun studieloopbaan moet de score op die toets steeds beter worden. Van cruciaal belang is uiteraard dat de disciplinair ingerichte vragen van de voortgangstoets op het beoogde eindniveau van de opleiding worden geformuleerd. Hierdoor kan de student zijn vorderingen ten opzichte van de gestelde eindtermen evalueren in vergelijking met de resultaten van het jaarcohort. De uitslag geeft studenten verder inzicht in het bereikte kennisniveau in de verschillende (sub)disciplines (Wijnen en Muijtjens 2002; Leunissen 2004).


pagina 66 van 66

Kader 24 Voortgangstoetsing medische faculteiten Groningen, Maastricht, Nijmegen

De Universiteit van Maastricht was de eerste Nederlandse Universiteit die het probleemgestuurd onderwijs (PGO) als integraal onderwijsmodel heeft gebruikt in haar curricula. Vooral bij de medische faculteit is dit een aansprekend succes gebleken. Een belangrijke rol binnen dat PGO was weggelegd voor de voortgangstoets. De voortgangstoets is bedoeld om de voortgang in kennisontwikkeling gedurende de studie te toetsen. De voortgangstoets wordt daartoe vier maal per jaar (in september, december, maart en mei/juni) afgenomen bij alle studenten Geneeskunde van het curriculum 1995. Iedere voortgangstoets bestaat uit ongeveer 250 items op het gebied van de geneeskunde, die zijn afgestemd op de eisen van het artsexamen. Voor elke voortgangstoets worden de vragen volgens een vaste verdeelsleutel (de zogenoemde blauwdruk) geselecteerd uit een geautomatiseerd bestand, waarin alle vragen die door de disciplines zijn aangeboden voor gebruik in de voortgangstoets zijn opgeslagen. In de verdeelsleutel is vastgelegd hoeveel vragen er per onderwerp (bijvoorbeeld ademhalingsstelsel; hart- en vaatstelsel) en per vakdiscipline (bijvoorbeeld celbiologie; psychiatrie) gemiddeld per jaar en per toets geselecteerd moeten worden. Deze vorm van voortgangstoetsing bestaat sinds het studiejaar 1999/2000 en is een gezamenlijke onderneming van de geneeskundeopleidingen in Groningen, Maastricht en Nijmegen. Met ingang van het studiejaar 2001/2002 wordt ernaar gestreefd dat Groningen, Maastricht en Nijmegen alle drie ongeveer evenveel vragen per toets aanleveren. Voortgangstoetscommissies Aan elke deelnemende faculteit is een Voortgangstoetscommissie benoemd die bestaat uit vertegenwoordigers van drie disciplineclusters: Basisvakken, Klinische vakken en Gedragswetenschappelijke vakken. De voortgangstoets wordt namens die drie facultaire commissies samengesteld door de Interfacultaire Voortgangstoets Commissie (IVC), die bestaat uit vertegenwoordigers van de drie facultaire commissies. Hoe komt de voortgangstoets tot stand? De disciplines die participeren in het onderwijs in de opleidingen Geneeskunde in Groningen, Maastricht en Nijmegen maken de vragen. Elke discipline is verantwoordelijk voor de inhoudelijke kwaliteit van de geleverde vragen. De vragen worden door de disciplines voorzien van een literatuurreferentie. Dit is een verwijzing voor studiedoeleinden waarmee ook de juistheid van de aangegeven antwoordsleutel gecontroleerd kan worden. Elke vraag die in de itembank voor de voortgangstoetsing wordt opgenomen, wordt eerst beoordeeld door ten minste een van de drie facultaire Voortgangstoetscommissies. De inhoudelijke correctheid wordt onderzocht en de eenduidigheid van de formulering wordt gecontroleerd. Ook wordt gekeken naar de relevantie voor de arts. Zonodig overlegt de commissie met de desbetreffende discipline en wordt de vraag aangepast of uit het bestand verwijderd.

4.1.3 Automatische toetssamenstelling via een itembank

Metadata zijn belangrijk om het overzicht te bewaren van de beschikbare toetsvragen. Ook maken metadata het mogelijk om toetsitems systematisch en efficiënt te ontwikkelen, te vinden en te selecteren. Zeker als toetsen samengesteld moeten worden zijn een goed gekozen metadatamodel en kwaliteitscontrole van de metadata van groot belang. In de meest verregaande vorm van automatisering wordt een summatieve beeldschermtoets immers samengesteld door op basis van een toetsmatrijs willekeurige items uit een bank te trekken. Dat laatste kan dan alleen op grond van zeer betrouwbare metadata.


pagina 67 van 67

In de praktijk zal dat echter bijna niet mogelijk zijn. Ondanks de nauwkeurige werkwijze kunnen er namelijk snel onverwachte en ongewenste effecten optreden, zoals dat vragen de antwoorden op elkaar ‘verraden’ (hoewel dit bijvoorbeeld met een itembankfunctie zoals ‘parallelvraag’ deels kan worden opgelost) . In het algemeen is volledige automatisering niet mogelijk en zal bij summatieve toepassing een controle moeten plaatsvinden. Een eerste versie van 'getrokken' toets wordt wel de 'ruwe versie' of 'docentversie' genoemd. Deze wordt voorgelegd aan een toetscommissie of de docent, die de toets helemaal naloopt. Nadat de toets eventueel is aangepast, kan er een studentversie worden uitgedraaid of klaargezet voor beeldschermafname. Kortom, metadata zijn erg belangrijk, want zonder metadata kan niet gewerkt worden met itembanksystemen. Desondanks leveren metadata nog geen ‘sluitend’ systeem op.

4.1.4 Itembank bevordert hergebruik en uitwisseling van toetsvragen

Een belangrijk aspect bij het opzetten van een itembank is de overweging of de ontwikkelde toetsvragen op langere termijn bruikbaar blijven. Veroudering van toetsvragen Er is een aantal redenen waarom toetsvragen over het algemeen ‘verouderen’: • door verandering van curricula, • door voortschrijdende wetenschappelijke inzichten. Door wijzigen in studieprogramma’s, in vakinhouden van cursussen of in leerstofmateriaal (zoals nieuwe drukken van boeken of overstap op andere boeken), kunnen toetsvragen snel niet meer passen bij de inrichting van een curriculum. Ervaringen van de Universiteit Maastricht laten zien dat bijna 80% van de oude vragen bij hernieuwde screening toch moet veranderen of moet vervallen. Dat maakt dat beheer en screening van toetsvragen een zeer intensieve bezigheid kan zijn. Om deze activiteiten toch zo efficiënt mogelijk te kunnen uitvoeren, is het noodzakelijk om een metadatamodel zo te kiezen dat bijvoorbeeld hercodering van vragen relatief eenvoudig is en dat specifieke toetsitems snel gelokaliseerd en aangepast kunnen worden. Verandering van technologie Ook zijn er technologische ontwikkelingen waardoor bij de keuze en inrichting van een itembanksysteem goed nagedacht moet worden over standaardisering en metadata. Door voortschrijdende technische ontwikkelingen en het komen en gaan van toetsprogramma’s en hun leveranciers moeten toetsvragen immers zo nu en dan tussen systemen verplaatst worden. Bij het uitwisselen van toetsmateriaal (content) van de ene leeromgeving naar de andere, kan gekozen worden voor de volgende mogelijkheden: 1. Het materiaal kan handmatig overgezet worden, bijvoorbeeld door het te printen en opnieuw in

te voeren, of door het digitaal te knippen en plakken tussen de verschillende leer- of toetsomgevingen. Zodra er meer gegevens overgezet moeten worden, zal dit echter al gauw een dure aangelegenheid worden. Hiervoor kunnen bijvoorbeeld uitzendkrachten ingehuurd worden.

2. De verschillende leer- of toetsomgevingen kunnen met behulp van speciaal geschreven stukjes software (interfaces) aan elkaar verbonden worden. Zo kunnen de verschillende omgevingen de beschikbare gegevens met elkaar uitwisselen (voorbeeld Rechten On-line (Gorissen 2003)).

3. Er kan een gezamenlijk format worden afgesproken, waarmee de gegevens uitgewisseld kunnen worden. Het verdient dan de voorkeur om dit uitwisselformaat gezamenlijk op te stellen, onder de verantwoordelijkheid van een neutrale instelling. Dit voorkomt dat het


pagina 68 van 68

uitwisselformaat te veel toegespitst is op de specifieke situatie van een van de leeromgevingen. Dat zou acceptatie van het uitwisselformaat door de andere leveranciers belemmeren. Op dit moment is IMS-QTI de meest geaccepteerde specificatie. Programma’s die op deze specificatie zijn gebaseerd, kunnen in principe elkaars toetsvragen (zonder verdere conversie) gebruiken. In de praktijk geldt dat echter alleen voor de simpeler vraagtypen (Gorissen 2003), maar een begin van een duurzame standaardisering is er.

Kader 25 Question and Test Interoperability (IMS 1997-2004)

Het IMS Global Learning Consortium heeft een aantal jaren geleden aangegeven een neutraal uitwisselingsspecificatie, ‘question and test interoperabilty (QTI)’ te ontwikkelen voor: • vragen (items) • onderdelen met bij elkaar horende vragen (sections) • complete toetsen (assessments) Hiermee wil IMS systemen van verschillende leveranciers integreren en de uitwisseling van toetsvragen en toetsen tussen de verschillende instellingen faciliteren. Hoewel de QTI-specificatie nog geen internationale standaard is, blijkt deze nu stabiel genoeg voor leveranciers om hun software op aan te passen. Vanwege de omvang en complexiteit van de QTI-specificatie is er ook een QTI-Litevariant ontwikkeld. Deze bevat minder mogelijkheden, maar is eenvoudiger te ondersteunen vanuit een applicatie. Er zijn op dit moment al meerdere programma’s die QTI-uitwisseling ondersteunen. Voorbeelden hiervan zijn Questionmark Perception, Respondus, WebCT, IMS Assesst Designer, Canvas en Learn Exact. Voor meer specifieke informatie over QTI en de toepasbaarheid daarvan verwijzen we naar andere initiatieven van de Digitale Universiteit en SURF (Gorissen 2003). Op de website van de Digitale Universiteit is daar meer over te vinden: http://www.digiuni.nl > Publicaties > Quickscan QTI.

4.2 Randvoorwaarden voor digitale toetsafname

Naast het ontwikkelen en beheren van toetsen en toetsvragen zijn het afnemen van de toetsen en het terugontvangen van de resultaten belangrijke fasen in het toetsproces. Globaal gezien zijn daarvoor twee mogelijkheden. Studenten krijgen de toets schriftelijk voorgelegd en ze moeten schriftelijk antwoorden (bijvoorbeeld op een voorgeprint invulformulier), of ze krijgen de toets via het beeldscherm aangeboden en kunnen via het beeldscherm antwoorden: beeldschermafname. De vraag die in deze paragaaf wordt beantwoord is op welke manier we ICT kunnen gebruiken om toetsvragen en toetsen via het beeldscherm af te nemen bij studenten en aan welke organisatorische voorwaarden daarvoor moet worden voldaan. Er is op dit moment al veel mogelijk bij het afnemen van zelftoetsen met de computer. Bijna alle standaard digitale leeromgevingen zoals Lotus Learning Space, Blackboard, N@Tschool! en WebCT hebben een ingebouwde toetsomgeving, waarmee het mogelijk is studenten een toets te laten maken op elke willekeurige pc met internetaansluiting.

http://www.digiuni.nl


pagina 69 van 69

4.2.1 Support en ondersteuning voor docenten

Is het noodzakelijk om de toetsen onder enigszins gecontroleerde condities af te nemen, dan is het nodig om docenten actieve ondersteuning te bieden. Zeker vanuit de optiek van summatieve beeldschermtoetsing moeten de omstandigheden waaronder de toets plaatsvindt optimaal zijn. Dat stelt eisen aan de inrichting van de zaal, maar vooral ook aan de bedrijfszekerheid van met name de computers en het toetsprogramma. Verder moeten de bewaking van de resultaten en het ingeleverde materiaal geborgd worden zodat gegevens niet verloren gaan of ‘verminkt’ raken. Het reserveren van computerzalen – en zeker grote zalen met veel pc’s – is een zeer vervelende klus voor docenten. Zeker als zij zich niet ondersteund voelen door het management, het roosterbureau of hun IT-dienst. Over het algemeen staan bijvoorbeeld systeembeheerders niet te springen om gewone pc-lokalen voor iets anders in te zetten dan voor regulier ‘studentenwerk’. Dat brengt namelijk veel werk met zich mee omdat ze dan pc’s moeten ‘opschonen’, voorzien van specifieke beveiligingssoftware, speciale accounts, etc. De Graaff (2002) geeft tot slot de volgende aanwijzingen voor docenten die overwegen om te tentamineren via het beeldscherm. Commitment • Het management of de onderwijsdirectie vindt de inzet van ICT voor toetsing belangrijk en is

bereid extra tijd te geven voor pilots en het ontwikkelen van expertise. • Het systeembeheer vindt de inzet van ICT voor toetsing belangrijk, wil meewerken en heeft

gelegenheid extra tijd en energie daaraan te besteden. • Het roosterbureau vindt de inzet van ICT voor toetsing belangrijk en heeft zeggenschap over

de inroostering van pc-zalen. • Er zijn voldoende collega’s die inzet van ICT voor toetsing belangrijk vinden. Er vallen

afspraken te maken over de werkverdeling en het beheer van vragenbestanden. De docenten hebben tijd en zijn gemotiveerd.

Infrastructuur • Is er voor iedere student die getoetst moet worden een pc beschikbaar? En als dat niet zo is,

is het dan mogelijk om studenten in twee sessies direct achter elkaar te toetsen, door ze andere of randomvragen aan te bieden?

• Als u gebruik moet maken van meerdere pc-zalen, is uw opleiding dan bereid om extra surveillanten in te zetten voor tentamens die met ICT worden afgenomen?

• De pc’s dienen geschikt te zijn om de software waarmee het tentamen wordt afgenomen vlot en zonder problemen te draaien.

Cursus • Studenten moeten van tevoren kunnen oefenen met de manier van tentamineren. Biedt het

cursusprogramma ruimte om studenten te laten oefenen? • Is er een locatie beschikbaar waar studenten hun tentamenuitslagen kunnen inzien? • Biedt de software mogelijkheden om de tentamenresultaten in detail per student door te

nemen? Kosten en baten • Is er sprake van een vak dat minimaal een aantal jaren gegeven wordt? • Is het vakgebied zo stabiel dat de vragen minimaal een aantal jaren bruikbaar blijven? • Gaat het om grote groepen studenten?


pagina 70 van 70

4.2.2 Een bedrijfszekere infrastructuur

Zoals we hiervoor beschreven is het belangrijk dat het toetsbeheer ‘uitbesteed’ kan worden en ondersteund wordt door specialisten om het beslag op tijd en middelen van individuele docenten en opleidingen te minimaliseren. Dat laatste kan alleen als er een (semi-)permanent beveiligde en bedrijfszekere toetsinfrastructuur aanwezig is op centraal instellingsniveau. Met toetsinfrastructuur duiden we aan alle componenten, afspraken en werkwijzen die gezamenlijk een toetsomgeving vormen. De volgende componenten zijn van belang: Toetssoftware • De itembanksoftware (administratorfuncties, beheersfuncties, auteursfuncties,

studentfuncties, analysefuncties e.d.) • De eventuele webserversoftware voor uitleveren van de toetsen Functionarissen • Toetsontwikkelaars (docenten e.d.) • Toetsdeskundigen • Toetsbeheerders • Roosteraars Fysieke omgeving • Zaal met daarin onder andere pc’s, tafels, stoelen, wanden, borden, lampen, klimaatcontrole

en afscheidingselementen Netwerkomgeving • Pc’s waarop studenten de toetsen kunnen doen • Netwerksystemen, bekabeling, etc. Procedures en afspraken • Handboeken • Instructiemateriaal • Procedurebeschrijvingen • Werkafspraken Het is belangrijk dat de fase van toetsafname en toetsverwerking zonder technische haperingen verloopt. De student heeft immers meestal een beperkte hoeveelheid tijd tot zijn beschikking om een prestatie te leveren. Elke technische storing lijdt tot tijdverlies en tot verlies van concentratie. Wanneer is een toetsinfrastructuur dan betrouwbaar? • Als die 99,9% up-time is (100% eigenlijk) • Als er directe toetsapplicatie troubleshooting beschikbaar is tijdens toetsafname • Als er directe netwerk troubleshooting beschikbaar is tijdens toetsafname • Als er directe uitleg van toetsinterface beschikbaar is via bijvoorbeeld surveillanten • Als inputacties van studenten direct gelogd en geback-upt worden (zodat bij het uitvallen van

de apparatuur of per ongeluk verlaten van een toets de tussenresultaten niet verloren gaan). • Als toetsresultaten direct worden vastgelegd. • Als er schone pc-systemen zijn met de juiste software en multimediacomponenten die op de

juiste wijze geïnstalleerd worden. Bovengenoemde eisen leiden tot een toetsomgeving waarbij sprake is van een robuust toetsprogramma met robuuste onderliggende databases waarin gegevens zijn opgeslagen. Daarnaast leiden de eisen tot de opzet van een infrastructuur waarbij diverse specialisten aanwezig zijn tijdens toetssessies. Dit leidt tot een oplossing waarbij de pc’s niet vervuild mogen zijn door


pagina 71 van 71

ongeautoriseerde gebruikers die systeemconfiguraties kunnen wijzigen (bijvoorbeeld besmetten met virussen of verwijderen van essentiële systeemcomponenten om alle programma’s zonder haperingen te kunnen laten functioneren). De pc’s moeten met andere woorden onder (streng) toezicht staan. De organisatie moet zich er als geheel voor inspannen om deze condities te creëren.

4.2.3 Een beveiligde infrastructuur

Instellingen mogen van studenten eisen dat ze bij certificerende toetsen een authentieke persoonlijke prestatie leveren. Instellingen moeten daarvoor echter wel randvoorwaarden creëren dat dat mogelijk is. Dat stelt daarom eisen aan de inrichting van de toetsomgeving en aan de netwerkomgeving. Pc’s mogen bijvoorbeeld niet zodanig worden geplaatst dat studenten elkaars vragen en antwoorden kunnen zien. Verder mogen studenten geen ongeoorloofde bronnen raadplegen. Dat kunnen ‘traditionele’ middelen zijn zoals boeken, syllabi of spiekbriefjes, maar ook – zeker bij beeldschermtoetsing – moderne middelen zoals het internet, en chat- en sms-mogelijkheden voor onderling overleg. Beveiliging moet vanuit deze eisen bij verschillende onderdelen van de toetsinfrastructuur worden gerealiseerd. Netwerkbeveiliging Mogelijkheden om het netwerk te beveiligen zijn: • De toegang tot het internet of het LAN-netwerk afsluiten – in voorkomende gevallen moeten

beide echter wel weer selectief toegankelijk zijn voor bepaalde bronnen of programma’s om bijvoorbeeld berekeningen te kunnen uitvoeren, specifieke multimediale bronnen te bekijken of specifieke databases te doorzoeken.

• Chat-, sms- en mailmogelijkheden afsluiten. • Ervoor zorgen dat studenten geen toegang hebben tot de itemdatabases.

Kader 26 Mogelijkheden om netwerken af te sluiten

Er zijn op de markt verschillende programma’s beschikbaar om pc’s af te sluiten van ongeoorloofd netwerk- of pc-gebruik. De programma’s kunnen het internet bijvoorbeeld zo afsluiten dat alleen toegang gekregen kan worden tot de webserver waarop het toetsprogramma staat. Voorbeelden van dergelijke software zijn: • Secure-exam Browser (via http://www.softwaresecure.com/) • Winshield Secure PC (via http://www.citadel.com/securepc.asp) • Security Officer (via http://www.1securitycenter.com/wso/index.html) • Questionmark Secure Browser (via

http://www.questionmark.com/ned/perception/questionmarksecure.htm) Meer algemene oplossingen kunnen gerealiseerd worden binnen de standaard netwerkomgeving zoals Windows Networking of Novell Networking, al dan niet in combinatie met programma’s zoals Citrix die werkstations reduceren tot simpele terminals. Fysieke ruimtebeveiliging Om te voorkomen dat studenten kunnen spieken, is het bijvoorbeeld noodzakelijk: • de pc’s op voldoende afstand van elkaar te plaatsen; • de pc’s rug-aan-rug op te stellen; • de pc’s te scheiden door schotten aan te brengen (wat er overigens weer toe kan leiden dat

studenten op een andere manier ‘spieken’, omdat hierdoor het zicht van de surveillant op de student wordt belemmerd).

http://www.softwaresecure.com/

http://www.citadel.com/securepc.asp

http://www.1securitycenter.com/wso/index.html

http://www.questionmark.com/ned/perception/questionmarksecure.htm


pagina 72 van 72

•

Figuur 3: Computeropstelling Hanzehogeschool Groningen

Figuur 4: Voorbeeld van een computerzaal waarbij de rug-aan-rugopstelling de kans op afkijken vermindert

Surveillance en begeleiding moeten goed geregeld worden. Menselijke surveillanten zijn nog steeds noodzakelijk om fraude afdoende tegen te gaan. Er zijn wel vele technische hulpmiddelen beschikbaar; denk aan chipkaartidentificatie, irisidentificatie en vingerafdrukidentificatie. Toch hebben die identificatiemogelijkheden elk slechts een beperkte functionaliteit. Zo kan een student inloggen met de chipcard van een ander. Irisidentificatie kan niet voorkomen dat studenten met elkaar overleggen. Zelfs vingerafdrukken zijn eenvoudig na te maken. Menselijk toezicht blijft daarom noodzakelijk. Ook in de literatuur over dit onderwerp wordt dit bevestigd (Bull en McKenna 2003). De surveillanten dienen goed getraind te zijn in het afnemen van dit soort toetsen. Ze moeten weten welke toetsen gereed zijn, specifieke technische of onderwerptechnische kennis hebben en directe toegang hebben tot systeembeheerders voor als er een systeem uitvalt. Bij voorkeur is een surveillant een IT-toetsdeskundige.

4.2.4 Een faire infrastructuur

Afgezien van de beveiligingsaspecten en betrouwbaarheidsaspecten zijn er nog meer eisen te stellen aan pc-zalen voor summatieve beeldschermtoetsing. Dergelijke zalen zullen aan bepaalde minimale eisen moeten voldoen om een ‘faire’ toetsafname te kunnen garanderen. Deze eisen zijn: • er moet voldoende licht zijn; • de lichtval op de computerapparatuur moet goed zijn; • er moet weinig lawaai zijn (stille computers); • er moet voldoende koeling zijn (warmte van computers moet goed afgevoerd kunnen

worden); • er moet voldoende ruimte zijn voor studenten om met pen en papier te werken; • er moet goed zitmeubilair zijn; • de zaal moet goed kunnen worden afgesloten om geluiden van buiten te kunnen voorkomen. Al de bovenstaande eisen zouden kunnen leiden tot de veronderstelling dat summatieve beeldschermtoetsing alleen mogelijk is met speciaal voor dat doel gebouwde pc-zalen. Dat zou ook het mooist zijn, ware het niet dat dat een grote investering zou vergen. In het vorige hoofdstuk zijn we al dieper ingegaan op de financiële consequenties van flexibeler toetsen met behulp van ICT.


pagina 73 van 73

Een veel minder rigoureuze oplossing voor een goede toetsinfrastructuur zou het gebruiken van de reeds bestaande computerinfrastructuur kunnen zijn. Bijna elke instelling of opleiding heeft wel een zaal waar kleinere of grotere aantallen pc’s opgesteld staan. Anders is er wel een studielandschap of een centrale ruimte met pc’s. Het moet dan mogelijk zijn om de netwerkomgeving in tentamenperiodes met voorrang beschikbaar te stellen voor het toetsdoeleinden, bijvoorbeeld onder regie van de centrale toetsorganisatie. De verantwoordelijkheid komt dan te liggen bij het centraal toetscentrum, waar de toetsen, de verroostering en de surveillance geregeld worden. De University of Dundee volgt bijvoorbeeld die aanpak. Een probleem is op bijna elke instelling dat het gemiddeld aantal werkstations in pc-zalen vrij klein is. Dit stelt extra eisen aan de toetsafname en vraagt speciale aandacht voor de kwantiteit en de wijze van ter beschikking stellen van de toetsvragen aan studenten.

Kader 27 Wat als er veel te toetsen studenten zijn en weinig pc’s?

Mogelijke oplossingen zijn: • Studenten in ‘shifts’ binnenlaten in de toetsruimte.

Als slechts de helft van de studenten tegelijkertijd getoetst kan worden, is het mogelijk de groep te splitsen. De eerste afname wordt dan direct gevolgd door de tweede afname, zodat de studenten elkaar niet kunnen zien of spreken. Denk daarbij aan het ter beschikking stellen van een wachtruimte voor de tweede groep studenten. Communicatie tussen de twee groepen moet voorkomen worden.

• Toetsen random aanbieden, alternatieven random aanbieden. Beeldschermafname van toetsen maakt het mogelijk om de toetsvragen in willekeurige volgorde per student voor te leggen. Zo kunnen toetsen bestaande uit bijvoorbeeld zestig multiplechoicevragen opgebouwd worden uit groepen van tien vragen. Per groep en per student kunnen dan verschillende varianten van vragen worden getoond. Wilbrink (Wilbrink 1983) geeft als methoden voor het construeren daarvan de itemdelenmethode en de rompvraagmethode.

• Tot slot zou mogelijk een toevlucht gezocht kunnen worden in adaptief toetsen. Dat is echter niet eenvoudig te realiseren. Zie daarvoor Kader 8.

Om flexibilisering van toetsing in de verdere toekomst op bredere schaal mogelijk te maken, zouden IT-diensten en gebouwbeheerdiensten in de planvorming en het ontwerp van toekomstig pc-voorzieningen voor onderwijsinstellingen op voorhand rekening moeten houden met de toepassing als toetsomgeving. Alle eisen die van belang zijn voor die toepassing zouden direct in de uitvoering meegenomen kunnen worden.

Kader 28 Voorbeelden van pc-zaal inrichten ten behoeve van beeldschermtoetsing

Er is op de markt veel computermeubilair beschikbaar waar pc’s op vele verschillende manieren in verwerkt kunnen worden. Pc’s kunnen bijvoorbeeld onder tafels worden geplaatst, monitoren op tafels, maar dan zodanig dat deze ook snel weg te werken zijn. Door een pc-zaal met dergelijk meubilair in te richten, kan een zaal eenvoudig en snel voor andere doeleinden worden ingezet zoals voor gewone instructie of een talenpracticum.


pagina 74 van 74

Dus: Niet zo …

Maar bijvoorbeeld zo …

Of zo …


pagina 75 van 75

Of zo …

Of zo … (maar dan met grotere tafels) …

Als het onderwijs het belang van de toetsen en ICT onderkent, is het noodzakelijk en moet het mogelijk zijn om het totale supportsysteem op te zetten en een grootschalige pc-infrastructuur met voorrang te ontwikkelen en toe te wijzen voor toetsdoeleinden of daar op zijn minst duidelijke procedures voor te hebben.

4.3 Digitale toetsverwerking van gesloten vragen

Een belangrijk onderdeel van het toetsproces is het verwerken van de resultaten op een toetsvraag of op een toets als geheel. De meest evidente verwerking van een individuele toetsvraag is of deze


pagina 76 van 76

goed of fout is beantwoord en welke inhoudelijke feedback gegeven moet worden. Zeker bij beeldschermafname waarbij de student direct terugkoppeling krijgt is dat belangrijk. De verwerking van een gehele toets is echter van een andere orde. De scoregegevens kunnen namelijk statistisch worden verwerkt via een toetsen itemanalyse: een zogenoemde psychometrische analyse. Hieronder gaan we nader in op deze analyse. Daarna beschrijven we het verschil tussen verwerking van schriftelijke en via het beeldscherm afgenomen gesloten vragen.

4.3.1 Analyseren van toetsen, toetsvragen en resultaten

Bij de toetsen itemanalyse kunnen allerlei interessante gegevens berekend worden over de toets als geheel en over de individuele toetsvragen. Het directe oordeel van studenten vormt hiervoor in principe de eerste bron van informatie. Commentaar van studenten Het verdient aanbeveling om na elke toets aan de studenten te vragen wat zij ervan vonden. De vragen die ze op commentaarbriefjes zouden kunnen beantwoorden zijn onder andere: • Was de toets een afspiegeling van de leerstof? • Waren de vragen moeilijk of gemakkelijk? • Hoe vond je de omvang van de toets? • Waren de vragen duidelijk? • Sloten de antwoordalternatieven elkaar uit? • Was er voldoende, te weinig of te veel tijd? • Was de toets goed te lezen? Natuurlijk zijn terloopse opmerkingen van studenten ook de moeite van het onthouden waard. Als bijvoorbeeld veel studenten in de koffiepauze klagen over de onduidelijkheid van een bepaalde vraag, is er alle aanleiding een nader onderzoek in te stellen. Het zal voor zich spreken dat het verzamelen van commentaar bij beeldschermtoetsing moeilijker is dan bij schriftelijke toetsing. Zeker als studenten varianten van eenzelfde toets krijgen wordt het moeilijker om deze terugkoppeling te krijgen. Analyse van toetsscores De belangrijkste vragen waarop een toets -en itemanalyse antwoord moet geven zijn: • Waren de vragen van het juiste niveau? • Maakten de vragen onderscheid tussen studenten die de stof beheersen en studenten die de

stof niet beheersen (discriminerend vermogen)? • Hoe betrouwbaar was de toets? Analyse van toets en toetsvraag Een toetsanalyse levert meestal een waarde op voor de betrouwbaarheid van een toets als geheel. Deze waarde geeft aan in welke mate een toetsresultaat niet door toeval tot stand komt maar systematisch is en wordt meestal uitgedrukt in de correlatiecoëfficiënt. De waarde kan bepaald worden door bijvoorbeeld de toets te verdelen in twee helften. Als de correlatie tussen beide reeksen toetsscores 0 blijkt te zijn, is de toets onbetrouwbaar. Is hij 1, dan is de toets zeer betrouwbaar: hij meet zeer nauwkeurig! Een typische analyse van een toetsvraag levert over het algemeen de volgende gegevens op: • KR20: een schatting van de betrouwbaarheid van een toets. • p-waarde: het aandeel studenten dat het juiste alternatief heeft gekozen. • a-waarden: het aandeel studenten dat het verkeerde alternatief heeft gekozen en wel de

desbetreffende afleider x.


pagina 77 van 77

• Rit-waarden: de mate waarin een vraag onderscheid maakt tussen ‘goede’ en ‘slechte’ studenten. Het gaat hier om de correlatie tussen het item en de totale toetsscore: deze kan variëren van +1 (iedereen met een hoge toetsscore heeft dit item goed) en –1 (iedereen met een hoge toetsscore heeft dit item fout).

Uitgebreide informatie over deze gegevens en de interpretatie daarvan is te vinden in de literatuur o.a. (Dousma, Horsten et al. 1997; Heijnen en Meeder 1999; Berkel en Bax 2002). Op de website Flexibilisering van Toetsing van de Digitale Universiteit http://www.du.nl/flextoets zijn daarnaast andere elektronische bronnen beschikbaar.

4.3.2 Verschil tussen verwerking van schriftelijke en via het beeldscherm afgenomen gesloten vragen

Bij een schriftelijke toets met gesloten vragen wordt er voor studenten in eerste instantie een set formulieren geprint met daarop de vragen. Bekend van die toets is de zogenoemde antwoordsleutel: welk alternatief is voor welke vraag het correcte alternatief? Deze sleutel is over het algemeen digitaal beschikbaar voor gebruik in de digitale toetsanalysesystemen. De studenten moeten hun antwoorden op gesystematiseerde formulieren aangeven. Dat zijn in principe optisch leesbare formulieren. Er zijn verschillende varianten van dergelijke formulieren. • De eenvoudigste betreft genormeerde ponskaartachtige formulieren. Daarop zijn alleen de

meest elementaire velden aanwezig. • De meest vergaande vorm is die waarbij de functie van vragenformulier, antwoordformulier en

optisch leesbaar formulier in één hardcopyformaat beschikbaar is. Dit maakt in principe geheel op maat gemaakte toetsen mogelijk. Het is echter zeer bewerkelijk om dergelijke formulieren te maken.

• Daarom wordt in dat opzicht meestal gekozen voor een middenweg. Het vragenformulier is een apart document (vaak gewoon een Word document). Het antwoordformulier bezit die informatie niet, maar er zijn standaardvarianten voor bijvoorbeeld toetsen met tweekeuzevraagstukken, vierkeuzevraagstukken of ander specifiekere uitvoeringsvormen.

Scannen en analyseren De formulieren met de antwoorden van de studenten moeten optisch worden ingelezen. Dit proces bestaat uit twee delen: 1. Het scannen van de formulieren

Bij het scannen wordt door middel van een scanapparaat (dit kan ook een kopieerapparaat zijn met een scanoptie) een digitale kopie gemaakt van het scanformulier (meestal in TIF-formaat).

2. Het omzetten naar een analyseerbaar bestand Deze TIF-bestandjes worden vervolgens vergeleken met een sjabloon van het scanformulier. De gegevens die de student heeft ingevuld, worden dan vertaald in ASCII-tekens en opgenomen in een TXT-bestand. Tijdens dit onderdeel van het proces komt het programma scanformulieren tegen die niet compleet, onduidelijk of niet eenduidig zijn ingevuld. Deze formulieren worden op een scherm aangeboden aan iemand die belast is met toetsverwerking. Deze persoon dient dan een beslissing te nemen over wat student heeft ingevuld.

Tijdens het analyseren met een extern analysepakket gebeurt er het volgende: • het sleutelbestand wordt ingelezen; • het antwoordenbestand wordt ingelezen; • er wordt door vergelijking van beide bestanden een analyse gemaakt.

http://www.du.nl/flextoets


pagina 78 van 78

De antwoorden van de studenten worden vergeleken met de sleutel. Op basis daarvan kan een itemanalyse worden gemaakt, bijvoorbeeld de p- en Rit-waarden. Op basis van deze itemanalyse kan besloten worden bepaalde items die kwalitatief slecht scoren, te verwijderen uit de toets. Ook kan het zijn dat de sleutel verkeerd in de itembank is ingevoerd. Dit kan ook op basis van het commentaar dat studenten hebben kunnen leveren. Nadat items eventueel zijn verwijderd en de sleutel is aangepast, kan er opnieuw een definitieve analyse worden gemaakt. Op basis hiervan worden het gemiddelde en de standaarddeviatie berekend. Deze kunnen de grondslag vormen voor de cesuur (althans bij het gebruik van een relatieve cesuur). Na het invoeren van de cesuur kunnen er uitslagenlijsten worden gegenereerd. Verder is het mogelijk om een feedbackformulier per student af te drukken, waarop zijn score met alle deelnemende studenten wordt vergeleken of met zijn eigen cohort. Soortgelijke informatie kan ook voor attributen worden gegenereerd: zo kan per vak het kwalitatieve aandeel in vergelijking met andere vakken duidelijk worden. Ten slotte is het mogelijk om de analysegegevens van de afzonderlijke items in te voeren in de itembank, zodat deze informatie over de kwaliteit bewaard blijft bij het item en daarmee de kwaliteit van de totale itembank verhoogt. Bij beeldschermafname is de papieren (en analoge) tussenstap verdwenen. Dit heeft als voordeel dat direct na afloop van een toetszitting alle toetsresultaten direct beschikbaar zijn voor zowel de studenten als de docenten. De meeste toetsprogramma voor beeldschermtoetsing hebben een dergelijke analysemodule gewoon ingebouwd. Op dat punt zitten er echter ook wat adders onder het gras in relatie tot summatieve beeldschermtoetsing. Immers, het analyseren van toetsresultaten kan opleveren dat sommige toetsvragen niet goed zijn en uit de toets moeten worden verwijderd. Dit proces vergt nauwkeurige bestudering en afweging en derhalve tijd. Met andere woorden, een score die studenten ontvangen op een toets, direct na een beeldschermafname, is altijd voorlopig en onder voorbehoud. Er kan bovendien gebruik zijn gemaakt van allerlei technieken om studenten verschillende vragen te geven (zoals randomiseren van vragen of antwoorden). Elke student heeft bij een dergelijke afname in principe een unieke toets voorgelegd gekregen. Dat maakt dat toetsanalyse veel ingewikkelder (dan in ieder geval onbetrouwbaarder) is dan met afname met optische formulieren en een vaste set vragen.

4.4 Toepassingsgebied van formatief en summatief toetsen met ICT

Als het gaat om het toepassingsgebied van formatief en summatief toetsen met ICT, dan kunnen de figuren 5 en 6 als handreiking dienen. Deze figuren tonen op de horizontale as het aantal toetsafnames dat bij een cursus of onderwerp hoort. Neem daarbij aan dat weinig afnames overeenkomt met ongeveer nul tot vijftig afnames, en dat veel afnames overeenkomt met meer dan duizend afnames. Op de verticale as staat onderaan de situatie weergegeven dat een individuele docent probeert om zonder ondersteuning van ICT iets met toetsing te doen. Iets hoger op de as is de situatie weergegeven dat docenten over eenvoudige itembanksoftware beschikken waarmee ze zelf toetsbanken kunnen opzetten en toetsen kunnen uitprinten (Diploma, MicroTest, Respondus e.d.). In het midden staat de situatie weergegeven waarin de docent de beschikking heeft over een digitale leeromgeving met een ingebouwde toetsmodule (bijvoorbeeld Blackboard). De losse toetsbankprogramma’s kunnen (zeker in de toekomst) dan hun toetsvragen via een dergelijke


pagina 79 van 79

omgeving eenvoudig online aanbieden. Nog hoger op de as staat de situatie aangegeven waarin er een toetsteam beschikbaar is en dat er op instellingsniveau een gespecialiseerd toetsservicecentrum aanwezig is. Het kan ook de situatie voorstellen waarin in groter verband gewerkt wordt aan de ontwikkeling van een itembank. De top van de verticale as representeert de situatie waarin er ook nog eens laagdrempelige voorzieningen zijn om beveiligd summatief te toetsen. Dat levert het volgende beeld op voor de inzet van ICT bij toetsing. Zonder inzet van ICT is een docent min of meer veroordeeld tot schriftelijke afname van toetsen door middel van open vragen of eenvoudige multiplechoicetoetsen. Natuurlijk zal het zo blijven dat open vragen bij weinig afnames de meest effectieve vraagvorm zijn, met of zonder ICT. Als het aantal studenten, en daarmee het aantal toetsafnames echter toeneemt, wordt het steeds lonender om iets met ICT aan te vangen. Bij gemiddelde cursussen in het hoger onderwijs met bijvoorbeeld vijftig studenten begint dit al interessant te worden, zeker als bij gekozen onderwijsmethoden kant-en-klare itembanken beschikbaar zijn. Worden de aantallen nog hoger, dan kunnen ook steeds meer complexe vraagvormen en toetsen worden ontwikkeld en aangeboden aan studenten. Zodra er bovendien ook nog sprake zou zijn een laagdrempelige summatieve toetsomgeving, dan zou ook dat aspect van toetsing met ICT tot volle wasdom kunnen komen. Figuur 5 Toepassingsgebied formatief toetsen

Individueledocent

Veel afnamesWeinig afnames

open vragenSerie MC

vragen, pen en papier

serie MC toetsen,

online met ELO

complexe vaardigheden toetsen met speciaal

toetsprogramma

Beveiligde toetsomgeivng met toetsservice bureau

toetsservicebureau

Individueledocent


open vragenSerie MC


serie MC toetsen,

online met ELO

complexe vaardigheden toetsen met speciaal

toetsprogramma

Beveiligde toetsomgeivng met toetsservice bureau

toetsservicebureau

Figuur 6 Toepassingsgebied summatief toetsen

Individueledocent


open vragenSerie MC


serie individuele kennistoetsen, online met toetsprogramma in

kleine zaaltjes


beveiligde omgeving

serie individuelevaardighedentoetsen, online met

toetsprogramma in beveiligde omgeving

toetsservicebureau

Beveiligde toetsomgeving met toetsservice bureau

Individueledocent


open vragenSerie MC



kleine zaaltjes


beveiligde omgeving

serie individuelevaardighedentoetsen, online met

toetsprogramma in beveiligde omgeving

toetsservicebureau

Beveiligde toetsomgeving met toetsservice bureau

4.5 Toetsverwerking van vrije tekstopdrachten

Het werken met gesloten toetsvragen in het onderwijs is anders dan het werken met vrije tekstvragen en tekstopdrachten. Toepassingen van open vragen in het onderwijs zijn: • Open vragen in tentamencondities: studenten moeten op een gegeven moment onder

gecontroleerde condities vragen beantwoorden over een bepaalde vakinhoud. De omvang van gegeven antwoorden bedraagt vaak een kwart tot een heel A4.

• Tekstopdrachten: studenten moeten in niet gecontroleerde condities grotere hoeveelheden teksten produceren zoals besprekingen van artikelen, practicumverslagen, projectrapporten, het toepassen van theorieën, het analyseren van situaties. De omvang van dergelijke opdrachten is over het algemeen meer dan 2 A4-tjes.

Met name het nakijken en beoordelen van open tekstvragen is van een geheel andere orde dan het nakijken van gesloten vragen. Toetsen met multiplechoicevragen worden ook nog vaak analoog, dus handmatig, nagekeken. Docenten kiezen daarvoor omdat ze opzien tegen de logistieke


pagina 80 van 80

procedures; ze houden liever het gehele proces in eigen hand. Toch is handmatig nakijken tegenwoordig niet meer nodig. Om de docenten over de streep te trekken, moet de centrale toetsverwerkingsservice optimaal werken en zeer klantgericht zijn. Antwoorden op open tekstvragen kunnen niet automatisch nagekeken worden, waardoor het nakijken erg arbeidstijdsintensief is. Dat maakt dat in het onderwijs vaak afgezien wordt van de inzet van deze vraagvorm, ook al zou dat het onderwijs zeer ten goede komen. Het levert een starheid op in het onderwijsontwerp. Bovendien is de kans op nakijkfouten erg groot. De betrouwbaarheid van dergelijke toetsen is daardoor laag. Dit geld zowel voor de beoordelaarsbetrouwbaarheid als de interbeoordelaarsbetrouwbaarheid. Er zijn echter wel aanwijzingen te geven om die betrouwbaarheid te verhogen. Hoe kunt u de betrouwbaarheid van de verwerking en teksopdrachten verhogen? Om de betrouwbaarheid bij het nakijken van tekstopdrachten te verhogen, kunt u de volgende aanwijzingen gebruiken. • Stel een beoordelingsschema op waarin is aangegeven wat de 'ideale' antwoorden zijn en

waarin tevens de regels om de afwijkende antwoorden te waarderen, zijn opgenomen. Geldt ook voor het aangeven welke antwoorden wél en welke antwoorden niet goed gerekend worden.

• Leg vast welk gewicht de vragen krijgen. • Corrigeer de toets door vraag voor vraag te behandelen, dus eerst alle vragen 1., dan alle

vragen 2. etc. (ongelijkheid van beoordelen door een docent). • Zorg ervoor dat niet bekend is van welke student het werk is, zodat persoonlijke indrukken

over de student niet meespelen in de beoordeling. • Zorg ervoor dat ieder antwoord door meer dan één beoordelaar wordt gecorrigeerd. Neem

uiteindelijk het gemiddelde van deze beoordelingen. • Zorg ervoor dat ook van een vrije tekstopdrachten een toetsanalyse wordt gemaakt, analoog

aan de analyse voor gesloten vragen (Gruiter 1999). Met enige simpele MS Excel-bewerkingen of SPSS-bewerkingen kunnen ook dan uitspraken worden gedaan over psychometrische gegevens van dergelijke toetsen.

Over het algemeen worden er een aantal voordelen genoemd bij het gebruik van open vragen bij toetsing die ook als oneigenlijk kunnen worden betiteld. Deze hebben met name te maken doordat een beslissing hoe exact omgegaan wordt met dergelijke opdrachten tot op het laatste moment bepaald kan worden. Afhankelijk van de hoeveelheid tijd die een beoordelaar beschikbaar heeft kan er bijvoorbeeld voor gekozen worden om: • Af te zien van het geven van uitgebreide feedback • Af te zien van het geven van systematische feedback • Af te zien van systematische beoordeling • Af te zien van expliciete investeringen (anders gezegd: er zijn geen extra kosten voor het

gebruik van IT-middelen (licentie van een pakket, aanschaf, onderhoud en beheer van een server).

Bovendien lijkt het – door het meer fluïde karakter van vrije tekstopdrachten – gemakkelijker om de opdrachtvorm voor allerlei toetsfuncties te gebruiken, zonder goede overwegingen of e.e.a. toepasselijk is of ook met gesloten vragen zou kunnen worden opgelost.


pagina 81 van 81

4.5.1 Ondersteuning door middel van ICT

Tegenwoordig zijn er manieren om het nakijkproces van open vragen te ondersteunen met ICT. Wat deze ICT inzet moet opleveren is eigenlijk eenvoudig: tijdwinst en kwaliteitswinst. De tijdswinst zou het mogelijk moeten maken om studenten vaker te toetsen, zowel voor formatieve als summatieve doeleinden. De kwaliteitswinst zou moeten zitten in de snellere, systematischer en uitgebreidere feedbackmogelijkheden voor studenten. Deze ondersteuning kan in een aantal categorieën worden ingedeeld, behorende bij een toepassing: Open vraag op

tentamen

Tekstopdracht Programma’s

ICT als hulpmiddel voor

systematischer handmatig

nakijken van tekstopdrachten

X Markin, MarkThis,

spreadsheet-programma

ICT als hulpmiddel om semi-

automatisch ordening in

tekstopdrachten aan te brengen

X CODAS, BETSY

ICT als middel om automatisch

scoring en feedback te geven bij

beeldschermafname van open

vragen

X X Intellimetric, Criterion,

Intelligent Essay Assessor

ICT als middel om

tekstopdrachten automatisch te

controleren op plagiaat

X CODAS,

CopyCatchWCopyFind,

Plagiarism, Turnitin,

SafeAssignment/MyDropbox,

Ephorus, Urkund, EVE2

Tabel 3: ICT-ondersteuning bij verschillende toepassingen van een schriftelijke open opdracht. In de bijlage bij dit boek worden alle programma’s in meer detail behandeld.

Toelichting De eerste rij van de tabel geeft aan dat er een aantal programma’s op de markt is om tekstopdrachten beter te kunnen nakijken. De programma’s dwingen de beoordelaar om het nakijkproces systematischer in te richten, door vooraf beter na te denken over het te hanteren antwoordmodel, de beoordelingscriteria en de gewichten voor elk criterium. Nadien maken de programma’s het mogelijk deze gegevens eenvoudig in te voeren waarna – min of meer – automatisch per student een weldoordachte score bepaald wordt en feedback gegeven kan worden. Op de website Flexibilisering van Toetsing http://www.du.nl/flextoets is een casus opgenomen van een docent die met het programma MarkThis aan de slag is gegaan. De tweede rij betreft een tweetal programma’s die – aan de hand van het handmatig ingeven van een ordening van een beperkt aantal documenten – zelf in staat zijn om de overgebleven uitgewerkte tekstopdrachten aan de hand daarvan te ordenen. Deze ordening kan dan verfijnd worden door nog een aantal extra documenten handmatig te beoordelen of extra specifieke criteria mee te geven. Een belangrijke conclusie voor de toepasbaarheid van deze categorie programma’s is dat ze niet geschikt zijn voor certificerende doeleinden. De betrouwbaarheid van de beoordeling van de programma’s hangt sterk samen met de opdrachtformulering en de kwaliteit van de populatie ingeleverde werkstukken. Wel zijn ze erg geschikt voor formatieve doeleinden. Zie darvoor onderstaande tekstkader.



pagina 82 van 82

beoordeling CODAS

zelf -beoordeling goed vol-

doende

onvol-

doende

Eind-totaal

Hoger dan CODAS 5 0 5

Gelijk aan CODAS 6 14 1 21

Lager dan CODAS 3 2 5

Weetniet 0 1 2 3

Eindtotaal 9 22 3 34

Kader 29 Gebruik van CODAS in een cursus Massacommunicatie en Journalistiek

Beleidsnormen bij de faculteit Sociale Wetenschappen van de Vrije Universiteit schrijven voor, dat onderwijs standaard afgesloten moet worden met een tentamen. Een docente die een derdejaars cursus ‘Massacommunicatie en Journalistiek’ verzorgt, zou liever haar cursus zo maken, dat studenten zelf op zoek moeten gaan naar informatie en deze actief verwerken in bijvoorbeeld een paper. De docente heeft een probleem: zij kan een werkvorm ‘papers schrijven’ naast het maken en nakijken van een tentamen binnen de haar gegeven capaciteit niet realiseren. Of toch? Deze cursus is gebruikt om CODAS in toe te passen. Gedurende de cursus kregen de studenten twee essayopdrachten mee. Één opdracht luidt: wat is de invloed van mediaroutines op nieuwsartikelen. De andere opdracht luidt: In hoeverre trekt Cambodja profijt van of lijdt het land schade door processen van globalisering in het algemeen en regionalisering in het bijzonder? De studenten werden van tevoren geïnformeerd dat CODAS zou worden gebruikt om de opdrachten te beoordelen. De opdrachten leverden in totaal één bonuspunt op voor het tentamen als de opdrachten beide met een voldoende werden beoordeeld. 90 van de 140 studenten die deelnamen aan de cursus maakten deze opdrachten en leverden deze in. De docente ordende de documenten met behulp van CODAS op een 3-puntsschaal: ‘goed’, ‘voldoende’, ‘onvoldoende’. Studenten die een onvoldoende scoorden, kregen geen bonuspunt. De docente beoordeelde handmatig, per opdracht, ongeveer 20 van de 80 ingeleverde werkstukken. Op basis daarvan werden de overige 75% van de opdrachten door CODAS beoordeeld. Alle toegekende onvoldoendes beoordeelde de docente zelf nog handmatig om er zeker van te zijn dat de onvoldoendes in haar ogen terecht waren toegekend. Zij gaf haar studenten binnen enkele dagen na het inleveren van de opdrachten, het cijfer terug. Er kwam geen spontaan commentaar van de studenten terug op de beoordeling. Kennelijk vonden ze dat het cijfer genoeg in overeenstemming was met de waarde die zij zelf zouden geven. Er is door Onderwijscentrum VU daarop nader onderzocht of dat beeld correct was. Daarvoor werd via een online vragenlijst nagevraagd of studenten het eens waren met het cijfer dat zij hadden gekregen voor de opdrachten. De resultaten voor beide opdrachten waren vergelijkbaar. Voor de beknoptheid geven we in onderstaande tabel echter slechts de resultaten weer die horen bij de tweede opdracht. De tabel toont dat sommige studenten vonden dat ze wel een hogere waardering hadden mogen krijgen, sommigen zelfs dat ze wat lager zouden mogen worden beoordeeld, maar dat het merendeel, ongeveer twee-derde, van de studenten het eens was met het m.b.v CODAS gegeven cijfer.


pagina 83 van 83

Bovendien is gevraagd of studenten de schrijfopdrachten nuttig vonden in het kader van de cursus en of ze hebben geholpen beter voorbereid te zijn op het tentamen. Hieruit bleek dat het overgrote deel van de studenten de opdrachten nuttig tot zeer nuttig vonden, en het merendeel door de opdrachten in enige mate beter voorbereid was op het tentamen. Kortom, CODAS is inderdaad een prettig, overzichtelijk en goed instrument voor inzet in het onderwijs. Niet op het terrein van high-stakes testing, maar wel degelijk om studenten ‘aan het schrijven’ te krijgen, waarbij de nakijklast van beoordelaars beperkt wordt. Op de website Flexibilisering van Toetsing http://www.du.nl/flextoets is bovenstaande casus in meer detail beschikbaar in casus 12 ‘Inzetten van CODAS voor het beoordelen van essayvraagstukken: benchmarktest bij faculteit Sociale Wetenschappen, Vrije Universiteit.’

De derde rij van de tabel gaat over programma’s waarbij studenten een antwoord invullen in een webformulier, waarna de computer dat antwoord beoordeelt en instantaan terugkeert met een score of inhoudelijke feedback. De tabel geeft aan dat er al veel mogelijk is op het gebied van automatische scoring en feedback. Dat is in principe ook zo. Het programma Intelligent Essay Assessor is bijvoorbeeld in staat om inhoudelijke feedback te geven per subonderwerp van een betoog. Criterion, Intellimetric en Intelligent Essay Assessor zijn ook in staat om taaltechnische feedback te genereren, vergelijkbaar met de taalmodule van een programma zoals MS-Word. De toepasbaarheid is in de praktijk van het Nederlands hoger onderwijs echter beperkt. Alleen toepassing waarin waarbij sprake is van voldoende schaalgrootte zijn interessant (zoals bevraging van alle studenten van één instelling, of alle Nederlandse studenten op één vakgebied of onderwerp). De voornaamste reden waarom schaalgrootte nodig is zijn de hoge investeringskosten van de toepassing. De vierde en laatste rij betreft een aantal computerprogramma’s die automatisch teksten zowel onderling als met allerlei internetbronnen kunnen vergelijken op tekstovereenkomst. Als er teksten overeenkomen zonder bijvoorbeeld bronvermelding of als studenten duidelijk geen eigen werk hebben ingeleverd maar dat van een medestudent, dan is er sprake van plagiaat of fraude. Het is belangrijk voor onderwijsgevenden om daar snel inzicht in te krijgen om na te gaan of het nuttig is om bijvoorbeeld feedback te geven bij ingeleverd formatieve werkstukken of om tot certificering over te kunnen gaan bij summatieve doeleinden. Alle genoemde programma’s (inclusief kosten en beoordeling) worden in meer detail beschreven in de bijlage bij dit boek.

4.5.2 Toepasbaarheid van de software

Om software te beoordelen op geschiktheid voor de verschillende toetsfuncties, is het belangrijk om te weten hoe gedetailleerd de feedback is die aan studenten teruggegeven zou moeten worden. Globaal geldt dat feedback voor oefenen en diagnosticeren belangrijk is en voor certificerende toetsing minder. De investeringskosten in verschillende programma’s maken dat deze pas vanaf een bepaald aantal vraagstukken interessant zijn. We hebben onze conclusies voor u in twee overzichtelijke figuren vervat.



pagina 84 van 84

Figuur 7: Eigenschappen van software om tekstopdrachten na te kijken in relatie tot afname-aantal en gedetailleerdheid van gegenereerde feedback

MarkThis

Markin f

In principe meer geschikt voor weinig Essays

Grote initiële investering, daarna weinig

tijd per essayKleine initiële investering, daarna veel tijd per essay

CODAS/BETSY

Intelligent Essay Assessor

Criterion/Intellimetric

Gedetailleerdheid van feedback (zowel

inhoudelijk als op stijl/structuur)

Gedetailleerdheid feedback laag (zowel inhoudelijk als op stijl/structuur)

Geheel handmatig

100 1000 >200050

MC-toetsing

Figuur 7 laat zien wat de relatieve plaats is van de verschillende ICT-oplossingen voor het nakijken, beoordelen en feedback geven op hogere orde cognitieve vraagstukken. De plaats in het figuur is gerelateerd aan de gedetailleerdheid van feedback die de programma’s genereren en een tijd- en kostentechnisch relevante positionering. Het eerste dat opvalt aan de figuur is dat handmatig nakijken, Markin en MarkThis een cluster van oplossingen vormen voor toetsing in lage aantallen en voor toetsing waarbij inhoudelijke feedback aan studenten van belang is. In de figuur zijn de programma’s CODAS en BETSY een apart cluster. Deze programma’s ordenen documenten, maar genereren geen enkele inhoudelijke feedback. Intelligent Essay Assessor (IEA), Criterion en Intellimetric vormen ook een apart cluster. Deze programma’s zijn in staat om in enige mate gestandaardiseerde inhoudelijke feedback automatisch te laten genereren. De investeringskosten voor dergelijke programma’s zijn echter dermate hoog, dat ze voor inzet in het regulier hoger onderwijs in Nederland niet realistisch zijn. Voor de volledigheid is ook de inzet van gesloten vraagvormen ingetekend (voor het gemak aangeduid met multiplechoicetoetsing). Daarvoor is een soort middenpositie getekend. Het kenmerk van de gesloten vraagtoetsing is de flexibiliteit van de feedback bij beeldschermafname; er kan geen feedback worden gegeven maar ook heel veel en alles wat daartussenin zit.


pagina 85 van 85

Figuur 8: Eigenschappen van software om tekstopdrachten na te kijken in relatie tot afnameaantal en betrouwbaarheid

��

��

��

MarkThis

Markin

In principe meer geschikt voor veel Essays

Betrouwbaarheid van beoordeling hoog

Betrouwbaarheid van beoordeling laag

Geheel handmatig

100

��

CODAS

��

Grote initiële tijdsinvestering, daarna weinig tijd per essay

Kleine initiële tijdsinvestering, daarna veel tijd per essay

100 1000 >20005

Intelligent EssayAssessor

In Figuur 8 staan de verschillende uitvoeringen van vrije tekstopdrachten in relatie tot de betrouwbaarheid die gehaald kan worden met de toetsvorm. Met handmatig nakijken kan de betrouwbaarheid zowel heel laag als vrij hoog zijn. Dit is afhankelijk van de gehanteerde procedures zoals beschreven in paragraaf 4.5 Met de programma’s Markin en MarkThis is de betrouwbaarheid al beter te fixeren, doordat de programma’s de beoordelaar dwingen om te werken met expliciete criteria. Met MarkThis zelfs nog iets meer dan met Markin, omdat binnen MarkThis ook het gebruik van weegfactoren direct noodzakelijk is. De betrouwbaarheid van CODAS vertoont weer een grotere spreiding. Doordat bij CODAS het ingeleverde materiaal het uitgangspunt is en niet expliciete criteria, is namelijk de betrouwbaarheid afhankelijk van het materiaal. Het vergt zorgvuldig geconstrueerde opdrachten en een spreiding in kennis en kunde van de studenten om de betrouwbaarheid op een redelijk niveau te krijgen. De betrouwbaarheid van bijvoorbeeld de Intelligent Essay Assessor (IEA) is daarentegen weer veel groter. Dit komt omdat het nakijkmodel zeer zorgvuldig moet worden geconstrueerd om het programma goed te laten functioneren.

4.5.3 Plagiaat

Vanuit de certificeringsfunctie van opleidingen, dienen instellingen voor (hoger) onderwijs zeker te stellen dat diploma’s alleen worden uitgereikt aan studenten die een eigen, authentieke prestatie leveren. Plagiaat en fraude van studenten vormen een serieuze bedreiging voor de kwaliteit van deze functie.


pagina 86 van 86

In het hoger onderwijs is het onderwerp van fraude en plagiaat actueel7. Uit een aantal inventarisaties op Nederlandse universiteiten is gebleken dat plagiaat op vrij grote schaal voorkomt. Concrete cijfers van Nederlandse hogescholen en universiteiten over de omvang van het probleem zijn er echter niet. Ook cijfers van de hoeveelheid studenten die wordt betrapt zijn er niet. Ondanks dit gebrek aan cijfers is toch de teneur in het hoger onderwijs dat het probleem aangepakt moet worden. Fraude en plagiaat in het hoger onderwijs is een reëel probleem. Op verschillende instellingen wordt op opleidingsniveau aandacht aan dit probleem besteed en naar oplossingen gezocht. Wat is fraude en plagiaat? Elektronisch plagiaat, ook wel e-plagiaat genoemd, vloeit voort uit de traditionele plagiaat van boeken. Plagiaat staat bekend als 'oneigenlijk gebruik van schrijverij of ideeën (intellectueel eigendom) van iemand anders'. Hieronder valt dus het letterlijk overnemen van citaten zonder de bron te vermelden (Strookman 2002). In het internettijdperk wordt dit kopieergedrag nog gemakkelijker en kan het veel verder gaan: complete werkstukken worden - eventueel tegen kosten - van internet gedownload en daarna grotendeels ingevoegd in eigen werk, of gewoon compleet onder eigen naam ingeleverd.

Felson's Law: To steal ideas from one person is plagiarism; to steal from many is research.

Plagiaat wordt deels veroorzaakt door onwetendheid van studenten, anderzijds door studenten die willens en wetens andermans werk overnemen om tijd en energie te besparen. Een andere vorm van plagiaat of fraude betreft de situatie dat studenten samen werken of (bijna) dezelfde tekst in leveren. Hierdoor kan niet gewaarborgd worden dat studenten een authentieke prestatie leveren. Het is niet te achterhalen wie welke inbreng heeft gehad.

Fraude en plagiaat voorkomen in fasen Het is belangrijk om plagiaatpreventie goed in te bedden in het onderwijs en een goede balans te vinden tussen preventieve en curatieve maatregelen (Oosterhuis-Geers 2002). Het heeft geen zin om middelen (regels en richtlijnen, computerprogramma’s e.d.) in te zetten als er niet gewerkt wordt aan preventie. Een individuele docent kan dat niet in zijn eentje aanpakken, dat moet gebeuren op universitair en facultair niveau. Idealiter wordt dit probleem (vanuit het perspectief van de student) in fasen aangepakt. Dat ziet er zo uit8: 1. Bewustzijnsfase:

Studenten moeten bewust worden gemaakt van wat fraude en plagiaat is en ze moeten leren hoe ze wel authentiek werk kunnen maken, met bronnen om moeten gaan e.d. Ook docenten

7 Algemene informatie over plagiaat en plagiaatprogramma’s:

• http://www.edusite.nl/edusite/specials/10759 • http://www.edusite.nl/edutrip2002/verslagen_innovatie/11227 • http://www.edusite.nl/edutrip2003/verslagen_assessment_en_evaluatie/12619 • http://www.digitaledidactiek.nl/dd/toetsen/119 • http://www.observant.unimaas.nl/jrg19/obs22/art14.htm • http://rechten.uvt.nl/plagiaat/

Tutorials voor studenten over plagiaat:

• http://wps.prenhall.com/hss_understand_plagiarism_1/ • http://www.indiana.edu/~wts/wts/plagiarism.html

8 http://www.edusite.nl/edusite/specials/10759

http://www.edusite.nl/edusite/specials/10759

http://www.edusite.nl/edutrip2002/verslagen_innovatie/11227

http://www.edusite.nl/edutrip2003/verslagen_assessment_en_evaluatie/12619

http://www.digitaledidactiek.nl/dd/toetsen/119

http://www.observant.unimaas.nl/jrg19/obs22/art14.htm

http://rechten.uvt.nl/plagiaat/

http://wps.prenhall.com/hss_understand_plagiarism_1/

http://www.indiana.edu/~wts/wts/plagiarism.html

http://www.edusite.nl/edusite/specials/10759


pagina 87 van 87

en opleidingen moeten bewust worden gemaakt van dit thema, bijvoorbeeld door algemene voorlichting via onder andere websites en brochures.

2. Voorkomingsfase: Aan het begin van een studie, en daarna bij alle onderdelen van de studie waarbij dat van belang is, moet er aandacht zijn voor dit thema, bijvoorbeeld tijdens cursussen ‘Informatievaardigheden’, ‘Bibliotheekvaardigheden’ of ‘Omgaan met wetenschappelijke bronnen’.

3. Ontdekkingsfase: Als werkstukken zijn ingeleverd, moet gecontroleerd worden of er daadwerkelijk authentiek werk is geleverd. Voor een deel kan dit handmatig, daarnaast zijn er ook programma’s die op het overnemen van teksten van anderen kunnen controleren.

4. Sanctioneringsfase: Als er plagiaat of fraude is geconstateerd, dan moet er duidelijke richtlijnen en procedures zijn voor personeel en studenten over de consequenties9.

Onder de noemer van wetenschappelijke integriteit worden op verschillende instellingen initiatieven genomen. Een aantal instellingen wil toewerken naar een gedragscode. Zo heeft de universiteit van Leiden inmiddels een officiële regeling. Deze is te vinden via http://www.reglementen.leidenuniv.nl/index.php3?m=&c=62&garb=0.4029745715334844&session= In deze regelingen is echter weinig tot geen informatie opgenomen over het onderwerp plagiaat zoals we dat in dit boek behandelen. Dit betekent dat faculteiten en docenten op dit moment nog veel proefondervindelijk moeten uitzoeken. Verder kan gesteld worden dat plagiaat nooit helemaal te voorkomen is en dat ‘zero-tolerance’ wellicht wenselijk, maar niet realistisch is. Er moet daarom een goede balans zijn tussen preventie en curatieve maatregelen. Bedenk ook dat studenten zich een academische attitude dienen eigen te maken ten aanzien van het gebruik van andermans werk en gedachtegoed, die voorkomt dat zij frauderen of plagiaat plegen. Het zich eigen maken van deze attitude is een traject van vier tot vijf jaar, waarbij docenten studenten leren op diverse manieren om te gaan met werk van anderen. Hierbij dient expliciet aandacht besteed te worden aan de zorgvuldigheidseisen voor bronvermelding en auteursrechten. Deze zullen gedurende het leertraject van studenten hoger worden. Juist in de eerste fasen van de opleiding kan het constateren van plagiaat een instruerende functie vervullen. Daarbij moeten dan geen sancties volgen, maar gerichte feedback. Fraude en plagiaat voorkomen door goede opdrachten te construeren Plagiaat kan worden voorkomen door een goede opdracht te construeren. Daarvoor moeten de opdrachten zo geformuleerd worden dat: 1. ze authentiek denkwerk vragen; 2. er een begeleidings- en beoordelingsprocedure is in een eerdere fase dan de

beoordelingsfase. Op de e-learning themasite wordt dit verder uitgewerkt10: • Zorg voor een specifieke inhoudelijke afbakening van de opdracht.

Laat studenten bijvoorbeeld een analyse maken van een bepaalde casus of situatie met

9 Zie als voorbeeld http://www.digitaledidactiek.nl/docs/dd/kopieren_kan_je_de_kop_kosten.pdf 10 http://www.elearning.surf.nl/e-learning/artikelen/774

http://www.reglementen.leidenuniv.nl/index.php3?m=&c=62&garb=0.4029745715334844

http://www.digitaledidactiek.nl/docs/dd/kopieren_kan_je_de_kop_kosten.pdf

http://www.elearning.surf.nl/e-learning/artikelen/774


pagina 88 van 88

behulp van een theorie. Varieer daarbij ieder jaar de casus of zorg dat er meerdere casussen zijn. Als docent hoeft u daarmee de vrije tekstopdrachten veel minder te controleren op plagiaat van elders ter wereld geschreven papers over een bepaalde theorie, eenvoudigweg omdat het hier om een zeer specifieke toepassing van die theoretische inzichten gaat. Dit in tegenstelling tot een vrije tekstopdracht waarbij struinen over het internet studenten al vrij snel een aardig essay kan opleveren, dat binnen de opdracht past.

• Zorg ervoor dat studenten hun tekstopdracht inleveren in een afgeschermde (elektronische) omgeving zodat medestudenten deze uitwerking niet kunnen inzien of downloaden.

• Zorg voor fasegewijze productie van de vrije tekstopdracht. Laat studenten bij voorkeur niet zonder begeleiding en feedback een eindwerkstuk inleveren. Laat ze voorlopige versies van werkstukken inleveren en geef daarop feedback. Deze feedback moeten zij verwerken in hun eindproduct. Bij de beoordeling van het eindproduct bekijkt de docent het verloop van het schrijfproces op basis van de deelproducten, de feedback en hoe de studenten deze feedback hebben verwerkt in hun eindproduct. Dit kost weliswaar veel tijd, maar kan redelijk efficiënt plaatsvinden aan de hand van een checklist, die studenten bij hun feedback geleverd krijgen.

Stel bijvoorbeeld dat een docent jaarlijks gebonden is aan een inhoudelijk vrij identieke opdracht. Probeer dan om de presentatie van de opdracht te wijzigen. Het kan zijn dat studenten namelijk bestaand werk klakkeloos over nemen met onvoldoende aandacht voor het detail, zodat de docent kan zien dat het werk van een eerder jaar afkomstig is. Het succes van deze methode is mede afhankelijk van de onwetendheid van studenten ten aanzien de methode. Dat is niet echt ethisch, maar het kan wel goed werken. Manieren om dit te doen zijn: • Verander elk jaar de nummering van de opdrachten. Een deelopdracht kan onderverdeeld

zijn in letters (a, b, c...) of nummers (1, 2, 3...) of subnummering (1a, A1). Bij onzorgvuldig of klakkeloos overnemen zien studenten dit over het hoofd. Als ook de volgorde van deelopdrachten wordt gewijzigd, is er nog een extra indicatie als studenten een verkeerde volgorde aanhouden.

• Verander elk jaar enkele inhoudelijke kernbegrippen door synoniemen. Denk hierbij aan begrippenparen als vorming-ontwikkeling, civilisatie-beschaving, senaat-Eerste Kamer, integratie-samensmelting (deze begrippen zijn fictieve voorbeelden). Werkstukken met termen van voorgaande jaren erin kunnen een indicatie vormen voor plagiaat.

• Verander elk jaar de literatuurverwijzingen in de opdracht. Titels komen bijvoorbeeld in een andere volgorde te staan. Een titel krijgt een kleine wijziging doordat bijvoorbeeld '&' wordt vervangen door 'en'. Bij klakkeloze overnames voeren studenten ook deze wijzigingen niet door in de literatuurlijst van hun plagiaat.

Hoe kunt u plagiaat herkennen? Er zijn verschillende kenmerken die gevallen van plagiaat verraden. Volgens Gregg Senechal van The Instructors Guide To Internet Plagiarism (Senechal 1997-2004) kunt u plagiaat herkennen aan de volgende kenmerken: • Werkstukken die refereren aan een college van een docent die niet verbonden is aan het

desbetreffende instituut van de student en de beoordelende docent. • Werkstukken van lage kwaliteit. De meeste essays die op het internet te vinden zijn, zijn niet

geschreven door wetenschappelijke 'toppers'. • Werkstukken die een eigen koers volgen en die door de studenten geforceerd worden

bijgestuurd door (vreemd geplaatste) paragrafen aan te brengen die de tekst meer in lijn moeten brengen met het door de docent bepaalde onderwerp.


pagina 89 van 89

• Werkstukken met een vreemde of zwakke lay-out. Sommige studenten plakken het essay in hun eigen tekstverwerker en printen het direct uit, met als resultaat dat de door hen gekozen lay-out op bepaalde plekken niet behouden blijft. Paginanummers kloppen niet overal, headings wisselen en er zijn lege regels en onverwachte paginabreaks te vinden.

• Werkstukken die zijn geprint vanuit de internetbrowser van de student (het ultieme en meeste trieste voorbeeld van kopieerwerk).

• Werkstukken met referenties van boeken die niet verkrijgbaar zijn in de desbetreffende universiteitsbibliotheek, of alleen vreemde (anderstalige) bronnen kennen.

Als het een docent lukt om plagiaat te herkennen, dan begint pas de zoektocht naar de originele bronnen. Om die te lokaliseren zal een docent zijn eigen vak- en bronkennis ten volle moeten benutten. Ook op dat terrein kunnen ICT-middelen goede diensten bewijzen. Fraude en plagiaat ontdekken met behulp van ICT Er is op dit moment een hele range van ICT-programma’s beschikbaar om de docent te helpen plagiaat te ontdekken. Deze programma’s zijn grofweg in twee categorieën in te delen. • Stand-aloneprogramma’s: deze programma’s kunnen elektronische documenten onderling

vergelijken op tekstovereenkomst. Om de vergelijking uit te voeren moet de docent alle documenten op zijn eigen pc plaatsen en het programma vervolgens opdracht geven om de vergelijking uit te voeren. Voorbeelden van deze programma’s zijn CODAS, CopyCatch, Pl@giarsm en WCopyfind

• Programma’s die documenten zowel onderling kunnen vergelijken als met bronnen op het internet. Hiervoor moeten in principe studenten hun documenten op een internetsite plaatsen. De internetsite voert vervolgens automatisch de vergelijking uit. Voorbeelden van deze programma’s zijn Turnitin, MyDropBox/SafeAssignment, Urkund en Ephorus.

Na deze vergelijkingen kan de docent een rapport opvragen. Dit rapport bestaat in eerste instantie uit een tabel waarin alle documenten naar mate van overeenkomst gerangordend zijn. Ontdekt het programma veel overeenkomsten, dan kan de docent vervolgens doorklikken naar een gedetailleerde weergave van het ingeleverde werk en de relevante passages uit externe bronnen. Dat kunnen zoals gezegd passages van medestudenten zijn of passages van internetbronnen. Over het algemeen maken de stand-aloneprogramma’s betere analyses van teksten dan de tweede categorie programma’s. Dat komt met name door de gedetailleerdheid en de gebruiksvriendelijkheid waarmee de stukken tekst onderling worden vergeleken op paragraaf- en zinsniveau. De tweede categorie programma’s heeft andere voordelen. Doordat gewerkt wordt in een internetomgeving met een centrale database van bestanden, kunnen studenten zelf het werk inleveren en worden de documenten automatisch vergeleken met documenten die op het internet te vinden zijn (van andere docenten, andere vakken en andere jaren). Mocht het lukken om op nationale schaal afspraken te maken over het delen van documenten, dan zou in principe zelfs op werkstukken van studenten van andere instellingen kunnen worden gezocht. Door een koppeling met standaard digitale leeromgevingen hoeven docenten minder beheerswerk uit te voeren. Een uitgebreide beschrijving van de huidige programma’s om op tekstovereenkomsten te zoeken is te vinden in de bijlage 1 (Hoofdstuk 6) van dit boek.

4 De mogelijkheden van ICT in het toetsproces Flexibilisering... · Metadata betekent letterlijk:...

Documents

Transcript of 4 De mogelijkheden van ICT in het toetsproces Flexibilisering... · Metadata betekent letterlijk:...