GROOTSCHALIG DIGITAAL TOETSEN OP DE VU
SILVESTER DRAAIJER
2 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
EEN KORTE PERSOONLIJKE GESCHIEDENIS
> ir. Industrieel Ontwerpen> Eigen ontwerpbureau & Docent op de HHS bij IPO> Een digitale vragenbank gemaakt met collega> Eerste digitale beeldschermtoetsen zelf afgenomen
> Mechanica tentamens> Tempo+/Presto+ van de TU-Delft> Windows Applicatie> Samen met Harry van der Pas en collega’s> Alle valkuilen zelf meegemaakt
> Daarna afgedwaald …
3 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
4 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
DIGITAAL TOETSEN BIJ DE VU
> Questionmark Perception Tests ~ 250.000/jr> Blackboard Tests ~ 50.000/jr> Digitale Toetszaal ~ 50.000/jr> Turnitin ~2300/mnd, ~520 docenten
> http://draaijeronassessmentandtesting.wordpress.com/> SURF Special Interest Group Digitaal Toetsen:
https://www.surfspace.nl/sig/6-digitaal-toetsen/
5 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
WAAROM HOU IK VAN DIGITAAL TOETSEN? (EN U ER OOK VAN ZOU MOETEN HOUDEN!)
> Toetsen heeft een directe impact op leren en studeren (Snyder 1971)
> ICT biedt nieuwe mogelijkheden> ICT leidt tot veel problemen die er om roepen om opgelost
te worden
> Het is complex, ill defined
6 Digitale Toetszaal VU - HO Link dagen 2014
MIDDELEN
> Visie> Geld> Infrastructuur> Menskracht> Organisatiekracht> Kennis> Communicatie en verwachtingsmanagement
7 Digitale Toetszaal VU - HO Link dagen 2014
INSTITUTIONAL TAKE-UP OF CAA
Warburton (2009)
8 Digitale Toetszaal VU - HO Link dagen 2014
TECHNOLOGY ACCEPTANCE
Teachers regard online testing as useful, but find it difficult to realize it technically and logistically (Schoonenboom, 2012)
9 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
HEB JE EEN DIGITALE TOETSZAAL NODIG?
> Exams are outdated, is it not?> Read your own OER and check your current ‘studiegids’
> With computers, students can take their exam at any moment of their liking, is it not?> Traditional Higher Education system in NL is cohort based
> Students can taken an exam at home, is it not?> Security and Integrity of data and achievement cannot be guaranteed
> Students can bring their own (any) device to the exam hall, is it not?> Power> Network> Security and Integrity of data and achievement
> We can use the regular computerrooms, is it not?> Reliability of computers is poor> Very poor ergonomic conditions> Very poor defference of fraud
10 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
EN HEB JE EEN GROTE ZAAL NODIG?
> Digitaal toetsen heeft het meeste efficiëntie voordeel bij grote cohorten
> Efficiënt omgaan met grote cohorten> Tentamens
> Deeltentamens
> Tussentoetsen
> Ja, je hebt een grote nodig
11 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
DIGITALE TOETSZAAL VU (DIGITENT)
12 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
ZIJN WE ALLEEN?
Digitale Toetszaal RUG – 290 plekken permanent
Digitale Toetszaal TU-Delft – 2 x 225 plekken plekken, niet permanent
Digitale Toetszaal VU – 385 plekken – permanent
+ HS Leiden+ Erasmus+ Universiteit Leiden+ UvA+ AMC
13 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
14 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
Universiteitsbibliotheek VU
WAAR IS DE DIGITALE TOETSZAAL?
15 Digitale Toetszaal VU - HO Link dagen 2014
385 plekken
16 Digitale Toetszaal VU - HO Link dagen 2014
17 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
GROTE VOORDEEL
Figuur 2 Handmatig verwerken van papieren toetsen bij RCH.
18 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN
Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback, peer-review. Ook op de Tablet.
19 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD
20 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN
21 Digitale Toetszaal VU - HO Link dagen 2014
22 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
> Open vragen (voorkom schrijven met de hand);> Beroepssoftware;> Open vragen toevoegen aan gesloten vragen;> Andere vraagvormen, afbeeldingen, multimedia e.d.
> Verbeteren van het studiesucces> Verbeteren waardering door studenten in het kader van
de NSE (o.a. nakijktermijn)
WELKE TOETSVORM LEVERT HET MEESTE OP IN DE DIGITENT?
Universiteitsbibliotheek VU23 Digitale Toetszaal VU - HO Link dagen 2014
Geschikt Maatwerk,
specifieke
software
nodig
Niet of beperkt
mogelijk
MC
xOpen vragen in
tekstvorm xBeroepssoftware met
file bewerking en
uploadx
Beperkte wiskundige,
chemische symbolen xUitgebreide
wiskundige,
chemische of andere
structuren
X (tenzij met
gebruimaking van
beroepssoftware)
Toetsen moeten geschikt zijn om in digitale vorm aan te bieden
24 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
ORGANISATIE – DE MOEILIJKE VOORSTELLING
Faculteit/Docent
Fac. Ondersteuner
Applicatiebeheer
Database en OS beheer
Functioneel beheer
Onderwijskundig adviseur
(digitaal) toetsexpert
Educational Technologist
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Centrale Ondersteuner
Digitaal Toetsen
ITEDFaculties
DigiTenT
VU Board, Faculty Boards, ICTO Advisory Board
Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
WELKE ONDERSTEUNING?
• Centrale Ondersteuning Digitaal Toetsen• ICTO ondersteuner faculteit
25
The personal touch
26 Digitale Toetszaal VU - HO Link dagen 2014
WELKE ORGANISATIE EN LOGISTIEK
Wat • Wie Opmerkingen
Idee formuleren • Docent• Faculteit/Opleiding• Cursuscoördinator
Software hebben • Centrale of facultaire ondersteuning
• IT-functionarissen
• Welke methode: online, clientsoftware• Nauwkeurige toegang regelen tot Topics,
Testen e.d.
Toetsopzet bedenken • Docent• Onderwijskundig ondersteuner
• Vraagtypen• Volgorde van vragen• Instructieschermen• Feedbackschermen• Cijferbekendmaking• Inzage bedenken
Toetsvragen bedenken • Docent• Onderwijskundig ondersteuner• Technisch ondersteuner
Toetsvragen invoeren • Docent (nee, liever niet)• Technisch ondersteuner
27 Digitale Toetszaal VU - HO Link dagen 2014
WELKE ORGANISATIE EN LOGISTIEK (CONT.)
Wat • Wie Opmerkingen
Toets samenstellen • Technisch ondersteuner • Navigatie• Templates• Knoppen• Interactieve meldingen
Toets controleren • Docent• Technisch ondersteuner
Toets ter beschikking stellen aan studenten • Technisch ondersteuner• Functioneel beheer• Roosteraars• Curriculum ontwikkelaars
Toetsafnemen onder goed gecontroleerde condities en technisch betrouwbaar
• Technisch ondersteuner• Technisch beheer• Applicatiebeheer• Functioneel beheer
Is er wel of niet een dedicated faciliteit om digitale toetsen af te nemen?
Troubleshooting als de toets ter beschikking staat
• Technisch ondersteuner• Functioneel beheerder
Toetsresultaten downloaden, analyses plegen en scores en cijfers bepalen
• Technisch ondersteuner• Psychometricus
Inzage mogelijk maken • Docent• Technisch ondersteuner
Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
FACULTEITEN ZONDER ICTO ONDERSTEUNING
Pluspakket
28
Type toets
Een nieuw te ontwikkelen toets via Blackboard of Questionmark Perception (evt. in combinatie met beroepssoftware)
Ontwikkelen specifieke vraagtypes
Eerder ontwikkelde toets via Blackboard of Questionmark Perception
Een nieuw te ontwikkelen toets waarbij studenten met beroepssoftware worden getest
Een bestaande toets waarbij studenten met beroepssoftware worden getest
29 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
BEVEILIGING - ONVEILIGHEID
> Computers in apart VLAN> Computers alleen op te starten met beperkt aantal
functionele accounts> Functionele accounts zijn gekoppeld aan specifieke GPO’s> Alle auto-update functies zijn uitgezet> Computers te monitoren met Classroom Management
Software
> Werkplekken in gewone tentamenopstelling> Anti-afkijkschermen op de beeldschermen
30 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
BEVEILIGING - ONVEILIGHEID
>Toetsen pas beschikbaar op tentamentijdstip> Toetsen weer dicht een half uur na aanvang van de toets> Toetsen afgeschermd met apart wachtwoord – pas bekend
in de TenT
> Good Old Surveillanten
> Beheerders van toetssystemen moeten niet:> Per ongeluk toetsen openzetten> Per ongeluk hun accounts verraden> Per ongeluk goede antwoorden in toetsvragen aangeven
31 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
BETROUWBAARHEID
> Toetssyteem> Load-balanced Toetssysteem> Uitvoerig getest
> Internetverbinding> 1 kabel de TenT in> Als er géén Internet is, dan is er ook géén toets
> Werkplekken> Geheel uniform> Geen vrije werkplekken> Dagelijkse controle door centrale ondersteuner
> Troubleshooting> Centrale ondersteuner is zeer vloeiend in oplossen van alle kleine en grote
problemen
Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
ROOSTERING EN ACTOREN/ONDERSTEUNING
> Tijdens tentamenweken max. 40.000-48.000 pogingen> Aanmelden tentamens en tussentoetsen via Syllabus+> FCO probeert alles in te plannen> Reserveren per blok van ~95 computers> Digitaal toetsen krijgt voorrang!> Papier en digitaal door elkaar> Als het niet lukt op gewenst moment – zoeken naar
oplossingen
32
Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
ROOSTERING EN ACTOREN/ONDERSTEUNING
> ‘Beheerreglement’> Vaste bloktijden
De bloktijden zijn als volgt.
Zaal open: 8.30 uur; tentamen: 8.45 – 11.30 uur
Zaal open: 11.45 uur; tentamen: 12.00 – 14.45 uur
Zaal open: 15.00 uur; tentamen: 15.15 – 18.00 uur
Zaal open: 18.15 uur; tentamen: 18.30 – 21.15 uur
33
34 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU
UITDAGINGEN
> Toetsen voor studenten met beperkingen> Uitbreiden van de piek-capaciteit> Aanbieden aan derden> Kosten (centrale voorziening vs betalen per toets/afname)
Universiteitsbibliotheek VU
VOOR MEER INFORMATIVE - HULP
35 Digitale Toetszaal VU - HO Link dagen 2014
Silvester [email protected]
Draaijer, S., & Warburton, B. (2014). The Emergence of Large-Scale Computer Assisted Summative Examination Facilities in Higher Education. In M. Kalz & E. Ras (Eds.), Computer Assisted Assessment. Research into E-Assessment (pp. 28–39). Springer International Publishing.
https://www.edugroepen.nl/sites/VUDigitaalToetsen/SitePages/Introductiepagina.aspx
Top Related