Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer -...

GROOTSCHALIG DIGITAAL TOETSEN OP DE VU

SILVESTER DRAAIJER

2 Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU

EEN KORTE PERSOONLIJKE GESCHIEDENIS

> ir. Industrieel Ontwerpen> Eigen ontwerpbureau & Docent op de HHS bij IPO> Een digitale vragenbank gemaakt met collega> Eerste digitale beeldschermtoetsen zelf afgenomen

> Mechanica tentamens> Tempo+/Presto+ van de TU-Delft> Windows Applicatie> Samen met Harry van der Pas en collega’s> Alle valkuilen zelf meegemaakt

> Daarna afgedwaald …


DIGITAAL TOETSEN BIJ DE VU

> Questionmark Perception Tests ~ 250.000/jr> Blackboard Tests ~ 50.000/jr> Digitale Toetszaal ~ 50.000/jr> Turnitin ~2300/mnd, ~520 docenten

> http://draaijeronassessmentandtesting.wordpress.com/> SURF Special Interest Group Digitaal Toetsen:

https://www.surfspace.nl/sig/6-digitaal-toetsen/

http://draaijeronassessmentandtesting.wordpress.com/

http://draaijeronassessmentandtesting.wordpress.com/

https://www.surfspace.nl/sig/6-digitaal-toetsen/


WAAROM HOU IK VAN DIGITAAL TOETSEN? (EN U ER OOK VAN ZOU MOETEN HOUDEN!)

> Toetsen heeft een directe impact op leren en studeren (Snyder 1971)

> ICT biedt nieuwe mogelijkheden> ICT leidt tot veel problemen die er om roepen om opgelost

te worden

> Het is complex, ill defined

6 Digitale Toetszaal VU - HO Link dagen 2014

MIDDELEN

> Visie> Geld> Infrastructuur> Menskracht> Organisatiekracht> Kennis> Communicatie en verwachtingsmanagement


INSTITUTIONAL TAKE-UP OF CAA

Warburton (2009)


TECHNOLOGY ACCEPTANCE

Teachers regard online testing as useful, but find it difficult to realize it technically and logistically (Schoonenboom, 2012)


HEB JE EEN DIGITALE TOETSZAAL NODIG?

> Exams are outdated, is it not?> Read your own OER and check your current ‘studiegids’

> With computers, students can take their exam at any moment of their liking, is it not?> Traditional Higher Education system in NL is cohort based

> Students can taken an exam at home, is it not?> Security and Integrity of data and achievement cannot be guaranteed

> Students can bring their own (any) device to the exam hall, is it not?> Power> Network> Security and Integrity of data and achievement

> We can use the regular computerrooms, is it not?> Reliability of computers is poor> Very poor ergonomic conditions> Very poor defference of fraud


EN HEB JE EEN GROTE ZAAL NODIG?

> Digitaal toetsen heeft het meeste efficiëntie voordeel bij grote cohorten

> Efficiënt omgaan met grote cohorten> Tentamens

> Deeltentamens

> Tussentoetsen

> Ja, je hebt een grote nodig


DIGITALE TOETSZAAL VU (DIGITENT)


ZIJN WE ALLEEN?

Digitale Toetszaal RUG – 290 plekken permanent

Digitale Toetszaal TU-Delft – 2 x 225 plekken plekken, niet permanent

Digitale Toetszaal VU – 385 plekken – permanent

+ HS Leiden+ Erasmus+ Universiteit Leiden+ UvA+ AMC

Universiteitsbibliotheek VU

WAAR IS DE DIGITALE TOETSZAAL?


385 plekken


GROTE VOORDEEL

Figuur 2 Handmatig verwerken van papieren toetsen bij RCH.


GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN

Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback, peer-review. Ook op de Tablet.


GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD


GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN


> Open vragen (voorkom schrijven met de hand);> Beroepssoftware;> Open vragen toevoegen aan gesloten vragen;> Andere vraagvormen, afbeeldingen, multimedia e.d.

> Verbeteren van het studiesucces> Verbeteren waardering door studenten in het kader van

de NSE (o.a. nakijktermijn)

WELKE TOETSVORM LEVERT HET MEESTE OP IN DE DIGITENT?

Universiteitsbibliotheek VU23 Digitale Toetszaal VU - HO Link dagen 2014

Geschikt Maatwerk,

specifieke

software

nodig

Niet of beperkt

mogelijk

MC

xOpen vragen in

tekstvorm xBeroepssoftware met

file bewerking en

uploadx

Beperkte wiskundige,

chemische symbolen xUitgebreide

wiskundige,

chemische of andere

structuren

X (tenzij met

gebruimaking van

beroepssoftware)

Toetsen moeten geschikt zijn om in digitale vorm aan te bieden


ORGANISATIE – DE MOEILIJKE VOORSTELLING

Faculteit/Docent

Fac. Ondersteuner

Applicatiebeheer

Database en OS beheer

Functioneel beheer

Onderwijskundig adviseur

(digitaal) toetsexpert

Educational Technologist

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Centrale Ondersteuner

Digitaal Toetsen

ITEDFaculties

DigiTenT

VU Board, Faculty Boards, ICTO Advisory Board

Digitale Toetszaal VU - HO Link dagen 2014 Universiteitsbibliotheek VU

WELKE ONDERSTEUNING?

• Centrale Ondersteuning Digitaal Toetsen• ICTO ondersteuner faculteit

25

The personal touch


WELKE ORGANISATIE EN LOGISTIEK

Wat • Wie Opmerkingen

Idee formuleren • Docent• Faculteit/Opleiding• Cursuscoördinator

Software hebben • Centrale of facultaire ondersteuning

• IT-functionarissen

• Welke methode: online, clientsoftware• Nauwkeurige toegang regelen tot Topics,

Testen e.d.

Toetsopzet bedenken • Docent• Onderwijskundig ondersteuner

• Vraagtypen• Volgorde van vragen• Instructieschermen• Feedbackschermen• Cijferbekendmaking• Inzage bedenken

Toetsvragen bedenken • Docent• Onderwijskundig ondersteuner• Technisch ondersteuner

Toetsvragen invoeren • Docent (nee, liever niet)• Technisch ondersteuner


WELKE ORGANISATIE EN LOGISTIEK (CONT.)

Wat • Wie Opmerkingen

Toets samenstellen • Technisch ondersteuner • Navigatie• Templates• Knoppen• Interactieve meldingen

Toets controleren • Docent• Technisch ondersteuner

Toets ter beschikking stellen aan studenten • Technisch ondersteuner• Functioneel beheer• Roosteraars• Curriculum ontwikkelaars

Toetsafnemen onder goed gecontroleerde condities en technisch betrouwbaar

• Technisch ondersteuner• Technisch beheer• Applicatiebeheer• Functioneel beheer

Is er wel of niet een dedicated faciliteit om digitale toetsen af te nemen?

Troubleshooting als de toets ter beschikking staat

• Technisch ondersteuner• Functioneel beheerder

Toetsresultaten downloaden, analyses plegen en scores en cijfers bepalen

• Technisch ondersteuner• Psychometricus

Inzage mogelijk maken • Docent• Technisch ondersteuner


FACULTEITEN ZONDER ICTO ONDERSTEUNING

Pluspakket

28

Type toets

Een nieuw te ontwikkelen toets via Blackboard of Questionmark Perception (evt. in combinatie met beroepssoftware)

Ontwikkelen specifieke vraagtypes

Eerder ontwikkelde toets via Blackboard of Questionmark Perception

Een nieuw te ontwikkelen toets waarbij studenten met beroepssoftware worden getest

Een bestaande toets waarbij studenten met beroepssoftware worden getest


BEVEILIGING - ONVEILIGHEID

> Computers in apart VLAN> Computers alleen op te starten met beperkt aantal

functionele accounts> Functionele accounts zijn gekoppeld aan specifieke GPO’s> Alle auto-update functies zijn uitgezet> Computers te monitoren met Classroom Management

Software

> Werkplekken in gewone tentamenopstelling> Anti-afkijkschermen op de beeldschermen


BEVEILIGING - ONVEILIGHEID

>Toetsen pas beschikbaar op tentamentijdstip> Toetsen weer dicht een half uur na aanvang van de toets> Toetsen afgeschermd met apart wachtwoord – pas bekend

in de TenT

> Good Old Surveillanten

> Beheerders van toetssystemen moeten niet:> Per ongeluk toetsen openzetten> Per ongeluk hun accounts verraden> Per ongeluk goede antwoorden in toetsvragen aangeven


BETROUWBAARHEID

> Toetssyteem> Load-balanced Toetssysteem> Uitvoerig getest

> Internetverbinding> 1 kabel de TenT in> Als er géén Internet is, dan is er ook géén toets

> Werkplekken> Geheel uniform> Geen vrije werkplekken> Dagelijkse controle door centrale ondersteuner

> Troubleshooting> Centrale ondersteuner is zeer vloeiend in oplossen van alle kleine en grote

problemen


ROOSTERING EN ACTOREN/ONDERSTEUNING

> Tijdens tentamenweken max. 40.000-48.000 pogingen> Aanmelden tentamens en tussentoetsen via Syllabus+> FCO probeert alles in te plannen> Reserveren per blok van ~95 computers> Digitaal toetsen krijgt voorrang!> Papier en digitaal door elkaar> Als het niet lukt op gewenst moment – zoeken naar

oplossingen

32


ROOSTERING EN ACTOREN/ONDERSTEUNING

> ‘Beheerreglement’> Vaste bloktijden

De bloktijden zijn als volgt.

Zaal open: 8.30 uur; tentamen: 8.45 – 11.30 uur




33


UITDAGINGEN

> Toetsen voor studenten met beperkingen> Uitbreiden van de piek-capaciteit> Aanbieden aan derden> Kosten (centrale voorziening vs betalen per toets/afname)

Universiteitsbibliotheek VU

VOOR MEER INFORMATIVE - HULP


Silvester [email protected]

Draaijer, S., & Warburton, B. (2014). The Emergence of Large-Scale Computer Assisted Summative Examination Facilities in Higher Education. In M. Kalz & E. Ras (Eds.), Computer Assisted Assessment. Research into E-Assessment (pp. 28–39). Springer International Publishing.

https://www.edugroepen.nl/sites/VUDigitaalToetsen/SitePages/Introductiepagina.aspx

mailto:[email protected]

Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer -...

Education

Transcript of Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer -...