DIGITAAL TOETSEN/DIGITALE TOETSZAAL

SILVESTER DRAAIJER

2 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

EEN KORTE PERSOONLIJKE GESCHIEDENIS

> ir. Industrieel Ontwerpen> Eigen ontwerpbureau & Docent op de HHS bij IPO> Een digitale vragenbank gemaakt met collega> Eerste digitale beeldschermtoetsen zelf afgenomen

> Mechanica tentamens> Tempo+/Presto+ van de TU-Delft> Windows Applicatie> Samen met Harry van der Pas en collega’s> Alle valkuilen zelf meegemaakt

> Daarna afgedwaald …

3 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

4 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

DIGITAAL TOETSEN BIJ DE VU

> Questionmark Perception Tests ~ 250.000/jr> Blackboard Tests ~ 50.000/jr> Digitale Toetszaal ~ 20.000 – 50.000/jr> Turnitin ~2300/mnd, ~520 docenten

> http://draaijeronassessmentandtesting.wordpress.com/> SURF Special Interest Group Digitaal Toetsen:

https://www.surfspace.nl/sig/6-digitaal-toetsen/

5 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

WAAROM HOU IK VAN DIGITAAL TOETSEN?

> Toetsen heeft een directe impact op leren en studeren (Snyder 1971)

> ICT biedt nieuwe mogelijkheden> ICT leidt tot veel problemen die er om roepen om opgelost

te worden

> Het is complex, ill defined

6 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

WELKE VALKUILEN ZIJN ER ZOAL?

> Het kost meer tijd dan gedacht> Het kost meer dan gedacht> Er zijn irreeele verwachtingen (rendementen omhoog? Eerst

vragenbanken maken dan pas denken aan toetsen afnemen?)> De servers gaan down> Studenten kunnen afkijken> Studenten klagen dat het te warm is en dat het kijken op het

scherm vermoeiend is> Studenten kunnen niet inloggen> Collega’s klagen dat het surveilleren zoveel tijd kost> Resultaten raken kwijt> De uitvoering zorgt ervoor dat meer studenten zakken dan nodig

7 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

TECHNOLOGY ACCEPTANCE

Teachers regard online testing as useful, but find it difficult to realize it technically and logistically (Schoonenboom, 2012)

8 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

MIDDELEN

> Visie> Geld> Infrastructuur> Menskracht> Organisatiekracht> Kennis> Communicatie en verwachtingsmanagement

9 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

INSTITUTIONAL TAKE-UP OF CAA

Warburton (2009)

10 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

INSTITUTIONAL TAKE-UP OF CAA

Warburton (2009)

Positive drivers Negative drivers

11 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

TOETSINGS UTOPIE?

> Vergezichten rondom (digitaal) toetsen gaan verder dan mijn horizon …

> Twee tegengestelde ontwikkelingen

> Divergentie:Wiki’s, Games, Virtual Worlds, Websites, Group Work, Simulation, Authentic tasks, Portfolio’s, Badges etc.

> Convergentie:Legal Defensibility, Accreditation, Comply or Explain, Numerous Boards, Reliability …

12 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

13 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

QUICKSTART

http://bit.ly/eff-inzet-dig-toetsen

14 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

BREAK – NAAR DE DIGITALE TOETSZAAL OF IETS OVER QUIZZING?

15 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

FORMATIEF TOETSEN - ONLINE QUIZZING

Perfect om studenten ‘huiswerk’ te geven en perfect voor data-verzamelen en op basis daarvan acties uit te zetten.

Een demonstratie …

16 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

FEEDBACK

17 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

LEARNING THROUGHTESTING – TESTING EFFECT

Mcdaniel, M. A. et al. (2007)Karpicke, J. D., & Roediger, H. L. (2008), Roediger, H. L. I., & Karpicke, J. D. (2006, 2008)

Recall test (Short Answer) have stronger effects than recognition tests (MCQ).

E-assessment by design, Nicol, D (2007)

18 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

CORRELATIONAL EFFECTS QUIZZING ON EXAM SCORES

> Correlation between participation rate and exam scores> High correlation: Kibble and others (2007, 2008, 2011)

> Positive effect between quiz promotion and participation> Kibble, J.D. (2011)

> Correlation between credit given and participation> Kibble, J.D. (2011)

19 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

ANALYTICS – ACTING ON THE DATA

> Selection and timing of questions to answer> Repeated practice

> Within minutes/hours/days/weeks/months?> Drop-off rate of succesfully recalled answers

20 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

ANALYTICS – ACTING ON THE DATA

> Timing of feedback – Based on Correct-Incorrectness and Speed> Per question

> Answer again

> Per group of questions> Per test as a whole

> Directly after, longer and even longer

21 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

ANALYTICS – ACTING ON THE DATA

22 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

ANALYTICS

23 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

ANALYTICS

24 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

VARIATIONS - A

> Distributed Learning – Spacing Effect> Ebbinghaus (1885)!> Kerfoot et al. (2007, 2009, 2010)

> Collaborative Testing> Giuliodori, M. J., (2008), Kapitanoff, S. H. (2009), Rao, S. P., et al.

(2002), Slusser, S. R., & Erickson, R. J. (2006).

> Question generation by students> Denny, P., Hanks, B., & Simon, B. (2010), Fellenz, M. R. (2004).

25 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

VARIATIONS - B

> Lecture Clickers and other Response Systems> For example Mazur, E., & Crouch, C. H. (2001), Caldwell (2007), Draper

(2009) - Catalytic assessment, Ipsative Assessment

> Question Formats> Various MCQ formats

http://draaijeronassessmentandtesting.wordpress.com/2012/04/09/innovative-multiple-choice-in-formative-tests/

> Short Answer formats> http://prezi.com/ksd0wxbtdxf-/surf-masterclass-digitaal-toetsen /> http://testdevelopment.nl/qdst/qdst-nl/pro-con-q-formats/dive-general.htm

> Quizzing before or after lecturing> Enhancing engagement in lectures or tutorial meetings> Providing opportunity to direclty apply knowledge

26 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

DIGITALE TOETSZAAL VU (DIGITENT)

27 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

HEB JE EEN DIGITALE TOETSZAAL NODIG?

> Exams are outdated, is it not?> Read your own OER and check your current ‘studiegids’

> With computers, students can take their exam at any moment of their liking, is it not?> Traditional Higher Education system in NL is cohort based

> Students can taken an exam at home, is it not?> Security and Integrity of data and achievement cannot be guaranteed

> Students can bring their own (any) device to the exam hall, is it not?> Power> Network> Security and Integrity of data and achievement

> We can use the regular computerrooms, is it not?> Reliability of computers is poor> Very poor ergonomic conditions> Very poor defference of fraud

> JA! dus

28 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

EN HEB JE EEN GROTE ZAAL NODIG?

> Digitaal toetsen heeft het meeste efficiëntie voordeel bij grote cohorten

> Efficiënt omgaan met grote cohorten> Tentamens

> Deeltentamens

> Tussentoetsen

> Ja, je hebt een grote nodig

29 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

ZIJN WE ALLEEN?

Digitale Toetszaal RUG – 290 plekken permanent

Digitale Toetszaal TU-Delft – 2 x 225 plekken plekken, niet permanent

Digitale Toetszaal VU – 385 plekken – permanent

+ HS Leiden+ Erasums+ Universiteit Leiden+ UvA+ AMC

Universiteitsbibliotheek VU

WAAR KOMT DE DIGITALE TOETSZAAL?

30 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

385 plekken

31 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

32 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

Figuur 2 Handmatig verwerken van papieren toetsen bij RCH.

33 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN

Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback, peer-review. Ook op de Tablet.

34 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD

35 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN

36 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

37 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

> Open vragen (voorkom schrijven met de hand);> Beroepssoftware;> Open vragen toevoegen aan gesloten vragen;> Andere vraagvormen, afbeeldingen, multimedia e.d.

> Verbeteren van het studiesucces> Verbeteren waardering door studenten in het kader van

de NSE (o.a. nakijktermijn)

WELKE TOETSVORM LEVERT HET MEESTE OP IN DE DIGITENT?

Universiteitsbibliotheek VU38 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

Geschikt Maatwerk,

specifieke

software

nodig

Niet of beperkt

mogelijk

MC

xOpen vragen in

tekstvorm xBeroepssoftware met

file bewerking en

uploadx

Beperkte wiskundige,

chemische symbolen xUitgebreide

wiskundige,

chemische of andere

structuren

X (tenzij met

gebruimaking van

beroepssoftware)

Toetsen moeten geschikt zijn om in digitale vorm aan te bieden

Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

WELKE ONDERSTEUNING?

• Centrale Ondersteuning Digitaal Toetsen• ICTO ondersteuner faculteit

39

The personal touch

40 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

ORGANIZATION

Faculteit/Docent

Fac. Ondersteuner

Applicatiebeheer

Database en OS beheer

Functioneel beheer

Onderwijskundig adviseur

(digitaal) toetsexpert

Educational Technologist

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Centrale Ondersteuner

Digitaal Toetsen

ITEDFaculties

DigiTenT

VU Board, Faculty Boards, ICTO Advisory Board

Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

FACULTEITEN ZONDER ICTO ONDERSTEUNING

Pluspakket

41

Type toets

Een nieuw te ontwikkelen toets via Blackboard of Questionmark Perception (evt. in combinatie met beroepssoftware)

Ontwikkelen specifieke vraagtypes

Eerder ontwikkelde toets via Blackboard of Questionmark Perception

Een nieuw te ontwikkelen toets waarbij studenten met beroepssoftware worden getest

Een bestaande toets waarbij studenten met beroepssoftware worden getest

Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

ROOSTERING EN ACTOREN/ONDERSTEUNING

42

43 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

WELKE ORGANISATIE EN LOGISTIEK

Wat • Wie Opmerkingen

Idee formuleren • Docent• Faculteit/Opleiding• Cursuscoördinator

Software hebben • Centrale of facultaire ondersteuning

• IT-functionarissen

• Welke methode: online, clientsoftware• Nauwkeurige toegang regelen tot Topics,

Testen e.d.

Toetsopzet bedenken • Docent• Onderwijskundig ondersteuner

• Vraagtypen• Volgorde van vragen• Instructieschermen• Feedbackschermen• Cijferbekendmaking• Inzage bedenken

Toetsvragen bedenken • Docent• Onderwijskundig ondersteuner• Technisch ondersteuner

Toetsvragen invoeren • Docent (nee, liever niet)• Technisch ondersteuner

44 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

WELKE ORGANISATIE EN LOGISTIEK (CONT.)

Wat • Wie Opmerkingen

Toets samenstellen • Technisch ondersteuner • Navigatie• Templates• Knoppen• Interactieve meldingen

Toets controleren • Docent• Technisch ondersteuner

Toets ter beschikking stellen aan studenten • Technisch ondersteuner• Functioneel beheer• Roosteraars• Curriculum ontwikkelaars

Toetsafnemen onder goed gecontroleerde condities en technisch betrouwbaar

• Technisch ondersteuner• Technisch beheer• Applicatiebeheer• Functioneel beheer

Is er wel of niet een dedicated faciliteit om digitale toetsen af te nemen?

Troubleshooting als de toets ter beschikking staat

• Technisch ondersteuner• Functioneel beheerder

Toetsresultaten downloaden, analyses plegen en scores en cijfers bepalen

• Technisch ondersteuner• Psychometricus

Inzage mogelijk maken • Docent• Technisch ondersteuner

45 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

EN DE TOEKOMST - 1

Accreditatie – Rubrics gebruiken over jaren en cursussen, leidend naar de afstudeerscriptie.

46 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

EN DE TOEKOMST - 2

> MOOC’s> Depent heavily on quizzing

> Large Scale Itembanking and exchange> Publishers> Collaborative efforts (SURF)> Interoperability Standards such as IMS QTI v1.2/v2.1 and IMS BasicLTI

> Computer Adaptive Testing – also in Higher Ed> Aleks, Statistiekfabriek, StudyTube

> Scoring related to Institutional Goals and Outcomes

> Online Proctoring> It is technically possible> But is it affordable (EUR 20-25 per examinee)> But is it acceptable

47 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

BLACKBOARD OUTCOMES

Universiteitsbibliotheek VU

VOOR MEER INFORMATIE

48 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

Silvester Draaijers.draaijer@vu.nl