DIGITAAL TOETSEN/DIGITALE TOETSZAAL SILVESTER DRAAIJER.

DIGITAAL TOETSEN/DIGITALE TOETSZAAL

SILVESTER DRAAIJER

2 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

EEN KORTE PERSOONLIJKE GESCHIEDENIS

> ir. Industrieel Ontwerpen> Eigen ontwerpbureau & Docent op de HHS bij IPO> Een digitale vragenbank gemaakt met collega> Eerste digitale beeldschermtoetsen zelf afgenomen

> Mechanica tentamens> Tempo+/Presto+ van de TU-Delft> Windows Applicatie> Samen met Harry van der Pas en collega’s> Alle valkuilen zelf meegemaakt

> Daarna afgedwaald …


DIGITAAL TOETSEN BIJ DE VU

> Questionmark Perception Tests ~ 250.000/jr> Blackboard Tests ~ 50.000/jr> Digitale Toetszaal ~ 20.000 – 50.000/jr> Turnitin ~2300/mnd, ~520 docenten

> http://draaijeronassessmentandtesting.wordpress.com/> SURF Special Interest Group Digitaal Toetsen:

https://www.surfspace.nl/sig/6-digitaal-toetsen/

http://draaijeronassessmentandtesting.wordpress.com/

http://draaijeronassessmentandtesting.wordpress.com/

https://www.surfspace.nl/sig/6-digitaal-toetsen/


WAAROM HOU IK VAN DIGITAAL TOETSEN?

> Toetsen heeft een directe impact op leren en studeren (Snyder 1971)

> ICT biedt nieuwe mogelijkheden> ICT leidt tot veel problemen die er om roepen om opgelost

te worden

> Het is complex, ill defined


WELKE VALKUILEN ZIJN ER ZOAL?

> Het kost meer tijd dan gedacht> Het kost meer dan gedacht> Er zijn irreeele verwachtingen (rendementen omhoog? Eerst

vragenbanken maken dan pas denken aan toetsen afnemen?)> De servers gaan down> Studenten kunnen afkijken> Studenten klagen dat het te warm is en dat het kijken op het

scherm vermoeiend is> Studenten kunnen niet inloggen> Collega’s klagen dat het surveilleren zoveel tijd kost> Resultaten raken kwijt> De uitvoering zorgt ervoor dat meer studenten zakken dan nodig

7 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

TECHNOLOGY ACCEPTANCE

Teachers regard online testing as useful, but find it difficult to realize it technically and logistically (Schoonenboom, 2012)


MIDDELEN

> Visie> Geld> Infrastructuur> Menskracht> Organisatiekracht> Kennis> Communicatie en verwachtingsmanagement


INSTITUTIONAL TAKE-UP OF CAA

Warburton (2009)


INSTITUTIONAL TAKE-UP OF CAA

Warburton (2009)

Positive drivers Negative drivers


TOETSINGS UTOPIE?

> Vergezichten rondom (digitaal) toetsen gaan verder dan mijn horizon …

> Twee tegengestelde ontwikkelingen

> Divergentie:Wiki’s, Games, Virtual Worlds, Websites, Group Work, Simulation, Authentic tasks, Portfolio’s, Badges etc.

> Convergentie:Legal Defensibility, Accreditation, Comply or Explain, Numerous Boards, Reliability …


QUICKSTART

http://bit.ly/eff-inzet-dig-toetsen




BREAK – NAAR DE DIGITALE TOETSZAAL OF IETS OVER QUIZZING?


FORMATIEF TOETSEN - ONLINE QUIZZING

Perfect om studenten ‘huiswerk’ te geven en perfect voor data-verzamelen en op basis daarvan acties uit te zetten.

Een demonstratie …


FEEDBACK


LEARNING THROUGHTESTING – TESTING EFFECT

Mcdaniel, M. A. et al. (2007)Karpicke, J. D., & Roediger, H. L. (2008), Roediger, H. L. I., & Karpicke, J. D. (2006, 2008)

Recall test (Short Answer) have stronger effects than recognition tests (MCQ).

E-assessment by design, Nicol, D (2007)


CORRELATIONAL EFFECTS QUIZZING ON EXAM SCORES

> Correlation between participation rate and exam scores> High correlation: Kibble and others (2007, 2008, 2011)

> Positive effect between quiz promotion and participation> Kibble, J.D. (2011)

> Correlation between credit given and participation> Kibble, J.D. (2011)


ANALYTICS – ACTING ON THE DATA

> Selection and timing of questions to answer> Repeated practice

> Within minutes/hours/days/weeks/months?> Drop-off rate of succesfully recalled answers



> Timing of feedback – Based on Correct-Incorrectness and Speed> Per question

> Answer again

> Per group of questions> Per test as a whole

> Directly after, longer and even longer


ANALYTICS


VARIATIONS - A

> Distributed Learning – Spacing Effect> Ebbinghaus (1885)!> Kerfoot et al. (2007, 2009, 2010)

> Collaborative Testing> Giuliodori, M. J., (2008), Kapitanoff, S. H. (2009), Rao, S. P., et al.

(2002), Slusser, S. R., & Erickson, R. J. (2006).

> Question generation by students> Denny, P., Hanks, B., & Simon, B. (2010), Fellenz, M. R. (2004).


VARIATIONS - B

> Lecture Clickers and other Response Systems> For example Mazur, E., & Crouch, C. H. (2001), Caldwell (2007), Draper

(2009) - Catalytic assessment, Ipsative Assessment

> Question Formats> Various MCQ formats

http://draaijeronassessmentandtesting.wordpress.com/2012/04/09/innovative-multiple-choice-in-formative-tests/

> Short Answer formats> http://prezi.com/ksd0wxbtdxf-/surf-masterclass-digitaal-toetsen /> http://testdevelopment.nl/qdst/qdst-nl/pro-con-q-formats/dive-general.htm

> Quizzing before or after lecturing> Enhancing engagement in lectures or tutorial meetings> Providing opportunity to direclty apply knowledge



http://prezi.com/ksd0wxbtdxf-/surf-masterclass-digitaal-toetsen/

http://prezi.com/ksd0wxbtdxf-/surf-masterclass-digitaal-toetsen/

http://testdevelopment.nl/qdst/qdst-nl/pro-con-q-formats/dive-general.htm


DIGITALE TOETSZAAL VU (DIGITENT)


HEB JE EEN DIGITALE TOETSZAAL NODIG?

> Exams are outdated, is it not?> Read your own OER and check your current ‘studiegids’

> With computers, students can take their exam at any moment of their liking, is it not?> Traditional Higher Education system in NL is cohort based

> Students can taken an exam at home, is it not?> Security and Integrity of data and achievement cannot be guaranteed

> Students can bring their own (any) device to the exam hall, is it not?> Power> Network> Security and Integrity of data and achievement

> We can use the regular computerrooms, is it not?> Reliability of computers is poor> Very poor ergonomic conditions> Very poor defference of fraud

> JA! dus


EN HEB JE EEN GROTE ZAAL NODIG?

> Digitaal toetsen heeft het meeste efficiëntie voordeel bij grote cohorten

> Efficiënt omgaan met grote cohorten> Tentamens

> Deeltentamens

> Tussentoetsen

> Ja, je hebt een grote nodig


ZIJN WE ALLEEN?

Digitale Toetszaal RUG – 290 plekken permanent

Digitale Toetszaal TU-Delft – 2 x 225 plekken plekken, niet permanent

Digitale Toetszaal VU – 385 plekken – permanent

+ HS Leiden+ Erasums+ Universiteit Leiden+ UvA+ AMC

Universiteitsbibliotheek VU

WAAR KOMT DE DIGITALE TOETSZAAL?


385 plekken


Figuur 2 Handmatig verwerken van papieren toetsen bij RCH.


GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN

Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback, peer-review. Ook op de Tablet.


GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD


GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN


> Open vragen (voorkom schrijven met de hand);> Beroepssoftware;> Open vragen toevoegen aan gesloten vragen;> Andere vraagvormen, afbeeldingen, multimedia e.d.

> Verbeteren van het studiesucces> Verbeteren waardering door studenten in het kader van

de NSE (o.a. nakijktermijn)

WELKE TOETSVORM LEVERT HET MEESTE OP IN DE DIGITENT?

Universiteitsbibliotheek VU38 Digitale Toetszaal VU - Haagse Onderwijsdag 2013

Geschikt Maatwerk,

specifieke

software

nodig

Niet of beperkt

mogelijk

MC

xOpen vragen in

tekstvorm xBeroepssoftware met

file bewerking en

uploadx

Beperkte wiskundige,

chemische symbolen xUitgebreide

wiskundige,

chemische of andere

structuren

X (tenzij met

gebruimaking van

beroepssoftware)

Toetsen moeten geschikt zijn om in digitale vorm aan te bieden

Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU

WELKE ONDERSTEUNING?

• Centrale Ondersteuning Digitaal Toetsen• ICTO ondersteuner faculteit

39

The personal touch


ORGANIZATION

Faculteit/Docent

Fac. Ondersteuner

Applicatiebeheer

Database en OS beheer

Functioneel beheer

Onderwijskundig adviseur

(digitaal) toetsexpert

Educational Technologist

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Faculteit/Docent

Fac. Ondersteuner

Centrale Ondersteuner

Digitaal Toetsen

ITEDFaculties

DigiTenT

VU Board, Faculty Boards, ICTO Advisory Board


FACULTEITEN ZONDER ICTO ONDERSTEUNING

Pluspakket

41

Type toets

Een nieuw te ontwikkelen toets via Blackboard of Questionmark Perception (evt. in combinatie met beroepssoftware)

Ontwikkelen specifieke vraagtypes

Eerder ontwikkelde toets via Blackboard of Questionmark Perception

Een nieuw te ontwikkelen toets waarbij studenten met beroepssoftware worden getest

Een bestaande toets waarbij studenten met beroepssoftware worden getest


ROOSTERING EN ACTOREN/ONDERSTEUNING

42


WELKE ORGANISATIE EN LOGISTIEK

Wat • Wie Opmerkingen

Idee formuleren • Docent• Faculteit/Opleiding• Cursuscoördinator

Software hebben • Centrale of facultaire ondersteuning

• IT-functionarissen

• Welke methode: online, clientsoftware• Nauwkeurige toegang regelen tot Topics,

Testen e.d.

Toetsopzet bedenken • Docent• Onderwijskundig ondersteuner

• Vraagtypen• Volgorde van vragen• Instructieschermen• Feedbackschermen• Cijferbekendmaking• Inzage bedenken

Toetsvragen bedenken • Docent• Onderwijskundig ondersteuner• Technisch ondersteuner

Toetsvragen invoeren • Docent (nee, liever niet)• Technisch ondersteuner


WELKE ORGANISATIE EN LOGISTIEK (CONT.)

Wat • Wie Opmerkingen

Toets samenstellen • Technisch ondersteuner • Navigatie• Templates• Knoppen• Interactieve meldingen

Toets controleren • Docent• Technisch ondersteuner

Toets ter beschikking stellen aan studenten • Technisch ondersteuner• Functioneel beheer• Roosteraars• Curriculum ontwikkelaars

Toetsafnemen onder goed gecontroleerde condities en technisch betrouwbaar

• Technisch ondersteuner• Technisch beheer• Applicatiebeheer• Functioneel beheer

Is er wel of niet een dedicated faciliteit om digitale toetsen af te nemen?

Troubleshooting als de toets ter beschikking staat

• Technisch ondersteuner• Functioneel beheerder

Toetsresultaten downloaden, analyses plegen en scores en cijfers bepalen

• Technisch ondersteuner• Psychometricus

Inzage mogelijk maken • Docent• Technisch ondersteuner


EN DE TOEKOMST - 1

Accreditatie – Rubrics gebruiken over jaren en cursussen, leidend naar de afstudeerscriptie.


EN DE TOEKOMST - 2

> MOOC’s> Depent heavily on quizzing

> Large Scale Itembanking and exchange> Publishers> Collaborative efforts (SURF)> Interoperability Standards such as IMS QTI v1.2/v2.1 and IMS BasicLTI

> Computer Adaptive Testing – also in Higher Ed> Aleks, Statistiekfabriek, StudyTube

> Scoring related to Institutional Goals and Outcomes

> Online Proctoring> It is technically possible> But is it affordable (EUR 20-25 per examinee)> But is it acceptable


BLACKBOARD OUTCOMES

Universiteitsbibliotheek VU

VOOR MEER INFORMATIE


Silvester [email protected]

mailto:[email protected]



DIGITAAL TOETSEN/DIGITALE TOETSZAAL SILVESTER DRAAIJER.

Documents

Transcript of DIGITAAL TOETSEN/DIGITALE TOETSZAAL SILVESTER DRAAIJER.