Digitaal toetsen in het AMC

Nynke Bos

Roel Sijstermans

Onderwijs & Studentenzaken – ICT & Onderwijs

Academisch Medisch Centrum – Universiteit van Amsterdam

Wensen in het AMC

Geneeskunde Casusgerichte toetsing co-schappen

Bredere toepassing in curriculum

Medische Informatiekunde Aanvullend toetspakket noodzakelijk

Graduate school Ontwikkeling toetsbeleid

OMSO Vanuit beroepsverenigingen

Bij- & Nascholing verpleegkunde Nu nog papierIC zelf ontwikkeld

Divisies Interesse, maar afwachtende houding

Eisen in het AMC

• Duidelijke organisatie• Lead bij ICT en Onderwijs• Digitaal toetsen alleen bij evidente

meerwaarde• Functioneel beheer toestsysteem

Probleem in het AMC

• Essay vragen• Niet automatisch na te kijken

• Inzet op grote schaal is alleen zinvol als er sprake is van gestandaardiseerde toetsvormen en procedures.

Tijd!

• Maken van interactieve toetsvragen kost tijd.• Dus alleen de moeite waard bij:

• Stabiel vakgebied• Groot aantal studenten• Duidelijke noodzaak voor kwaliteitsverbetering van

de het onderwijs of toetsen

Opbouw

• Waarom digitaal toetsen?• Situatie in het AMC• - Organisatie• - Voorbeelden• Digitaal toetsen vs. papieren toetsen• Conclusies

Casus Bachelor student (er zijn 18.000 bachelor studenten)Summatief10 tentamens per jaar; 1 tentamen is digitaal (10 %)•

UvA breed zijn dit 18.000 tentamens (volledig digitaal)tijdwinst voor het verwerkingsproces is 30 min

besparing in uren : 9000 ( +/- 6 fte)

• Formatief• 20 tussen toetsen per jaar ; 10 digitaal ( 50%)

• UvA breed zijn dit 180.000 tussentoetsen (volledig digitaal)tijdwinst voor het verwerkingsproces is 10 min

besparing in uren : 30.000 (+/- 20 fte)

AMC open vragen

Waarom digitaal toetsen?

• “Ik ga digitaal toetsen omdat ik niet achter wil blijven”• “Snel klaar met nakijken”• “Geen papier”• “Ik hoef alleen maar vragen te maken, de rest wordt

voor me geregeld”• “Ik hoef geen handschriften meer te ontcijferen”• “Ik wil studenten de toetsresultaten kunnen mailen”

Waarom niet digitaal toetsen?

Hoe wil je toetsen?

SUMMATIEF:Gericht op de som van het geleerde

• Selecteren• Certificeren • Beveiligde omgeving• Beperkt aantal kansen

FORMATIEF:Gericht op de ontwikkeling van het leren

• Zelfstudie• Plaats & tijdonafhankelijk• Directe feedback• Inzicht in niveau

EindtoetsBonuspuntentoets

Zelftoets(E-learning)

Ingangstoetsen

Wat levert digitaal toetsen op?

• Flexibele toetsing (plaats, tijd & vorm)• Gebruik van multimedia• Gebruik van verschillende vraagtypen

• (Directe) feedback• Gestructureerde vragenbank• Automatische analyse & verwerking

Randvoorwaarden digitale toetsing

• Toetssysteem• Docenten opleiden !• Ondersteuning (logistiek & techniek) !• Studenten voorbereiden

Vragen

makenTrainen

secretariaat

Vragen

invoeren

Samenstellen

toets

Inroosteren

toets

Organisatie digitale toetsing AMC

Advisering

docenten

Toets afnameToets

analyse

ICTO ondersteuning

docent

secretariaat

Feedback

studentEinduitslag

Organisatie rondom digitale toetsing• 2 ICT & Onderwijs adviseurs (medewerker digitale toetsing):

• Adviseren docent over gebruik vraagtypen & opbouw toets• Trainen secretariaten voor vraaginvoer• Samenstellen toets• Roosteren toets & beschikbaar stellen via ELO• Standby tijdens toets voor vragen/problemen• Analyse toetsresultaten & einduitslag

• 1 systeembeheerder:• Standby tijdens toets voor technische problemen

• Docent:• Vragen bedenken• Aanwezig tijdens afname voor inhoudelijke vragen• Besluitvorming cesuur op basis van toetsanalyse & uitslag

• Secretariaat docent:• Vragen invoeren

Ideale bezetting

• 1 ICT & Onderwijs adviseur:• Adviseren docent(en) over gebruik vraagtypen & opbouw toets• Benadrukken voordelen digitale toetsing

• 1 Functioneel beheerder toetssysteem• (Trainen secretariaten voor) vraaginvoer• Samenstellen toets• Roosteren toets & beschikbaar stellen via ELO• Standby tijdens toets voor vragen/problemen

• 1 Medewerker Toetsing• Analyse toetsresultaten & einduitslag

• 1 Systeembeheerder:• Standby tijdens toets voor technische problemen

• Docent:• Vragen bedenken & coördinatie overige docenten• Aanwezig tijdens afname voor inhoudelijke vragen (examenregeling)• Besluitvorming cesuur op basis van toetsanalyse & uitslag

• (Secretariaat docent:)• (Vragen invoeren)

Meerwaarde in het AMC

• Multimediale toetsing• Korte nakijk termijn• Betere feedback naar studenten en docent

→Grote zaal niet per se noodzakelijk!

Problemen digitaal toetsen AMC

• Gebrek centrale toetsruimte• Toetsen in shifts is tijdrovend • Verplicht gebruik van open vragen• OER• Geen beleid• Dyslexie/RSI?• Computervaardigheden student?

Proeve: KlETs

• Effect toetsing computer• Scoren studenten beter/ slechter?• Gebruiken studenten meer/ minder woorden?• Zijn er andere effecten meetbaar?

KlETs – de uitvoering

• Helft digitaal – helft op papier (n=360)• Digitale toets: deel A papier, deel B digitaal en v.v.

• Conclusies:• Meer woorden bij een digitale toets (36.2±15.5 vs 22.3±4.9)• Geen significante verschillen m.b.t. moeilijkheidsgraad• Studenten willen vaker digitale toetsen• Getik is irritant

Meer onderzoek

• In 2004: behoorlijke verschillen (Bennett, 2004)

• Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004)

• Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen

• Frequent computergebruik heeft positieve invloed op toetsprestatie

• Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)

Conclusies

• Meerwaarde vaststellen • Beleid over inzet digitaal toetsen• Grote groepen heeft impact op afname• Opschaling: ruimte• Toetsen in shifts bewerkelijk• Goede ICTO ondersteuning