Digitaal Toetsen

Waarom? – Hoe? – En dan?

Drs. Nynke Bos

Coördinator Onderwijstechnologie

Academisch Medisch Centrum – Universiteit van Amsterdam

Waarom? Hoe? En dan….? • Waarom digitaal toetsen?

• Hoe?Huidige situatie in het AMC

– - Organisatie– - Voorbeelden

• En dan….?

• Conclusies

2

Waarom digitaal toetsen….?

3

1. 2. 3. 4. 5. 6. 7. 8.

12% 12% 12% 12%12%12%12%12%

1. Omdat ik niet achter wil blijven2. Snel klaar met nakijken3. Heb ik geen papieren rompslomp meer4. Hoef alleen maar vragen te maken, de rest

wordt geregeld5. Hoef geen handschriften meer te ontcijferen6. Ik wil de studenten de toetsresultaten kunnen

mailen7. Ik wil helemaal niet digitaal toetsen8. Anders….

10

Waarom digitaal toetsen?

• ‘Ik ga digitaal toetsen omdat ik niet achter wil blijven’• ‘Snel klaar met nakijken’• ‘Geen papier’• ‘Ik hoef alleen maar vragen te maken,

de rest wordt voor me geregeld’• ‘Ik hoef geen handschriften meer te ontcijferen• ‘Ik wil studenten de toetsresultaten kunnen mailen’

Waarom niet digitaal toetsen?

4

Wat levert digitaal toetsen op?

• Flexibele toetsing (plaats, tijd & vorm (frequentie))• Gebruik van multimedia• Gebruik van verschillende vraagtypen

• (Directe) feedback• Gestructureerde vragenbank• Automatische analyse & verwerking

• Delen van vragen (instituut overstijgend!)

5

Een fictieve rekensomvoor een business case (UvA)

• Summatief– UvA breed zijn dit 18.000 tentamens (volledig digitaal)

tijdwinst voor het verwerkingsproces is 30 min besparing in uren : 9000 ( +/- 6 fte)

• Formatief– 20 tussentoetsen per jaar ; 10 digitaal ( 50%)– UvA breed zijn dit 180.000 tussentoetsen (volledig digitaal)

tijdwinst voor het verwerkingsproces is 10 minbesparing in uren : 30.000 (+/- 20 fte)

» Uit Proeve aan Proeve, UvA, Frank Benneker

6

Randvoorwaarden digitale toetsing

• Doelstellingen bepalen

• Toetssysteem

• Docenten opleiden* !

• Ondersteuning (logistiek & techniek)* !

• Studenten voorbereiden

7

*AMC open vragen

8

Toetsen @ AMC-UvA

• 10 eindtoetsen (max n=200)• 50 toetsen in co-schappen (n=12)• 1 communicatietoets (n=350)

• 30 tussentijdse (bonus) toetsen (n=350)• 25 ingangstoetsen (n=350)

22.200 resultaten per jaar

FormatiefSum

matief

9

Organisatie digitale toetsing AMC-UvA• 1 ICT & Onderwijs adviseur:

– Adviseren docent(en) over gebruik vraagtypen & opbouw toets– Benadrukken voordelen digitale toetsing (en nadelen!)

• 1 Functioneel beheerder toetssysteem– (Trainen secretariaten voor) vraaginvoer– Samenstellen toets– Roosteren toets & beschikbaar stellen via ELO– Standby tijdens toets voor vragen/problemen

• 1 Medewerker Toetsing– Analyse toetsresultaten & einduitslag

• 1 Systeembeheerder:– Standby tijdens toets voor technische problemen

• Docent:– Vragen bedenken & coördinatie overige docenten– Aanwezig tijdens afname voor inhoudelijke vragen (examenregeling)– Besluitvorming cesuur op basis van toetsanalyse & uitslag

• (Secretariaat docent:)– (Vragen invoeren)

10

11

12

Inzet van digitaal toetsen

• Nieuwe toetsvormen mogelijk door de introductie van:– Nieuwe vraagtypen , b.v. “spoken response” – Inzet van multimedia in de opdracht– Ontsluiting van meerdere bronnen tijdens een toets– Introductie van itembanken draagt bij aan het hergebruik van

toetsvragen en de kwaliteit van toetsen– Maken van interactieve toetsvragen kost tijd*

• Vereenvoudigt de ontwikkeling en inzet van ‘tussentoetsen’ en diagnostische toetsen

– Kan een bijdrage leveren aan een beter begrip van de stof bij studenten en het studieresultaat

• Kan een bijdrage leveren aan een optimalisatie van het proces van creëren, aanbieden en verwerken van toetsen & toetsresultaten

13

Ik zou digitaal toetsen vooral willen gebruiken om…

141. 2. 3. 4. 5.

20% 20% 20%20%20%

1. Meer zelftoetsen aan studenten aan te bieden2. Meer tussentoetsen (meetellen) aan te bieden3. Eindtoetsen af te nemen4. Een itembank op te bouwen5. Ik voel er (nog steeds) niets voor

10

Brede implementatie

• Draagvlak en de wens is breed aanwezig, maar vrijmaken van mensen en middelen is problematisch

• Hoe meten we een kwaliteitstoename in het onderwijsproces ?

• De business case gaat al snel over efficiency en niet over onderwijskwaliteit (zie het fictieve rekenmodel)

• Stabiele, veilige en betrouwbare infrastructuur is een essentiële voorwaarde maar is kostbaar op de schaal van voorzieningen voor de gehele universiteit

15

Conclusies

• Meerwaarde vaststellen– Waar zetten wij op in? Meetbare doelstellingen!

• Beleid over inzet digitaal toetsen

• Grote groepen heeft impact op afname

• Opschaling: ruimte

• Toetsen in shifts bewerkelijk -> duur!

• Goede technische ondersteuning

16

Achteraf

• Presentatie nogmaals lezen?

– http://www.slideshare.net/NynkeBos

• Contact?

– Via: http://www.linkedin.com/in/nynkebos

• Of– Mail: N.R.Bos@amc.uva.nl

17

Kosten en batenVoor digitaal toetsen is een forse

investering noodzakelijk

18

1. 2.

50%50%

1. Eens2. Oneens

Kwaliteit van het onderwijsDoor digitaal toetsen zal de kwaliteit

van het onderwijs toenemen

19

1. 2.

50%50%

1. Eens2. Oneens

OrganisatieVoor de invoering van digitaal

toetsen zijn organisatie veranderingen noodzakelijk

201. 2.

50%50%

1. Eens 2. Oneens

OrganisatieBij een eventuele brede invoering van digitaal toetsen moeten we

docente verplichten digitaal te gaan toetsen

211. 2.

50%50%

1. Eens2. Oneens