Summatief digitaal toetsen van grote groepen studenten
description
Transcript of Summatief digitaal toetsen van grote groepen studenten
Summatief toetsenvan grote groepen
Drs. Nynke BosDrs. Roel Sijstermans
Onderwijs & Studentenzaken – ICT & OnderwijsAcademisch Medisch Centrum – Universiteit van Amsterdam
Opbouw
• Meerwaarde digitaal toetsen• Situatie in het AMC• - Organisatie• - Voorbeelden• Digitaal toetsen vs. papieren toetsen• Conclusies
Waarom digitaal toetsen?
• “Ik ga digitaal toetsen omdat ik niet achter wil blijven”• “Snel klaar met nakijken”• “Geen papier”• “Ik hoef alleen maar vragen te maken,
de rest wordt voor me geregeld”• “Ik hoef geen handschriften meer te ontcijferen”• “Ik wil studenten de toetsresultaten kunnen mailen”• “Verbetering logistiek”
Waarom niet digitaal toetsen?
Kwaliteit toetsing staat centraal
Hoe wil je toetsen?
SUMMATIEF:Gericht op de som van het geleerde
• Selecteren• Certificeren • Beveiligde omgeving• Beperkt aantal kansen
FORMATIEF:Gericht op de ontwikkeling van het leren
• Zelfstudie• Plaats & tijdonafhankelijk• Directe feedback• Inzicht in niveau
EindtoetsBonuspuntentoets
Zelftoets(E-learning)
Ingangstoetsen
Wat levert digitaal toetsen op?
• Flexibele toetsing (plaats, tijd & vorm)• Gebruik van multimedia• Gebruik van verschillende vraagtypen
• (Directe) feedback• Gestructureerde vragenbank• Automatische analyse & verwerking
Randvoorwaarden digitale toetsing
• Toetssysteem• Docenten opleiden• Ondersteuning (logistiek & techniek) !• Studenten voorbereiden
Vergelijking toetssystemen, CITO-groep 2004
Keuze toetssysteem in 2005/2006
Vragen
makenTrainen
secretariaat
Vragen
invoeren
Samenstellen
toets
Inroosteren
toets
Organisatie digitale toetsing AMC
Advisering
docenten
Toets afnameToets
analyse
ICTO ondersteuning
docent
secretariaat
Feedback
studentEinduitslag
Organisatie rondom digitale toetsing
• 2 ICT & Onderwijs adviseurs (medewerker digitale toetsing):– Adviseren docent over gebruik vraagtypen & opbouw toets– Trainen secretariaten voor vraaginvoer– Samenstellen toets– Roosteren toets & beschikbaar stellen via ELO– Standby tijdens toets voor vragen/problemen– Analyse toetsresultaten & einduitslag
• 1 systeembeheerder:– Standby tijdens toets voor technische problemen
• Docent:– Vragen bedenken– Aanwezig tijdens afname voor inhoudelijke vragen– Besluitvorming cesuur op basis van toetsanalyse & uitslag
• Secretariaat docent:– Vragen invoeren
Summatieve toetsen @ AMC
• 10 eindtoetsen (max n=200)• 30 bonuspuntentoetsen (n=350)• 50 toetsen in co-schappen (n=12)• 1 communicatietoets (n=350)
• 25 ingangtoetsen (n=350)
Half cohort - eindtoets
• Blok 3D Mens• 200 studenten in 1 zaal• Multimediaal• Ook essay vragen• Item- en toetsanalyse• Uitslag binnen 3 weken
Shifts - bonuspuntentoets
• 2x per blok• 0,5 punt extra• 350 studenten in 6 shifts• 15 MC vragen in 15 minuten• Gevalideerde vragenbank• Uitslag binnen 24 uur• Feedback op onderwerp• Nabespreking tijdens WC
Score per onderwerp
• Collegekaartnummer: 9705538• Diabetes Type 1 100%• Glycolyse 100%• Regulatie enzymen 0%• CZS 50%• Aminozuurmetabolisme 100%• Einduitslag 80%
Ingangstoetsen
• Minimale score van 80% • Zo vaak maken als nodig• Student bepaalt waar en wanneer• Geen feedback, alleen eindscore• Docent heeft live inzicht in scores studenten
Studenten beter voorbereid op practica met blended learning Maar... schools systeem, gevaar voor toetsmoeheid
Toetsen van grote groepen
TOETSAFNAME: • Voldoende servercapaciteit (testen!)• Toets starten in groepen (piekbelasting)• 5% meer PC’s dan deelnemers• 5% papieren tentamens als reserve• Duidelijke afspraken bij problemen• Pas op met multimedia
Meerwaarde in het AMC
• Multimediale toetsing• Korte nakijk termijn• Betere feedback naar studenten en docent
→ Grote zaal niet per se noodzakelijk!(maar wel heel makkelijk)
Problemen digitaal toetsen AMC
• Gebrek centrale toetsruimte• Toetsen in shifts is tijdrovend • Verplicht gebruik van open vragen• OER• Geen beleid• Dyslexie/RSI?• Computervaardigheden student?
Problemen digitaal toetsen AMC
• Gebrek centrale toetsruimte• Toetsen in shifts is tijdrovend • Verplicht gebruik van open vragen• OER• Geen beleid• Dyslexie/RSI?• Computervaardigheden student?
Toetsen met stemkastjes?
• Formatief zeker!– Responsiecollege– Voor- en nameting– Grootschalig adaptief toetsen
• Summatief is gevaarlijk…– Wie bedient welk kastje?– Ik ben mijn stemkastje kwijt/vergeten!– Ik heb echt gedrukt!– Handhaven van orde in de zaal– Lekker gluren bij de buren
Proeve: KlETs
• Effect toetsing computer• Scoren studenten beter/ slechter?• Gebruiken studenten meer/ minder woorden?• Zijn er andere effecten meetbaar?
KlETs – de uitvoering
• Helft digitaal – helft op papier (n=360)• Digitale toets: deel A papier, deel B digitaal en v.v.
• Conclusies:– Meer woorden bij een digitale toets (36.2±15.5 vs 22.3±4.9)– Geen significante verschillen m.b.t. moeilijkheidsgraad– Studenten willen vaker digitale toetsen– Getik is irritant
Meer onderzoek
• In 2004: behoorlijke verschillen (Bennett, 2004)
• Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004)
• Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen
• Frequent computergebruik heeft positieve invloed op toetsprestatie
• Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)
Conclusies
• Meerwaarde vaststellen • Beleid over inzet digitaal toetsen• Grote groepen heeft impact op afname• Opschaling: ruimte• Toetsen in shifts bewerkelijk• Goede ICTO ondersteuning
Nabije toekomst
Structurele feedback na tentamen– Score per vraag– Score per onderwerp– Totale score t.o.v. groep– Resultaten per email
Dienstverlening aan studenten Docenten ontlasten met inzage
Vragen?
Meer informatie: [email protected]