Digitaal toetsen

in 10 stappen

Annette Peet en Sander Schenk | e-Learning Event 2013

SURF: Innovatie met impact

• SURF = samenwerkingsorganisatie • hoger onderwijs en onderzoek• 25 jaar • Resultaat: diensten en producten die instellingen

individueel niet kunnen realiseren (netwerk, licenties, innovatieprogramma’s)

• Gebruikers: ruim een miljoen studenten, docenten en onderzoekers

Samenwerking = succesfactor

• ICT-diensten voor gemeenschappelijk gebruik (netwerk, SURFconext, SURFsara)

• Licenties; innovatief aanbesteden (SURFmarket)

• Innovatieprogramma’s: samenwerking en kennisdeling (zoals Toetsing en Toetsgestuurd Leren)

Toetsing en Toetsgestuurd Leren

1. Verminderen studie-uitval, verhogen studierendement

2. Werkdruk docenten verlagen

3. Kwaliteit van toetsen en leren verhogen

20122010 20142011 2013

SAMENWERKINGSPROJECTEN

SAMENWERKINGSPROJECTEN

EXPERTISENETWERK

DIENSTENCATALOGUS + TOOLBOX

Digitaal toetsen

in 10 stappen

Annette Peet en Sander Schenk | e-Learning Event 2013

Bedenk

waartoe

1

Voortgang meten?

Rendement vergroten?

Tijd besparen?

Summatief

FormatiefToetsen om te leren

Toetsen om te beslissen

Bron: Nu.nlhttp://goo.gl/yzw20

Bron: http://goo.gl/F06u8

Herhaaldelijk toetsen = beter leren?

Bron: Nu.nlhttp://goo.gl/5w4UZ

Bron: blog Grant Wiggins http://goo.gl/dmgdR

Kies toets-

instrument

2

Bekende toetspakketten

• Questionmark Perception• Maple TA• Testvision• Wintoets/Quayn• Remindo Toets• Teletoets• Surpass

Andere toetsinstrumenten

• Peerwise• Qstream (voorheen SpacedEd)• Drillster• Teleform/ConTest• Toetsmodules in ELO’s

Ontwikkel

vragen

3

Digitaal toetsen ≠ multiple choice

Er kan veel meer. Dit is OpenMark

Meer info: http://goo.gl/qAqwl

Bron: http://goo.gl/VlnOq

Bron: http://goo.gl/r0nQm

Bron: blog Wilfred Rubens http://goo.gl/gmv4d

Bron: blog Donald Clark http://goo.gl/4xYtU

Bron: De Luie Leraar http://goo.gl/wAg3l

Con-structie-regels

Goede bron: http://goo.gl/b1fQ9

En verder

• Hoeveel vragen?• Welke soort vragen?• Studenten bij betrekken?• Ga in op misconcepties!• Kost veel tijd!

Stel toets

samen

4

Random vraagtrekking?

Waterscheiding nodig?Fo

rmati

eve

vrag

enSum

matieve vragen

Formatieve toets?Liever vaker en relatief kort

Summatieve toets?Hoe meer vragen hoe beter, tenzij…

Test de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toets

Test de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toets

Test de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toetsTest de toets

Neem

toets af

5

Capaciteit is altijd lastig issue geblekenvoor grootschalig digitaal toetsen

Be prepared… bij high-stakes computertoetsen mag er niets misgaan

“Gebruik de meest fantastische systemen om papieren examens aan te maken, neem ze daarna met papier en pen af en gebruik weer fantastische systemen om de antwoorden in te lezen en te verwerken. DAT is pas efficiënt.”

Bron: Theo Schijf op LinkedIn-discussie http://goo.gl/3mUnn

Bron

: Vol

kskr

ant

http:

//go

o.gl

/wO

qF5

Zie

ook:

Why

I m

ark

on-s

cree

nhtt

p://

goo.

gl/c

e8fQ

Analyseer

resultaten

6

Wat iedere docent moet kunnen

De kwaliteit van een toets en toetsvragen (items) beoordelen op basis van een toets- en itemanalyse

Acties definiëren die op basis van een toets- en itemanalyse genomen moeten worden

De meeste toetspakketten hebben een “TIA”-module

Zie

voor

vid

eo:

http:

//vi

meo

.com

/233

7799

2

Learning analytics en toetsen?

Verwerk

resultaten

7

Score-cijfertransformatie

Koppeling naar cijferadministratie

Bron: Volkskranthttp://goo.gl/mmSDg

Zie ook “Ruilen” op http://goo.gl/hlV7k

Denk vooraf na over inzage

Verbeter

8

Toets geanalyseerd, wat nu?

Direct

• Vragen laten vervallen?

• Extra antwoord goed rekenen?

• Procedures aanscherpen?

Later

• Vragen verbeteren?

• Meer vragen in toets opnemen?

• Toetsbeleid aanpassen?

Werk samen

9

Credit afbeelding: Ibai Lem

on

“Good assessment material is costly, so why not share it across schools and institutions? Not sharing is probably one of the biggest wastes of capital in education.”

Citaat van C.P.M. van der Vleuten et al. in “The assessment of professional competence: building blocks for theory development”

Toetsen maken = teamwerk

“Toets- en vragenbank bedrijfsadministratie en

bedrijfseconomie”

Geen woorden,

maar...

10

Bron: blog Silvester Draaijer http://goo.gl/qAnqj

Vijf inspiratiebronnen

• http://draaijeronassessmentandtesting.wordpress.com/

• http://onlineexamineren.nl/

• http://www.open.ac.uk/blogs/SallyJordan/

• http://blog.questionmark.com/author/john-kleeman

• https://www.surfspace.nl/sig/6-digitaal-toetsen/

Herhaling

1. Bedenk waartoe

2. Kies toetsinstrument

3. Ontwikkel vragen

4. Stel toets samen

5. Neem toets af

6. Analyseer resultaten

7. Verwerk resultaten

8. Verbeter

9. Werk samen

10. Geen woorden maar...