Keuzeproces summatievedigitale toetsomgeving

Leen van Kaam, Teamleider functioneel beheer ICT&O

Alwin Wullink, Functioneel beheerder toetsen ICT&O

Inhoudsopgave

• Huidige organisatie digitaal toetsen

• Shortlist

• Werkwijze keuzeproces

• Testscenario’s

• Uitvoering

• Rapportage

• Wie toets er digitaal?

• Summatief en/of formatief

• Welke applicaties– Blackboard

– Question Mark Perception

– Maple T.A.

– Anders

Saxion

• TestVision

• Summatief

• Ongeveer 20.000 toetsafnames per jaar– Toetsafname is 1 student maakt 1 toets op 1 moment

– Verspreid over 500 toetsen per jaar

Rollen digitaal toetsenRollen Taak

Toetsverantwoordelijke Aanspreekpunt voor validiteit, betrouwbaarheid en acceptatie van de toets: toetsmatrijsToetsanalyse en vaststelling resultaten

Docent Verantwoordelijk voor (deel van) de toetsvragen, review

Examencommissie Borging van kwaliteit van de toets

Toetsdesk Toetsmatrijs digitaliseren en genereren van de toetsen vanuit de toetsmatrijs

Roostering en planning Roostering van toets en locatie

Centraal toetsbureau Coördinatie van uitvoering van de toetsen en inschrijving van deelnemers

Surveillant Afname van de toets

Onderwijskundige Uitleg van de analyse van de toets en toetsvragen

Informatiseringscentrum Technisch beheer en ondersteuning infrastructuur

Functioneel beheer ICT&O Beheer en ondersteuning van de applicatie

Toetsvragen maken en reviewen

Docenten

Toetsmatrijsdigitaliseren

Toetsdesk

RoosteringP & R

Toets genereren uit toetsmatrijs

Toetsdesk

Toetsmatrijs vaststellenToetsverantwoordelijke en

examencommissie

==>

Kode

Lehr-

einheit

Aantal aan-

wezige itemsAantal items in toets Auteur

BDABEA

B 19 10

BDBMEE

N 10 5

BDCKLM

E 30 15

59 30

Kode

Lehr-

einheit

Aantal aan-

wezige itemsAantal items in toets Auteur

DAABMA

H 20 10

DABANM

Z 19 10

DACBEH

A 20 10

DADINSA 11 5

70 35

Kode

Lehr-

einheit

Aantal aan-

wezige itemsAantal items in toets Auteur

EABEDR 32 15

EBRGDS 15 5

ECBIDS 24 5

EDRPFL 20 10

91 35

220 100

Aanwezige items in onderdeel en in toetsonderdeel

Totalen aanwezige items en items in toets

Aanwezige items in onderdeel en in toetsonderdeel

Name Lehreinheit: Recht

Begrifflichkeiten des deutschen Rechtssystems

DSC04Rechtliche Grundlagen des deutschen Sozialwesens

Beteiligte Institutionen am deutschen Sozialwesen

Rechtspflege

Aanwezige items in onderdeel en in toetsonderdeel

Name Lehreinheit: Musisch-agogische Methoden und Techniken

Begrifflichkeiten des musisch agogischen Handelns

DJO03Anwendung des methodischen Zyklusses

Berufliche Haltung

Integration musisch-agogischer Techniken in die Methoden der

sozialen Arbeit

Methode: Begrifflichkeiten und Abgrenzung

JWE04Methodenentwicklung (historisch) systematische Rekonstruktion

3 klassische Methoden

Meth. der SA, Mus.-ag. Meth., Recht

15972Position der Fragen im Datei:

Social Work deutsch

AMM-SP

==> BMethodischer Zyklus (BDMethoden der Soziale Arbeit)

==> DMusisch-agogische Methoden und Techniken

==> ERecht

Name Lehreinheit: Methoden der Soziale Arbeit

Toetsvragen maken en reviewen

Docenten

Toetsmatrijsdigitaliseren

Toetsdesk

ToetsplanningToetsbureau

RoosteringP & R

ToetsafnameToetsbureau en

surveillanten

Toets genereren uit toetsmatrijs

Toetsdesk

ToetsanalysemakenToetsdesk

Toetsmatrijs vaststellenToetsverantwoordelijke en

examencommissie

ToetsanalyseToetsverantwoordelijke en

onderwijskundige

Shortlist

• Summatief toetsen

• Proven Knowledge

• Surf

• Wat al in gebruik bij Saxion?

Werkwijze

• Ontwikkelen van 15 – 25 testscenario’s

• Beschrijving kern van de testscenario’s

• Prioriteiten – Prio 1: Must Have

– Prio 2: Should have

– Prio 3: Nice to have

– ‘Showstoppers’

1,

showstopper

Gebruik van een toetsmatrijs

3 Beschikbare vragen die voldoen aan de voorwaarden, zichtbaar in de toetsmatrijs

1 Gebruik metadata voor samenstellen toets vanuit toetsmatrijs

1 Gebruik mappenstructuur/leerboom voor samenstellen toets vanuit toetsmatrijs

1 3 manieren van randomiseren mogelijk in toetsen

1 Geschikt voor formatieve toetsen

2 Summatieve en formatieve toetsvragen afdoende kunnen scheiden

3 Geschikt voor adaptieve toetsen

Scenario’s

• Wat is een scenario?

• Een scenario beschrijft – Waar de toetsapplicatie aan moet voldoen

– Wat dus belangrijk is voor digitaal toetsen binnen Saxion

– Niet te zeer vanuit het beeld hoe het met TestVision gaat

– Niet op detailniveau maar in algemene termen

Stoplichtrapportage

• Elk scenario voor alle 3 applicaties testen

• Kwalitatieve beschrijving per applicatie

• Stoplichtrapportage:– zonder voorbehoud implementeren op basis van dit

scenario

– Biedt voldoende perspectief om door te gaan, maar er zijn risico’s aan verbonden

– Nee, geconstateerde risico’s zijn groot.

Waarom testscenario’s?

• Hoofd- en bijzaken scheiden

• Niet vanuit oogpunt leverancier

• Wat past binnen proces/workflow Saxion

Testscenario’s

• Kostenanalyse

• Technische infrastructuur

• Continuïteit

• Ondersteuning en helpfunctie

• Inrichten domeinen binnen de applicatie

• Rollen per academie en workflow

Testscenario’s

• Beveiliging

• Gebruikersbeheer

• Converteren van toetsvragen

• Nieuwe toetsvragen ontwikkelen

• Toetsmatrijs

• Toetsafname klaarzetten

Testscenario’s

• Grootschalig toetsen

• Toetsafname begeleiden

• Toetsvoorzieningen

• Meertaligheid

• Toetsinzage

• Rapportage op toetsen, toetsvragen en toetsafnames

Testscenario’s

• Analyse

• Cesuurbepaling, scoren, toetsresultaten

• Archivering

• Mogelijkheid tot beveiligde vaardigheidstoetsen

Uitvoering

• Werkzaamheden van het testen– Niet iedereen kan 3 toetsapplicaties leren

– Vaststellen: Hoe voeren we de test voor elk scenario uit?

– Verdeling van het werk: Welke academies werken mee aan welke scenario’s?

Uitvoering

• Kwalitatieve beschrijving

• Stoplichtrapportage per scenario

• Externe review

Maple T.A. QMP Surpass

1

SS

Gebruik van een toetsmatrijs

3 Beschikbare vragen zichtbaar in de

toetsmatrijs

1 Gebruik metadata voor

samenstellen toets vanuit

toetsmatrijs

1 Gebruik

mappenstructuur/leerboom voor

samenstellen toets vanuit

toetsmatrijs

1 3 manieren van randomiseren

mogelijk in toetsen

1 Geschikt voor formatieve toetsen

2 Summatieve en formatieve

toetsvragen afdoende kunnen

scheiden

3 Geschikt voor adaptieve toetsen

Vra

gen

Prio

rite

it

Map

le T

A

QM

P

Surp

ass

2 Technische infrastructuur Serverinsta l latie binnen Saxion 1 Nee

Serverinsta l latie SAAS 1 Ja mits…

Werkstationinsta l latie Ja

Afname via MacOS 2

Beheer via MacOS 2

Mobi le 2

3 Continuïteit Proven technology 1

4 Ondersteuning en

helpfunctie Helpfunctie 2

Ti jd- en plaatsonafhankel i jk ondersteuning 2

Ondersteuning leverancier 1

5 Inrichten van domeinen

binnen de applicatie Elke academie een eigen domein 1

Binnen een domein bepaalde containers 2

Samenwerkingsverbanden tussen academies 1

Ingang voor toetsbureau en FB ICTO per academie 2

Bl i jft de appl icatie één geheel 1

6 Rollen per academie

en workflowRol len voldoende fi jnmazig 1

Capabi l i ties toekennen of afschermen per rol 2

Workflow ontwikkelen van toets i tems en toetsen 2

Workflow adminis tratieve ondersteuning 2

• Vragen?

• L.vanKaam@saxion.nl

• A.Wullink@saxion.nl