Ervaringen en ontwikkelingen

Utrecht 15 februari 2011

Ervaringen en ontwikkelingen

• Pretesten– Doelstellingen– Aantallen– Ervaringen

• Ontwikkelingen– Redactie proces– Rapportages en statistiek

Doelstellingen pre-testen

1. Testen van toetsinfrastructuur op de betrokken instituten

2. Cesuurbepaling van de toets

1. Beoordeling van de kwaliteit van de toetsen en individuele toetsitems

Totaal over vier weken

• Ruim voldoende materiaal voor analyses• Nederlands, Engels, geschiedenis,

aardrijkskunde, natuurkunde, biologie en scheikunde

Ervaringen

• Gebruik van multiple choice werkt goed• Ja/nee werkt, vereist echter veel meer vragen• Andere typen vragen scoren niet goed, wordt

verder bekeken• Multimedia wordt afgeraden• Niet beveiligd en beveiligd worden getoetst• Meer controle nodig op standaarden en “look &

feel”• Deelnemers gegevens• Lettertypen/fonts• Figuren• Codering vragen• Opbouw en omvang vragenblokken

Ervaringen

• Validiteit• Moeilijkheidsgraad• Objectiviteit• Discriminerend

• Betrouwbaarheid

• Maken van items is (te) tijdrovend• Hoeveel items zijn nodig?• Rapportages zijn (te) tijdrovend• Planning aanpassen (van productie rijp maken van

toetsen)• Checklists samenstellen ten behoeve van redacties,

coördinatoren, beheerders, leverancier(s), surveillanten, studenten, enzovoort

• Surveillanten hebben iets meer begeleiding nodig

Ontwikkelingen

• Pretesten 2de graad in februari• Pretesten Pabo’s• Ervaringen aanvullen en uitwisselen• Staande organisatie inrichten• Rollen, activiteiten en protocollen beschrijven en

overeenkomen• Redactieproces beter ondersteunen

Generieke Matrijs

Generieke Matrijs

ProductieItems

ProductieItems

GoedkeurenItems

GoedkeurenItems

ProductieToetsen

ProductieToetsen

GoedkeurenToets(en)

GoedkeurenToets(en)

Specifieke Matrijs

Specifieke Matrijs

Afname(s)Afname(s) Beoordeling &Resultaten

Beoordeling &Resultaten RapportagesRapportages

Aanvullen Item kenmerken

Aanvullen Item kenmerken

Nieuwe inzichtenNieuwe

inzichten

Generieke Matrijs

Generieke Matrijs

Waarom is Generieke Matrijs zinvol of noodzakelijk?

Wie stelt deze matrijs samen? Hoeveel graden van vrijheid zijn gewenst? Welke dimensies moeten gerespecteerd worden?

- domeinen en leerdoelen / vak- betrouwbaarheid en validiteit- gewenste moeilijkheidsgraad, objectiviteit en discriminerend vermogen

Wie keurt Generieke Matrijs goed voor welke periode?

GoedkeurenItems

GoedkeurenItems

Waarom is Goedkeuren Items zinvol en noodzakelijk?

Wie keur wanneer een Item goed? Hoeveel goedgekeurde Items zijn gewenst? Welke dimensies moeten gerespecteerd worden?

- inhoud van vraag- bronnen, domeinen en leerdoelen - betrouwbaarheid en validiteit- moeilijkheidsgraad, objectiviteit, discriminerend vermogen, enzovoort..

Wie accepteert een Item en wat is de (minimale/maximale) periode voor houdbaarheid?

Item met kenmerken produceren: conceptueel proces diagram

Vra

ag

d

esk

un

dig

e

Vra

ag

d

esk

un

dig

eK

ritis

che

vr

ien

d

Kri

tisch

e

vrie

nd

Re

fere

ntie

g

roe

p

Re

fere

ntie

g

roe

pA

nd

ere

nA

nd

ere

nR

ed

act

ie

tea

m(s

)

Re

da

ctie

te

am

(s)

Stelt item met kenmerken op

Beoordeelt vorm en psychometrie

Toetst item en kenmerken

Directeuren, onderwijs coördinatoren, opleidingsdocenten, studenten, wetenschappelijke commissie, enzovoort...

Beoordeelt inhoud

RedacteurUtrecht

RedacteurTiburg

LectorHeerlen

Kritische vriendGroningen

Voorstel item met kenmerken

ok

ok

ok

RedacteurUtrecht

Aanpassingen

ok

ok

Item en kenmerken database

Iteraties ondersteund door telefonisch contact

Voegt kenmerken /

opmerkingen toe

Voegt kenmerken /

opmerkingen toe

Consensus proces

Panelleden overal in het land

Op ieder niveau mogelijkheden voor terugkoppeling

Ontwikkelingen

• Redactie en goedkeuringsprocessen (enkele functies)– Gelijke vraag detectie– Tele-samenwerking in teams– Vraag gekoppeld aan vraagdoel– Toetsmatrijs samenstellen en bewerken– Toetsmatrijs en automatische voorstellen

(genereren) van toetsen, met weging van moeilijkheidsgraden en domeinen

– Historie van item– Automatische rapportages– Invoer van multiple choice eenvoudig– Wiskundige (rekenkundige tekens) in standaard

editor– Eenvoudige manier van beoordelen en

beoordelingen vergelijken

Ontwikkelingen

• Redactie en goedkeuringsprocessen (enkele functies– Aanpasbaar aan specifieke eisen– Feedback per item– Real-time statistieken over redactie proces en

status items– Mogelijkheid om redacteuren vragen te sturen– Intuïtieve schermen