Toetsvragen Maken En Digitaal Toetsen Ubvu

Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS

14 aug 2008

Itembanking en Digitaal Toetsen Informatievaardigheden

Silvester Draaijer

Onderwijscentrum VU


14 aug 2008

Wat is toetsen?

• In de praktijk van het WO …• Summatief Toetsen

– = Tentamineren – = Eindoordeel – = ‘Civiel Effect’


14 aug 2008

Wat is toetsen?

• Klassieke wetenschap vanuit de Psychologie en veel toegepast bij Medicijnen, Economische wetenschappen etc.– Toetsontwikkeling is rationeel proces– Toets- en vraaganalyse wordt statistisch

benaderd

• Belangrijkst: validiteit en betrouwbaarheid


14 aug 2008

Wat is toetsen

• Alles onder controle• Individuele prestatie (fraude

tegengaan)• Groepen in één keer toetsen• Voldoende aantal vragen en

respondenten


14 aug 2008

Wat is toetsen

• Formatief Toetsen – Toetsen om te leren– Diagnostisch toetsen

•Vaststellen van niveau en lacunes in kennis (bijv. instaptoetsen)

– Oefentoetsen (oefententamens)•Leren en voorbereiden op een eindtoets

(qua vorm, vraagstelling e.d.)

– Courseware– Games


14 aug 2008

Formatief-Summatief schaal

zelf groepje Deelcijfer Eindcijfer

Voorwaarde


14 aug 2008

Een digitale toets

1. Voorbereiding cursus2. Start cursus

1. Voorbereiding college 12. College 13. Verwerking college 1

1. Afsluitende toets2. Nabespreking cursus

1. Voorbereiding college 22. College 23. Verwerking college 2

1. Voorbereiding college n2. College n3. Verwerking college n


14 aug 2008

Digitale Toets - Interactie pad A

1. Start toets

1. Vraag 12. Vraag 23. Vraag 34. Vraag n

1. Afsluiten toets2. Feedback per vraag3. Cijfer/diagnose op toets

Score Voldoende

Score Onvoldoende

klaar


14 aug 2008

Digitale Toets - Interactiepad B

1. Start toets 1. Vraag 12. Feedback 1

1. Afsluiten toets2. Cijfer/diagnose op toets

1. Vraag 2 (op basis antwoord vraag 12. Feedback 2

1. Vraag 3 (op basis antwoord vraag 22. Feedback 3 klaar


14 aug 2008

Interactiepad C

• Casusvragen• In combinatie met Interactiepad A

en/of B


14 aug 2008

Wat is toetsen

• Formatief Toetsen – Toetsen om te leren– Motiveren– Feedback


14 aug 2008

Motiveren – intrinsieke motivatie• Zelftoetsing – intrinsieke motivatie (Keller 1983):

– Aandacht. Zorg ervoor dat de opdracht de aandacht van de lerenden zal trekken door onverwachte en spannende elementen.

– Relevantie. Zorg ervoor dat de relevantie van de oefening voor de lerende duidelijk is. Geef een interessante context weer waar de lerende zich mee kan identificeren.

– Vertrouwen. Zorg ervoor dat complexiteit en het niveau van oefeningen niet te laag en niet te hoog is zodat studenten vertrouwen krijgen in hun eigen kunnen.

– Bevrediging. Als oefeningen zijn afgerond dienen lerenden feedback te krijgen die hen stimuleert om verder te gaan.


14 aug 2008

Feedback

• Toets– Zak/slaag– Procent goed/fout– Cijfer– Studie-advies

• Vraag– Goed/fout– Goede alternatief– Omschrijving goede alternatief– Argumentatie goede alternatief– Aanwijzing voor oplossing– Studeeraanwijzing


14 aug 2008

Prestatiedrempel – extrinsieke motivatie

• Geef pas feedback nadat zeker is dat de lerende een oprechte poging heeft gewaagd om een antwoord te formuleren, bijvoorbeeld door een prestatiedrempel op te werpen

– Temporiseren aanbieden vervolgvraag• Vervolgvragen ‘verlaat’ aanbieden als een fout antwoord is gegeven• Vervolgtoetsen ‘verlaat’ aan te bieden als een toets slecht gemaakt is (bijv. een dag

tussen pogingen inlassen)– Temporiseren feedback

• Pas feedback te geven als het antwoord goed is. Dus vraag kan meerdere keren beantwoord worden.

• Pas feedback geven als alle vragen zijn beantwoord• Pas feedback geven als 80 procent van de antwoorden van een toets correct is. Dus

toets kan herhaaldelijk worden gestart– Randomiseren

• Telkens andere vragen uit een vragenbank te trekken• Andere antwoordopties tonen• Telkens varianten van dezelfde soort vraag stellen

– In de feedback niet het juiste antwoord te vermelden maar de student aanwijzingen te geven om het juiste antwoord zelf te vinden

– Summativeren• Score telt deels mee voor eindresultaat cursus• Een voldoende score is voorwaardelijk voor verdere deelname aan cursus of geldig laten

zijn van cijfer


14 aug 2008

Voorbeelden


14 aug 2008

Questionmark Perception

• Waarom QMP voor de VU?– Blackboard enigszins beperkt– Respondus voldoet ook niet aan de eisen en

richt zich op andere functionaliteit


14 aug 2008


• Waarom QMP voor de VU?– T.o.v. Blackboard nodig:

• Goede statistische verwerking van resultaten Itembanken op grotere schaal (> 1000 items)

• Performance onder grote belasting• Meer mogelijkheden om aan te bieden en

geavanceerde vraagtypen (o.a. voice, animaties, meerdere uitkomsten afvangen )

• Betere mogelijkheid voor sprongen in toetsen en conditionele uitslagen en roostering

• Mogelijkheid voor eigen templates (tbv uiterlijk van de toets)

• Beveiligd toetsen met QMsecure Browser mogelijk


14 aug 2008


• Waarom QMP voor de VU?– Internationale standaard

(UK, VS, DigiUni, UTwente, div. Hogescholen, CITO, Windesheim - continuïteit leverancier gewaarborgd, uitwisseling met andere systemen via QTI)


14 aug 2008


• Eigenschappen:– Gemaakt voor specialisten– Steile leercurve– Complexe structuur en autorisatie


14 aug 2008

AU

TE

UR

S P

C’S Authoring

s e rve r

P oortwa chte r/Ond VU

P roductie(a fna me )

s e rve r

Com m unic a tie

Technische structuur QMP


14 aug 2008

Uitwisseling van toetsvragen

• Via Respondus kunnen toetsvragen van het ene naar het andere systeem gebracht worden

• QMP heeft ook eigen Blackboard converter

• Uitwisselingsstandaard: QTI(Question and Test Interoperability Standard)

B la c kboa rd

R e s pondus

Que s tionma rkQTI-be s ta nd QTI-be s ta nd

B la ckboa rd Conve rte r via qma rk we bs ite


14 aug 2008

B la c kboa rd Que s tionma rk

LDAP

Toe ts re s ulta a t

S tude ntg e g e ve nsS tude ntg e g e ve ns

Uitwisseling van toetsresultaten en studentgegevens

• Toekomst:– In Bb 7 zullen tzt QMP toetsresultaten

verschijnen in het Bb-gradebook– Tzt single sign-on


14 aug 2008

Stand van zaken

• Onderwijscentrum VU heeft zware productieserver (~150 inlog in 3 sec mogelijk)

• Onderwijscentrum heeft ondersteuning beschikbaar (~ 1FTE totaal)

• Bijna concernsysteem technisch, functioneel en applicatiebeheer naar UC-IT

• Steeds meer faculteiten die participeren

Toetsvragen Maken En Digitaal Toetsen Ubvu

Documents

Transcript of Toetsvragen Maken En Digitaal Toetsen Ubvu