Post on 11-Jan-2017
HOE ONDERSTEUN JE DOCENTEN BIJ MAKEN VAN TOETSVRAGEN SILVESTER DRAAIJER
Vrije Universiteit Amsterdam
CONCLUSIE
> Goede toetsvragen resulteren in goede toetsen
> Toetsvragen maken is mensenwerk
> Toetsvragen maken is een creatieve
probleemoplossingstaak
> Goede toetsvragenmakers vragen gerichte training
> Werk met voorbeelden
> Effectieve toetsvragenmakers zijn niet persé sneller
(misschien wel juist niet)
2 Emerge
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN – 12 STEPS
3 Emerge
1. Overall plan
2. Content definition
3. Test specifications
4. Item development
5. Test design and assembly
6. Test production
7. Test administration
8. Scoring test responses
9. Passing scores
10. Reporting test results
11. Item banking
12. Test technical report
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
Toetsmatrijs/
Specificatietabel
4 Emerge
Vrije Universiteit Amsterdam
ALGEMENE REGELS – VOORKOM ONDUIDELIJKHEID
> Gaat de vraag over een belangrijk onderwerp en niet over detailkennis?
> Is het de student duidelijk wat gevraagd wordt?
> Houd het taalgebruik eenvoudig.
> Richt de vraag op de student.
> Bevat de vraag een duidelijk probleem?
> Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden?
> Is de vraag kort en zakelijk geformuleerd?
> Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt.
> Leer de student niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis.
> Wees u constant bewust van het niveau waarop u de studenten wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen).
> Wees nauwkeurig in grammatica, spelling en interpunctie.
> Voorkom het weggegeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het ..)
> Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven).
5 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
Vrije Universiteit Amsterdam
VOORKOM ONDUIDELIJKEHEID
6 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
Probleem Omschrijving
Ontkenningen voorkomen Gebruik geen ontkenningen in de stimulus of alternatieven (onderstreep in ieder
geval altijd woorden zoals niet, geen e.d.). Gebruik zeker geen dubbele
ontkenningen.
Loze alternatieven
voorkomen
Zijn er geen alternatieven die vooraf te elimineren zijn; zijn alle alternatieven in
principe aannemelijk voor iemand die de stof niet beheerst?
Herhaling voorkomen. Herhaal niet dezelfde zinsnede als begin van elk alternatief - plaats het in de
stimulus.
Geen overlappende
alternatieven
Pas elkaar overlappende afleiders niet toe (zorg ervoor dat de alternatieven geen
subsets van elkaar zijn).
Geen normatieve begrippen
gebruiken.
Gebruik geen normatieve begrippen zoals moeten, zinloos, dienen. Wordt er niet
per ongeluk naar een mening gevraagd? Geef aan wie die mening verkondigt.
Geen absolute aanduidingen
gebruiken
Gebruik geen absolute woorden zoals nooit, alleen, allemaal, geen
enkele, altijd tenzij het echt absoluut zo is (er zijn bijna altijd uitzonderingen te
bedenken op problemen, oplossingen of concepten).
Geen vage aanduidingen
gebruiken
Gebruik geen vage aanduidingen zoals misschien, kan, soms, in het
algemeen, een paar, enkele. Deze worden niet door iedereen hetzelfde
geïnterpreteerd.
Geen dubbele stellingvragen
gebruiken
Stellingvragen (ook wel complexe multiple-choice vragen genoemd): zijn de twee
stellingen terecht tot één vraag gecombineerd? Bij voorkeur dergelijke vragen
splitsen in aparte vragen.
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
7 Emerge
Doel Modelvraag Weten en begrijpen: de
student heeft kennis van de onderwerpen.
Wat is de beste definitie voor…?
Wat is (niet) karakteristiek voor…
Uit welke onderdelen bestaat het probleem? Welke verschillende categorieën zijn er in het probleem?
Kritisch denken
(evalueren): de student
kan de eigenschappen
van feiten, procedures,
principes of theorieën gebruiken.
Wat is het effectiefste (/geschikt) voor…?
Wat is beter (/slechter)…?
Wat is de meest kritieke stap in een procedure?
Als je weet dat X waar is, wat is dan tevens waar over Y?
Wat is (niet) nodig in een procedure? Wat is het belang van het probleem?
Kritisch denken
(voorspellen): de student
kan op basis van feiten,
procedures, principes of
theorieën aangeven wat gevolgen zijn.
Wat zou er gebeuren als…?
Als dit gebeurt, wat zou je dan doen?
Op basis van…, zou je wat doen?
Gegeven…, is wat belangrijkste reden dat…?
Probleem oplossen: de
student kan op basis van
gegevens problemen
oplossingen geven of beoordelen.
Wat is de aard van het probleem?
Wat heb je nodig om dit probleem op te lossen?
Wat is de eerstvolgende beste stap om dit probleem op te lossen?
Wat is een mogelijke oplossing?
Wat is de meeste effectieve (/efficiënte) oplossing?
Waarom is… de meest effectieve (efficiënte) oplossing?
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
8 Emerge
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
9 Emerge
4 Toetsvragen ontwerpen bij
afzonderlijke begrippen
4.1 Vertalen
4.2 Definiëren
4.3 Voorbeelden geven
4.4 Voorbeelden herkennen en
benoemen
4.5 Herkennen en benoemen bij
formeel gedefinieerde begrippen
4.6 Beschrijvende uitspraken
5 Toetsvragen ontwerpen bij relaties
tussen begrippen
5.1 Vertalen en afbeelden
5.2 Onderscheiden
5.3 Classificaties
5.4 Stappenschema’s,
algoritmen, routines
5.5 Wetmatige relaties
6 Toetsvragen ontwerpen bij tekst
6.1 Participatiecontrole
6.2 Thema’s en hoofdpunten
6.3 Analyse
6.4 Inferentie
6.5 Compositie
6.6 Tekst en de naïeve lezer
7 Problemen stellen
7.1 Over problemen gesproken
7.2 Inventarisatie
7.3 ontwerpregels
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
10 Emerge
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
11 Emerge
TOETSVRAGEN MAKEN
Writing high quality questions is regarded as difficult
> A difficult task > (T. M. Haladyna, 1997, p. 67; Osterlind, 1998, p. 40)
> A unique skill > (Downing & Haladyna, 2006, p. 11)
> An art > (Popham, 1984, p. 40).
> Creativity is of essence too > (Osterlind, 1998, p. 2; Rikers, 1988, p. 16; Vale, 1995).
> Especially developing plausible distracters is regarded as
being difficult, specifically the 3rd distractor of a four-option
multiple-choice question > (Roid & Haladyna, 1982), (Mayenga, 2009)
Emerge 12
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
“Item writing requires an uncommon combination of special abilities. It is mastered only through extensive and critically supervised practice. It demands and tends to develop high standards of quality and a sense of pride in craftsmanship.”
“Item writing is essentially creative. Each item as it is being written presents new problems and new opportunities. Just as there can be no set formulas for producing a good story and a good painting, so there can be no set of rules that will guarantee the production of good test items.”
Robert L. Ebel 1951
Emerge 13
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
“The process of selecting item ideas goes on
simultaneously with the process of inventing them. Skill in
item writing depends not only upon prolific inventiveness but
also upon discriminating judgment in the selection. In
selecting item ideas, the writer must consider their
appropriateness, importance, and probable discriminating
ability.”
Robert L. Ebel 1951
Emerge 14
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
> Thorough mastery of the subject matter being tested.
> Possess a rational and well developed set of thinking processes to determine what is most important to test.
> Must understand the individuals for whom the test or items are intended.
> Must be a master of verbal communication.
> Must be skilled in handling the special technology used for item writing.
James B. Olsen 2004
Emerge 15
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
> There is no automatic process for the production of item
ideas. They must be invented or discovered and in the
process, chance ideas and inspirations are very important.
It is possible, however, to stimulate these processes by
appropriate material.
James B. Olsen 2004
Emerge 16
Vrije Universiteit Amsterdam
ONTWIKKELEN VAN TOETSVRAGEN
> Yet, knowing the principles of effective item writing is no
guarantee of an item writer’s ability to actually produce
effective test questions. Knowing is not necessarily doing.
Thus, one of the more important validity issues associated
with test development concerns the selection and training of
item writers
(Downing & Haladyna, 1997)
Emerge 17
ONTWIKKELEN VAN TOETSVRAGEN
> Is not a science, it’s a craft
> Learning to develop good test questions takes 16-40 hours
of instruction-practice-feedback (to derive from Case, Holzman & Ripkey, 2001 )
There is little scientific basis for multiple-choice
item writing. Most item writing knowledge is
based on personal experience or wisdom passed
on from particular mentors.
Welch, Haladyna (2004)
Emerge 18
Vrije Universiteit Amsterdam
TRAINING TOETSVRAGEN MAKEN
Effective item writers are trained, not born.
(Downing & Haladyna, 1997)
The instruction–practice–feedback–reinforcement loop is
important for the effective development and maintenance of
solid item writing skills
(Jozefowicz et al., 2002). Instruction
Practice
Feedback
Reinforcement
Emerge 19
Vrije Universiteit Amsterdam
TRAINING TOETSVRAGEN MAKEN
> Bespreken doelen van de toets
> Bespreken format van de toetsvragen
> Bespreken typische voorbeelden van goede en minder goede vragen – uit het domein zelf > Systeem om al bestaande (studeersnel, QuizLet, ProProfs, CFA Institute)
of ontwikkelde vragen eenvoudig te raadplegen
> Vragen uit ‘oude toetsen’
> Zelf maken van vragen
> Beoordelen van vragen van collega’s > Laat correcte antwoord niet zien!
> Essentieel: constructieve houding! – bedenk verbetervoorstellen/aanvullingen/kleine correcteis
> Een flink aantal vragen is ‘niet te redden’
> Voortdurende aanvulling/aanpassing van toetsvraaghandleiding maken
> Als mogelijk: studenten vragen laten maken …
20 Emerge
Vrije Universiteit Amsterdam
TRAINING TOETSVRAGEN MAKEN
> Toetsvragen maken paradox!
> Goed getrainde toetsvragenmakers zijn wel effectiever,
maar niet sneller!
21 Emerge
Vrije Universiteit Amsterdam
EN NU IETS TOTAAL ANDERS
22 Emerge
Vrije Universiteit Amsterdam
DIVERGEREN EN CONVERGEREN
23 Emerge
Vrije Universiteit Amsterdam
DIVERGEREN EN CONVERGEREN
24 Emerge
Vrije Universiteit Amsterdam
QUESTION DESIGN AS PROBLEM SOLVING
Problem finding (Pretz et al. 2003): Recognizing, Defining, and Representing problems
Divergent thinking ability is necessary > Brainstorming (applying safe
environment and constructive feedback)
> Force-fitting
> Brain-writing
> Morfological approaches
Convergent thinking ability is necessary > Evaluate using criteria lists (the 31
guidelines by Downing and Haladyna, 2002!)
> Peer judgement Extended effort
Emerge 25
Vrije Universiteit Amsterdam
DIVERGENT PRODUCTION
Emerge 26
Vrije Universiteit Amsterdam
CONCLUSIE
> Goede toetsvragen resulteren in goede toetsen
> Toetsvragen maken is mensenwerk
> Toetsvragen maken is een creatieve
probleemoplossingstaak
> Goede toetsvragenmakers vragen gerichte training
> Werk met voorbeelden
> Effectieve toetsvragenmakers zijn niet persé sneller
(misschien wel juist niet)
27 Emerge
Vrije Universiteit Amsterdam
Bedankt
Silvester Draaijer
s.draaijer@vu.nl
28 Emerge
Vrije Universiteit Amsterdam
ALGEMENE REGELS – VOORKOM ONDUIDELIJKHEID
> Gaat de vraag over een belangrijk onderwerp en niet over detailkennis?
> Is het de student duidelijk wat gevraagd wordt?
> Houd het taalgebruik eenvoudig.
> Richt de vraag op de student.
> Bevat de vraag een duidelijk probleem?
> Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden?
> Is de vraag kort en zakelijk geformuleerd?
> Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt.
> Leer de student niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis.
> Wees u constant bewust van het niveau waarop u de studenten wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen).
> Wees nauwkeurig in grammatica, spelling en interpunctie.
> Voorkom het weggegeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het ..)
> Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven).
29 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
Vrije Universiteit Amsterdam
VOORKOM ONDUIDELIJKEHEID
30 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
Probleem Omschrijving
Ontkenningen voorkomen Gebruik geen ontkenningen in de stimulus of alternatieven (onderstreep in ieder
geval altijd woorden zoals niet, geen e.d.). Gebruik zeker geen dubbele
ontkenningen.
Loze alternatieven
voorkomen
Zijn er geen alternatieven die vooraf te elimineren zijn; zijn alle alternatieven in
principe aannemelijk voor iemand die de stof niet beheerst?
Herhaling voorkomen. Herhaal niet dezelfde zinsnede als begin van elk alternatief - plaats het in de
stimulus.
Geen overlappende
alternatieven
Pas elkaar overlappende afleiders niet toe (zorg ervoor dat de alternatieven geen
subsets van elkaar zijn).
Geen normatieve begrippen
gebruiken.
Gebruik geen normatieve begrippen zoals moeten, zinloos, dienen. Wordt er niet
per ongeluk naar een mening gevraagd? Geef aan wie die mening verkondigt.
Geen absolute aanduidingen
gebruiken
Gebruik geen absolute woorden zoals nooit, alleen, allemaal, geen
enkele, altijd tenzij het echt absoluut zo is (er zijn bijna altijd uitzonderingen te
bedenken op problemen, oplossingen of concepten).
Geen vage aanduidingen
gebruiken
Gebruik geen vage aanduidingen zoals misschien, kan, soms, in het
algemeen, een paar, enkele. Deze worden niet door iedereen hetzelfde
geïnterpreteerd.
Geen dubbele stellingvragen
gebruiken
Stellingvragen (ook wel complexe multiple-choice vragen genoemd): zijn de twee
stellingen terecht tot één vraag gecombineerd? Bij voorkeur dergelijke vragen
splitsen in aparte vragen.
Vrije Universiteit Amsterdam
SPEEL IN OP BEREKENENDE STUDENT
> Ik kies het langste antwoord
> Ik kies b) of c)
> Ik kies nooit alternatieven waar altijd of nooit in staan, want deze zijn niet correct
> Bij twee tegengestelden in de antwoorden kies ik één van de twee en negeer de anderen
> Bij twijfel gok ik altijd
> Ik kies het antwoord dat het meest wetenschappelijk klinkt
> Ik kies het antwoord waar in ieder geval iets staat over het onderwerp
> Als 'alle bovenstaande' het laatste alternatief is, is het snel duidelijk of dat het juiste alternatief is of niet
> Als 'geen van bovenstaande' het laatste alternatief is is het snel duidelijk of dat het juiste alternatief is of niet
31 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU