Silvester Draaijer

HOE ONDERSTEUN JE DOCENTEN BIJ MAKEN VAN TOETSVRAGEN SILVESTER DRAAIJER

Vrije Universiteit Amsterdam

CONCLUSIE

> Goede toetsvragen resulteren in goede toetsen

> Toetsvragen maken is mensenwerk

> Toetsvragen maken is een creatieve

probleemoplossingstaak

> Goede toetsvragenmakers vragen gerichte training

> Werk met voorbeelden

> Effectieve toetsvragenmakers zijn niet persé sneller

(misschien wel juist niet)

2 Emerge


RATIONELE BENADERINGEN – 12 STEPS

3 Emerge

1. Overall plan

2. Content definition

3. Test specifications

4. Item development

5. Test design and assembly

6. Test production

7. Test administration

8. Scoring test responses

9. Passing scores

10. Reporting test results

11. Item banking

12. Test technical report


RATIONELE BENADERINGEN

Toetsmatrijs/

Specificatietabel

4 Emerge


ALGEMENE REGELS – VOORKOM ONDUIDELIJKHEID

> Gaat de vraag over een belangrijk onderwerp en niet over detailkennis?

> Is het de student duidelijk wat gevraagd wordt?

> Houd het taalgebruik eenvoudig.

> Richt de vraag op de student.

> Bevat de vraag een duidelijk probleem?

> Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden?

> Is de vraag kort en zakelijk geformuleerd?

> Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt.

> Leer de student niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis.

> Wees u constant bewust van het niveau waarop u de studenten wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen).

> Wees nauwkeurig in grammatica, spelling en interpunctie.

> Voorkom het weggegeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het ..)

> Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven).

5 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU


VOORKOM ONDUIDELIJKEHEID


Probleem Omschrijving

Ontkenningen voorkomen Gebruik geen ontkenningen in de stimulus of alternatieven (onderstreep in ieder

geval altijd woorden zoals niet, geen e.d.). Gebruik zeker geen dubbele

ontkenningen.

Loze alternatieven

voorkomen

Zijn er geen alternatieven die vooraf te elimineren zijn; zijn alle alternatieven in

principe aannemelijk voor iemand die de stof niet beheerst?

Herhaling voorkomen. Herhaal niet dezelfde zinsnede als begin van elk alternatief - plaats het in de

stimulus.

Geen overlappende

alternatieven

Pas elkaar overlappende afleiders niet toe (zorg ervoor dat de alternatieven geen

subsets van elkaar zijn).

Geen normatieve begrippen

gebruiken.

Gebruik geen normatieve begrippen zoals moeten, zinloos, dienen. Wordt er niet

per ongeluk naar een mening gevraagd? Geef aan wie die mening verkondigt.

Geen absolute aanduidingen

gebruiken

Gebruik geen absolute woorden zoals nooit, alleen, allemaal, geen

enkele, altijd tenzij het echt absoluut zo is (er zijn bijna altijd uitzonderingen te

bedenken op problemen, oplossingen of concepten).

Geen vage aanduidingen

gebruiken

Gebruik geen vage aanduidingen zoals misschien, kan, soms, in het

algemeen, een paar, enkele. Deze worden niet door iedereen hetzelfde

geïnterpreteerd.

Geen dubbele stellingvragen

gebruiken

Stellingvragen (ook wel complexe multiple-choice vragen genoemd): zijn de twee

stellingen terecht tot één vraag gecombineerd? Bij voorkeur dergelijke vragen

splitsen in aparte vragen.



7 Emerge

Doel Modelvraag Weten en begrijpen: de

student heeft kennis van de onderwerpen.

Wat is de beste definitie voor…?

Wat is (niet) karakteristiek voor…

Uit welke onderdelen bestaat het probleem? Welke verschillende categorieën zijn er in het probleem?

Kritisch denken

(evalueren): de student

kan de eigenschappen

van feiten, procedures,

principes of theorieën gebruiken.

Wat is het effectiefste (/geschikt) voor…?

Wat is beter (/slechter)…?

Wat is de meest kritieke stap in een procedure?

Als je weet dat X waar is, wat is dan tevens waar over Y?

Wat is (niet) nodig in een procedure? Wat is het belang van het probleem?

Kritisch denken

(voorspellen): de student

kan op basis van feiten,

procedures, principes of

theorieën aangeven wat gevolgen zijn.

Wat zou er gebeuren als…?

Als dit gebeurt, wat zou je dan doen?

Op basis van…, zou je wat doen?

Gegeven…, is wat belangrijkste reden dat…?

Probleem oplossen: de

student kan op basis van

gegevens problemen

oplossingen geven of beoordelen.

Wat is de aard van het probleem?

Wat heb je nodig om dit probleem op te lossen?

Wat is de eerstvolgende beste stap om dit probleem op te lossen?

Wat is een mogelijke oplossing?

Wat is de meeste effectieve (/efficiënte) oplossing?

Waarom is… de meest effectieve (efficiënte) oplossing?



8 Emerge



9 Emerge

4 Toetsvragen ontwerpen bij

afzonderlijke begrippen

4.1 Vertalen

4.2 Definiëren

4.3 Voorbeelden geven

4.4 Voorbeelden herkennen en

benoemen

4.5 Herkennen en benoemen bij

formeel gedefinieerde begrippen

4.6 Beschrijvende uitspraken

5 Toetsvragen ontwerpen bij relaties

tussen begrippen

5.1 Vertalen en afbeelden

5.2 Onderscheiden

5.3 Classificaties

5.4 Stappenschema’s,

algoritmen, routines

5.5 Wetmatige relaties

6 Toetsvragen ontwerpen bij tekst

6.1 Participatiecontrole

6.2 Thema’s en hoofdpunten

6.3 Analyse

6.4 Inferentie

6.5 Compositie

6.6 Tekst en de naïeve lezer

7 Problemen stellen

7.1 Over problemen gesproken

7.2 Inventarisatie

7.3 ontwerpregels



10 Emerge



11 Emerge

TOETSVRAGEN MAKEN

Writing high quality questions is regarded as difficult

> A difficult task > (T. M. Haladyna, 1997, p. 67; Osterlind, 1998, p. 40)

> A unique skill > (Downing & Haladyna, 2006, p. 11)

> An art > (Popham, 1984, p. 40).

> Creativity is of essence too > (Osterlind, 1998, p. 2; Rikers, 1988, p. 16; Vale, 1995).

> Especially developing plausible distracters is regarded as

being difficult, specifically the 3rd distractor of a four-option

multiple-choice question > (Roid & Haladyna, 1982), (Mayenga, 2009)

Emerge 12


TOETSVRAGEN MAKEN

“Item writing requires an uncommon combination of special abilities. It is mastered only through extensive and critically supervised practice. It demands and tends to develop high standards of quality and a sense of pride in craftsmanship.”

“Item writing is essentially creative. Each item as it is being written presents new problems and new opportunities. Just as there can be no set formulas for producing a good story and a good painting, so there can be no set of rules that will guarantee the production of good test items.”

Robert L. Ebel 1951

Emerge 13


TOETSVRAGEN MAKEN

“The process of selecting item ideas goes on

simultaneously with the process of inventing them. Skill in

item writing depends not only upon prolific inventiveness but

also upon discriminating judgment in the selection. In

selecting item ideas, the writer must consider their

appropriateness, importance, and probable discriminating

ability.”

Robert L. Ebel 1951

Emerge 14


TOETSVRAGEN MAKEN

> Thorough mastery of the subject matter being tested.

> Possess a rational and well developed set of thinking processes to determine what is most important to test.

> Must understand the individuals for whom the test or items are intended.

> Must be a master of verbal communication.

> Must be skilled in handling the special technology used for item writing.

James B. Olsen 2004

Emerge 15


TOETSVRAGEN MAKEN

> There is no automatic process for the production of item

ideas. They must be invented or discovered and in the

process, chance ideas and inspirations are very important.

It is possible, however, to stimulate these processes by

appropriate material.

James B. Olsen 2004

Emerge 16


ONTWIKKELEN VAN TOETSVRAGEN

> Yet, knowing the principles of effective item writing is no

guarantee of an item writer’s ability to actually produce

effective test questions. Knowing is not necessarily doing.

Thus, one of the more important validity issues associated

with test development concerns the selection and training of

item writers

(Downing & Haladyna, 1997)

Emerge 17

ONTWIKKELEN VAN TOETSVRAGEN

> Is not a science, it’s a craft

> Learning to develop good test questions takes 16-40 hours

of instruction-practice-feedback (to derive from Case, Holzman & Ripkey, 2001 )

There is little scientific basis for multiple-choice

item writing. Most item writing knowledge is

based on personal experience or wisdom passed

on from particular mentors.

Welch, Haladyna (2004)

Emerge 18


TRAINING TOETSVRAGEN MAKEN

Effective item writers are trained, not born.

(Downing & Haladyna, 1997)

The instruction–practice–feedback–reinforcement loop is

important for the effective development and maintenance of

solid item writing skills

(Jozefowicz et al., 2002). Instruction

Practice

Feedback

Reinforcement

Emerge 19



> Bespreken doelen van de toets

> Bespreken format van de toetsvragen

> Bespreken typische voorbeelden van goede en minder goede vragen – uit het domein zelf > Systeem om al bestaande (studeersnel, QuizLet, ProProfs, CFA Institute)

of ontwikkelde vragen eenvoudig te raadplegen

> Vragen uit ‘oude toetsen’

> Zelf maken van vragen

> Beoordelen van vragen van collega’s > Laat correcte antwoord niet zien!

> Essentieel: constructieve houding! – bedenk verbetervoorstellen/aanvullingen/kleine correcteis

> Een flink aantal vragen is ‘niet te redden’

> Voortdurende aanvulling/aanpassing van toetsvraaghandleiding maken

> Als mogelijk: studenten vragen laten maken …

20 Emerge



> Toetsvragen maken paradox!

> Goed getrainde toetsvragenmakers zijn wel effectiever,

maar niet sneller!

21 Emerge


EN NU IETS TOTAAL ANDERS

22 Emerge


DIVERGEREN EN CONVERGEREN

23 Emerge


DIVERGEREN EN CONVERGEREN

24 Emerge


QUESTION DESIGN AS PROBLEM SOLVING

Problem finding (Pretz et al. 2003): Recognizing, Defining, and Representing problems

Divergent thinking ability is necessary > Brainstorming (applying safe

environment and constructive feedback)

> Force-fitting

> Brain-writing

> Morfological approaches

Convergent thinking ability is necessary > Evaluate using criteria lists (the 31

guidelines by Downing and Haladyna, 2002!)

> Peer judgement Extended effort

Emerge 25


DIVERGENT PRODUCTION

Emerge 26


CONCLUSIE

> Goede toetsvragen resulteren in goede toetsen

> Toetsvragen maken is mensenwerk

> Toetsvragen maken is een creatieve

probleemoplossingstaak

> Goede toetsvragenmakers vragen gerichte training

> Werk met voorbeelden

> Effectieve toetsvragenmakers zijn niet persé sneller

(misschien wel juist niet)

27 Emerge


Bedankt

Silvester Draaijer

[email protected]

28 Emerge


ALGEMENE REGELS – VOORKOM ONDUIDELIJKHEID

> Gaat de vraag over een belangrijk onderwerp en niet over detailkennis?

> Is het de student duidelijk wat gevraagd wordt?

> Houd het taalgebruik eenvoudig.

> Richt de vraag op de student.

> Bevat de vraag een duidelijk probleem?

> Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden?

> Is de vraag kort en zakelijk geformuleerd?

> Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt.

> Leer de student niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis.

> Wees u constant bewust van het niveau waarop u de studenten wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen).

> Wees nauwkeurig in grammatica, spelling en interpunctie.

> Voorkom het weggegeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het ..)

> Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven).



VOORKOM ONDUIDELIJKEHEID


Probleem Omschrijving

Ontkenningen voorkomen Gebruik geen ontkenningen in de stimulus of alternatieven (onderstreep in ieder

geval altijd woorden zoals niet, geen e.d.). Gebruik zeker geen dubbele

ontkenningen.

Loze alternatieven

voorkomen

Zijn er geen alternatieven die vooraf te elimineren zijn; zijn alle alternatieven in

principe aannemelijk voor iemand die de stof niet beheerst?

Herhaling voorkomen. Herhaal niet dezelfde zinsnede als begin van elk alternatief - plaats het in de

stimulus.

Geen overlappende

alternatieven

Pas elkaar overlappende afleiders niet toe (zorg ervoor dat de alternatieven geen

subsets van elkaar zijn).

Geen normatieve begrippen

gebruiken.

Gebruik geen normatieve begrippen zoals moeten, zinloos, dienen. Wordt er niet

per ongeluk naar een mening gevraagd? Geef aan wie die mening verkondigt.

Geen absolute aanduidingen

gebruiken

Gebruik geen absolute woorden zoals nooit, alleen, allemaal, geen

enkele, altijd tenzij het echt absoluut zo is (er zijn bijna altijd uitzonderingen te

bedenken op problemen, oplossingen of concepten).

Geen vage aanduidingen

gebruiken

Gebruik geen vage aanduidingen zoals misschien, kan, soms, in het

algemeen, een paar, enkele. Deze worden niet door iedereen hetzelfde

geïnterpreteerd.

Geen dubbele stellingvragen

gebruiken

Stellingvragen (ook wel complexe multiple-choice vragen genoemd): zijn de twee

stellingen terecht tot één vraag gecombineerd? Bij voorkeur dergelijke vragen

splitsen in aparte vragen.


SPEEL IN OP BEREKENENDE STUDENT

> Ik kies het langste antwoord

> Ik kies b) of c)

> Ik kies nooit alternatieven waar altijd of nooit in staan, want deze zijn niet correct

> Bij twee tegengestelden in de antwoorden kies ik één van de twee en negeer de anderen

> Bij twijfel gok ik altijd

> Ik kies het antwoord dat het meest wetenschappelijk klinkt

> Ik kies het antwoord waar in ieder geval iets staat over het onderwerp

> Als 'alle bovenstaande' het laatste alternatief is, is het snel duidelijk of dat het juiste alternatief is of niet

> Als 'geen van bovenstaande' het laatste alternatief is is het snel duidelijk of dat het juiste alternatief is of niet


Silvester Draaijer

Documents

Transcript of Silvester Draaijer