1

W E E T

W A T

O N D E R W IJ S

W A A R D

I S

Onderwijscentrum VUKennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)

Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)

Silvester DraaijerVUA

Silvester DraaijerVUA

2

Onderwijscentrum VUOnderwijscentrum VU VU: 20.000 studenten Onderwijscentrum VU

1e graads lerarenopleiding Scholing en Advisering

o.a. ICTO Kwaliteitszorg (o.a. onderwijsevaluaties en

tentamenschrapkaarten service) Communities of Learners als centraal thema

Assessment is één van de aandachtspunten• Pre-master assessment VU• Taaltoets VU• Portfolio• Peer-Review (SURF project met UU en TUD)• Digitaal Toetsen

VU: 20.000 studenten Onderwijscentrum VU

1e graads lerarenopleiding Scholing en Advisering

o.a. ICTO Kwaliteitszorg (o.a. onderwijsevaluaties en

tentamenschrapkaarten service) Communities of Learners als centraal thema

Assessment is één van de aandachtspunten• Pre-master assessment VU• Taaltoets VU• Portfolio• Peer-Review (SURF project met UU en TUD)• Digitaal Toetsen

5

Kennis: wat is het?Kennis: wat is het?

6

Kennis: wat is het?Kennis: wat is het?

7

Nadenken over kennisNadenken over kennis

Nonaka & TakeuchiNonaka & Takeuchi

To tacit knowledge To explicit knowledge

From tacit knowledge Socialization Externalization

From explicit knowledge

Internalization Combination

8

Kennis in HBO-contextKennis in HBO-context

Hernieuwde aandacht voor ‘kennis’: waarom?

Tegen Tegen edutainment? Tegen constructivisme? Tegen nieuwlichterij? Tegen ‘al dat projectonderwijs’ en ‘al dat

probleemgestuurd onderwijs’ Tegen al die groepsopdrachten?

Voor ‘Experts’ hebben hun kennis in prachtige (studie)boeken

neergelegd. Dat moeten we gebruiken. Kennis bezitten en kunnen toepassen is voorwaardelijk

voor het oplossen van (complexere) problemen

Hernieuwde aandacht voor ‘kennis’: waarom?

Tegen Tegen edutainment? Tegen constructivisme? Tegen nieuwlichterij? Tegen ‘al dat projectonderwijs’ en ‘al dat

probleemgestuurd onderwijs’ Tegen al die groepsopdrachten?

Voor ‘Experts’ hebben hun kennis in prachtige (studie)boeken

neergelegd. Dat moeten we gebruiken. Kennis bezitten en kunnen toepassen is voorwaardelijk

voor het oplossen van (complexere) problemen

9

Kennis in HBO-contextKennis in HBO-context

Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext.

Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen.

Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext.

Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen.

10

Wat is toetsen?Wat is toetsen?

Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing

Centrale begrippen Validiteit Betrouwbaarheid Formatief, Summatief

Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing

Centrale begrippen Validiteit Betrouwbaarheid Formatief, Summatief

11

Nadenken over toetsenNadenken over toetsen

Simpele toets met één vraag (meting)

Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen

Doel: vaststellen wat we vanochtend en vanmiddag gaan doen

Vraag Wie heeft een cursus Toetsen en

Beoordelen gevolgd?

Simpele toets met één vraag (meting)

Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen

Doel: vaststellen wat we vanochtend en vanmiddag gaan doen

Vraag Wie heeft een cursus Toetsen en

Beoordelen gevolgd?

12

Nadenken over toetsenNadenken over toetsen

Inhoudsvaliditeit? Construct validiteit? Criterium validiteit? Predictieve validiteit?

Inhoudsvaliditeit? Construct validiteit? Criterium validiteit? Predictieve validiteit?

13

Validiteit: toetsmatrijsValiditeit: toetsmatrijs

De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau.

Onderwerpen uit de stofCognitief niveau

Let op: Cognitief niveau ≠ Moeilijkheidsgraad

De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau.

Onderwerpen uit de stofCognitief niveau

Let op: Cognitief niveau ≠ Moeilijkheidsgraad

Onder-werpen

Reproductie

Toepassing

Inzicht Totaal

1 2 1 1 4

2 2 1 0 3

3 4 2 1 7

Enz. .. .. .. ..

Totaal .. .. .. 50

14

Validiteit: toetsmatrijsValiditeit: toetsmatrijs

Werk met startzinnenWerk met startzinnen

Weten en Begrijpen:nagaan of de student kennis heeft van onderwerpen

Wat is de beste definitie voor ....?Wat is (niet) karakteristiek voor ....? Uit welke onderdelen bestaat het probleem?Wat is de geschiedenis van het probleem?Welke verschillende categorieën zijn er in het probleem?

Kritisch denken (evalueren): nagaan of de student de eigenschappen van feiten, procedures, principes of theoriën kan gebruiken.

Wat is het meest effectief (gepast) voor ....?Wat is beter (slechter) ....?Wat is het meest effectief voor ....?Wat is de meest kritieke stap in aan procedure?Als je weet dat X waar is, wat is dan tevens waar over Y?Wat is (niet) nodig in een procedure?Wat is het belang van het probleem ? So what ?

Kritisch denken (voorspellen): nagaan of de student op basis van feiten, procedures, principes of theoriën kan aangeven wat gevolgen, consequenties e.d. zijn.

Wat zou er gebeuren als ....?Als dit gebeurt, wat zou je doen?Op basis van wat ...., wat zou je doen?Gegeven ... wat is belangrijkste reden dat ....

Probleem oplossen (gegeven een scenario): nagaan of de student op basis van gegeven problemen oplossingen kan geven of oplossingen kan beoordelen.

Wat is de aard van het probleem?Wat heb je nodig om dit probleem op te lossen?Wat is een mogelijke oplossing?Wat is de meeste effectieve (efficiente) oplossing?Waarom is .... de meest effectieve (efficiënte) oplossing?

15

Nadenken over toetsenNadenken over toetsen

Betrouwbaarheid?Betrouwbaarheid?

p, a, Rit, Rir, Rar, Cronbach α / KR20, 1-2-3-PL IRT ….

Terecht Onterecht

Gezakt

Geslaagd

16

BetrouwbaarheidBetrouwbaarheid

Hoe meer vragen hoe betrouwbaarder

Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets

Hoe meer vragen hoe betrouwbaarder

Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets Soort Antwoordtijd Aantal vragen normaal

gesproken nodig voor een betrouwbare toets

Juist/Onjuistvraag of twee alternatieven

50 seconden 80

Drie alternatieven

60 seconden 60

Vier alternatieven

75 seconden 40

17

BetrouwbaarheidBetrouwbaarheid

Goede toetsvragen maken Meten op het bedoelde cognitieve niveau Scheiden competente van niet-competente studente Zijn niet te gemakkelijk of te moeilijk Zijn relevant/motiverend

Vooraf Loop alle checklists af Laat collega’s de vragen controleren Laat toetsdeskundigen de vragen controleren

Doe proefafnames

… maar dit alles is geen garantie – proof of the pudding is in the eating

Doe de oefening vraagconstructie

Goede toetsvragen maken Meten op het bedoelde cognitieve niveau Scheiden competente van niet-competente studente Zijn niet te gemakkelijk of te moeilijk Zijn relevant/motiverend

Vooraf Loop alle checklists af Laat collega’s de vragen controleren Laat toetsdeskundigen de vragen controleren

Doe proefafnames

… maar dit alles is geen garantie – proof of the pudding is in the eating

Doe de oefening vraagconstructie

18

BetrouwbaarheidBetrouwbaarheid

Consistent beoordelen Gesloten vragen – easy Open vragen –

antwoordmodel/nakijkschema Doe de oefening

‘interbeoordelaarsbetrouwbaarheid’

Consistent beoordelen Gesloten vragen – easy Open vragen –

antwoordmodel/nakijkschema Doe de oefening

‘interbeoordelaarsbetrouwbaarheid’

19

raadscore

cijfer

1

5,5

10

maximale score cesuurscore

Proportie studenten die slaagt.

Over cijfers gevenOver cijfers geven

20

Toets en itemanalyseToets en itemanalyse

We gaan de oefening doen Vragen niet te moeilijke of gemakkelijk (P) Vragen moeten positief correleren (Rir) Correct antwoord moet positief correleren Incorrect antwoord moet niet te vaak

worden gekozen Betrouwbaarheid (KR20) – wanneer

voldoende?

We gaan de oefening doen Vragen niet te moeilijke of gemakkelijk (P) Vragen moeten positief correleren (Rir) Correct antwoord moet positief correleren Incorrect antwoord moet niet te vaak

worden gekozen Betrouwbaarheid (KR20) – wanneer

voldoende?

21

voorbeeld TENTAMEN : DOCENT : ***** **-**-2001FACULTEIT: *** AFDELING : *** _______________________________________________________________MEERKEUZE VRAGEN FORMULIER 1 P - WAARDENVRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir _______________________________________________________________ 1 0.06 0.08 0.11 +0.75 0.00 0.75 0.19 0.34 2 0.09 0.06 +0.79 0.05 0.01 0.79 0.16 0.21 3 +0.81 0.05 0.08 0.06 0.00 0.81 0.16 0.24 4 0.16 0.12 +0.60 0.13 0.00 0.60 0.24 0.37 5 0.26 0.03 +0.71 0.01 0.00 0.71 0.21 0.34 6 0.10 +0.77 0.12 0.02 0.00 0.77 0.18 0.26 7 +0.79 0.03 0.16 0.03 0.00 0.79 0.16 0.26 8 0.31 0.06 +0.52 0.11 0.00 0.52 0.25 0.27 9 0.08 0.40 0.03 +0.49 0.00 0.49 0.25 0.17 10 0.06 0.03 +0.87 0.04 0.00 0.87 0.11 0.27 11 0.10 0.02 +0.83 0.05 0.00 0.83 0.14 0.32 12 0.05 0.03 +0.86 0.06 0.00 0.86 0.12 0.30 13 0.54 +0.26 0.16 0.04 0.00 0.26 0.19 -0.07 14 0.25 0.21 0.11 +0.44 0.00 0.44 0.25 0.30 15 0.23 +0.62 0.04 0.10 0.00 0.62 0.23 0.31 16 +0.49 0.29 0.08 0.14 0.00 0.49 0.25 0.24 17 0.01 0.34 +0.65 0.01 0.00 0.65 0.23 0.14 18 0.07 0.06 +0.85 0.02 0.00 0.85 0.13 -0.10 19 0.01 0.08 +0.88 0.04 0.00 0.88 0.11 0.31 20 0.30 +0.35 0.11 0.24 0.00 0.35 0.23 0.05 21 +0.82 0.03 0.07 0.08 0.00 0.82 0.14 0.35 22 0.21 0.36 0.31 +0.12 0.00 0.12 0.11 0.09 23 +0.86 0.09 0.03 0.01 0.00 0.86 0.12 0.23 24 +0.83 0.03 0.10 0.05 0.00 0.83 0.14 0.36 25 +0.84 0.08 0.01 0.06 0.00 0.84 0.13 0.32 26 +0.46 0.05 0.05 0.44 0.00 0.46 0.25 0.56 27 0.23 +0.66 0.06 0.06 0.00 0.66 0.23 0.61 28 0.18 0.19 0.25 +0.37 0.00 0.37 0.23 0.44 29 0.14 +0.64 0.08 0.14 0.00 0.64 0.23 0.40 30 0.07 0.07 +0.79 0.06 0.00 0.79 0.16 0.36 31 +0.66 0.16 0.03 0.14 0.00 0.66 0.22 0.40 32 0.09 +0.48 0.18 0.25 0.00 0.48 0.25 0.37 33 +0.74 0.05 0.02 0.19 0.00 0.74 0.19 0.49 34 +0.55 0.08 0.24 0.13 0.00 0.55 0.25 0.01 35 0.03 0.27 +0.51 0.18 0.00 0.51 0.25 0.46 36 0.15 +0.18 0.45 0.22 0.00 0.18 0.14 0.04 37 0.16 0.08 +0.43 0.32 0.01 0.43 0.24 0.18 38 0.32 +0.60 0.06 0.02 0.00 0.60 0.24 0.39 39 0.38 0.13 0.08 +0.42 0.00 0.42 0.24 0.48 40 0.19 0.05 +0.71 0.05 0.00 0.71 0.21 0.28KR-20 : 0.82Aantal studenten : 154 | S KR20 KR20(75) Gem. Score Gem. p-waarde______|___________________________________________________________ | MK | 6.16 0.82 0.89 25.00 0.63 WO | --- --- --- --- ---

22

Wat willen studenten met toetsing?Wat willen studenten met toetsing?

Should be for learning Should be reliable, valid, fair and

consistent Should consist of effective and

constructive feedback Should be innovative and have the

capacity to inspire and motivate Should measure understanding and

application, rather than recall

Should be for learning Should be reliable, valid, fair and

consistent Should consist of effective and

constructive feedback Should be innovative and have the

capacity to inspire and motivate Should measure understanding and

application, rather than recall

23

Wat willen studenten met toetsing?Wat willen studenten met toetsing?

Should be conducted throughout the course, rather than being positioned as a final event

Should develop key skills such as peer and reflective assessment

Should be central to staff development and teaching strategies, and frequently reviewed

Should be of a manageable amount for both tutors and students

Should encourage dialogue between students and their tutors and students and their peers

Should be conducted throughout the course, rather than being positioned as a final event

Should develop key skills such as peer and reflective assessment

Should be central to staff development and teaching strategies, and frequently reviewed

Should be of a manageable amount for both tutors and students

Should encourage dialogue between students and their tutors and students and their peers

24

25

ICT: MC, MR, drag-and-drop,mathICT: MC, MR, drag-and-drop,math

26

ICT: Lineair questionICT: Lineair question

27

ICT: Animation, Simulation, VideoICT: Animation, Simulation, Video

28

IRT (Item Response Theory, Latent Trait AnalysisIRT (Item Response Theory, Latent Trait Analysis

29

ItembankingItembanking

30

Quizzing – studentgericht formatief toetsenQuizzing – studentgericht formatief toetsen

Toets met diagnostische functie tbv tentamen

Toets om te leren/oefenen

Toets met diagnostische functie tbv tentamen

Toets om te leren/oefenen

31

Voorbeeld 1: Peer instructionVoorbeeld 1: Peer instruction

ConceptTest Ontwikkeld door Eric Mazur,

Harvard University

ConceptTest Ontwikkeld door Eric Mazur,

Harvard University

32

Voorbeeld 2a: opfrissen van voorkennisVoorbeeld 2a: opfrissen van voorkennis

Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie

Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie

33

Voorbeeld 2b: Aanjagen van een PracticumVoorbeeld 2b: Aanjagen van een Practicum

Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis

Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis

34

Voorbeeld 3a: Actieve verwerking van collegestof

Voorbeeld 3a: Actieve verwerking van collegestof Faculteit Pedagogiek en

Psychologie VU, cursussen Algemene Methodologie en Functieleer

Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en Functieleer

35

Voorbeeld 4a: CollegeverbeteraarVoorbeeld 4a: Collegeverbeteraar

Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie

Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie

36

Voorbeeld 4b: CollegeverbeteraarVoorbeeld 4b: Collegeverbeteraar Faculteit Rechten VU, cursus

Beginselen Strafrecht Faculteit Rechten VU, cursus

Beginselen Strafrecht

InleidingVoorbeeldenConclusie

37

ConclusieConclusie

Meerdere varianten mogelijk van online Quizzing

Zorg dat de toetsen zijn ‘ingebed’ in de cursus.

Zorg er zo mogelijk voor dat studenten kunnen overleggen!

Meerdere varianten mogelijk van online Quizzing

Zorg dat de toetsen zijn ‘ingebed’ in de cursus.

Zorg er zo mogelijk voor dat studenten kunnen overleggen!