Kwaliteit van toetsing steeds meer Kwaliteit van toetsing steeds meer in het Spotlichtin het Spotlicht

Avans Hogeschool – Spotlicht bijeenkomst

3 maart 2011

Dr. Liesbeth BaartmanEindhoven School of Education – Technische

Universiteit Eindhoven

Zin en onzin van toetsingZin en onzin van toetsing

Toetsing is driedubbel Toetsing is driedubbel belangrijk!belangrijk!

(1) Stuurt het leren van de student

(2) Met een gerust hart afgeven van een diploma

(3) Als effectmaat in onderzoek

AccreditatieAccreditatie

Toetsing is hoofdonderdeelAlgemene omschrijving

Hoe toon je aan dat de toetsing kwalitatief hoogwaardig is?

ProgrammaProgramma

• Competentie Assessment Programma’s

• Wat is een “goed” CAP?• Validiteit en betrouwbaarheid• 12 kwaliteitscriteria voor CAPs

• Zelfevaluatie van de kwaliteit van CAPs

• Verzameling van bewijzen

Welke van de volgende type vaardigheden is in de afgelopen 40 jaar het minst belangrijk geworden op de werkplek?

1. Routinematige handmatige vaardigheden2. Niet-routinematige handmatige vaardigheden3. Routinematige cognitieve vaardigheden4. Complexe communicatievaardigheden5. Expertdenken/probleemoplossende

vaardigheden

(Levy & Murnane, 2003)

CAP: Competentie Assessment CAP: Competentie Assessment ProgrammaProgramma

triangulatie / complementair “traditioneel” en “nieuw” gecombineerd afhankelijk van context formatief en/of summatief?

CAP

Proeve van bekwaamheid

Open vragen

Theorie-vragen

PortfolioStage

Meerkeuze toets

Opdrachten / projecten

Miller, 1990

Piramide van MillerPiramide van Miller

Wat is een ‘goed’ Wat is een ‘goed’ assessmentprogramma?assessmentprogramma?

Onze proeve wordt onder strikt gecontroleerde condities uitgevoerd

12 kwaliteitscriteria voor CAPs12 kwaliteitscriteria voor CAPs

• Problemen met oude kwaliteitscriteria:

o Wat is validiteit precies?

o Betrouwbaarheid als objectiviteit?

o Generaliseerbaarheidstheorie• Nieuwe kwaliteitscriteria als aanvulling

12 kwaliteitscriteria voor Competentie Assessment Programma’s

Doel

Herhaalbaarheid

Transp

aran

tie

Cognitieve

complexiteit

Au

then

tici

teit

Eerlijkheid

Zelfstu

ring

Betekenis

Onderwijsgevolgen

Tijd & Kosten

Acceptatie

Vergel

ijkbaa

rhei

d

DOEL: Alle competenties en

passende assessmentvormen

HERHAALBAARHEID: Combineren van

verschillende situaties en beoordelaars

TRANSPARANTIE:

Duidelijkheid en begrijpelijkheid voor betrokkenen

VERGELIJKBAARHEID:

Consistente opzet en uitvoering

ACCEPTATIE:

Kunnen de betrokkenen zich vinden in de opzet en

uitvoer?

RECHTVAARDIGHEID:

Geen bevoor- of benadeling

ZELFSTURING:

Stimuleren van reflectie en formuleren leerdoelen

BETEKENISVOLHEID:

Meer dan meetmoment - feedback

COGNITIEVE COMPLEXITEIT:

Hogere cognitieve vaardigheden en denkprocessen

AUTHENTICITEIT:

Overeenkomst met de beroepspraktijk

ONDERWIJSGEVOLGEN:

Effect op leren en onderwijs

TIJD EN KOSTEN:

Haalbaarheid van de ontwikkeling en

uitvoering

ProcedureProcedure zelfevaluatie zelfevaluatie

Uitgangspunten:Evaluatie van programmaMeerdere evaluatorenVerschillende functiesFormatief

Fase 1: instructiebijeenkomstvaststellen CAP

Fase 2: individueel invullenFase 3: groepsinterview

indicatoren

score dmvschuifje

voldoende ja / nee

voorbeeld / bewijs

Kwaliteit bewijzenKwaliteit bewijzen

Scores / beoordelingen kunnen zijn gebaseerd op verschillende redeneringen!

Relevant / representatief?Eén mening of gedeeld?Zowel positief als negatief?Soorten bewijs:

“dat is vanzelfsprekend”“dit zie ik terug bij mijn leerlingen”“hier hebben we de leerlingen naar gevraagd”

19

12

22

33

1719

27

19

14

4

33

4852

75

52

47 4851

65

5861

70

54

38

29

13

25

20

36

30

8

2325 26

13 14

0

10

20

30

40

50

60

70

80

fitne

ss fo

r pu

rpos

e

repr

oduc

ibilit

y

tran

spar

ency

acce

ptab

ility

com

para

bilit

y

fairn

ess

self-

asse

ssm

ent

mea

ning

fuln

ess

cogn

com

pl

auth

entic

ity

educ

con

seq

cost

s &

eff

level 1: no support

level 2: explanation as support

level 3: evidence as support

Wat resultaten …Wat resultaten …

Onderzoek naar portfolio’sOnderzoek naar portfolio’s

(1) Gaat het over de student?(2) Relevant voor de competenties?

Relevant bewijs:(3) Persoonlijke mening

(4) Mening van iemand anders(5) Gedeelde mening(6) Voorbeeldsituatie

(7) Bewijs uit het portfolio

(Van der Schaaf, Baartman, & Prins, submitted)

Kwaliteitschecks:

Alle bewijzen meegenomen in oordeel?Positief en negatieve bewijzen?Gezocht naar tegenbewijzen?Verschillende soorten bewijzen (sterk /

zwak)?Aantal bewijzen?Zijn de assessoren het eens?

Beoordelingsproces portfolio’sBeoordelingsproces portfolio’s

“Ik denk dat alles wel duidelijk is, want ik krijg

nooit vragen”

“Voor we met de opdracht starten, bespreken we de

criteria met de studenten”

“Dat weten we eigenlijk niet” “Ik krijg positieve reacties

van stagebeleiders”“Maar … het

beoordelingsformulier vinden ze maar niks”

AfsluitendAfsluitend

Zonder passende toetsing vernietigen we competentiegericht onderwijs

Kwaliteit van toetsing wordt grotendeels bepaald door de gebruikers ervan

Hartelijk dank voor de aandachtHartelijk dank voor de aandachtl.baartman@tue.nll.baartman@tue.nl