1

UitwisselingInstaptoetsen:

Enkele methodologische beschouwingen

Rianne JanssenCentrum voor Onderwijseffectiviteit en –Evaluatie

Onderzoeksgroep Kwantitatieve Psychologie

School of Education

2

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

3

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

4

doelstellingen opgaven

• Vraag naar doelstelling is vraag naar beoogde validiteit

5

criteriumvaliditeit inhoudsvaliditeit begripsvaliditeit Doel voorspellen Beheersing inhoudsdomein Meten van bepaald

begrip Selectie van items

In principe vrij - Toetsmatrijs! - random steekproef

Afleiden uit theorie

Empirische evidentie

r(test, criterium) argumentatief items: factoranalyse test: Verband met andere metingen

Opmerkingen - Gelijktijdige en predictive validiteit - kwaliteit meting criterium - niet steeds toepasbaar

Bepaling inhoudelijk universum

Interpretatie bij negatieve bevindingen

Samenvatting validiteit

Inhoudsvaliditeit

• Bepaling inhoudelijk ‘universum’– Eventueel consensusgroep experten

• Stel toetsmatrijs op= ‘blauwdruk’ van de toets

= ‘een expliciete formulering van verlangens’• In principe ‘random’ steekproef items uit

elke cel• Argumentatieve validiteit

6

COGNITIEF ONDERZOEKS-VAARDIG-

HEDENKENNEN

BEGRIJPEN

TOEPASSEN

BASIS VAN HET LEVEN 3b 1 2a/b3a/b

2b3b20

132122

MENSELIJK LICHAAM Bouw/werking 8 9a/b/c12a

8 9a/b/c12a

20 23

Voortplanting en seksualiteit

45c/d6a/b 7

5a/b/c/d6a/b7 21

5d20

Gezondheidszorg 10a/b/c1112b

10a/b/c1112b21

20

NATUUR RONDOM ONS Organismen 14a15a/b

1314a15a/b

1320

Ecosysteem 16 14b16171821

14b16172120

Milieuzorg 19 1921

192021

Welke deeldom

einen?

Welke verwerkingsniveaus?

In welke

verh

ouding?

Construeer items

• Open versus gesloten vraagvorm

• Pilootafname voor eerste kwaliteitscheck

• Beoordeling door experten

8

9

Open vraagvorm

• Categorisatie antwoorden– Categorisatiesysteem– Interbeoordelaarsbetrouw-

baarheid

• Productieve (taal)vaardigheid

• Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, creativiteit)?– “Face validity” of ook empirisch

onderbouwd?

Gesloten vraagvorm

• Snelle en objectieve verwerking (QMP!)

• Meer vragen mogelijk– Hogere betrouwbaarheid en

(inhouds)validiteit (cf eerste en tweede set vragen Nederlands)

• Probleem van raden

• Eenvoudige cognitieve vaardigheden (kennis, herkenning)?

1. Empirisch onderzoek bewijst tegendeel, mits goede itemconstructie

2. MKV vaak betere predictoren dan open vragen.

10

Detailopmerking: toeschrijving

• Engels: ‘matching’• Keuzes zijn niet onafhankelijk :

– Hoe meer zekere combinaties, hoe groter kans op correct antwoord bij raden

– Eventueel een rij langer dan andere rij

Maak de juiste vijf combinaties:

Bloedcirculatie

Erfelijkheid

Evolutie

Hondsdolheid

Psychiatrie

Pasteur

Freud

Mendel

Darwin

Harvey

11

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

• Achterliggend model (Meskauskas, 1997)?– State-view:

• ‘alles of niets’ beheersing (bv. basisspelling)

• Items uitwisselbaar (cf. Ned. : random keuze vragen)

• Domeinproportie (cf. Ned: FB student)

– Trait-view: • gradaties van beheersing (vb. Frans: ERK)

• Items verschillen in moeilijkheidsgraad (vb. WISTIL)

• Meetschaal!

12

meetschaalopgaven

• State-view: – ‘alles of niets’ beheersing– Items

• Afkomstig uit domein• In principe uitwisselbaar

– domeinproportie

13

meetschaalopgaven

• Trait-view: – gradaties van beheersing– Items verschillen in moeilijkheidsgraad– Meetschaal!

14

meetschaalopgaven

15

MEETSCHAAL

OPGAVEN

moeilijkheidsgraad

LEERLINGEN

vaardigheid

beheersing in termen van kansen

Eventueel rekening houdend met raadkans

16

Voordelen meetschaal

• Interpretatie:– Vergelijking positie student met positie opgaven

• Onderzoek naar band met itemkenmerken– Bv. wiskunde:

• ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk)

– stERK• Band met ERK-niveau

• Verschillende toetsen en vergelijkbaar resultaat– Gegeven een meetschaal

(geen verschil “item based” en standaard toets)

– Bij opmaken van een meetschaal

1 2 3 4 5 6 7

Basis van het leven X X X X 2600

Bouw en werking X X X X 2600

Seksualiteit en voortplanting X X X X 260

0

Gezondheidszorg X X X X 2600

Organismen X X X X 2600

Ecosysteem X X X X 2600

Milieuzorg X X X X 2600

N 650 650 650 650 650 650 650 4550

Afnamedesign peiling biologie

IRT alternative to equating

• given common items: possibility of constructing a common measurement scale

instaptoets

uitstaptoets

• Achterliggend model

• Kalibratieonderzoek– Afname bij grote steekproef studenten

• Vooraf, maar ook tijdens implementatie

– Prijs voor IRT-model • Vuistregel: 500 studenten per item

19

meetschaalopgaven

20

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

21

cesuurbepaling

• Terecht: – geen normgerichte cesuur

• Wel: – criteriumgerichte cesuur

• Oordeel experten afhankelijk van meetmodel– ‘alles-of-niets’ model

• Oordeel van toelaatbare foutenmarge (bv. Ned: 25%)

– Gradueel model• Plaatsing cesuur op meetschaal

TOETSNORM

Deze opgaven moeten de leerlingen nog niet beheersen

Deze opgaven moeten de leerlingen beheersen

Behalen eindterm

Behalen eindterm nog niet

23

Besluit

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context