Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor...

23
Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en – Evaluatie Onderzoeksgroep Kwantitatieve Psychologie School of Education 1

Transcript of Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor...

Page 1: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

1

UitwisselingInstaptoetsen:

Enkele methodologische beschouwingen

Rianne JanssenCentrum voor Onderwijseffectiviteit en –Evaluatie

Onderzoeksgroep Kwantitatieve Psychologie

School of Education

Page 2: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

2

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

Page 3: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

3

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

Page 4: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

4

doelstellingen opgaven

• Vraag naar doelstelling is vraag naar beoogde validiteit

Page 5: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

5

criteriumvaliditeit inhoudsvaliditeit begripsvaliditeit Doel voorspellen Beheersing inhoudsdomein Meten van bepaald

begrip Selectie van items

In principe vrij - Toetsmatrijs! - random steekproef

Afleiden uit theorie

Empirische evidentie

r(test, criterium) argumentatief items: factoranalyse test: Verband met andere metingen

Opmerkingen - Gelijktijdige en predictive validiteit - kwaliteit meting criterium - niet steeds toepasbaar

Bepaling inhoudelijk universum

Interpretatie bij negatieve bevindingen

Samenvatting validiteit

Page 6: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

Inhoudsvaliditeit

• Bepaling inhoudelijk ‘universum’– Eventueel consensusgroep experten

• Stel toetsmatrijs op= ‘blauwdruk’ van de toets

= ‘een expliciete formulering van verlangens’• In principe ‘random’ steekproef items uit

elke cel• Argumentatieve validiteit

6

Page 7: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

COGNITIEF ONDERZOEKS-VAARDIG-

HEDENKENNEN

BEGRIJPEN

TOEPASSEN

BASIS VAN HET LEVEN 3b 1 2a/b3a/b

2b3b20

132122

MENSELIJK LICHAAM Bouw/werking 8 9a/b/c12a

8 9a/b/c12a

20 23

Voortplanting en seksualiteit

45c/d6a/b 7

5a/b/c/d6a/b7 21

5d20

Gezondheidszorg 10a/b/c1112b

10a/b/c1112b21

20

NATUUR RONDOM ONS Organismen 14a15a/b

1314a15a/b

1320

Ecosysteem 16 14b16171821

14b16172120

Milieuzorg 19 1921

192021

Welke deeldom

einen?

Welke verwerkingsniveaus?

In welke

verh

ouding?

Page 8: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

Construeer items

• Open versus gesloten vraagvorm

• Pilootafname voor eerste kwaliteitscheck

• Beoordeling door experten

8

Page 9: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

9

Open vraagvorm

• Categorisatie antwoorden– Categorisatiesysteem– Interbeoordelaarsbetrouw-

baarheid

• Productieve (taal)vaardigheid

• Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, creativiteit)?– “Face validity” of ook empirisch

onderbouwd?

Gesloten vraagvorm

• Snelle en objectieve verwerking (QMP!)

• Meer vragen mogelijk– Hogere betrouwbaarheid en

(inhouds)validiteit (cf eerste en tweede set vragen Nederlands)

• Probleem van raden

• Eenvoudige cognitieve vaardigheden (kennis, herkenning)?

1. Empirisch onderzoek bewijst tegendeel, mits goede itemconstructie

2. MKV vaak betere predictoren dan open vragen.

Page 10: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

10

Detailopmerking: toeschrijving

• Engels: ‘matching’• Keuzes zijn niet onafhankelijk :

– Hoe meer zekere combinaties, hoe groter kans op correct antwoord bij raden

– Eventueel een rij langer dan andere rij

Maak de juiste vijf combinaties:

Bloedcirculatie

Erfelijkheid

Evolutie

Hondsdolheid

Psychiatrie

Pasteur

Freud

Mendel

Darwin

Harvey

Page 11: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

11

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

Page 12: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

• Achterliggend model (Meskauskas, 1997)?– State-view:

• ‘alles of niets’ beheersing (bv. basisspelling)

• Items uitwisselbaar (cf. Ned. : random keuze vragen)

• Domeinproportie (cf. Ned: FB student)

– Trait-view: • gradaties van beheersing (vb. Frans: ERK)

• Items verschillen in moeilijkheidsgraad (vb. WISTIL)

• Meetschaal!

12

meetschaalopgaven

Page 13: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

• State-view: – ‘alles of niets’ beheersing– Items

• Afkomstig uit domein• In principe uitwisselbaar

– domeinproportie

13

meetschaalopgaven

Page 14: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

• Trait-view: – gradaties van beheersing– Items verschillen in moeilijkheidsgraad– Meetschaal!

14

meetschaalopgaven

Page 15: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

15

MEETSCHAAL

OPGAVEN

moeilijkheidsgraad

LEERLINGEN

vaardigheid

beheersing in termen van kansen

Eventueel rekening houdend met raadkans

Page 16: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

16

Voordelen meetschaal

• Interpretatie:– Vergelijking positie student met positie opgaven

• Onderzoek naar band met itemkenmerken– Bv. wiskunde:

• ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk)

– stERK• Band met ERK-niveau

• Verschillende toetsen en vergelijkbaar resultaat– Gegeven een meetschaal

(geen verschil “item based” en standaard toets)

– Bij opmaken van een meetschaal

Page 17: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

1 2 3 4 5 6 7

Basis van het leven X X X X 2600

Bouw en werking X X X X 2600

Seksualiteit en voortplanting X X X X 260

0

Gezondheidszorg X X X X 2600

Organismen X X X X 2600

Ecosysteem X X X X 2600

Milieuzorg X X X X 2600

N 650 650 650 650 650 650 650 4550

Afnamedesign peiling biologie

Page 18: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

IRT alternative to equating

• given common items: possibility of constructing a common measurement scale

instaptoets

uitstaptoets

Page 19: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

• Achterliggend model

• Kalibratieonderzoek– Afname bij grote steekproef studenten

• Vooraf, maar ook tijdens implementatie

– Prijs voor IRT-model • Vuistregel: 500 studenten per item

19

meetschaalopgaven

Page 20: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

20

Procedure toetsontwikkeling

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context

Page 21: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

21

cesuurbepaling

• Terecht: – geen normgerichte cesuur

• Wel: – criteriumgerichte cesuur

• Oordeel experten afhankelijk van meetmodel– ‘alles-of-niets’ model

• Oordeel van toelaatbare foutenmarge (bv. Ned: 25%)

– Gradueel model• Plaatsing cesuur op meetschaal

Page 22: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

TOETSNORM

Deze opgaven moeten de leerlingen nog niet beheersen

Deze opgaven moeten de leerlingen beheersen

Behalen eindterm

Behalen eindterm nog niet

Page 23: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

23

Besluit

doelstellingen opgaven meetschaal toetsnorm

(onderwijskundige) context