Toetsen op School

188
Cito | Corporate Piet Sanders (redactie) Toetsen op School

Transcript of Toetsen op School

Page 1: Toetsen op School

Cito | Corporate

Piet Sanders (redactie)

Toetsen op School

Page 2: Toetsen op School
Page 3: Toetsen op School

Toetsen op SchoolPiet Sanders (redactie)

Cito | Arnhem

Page 4: Toetsen op School

Cito | Toetsen op School < Inhoud Index >

•ToetsenopSchooliseenuitgavevanCito•Coördinatiegegevensverzameling:PietSanders•Auteurs:PietSanders,ErikRoelofs,JacquelineVisser,SaskiaWools,ErnaMeijer,JoséNoijons,TomErkens,HansKuhlemeier,HuubVerstralen,BasHemker

•Assistentieproductie:PatriciaGillet•Opmaak:Serviceunit,MMS•Fotoomslag:RonSteemers

©StichtingCitoInstituutvoorToetsontwikkelingArnhem(2011)|Herzieneversie(2013)DepublicatieToetsenopSchoolmagmeteenbronvermeldinggebruiktwordenvooreducatievedoeleindenmitsStichtingCitoInstituutvoorToetsontwikkelinghiervanvoorafopdehoogteisgesteld.Ditkandoormedium,oplageendoelgroepviae-maildoortegevenaan toetswijzer@cito.nl.StichtingCitoInstituutvoorToetsontwikkelingArnhemheeftgetrachtallerechthebbendenteachterhalen.Indieniemandmeentalsrechthebbendeinaanmerkingtekomen,kanhijofzijzichtotCitowenden.

Page 5: Toetsen op School

Voorwoord < Inhoud Index >

Voorwoord

Iedermensheeftzozijneigengevoelensbijtoetsen.Jehebterherinneringenaan.Hetexamenvormdeeenritueleafsluitingvaneenperiodeinjeleven.Jedenktterugaandespanningvooraf,maarookaandeontladingachteraf,alsjeeengoedescorekreeg.Sommigenzieneentoetsalseenkansomzichtebewijzen.Anderenvoelenweerstandtegenmanierenommensenmeetbaartemaken.Docentenkunnentoetsenzienalseennoodzakelijkkwaad,ofjuistalseenkansomhunonderwijsteverbeteren.

Watookallemaaldegevoelensmogenzijn,objectiefbeschouwdvormenschooltoetseneenessentieelenonmisbaaronderdeelvanhetonderwijssysteem.Hetleerproceskanalleendangoedensuccesvolwordeningerichtalsereendegelijkevaluatieprocesaanisgekoppeld.Datisnoodzakelijkomdevorderingenvanindividueleleerlingentevolgen–maarminstensevenbelangrijkomdedocent,deschoolendemethodeteevalueren.Toetsenzijnbovendiennodigomhetonderwijssysteemvaneenlandtepeilenentevergelijkenmetanderelanden.

Hetbedenkenenmakenvantoetsenwordtnogaleensonderschat.Erisveelkennisenvakmanschapvoornodigomgoedevragenenantwoordentemaken,omgoedetoetsensamentestellenénomzekertewetendattoetsenvoldoendevalideenbetrouwbaarzijn.Depersoondieeentoetshanteert,moetookzekerwetenhoedezegoedeneerlijkwordtgebruikt,zodatiedereleerlingdezelfdekansenheeft.Hetgaateruiteindelijkomdatgoedeeneerlijkebeslissingenwordengenomenoverdeleerlingen.

Kortom,eeniederdiebijhetschoolevaluatieprocesbetrokkenis,moetovereenminimalekennisenvaardigheidvantoetsenbeschikken.Tijdensdeopleidingwordtmeestalweinigaandachtbesteedaantoetsdeskundigheid,enweinigenzullenzichzelfdetijdgunnenomnaasthetwerkalsdocentdezekennisbijelkaartezoekenenzicheigentemaken.Enzelfsvoorwieovereendegelijketoetsdeskundigheidbeschikt,ishetbijhoudenenopfrissenervaneennuttigezaak.Wantwattoetsenbetreftbenje–zowetenwijbijCito–nooituitgeleerd.

Citoiseenzelfstandignot-for-profit-bedrijf.Financieelresultaatisvooronsgeendoelmaar eenmiddel.Eenmiddelomonzemissievangoedeneerlijktoetsentekunnenvoortzetten. Alleresultaatwordtopnieuwgeïnvesteerdinverbeteringeninnovatievanonzetoetsen,enindekennisdaarvan.Wijtrachtenzoveelmogelijkterugtegevenaanhetonderwijs:deexamens,deresultatenvanonderzoekenveeltoetsgegevenswordenopenbaargemaakt.EnmeteenboekalsToetsenopSchoolwillenwijgraageenbijdrageleverenaaneenbeteronderwijs.Gewoon,omdatwijdatbelangrijkvinden.Ikwensuveelaangenameennuttigemomententoebijhetlezenvanonsboek!

MartenRoorda

VoorzitterRaadvanBestuur

Cito

Page 6: Toetsen op School

Cito|ToetsenopSchool < Inhoud Index >6

Page 7: Toetsen op School

7 Inhoud Index >

Inhoud

Inleiding 11

1 Het doel van toetsen 15

1.1 Toetsenvoorhetbeoordelenvanleerlingen 161.1.1 Hetselecterenvanleerlingen 161.1.2 Hetclassificerenvanleerlingen 161.1.3 Hetplaatsenvanleerlingen 181.1.4 Hetcertificerenvanleerlingen 181.2 Toetsenvoorhetbeoordelenvanhetonderwijsleerproces 201.3 Toetsenvoorhetbeoordelenvangroepenleerlingenenscholen 221.4 Toetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijs 23

2 De inhoud van toetsen 25

2.1 Visieoplerenentoetsen 272.1.1 Visieopleren 272.1.2 Visieoptoetsenenbeoordelen 292.2 Eenprogrammavaneinddoelenentussendoelen 302.3 Uitwerkingtottoetsbareleerdoelen 312.3.1 Specificerenvantoetsinhouden:driebenaderingen 322.3.2 Indelingsschema’s 332.3.3 Toetsbareleerdoelenopstellen 382.4 Bepalenvantoetstaken 422.5 Opstellenvaneentoetsplan 442.6 Samenstellenvanafzonderlijketoetsen 46

3 De betrouwbaarheid van toetsscores 49

3.1 Betrouwbaarheidvantoetsscores 503.1.1 Schattingvandebetrouwbaarheidvantoetsscores 533.1.2 Interpretatievandebetrouwbaarheidvantoetsscores 543.1.3 Havo-toetsEngels2009 553.2 Standaardmeetfout 563.3 Misclassificatiesbijééntoets 593.4 Misclassificatiesbijmeerderetoetsen 613.5 Betrouwbaarheidvanbeoordelingendoorbeoordelaars 623.6 Hoewordentoetsscoresbetrouwbaarder? 653.7 Betrouwbaarheidvantoetsscoresendedagelijksetoetspraktijk 67

4 De validiteit van toetsscores 69

4.1 Watisvaliditeit? 704.1.1 Interpretatieengebruikvantoetsscores 704.2 Validiteitsbewijzen 714.2.1 Inhoudsbewijzen 71

Page 8: Toetsen op School

8 Cito|ToetsenopSchool Index >

4.2.2 Complexiteitsbewijzen 724.2.3 Internestructuurbewijzen 734.2.4 Externestructuurbewijzen 734.2.5 Betrouwbaarheidsbewijzen 744.2.6 Extrapoleerbaarheidsbewijzen 754.2.7 Consequentiëlebewijzen 764.3 Validerenindepraktijk 764.3.1 EindtoetsBasisonderwijs 764.3.2 WISCAT-pabo–AdaptieveRekentoetsvoorPabo-studenten 804.4 Validiteitvantoetsscoresindedagelijksetoetspraktijk 82

5 Informatie over toetsen en examineren 85

5.1 Toetswijzer,gidsopinternetvoortoetsingenexaminering 865.2 Informatieoverschooltoetsen 885.3 Literatuurovertoetsing 93

6 Het construeren van gesloten vragen 97

6.1 Watiseengeslotenvraag? 986.2 Voordelenennadelenvangeslotenvragen 996.3 Soortengeslotenvragen 1006.4 Deconstructievangeslotenvragen 1046.5 Taalgebruik 1076.6 Eisenvoorgeslotenvragen 108

7 Het construeren van open vragen 111

7.1 Soortenopenvragen 1127.2 Voordelenvanopenvragen 1147.3 Nadelenvanopenvragen 1157.4 Constructieregelsvooropenvragen 1157.5 Verschillenbijdebeoordelingvanopenvragen 1217.5.1 Verschillentussenbeoordelaars 1217.5.2 Oplossingenvoorbeoordelaarseffecten 1227.5.3 Correctievoorschrift 1237.6 Checklist 123

8 Het construeren van praktijktoetsen 125

8.1 Watiseenpraktijktoets? 1268.1.1 Kenmerkenvaneenpraktijktoets 1268.1.2 Voorbeeldvaneenpraktijktoets 1298.1.3 Wanneereenpraktijktoets? 1308.2 Hetontwikkelenvaneenpraktijktoets 1318.2.1 Watiseengoedepraktijktoets? 1318.2.2 Hoeontwikkeljeeenpraktijktoets? 1318.3 Hetontwikkelenvaneenbeoordelingsschaal 1348.3.1 Watiseenbeoordelingsschaal? 1348.3.2 Hetontwikkelenvaneenbeoordelingsschaal 135

Page 9: Toetsen op School

9 Inhoud Index >

9 Het beoordelen van toetsscores 145

9.1 Relatiefnormeren 1469.2 Absoluutnormeren 1489.2.1 Intuïtievemethode 1499.2.2 MethodevanAngoff 1499.2.3 Methodevancontrasterendegroepen 1509.3 Vantoetsscoresnaarcijfers 1529.3.1 Betekenisengebruikvancijfers 1529.3.2 Lineaireomzettingvantoetsscoresincijfers 1539.3.3 Lineaireomzettingmetknikvantoetsscoresincijfers 1549.3.4 Deomzettingvantoetsscoresincijfersbijdecentraleexamensvoortgezetonderwijs 1549.3.5 Hetaantalcijfers 1549.4 Hetscorenvanmeerkeuzevragen 1559.4.1 Correctievoorraden 1559.4.2 Hetwegenvandeitemscores 157

10 De kwaliteit van toetsen en examens 159

10.1 COTANBeoordelingssysteemvoordekwaliteitvantests 16010.1.1 VoorbeeldvaneenCOTAN-beoordeling 16810.2 Regelingstandaardenexamenkwaliteitmbo2012 17010.2.1 Beoordelingvandeexamenkwaliteit 17210.3 Beoordelingssystemenendetoetspraktijk 173

Geraadpleegde literatuur 175

Index 181

Page 10: Toetsen op School

10 Cito | Toetsen op School Index >

Page 11: Toetsen op School

Inleiding

Inleiding

Page 12: Toetsen op School

12 Cito | Toetsen op School < Inhoud Index >

Inleiding

Waar gaat Toetsen op School over?ToetsenopSchoolgaatoverdeontwikkeling,hetgebruikendekwaliteitvantoetsen.InToetsenopSchoolwordentoetsenbeschouwdalsinstrumentendiegebruiktwordenomdeprestatiesvanleerlingen,docenten,scholenenonderwijssystementebeoordelenenopbasisdaarvanbeslissingentenemen.

Toetsenzijnerinvelegedaantenoftoetsvormendiewelonderscheidenwordenintraditioneleenvernieuwendetoetsvormen.Voorbeeldenvantraditioneletoetsvormenzijn:mondelingeoverhoringen;schriftelijkeproefwerken,toetsenofexamensmetmeerkeuzevragenen/ofopenvragen;stage-enscriptiebeoordeling.Voorbeeldenvanvernieuwendetoetsvormenzijn:praktijktoetsenzoalsproevenvanbekwaamheidensimulaties;portfolio;360gradenfeedback;zelfbeoordeling(self-assessment),beoordelingdoormedestudenten(peer-assessment)enbeoordelingdoorstudentendocentsamen(co-assessment).Vernieuwendetoetsvormengaanveelalgepaardmetvernieuwendeonderwijsvormendiehetresultaatzijnvaneenbepaaldevisieoplerenendoceren.ToetsenopSchoolbevatgeenuitputtendebesprekingvantraditioneleenvernieuwendetoetsvormenmaarrichtzichopdetoetsvormendiehetmeestgebruiktwordeninhetprimaironderwijs,voortgezetonderwijsenmiddelbaarberoepsonderwijs.

Voor wie is dit boek?ToetsenopSchoolisindeeersteplaatsbedoeldvoorstudentenvanlerarenopleidingenenisinsamenspraakmetopleidersvanlerarenopleidingenontwikkeld.Daarnaastkunnenookdocentendieindepraktijkwerkzaamzijnerhunvoordeelmeedoen.Aangezientoekomstigedocentenopgeleidwordenvoorverschillendeonderwijssectorenofdaarwerkzaaminzullenzijn,zijneralsaanvullingopToetsenopSchoolpublicatiesbeschikbaarvoorrespectievelijkhetprimaironderwijs,voortgezetonderwijs,middelbaarberoepsonderwijsenhogeronderwijs.

Waarom dit boek?Uitonderzoekblijktdateendocenteenvierdetoteenderdevandebeschikbarelestijdbesteedtaanactiviteitenzoals:hetstellenvanvragenaanleerlingen;opdrachtengeven,beoordelenenbespreken;hetafnemenenbeoordelenvanmondelingeenschriftelijketoetsen.Dezeactiviteiten,dieweinditboekmetdeterm‘toetsen’aanduiden,blijkeninopleidingenvanonderwijsgevendenrelatiefweinigaandachttekrijgen.Diegeringeaandachtstaatinschrilcontrastmetdebelangrijkeinvloeddietoetsenopleerlingenhebben.Beslissingendieopbasisvantoetsengenomenworden,bepalennaarwatvoorschoolleerlingenkunnen,hoelanghunopleidingduurtenwatvoorberoepzijlaterkunnenuitoefenen.Deresultatendieoptoetsenbehaaldworden,hebbenechternietalleenconsequentiesvoorleerlingenmaarookvoordocenten,scholenenhetonderwijs.Toetsenwordensteedsmeergebruiktomdeprestatiesvandocenten,scholenenonderwijssystementebeoordelen.

HetdoelvanToetsenopSchooliseenbijdrageteleverenaanhetvergrotenvandedeskundigheidvandocentenophetgebiedvantoetsen.

Page 13: Toetsen op School

13 Inleiding < Inhoud Index >

Wat moeten docenten weten en kunnen op het gebied van toetsen?Weomschrijvenhierondervijfaspectenvandedeskundigheidvandocentenophetgebiedvantoetsen,metverwijzingnaardebetreffendehoofdstukkeninToetsenopSchool.

1 Docenten moeten weten dat toetsen verschillende doelen hebben Debelangrijkstebeslissingbijhetkiezenofontwikkelenvaneentoetsishetbepalenvanhet

doelvandetoets.Afhankelijkvanhetdoelvandetoetszalnamelijkeenanderetoetsgeselecteerdofontwikkeldmoetenworden.Inhoofdstuk1wordenopbasisvanhetdoelvandetoetsviersoortentoetsenonderscheidendierespectievelijkhetbeoordelenvanleerlingen,hetonderwijsleerproces,groepenleerlingenen/ofscholenendekwaliteitvanhetonderwijstotdoelhebben.

2 Docenten moeten toetsen kunnen ontwikkelen Naastdetoetsendiescholenverplichtzijnomaftenemen,zoalsexamens,zullenscholen

ookzelftoetsenontwikkelenengebruiken.Dehoofdstukken2,6,7en8gaanoverhetontwikkelenvantoetsen.Hetgebruikvandetoetsmatrijsbijdeontwikkelingvantoetsenwordtinhoofdstuk2gepresenteerd,terwijldehoofdstukken6,7en8hetconstruerenvangeslotenvragen,openvragenenpraktijktoetsenbehandelen.

3 Docenten moeten weten waar ze informatie over toetsen kunnen vinden Doorhetinternetiszeerveelinformatieovertoetsenontslotenenbeschikbaargekomen.

Inhoofdstuk5wordteengroteverscheidenheidaaninformatiebronnenbesprokendiegeraadpleegdkunnenwordenommeertewetentekomenoverzakenzoalswaarmentoetsenkanvindenenaanschaffen,dekwaliteitvandietoetsenenhetconstruerenvantoetsen.

4 Docenten moeten toetsresultaten kunnen beoordelen en interpreteren Hetgevenvancijfersisdemeestvoorkomendemanieromresultatenofscoresoptoetsente

beoordelen.Inhoofdstuk9wordennaasthetgevenvancijfersookanderemanierenvanhetbeoordelenvantoetsresultatenbehandeld.Ookwordtingegaanophoe,afhankelijkvandemaniervanbeoordelen,detoetsresultatengeïnterpreteerdmoetenworden.

5 Docenten moeten de kwaliteit van toetsen en examens kunnen beoordelen Omtoetsenverantwoordtekunnengebruiken,dienendezeaanbepaaldeeisentevoldoen.

Indehoofdstukken3en4wordtingegaanopdetweebelangrijksteeisenwaaraantoetsenmoetenvoldoen:betrouwbaarheidenvaliditeit.Betrouwbaarheidgaatoverhetvertrouwenindescoresbehaaldopeentoets.Validiteitgaatoverdebetekenisenhetgebruikvandescoresopeentoets.Daarnaastmoetentoetsenenexamensnogaanandereeisendanbetrouwbaarheidenvaliditeitvoldoen.Inhoofdstuk10wordendezeeisenaandehandvantweebeoordelingssystemenvoordebeoordelingvantoetsenenexamensgepresenteerd.

Toetsen op School op internetDezepublicatieeneentoetsspecialmetaanvullendeinformatiebijdepublicatiesvanToetsenopSchoolzijnonlinebeschikbaar.Gavoormeerinformatienaarwww.toetsenopschool.nl.

Page 14: Toetsen op School

14 Cito | Toetsen op School < Inhoud Index >

Page 15: Toetsen op School

1 H

et doel van toetsen

1 Het doel van toetsen

Page 16: Toetsen op School

16 Cito | Toetsen op School < Inhoud Index >

1 Hetdoelvantoetsen Piet Sanders

Indithoofdstukbesprekenwetoetsendievoorvierverschillendedoelengebruiktworden. Webeginnendebesprekingmettoetsendietotdoelhebbenleerlingentebeoordelen,datwilzeggenleerlingenteselecteren,classificeren,plaatsenencertificeren.Daarnabesprekenwetoetsendietotdoelhebbenhetverloopvanhetonderwijsleerprocestebeoordelen.Toetsendietotdoelhebbendeonderwijsprestatiesvangroepenleerlingenenscholentebeoordelen,wordendaarnabesproken.Tenslottebesprekenwetoetsendietotdoelhebbendekwaliteitvanhetonderwijs,bijvoorbeelddekwaliteitvanhetbasisonderwijsofhetvoortgezetonderwijs,tebeoordelen.

1.1 Toetsen voor het beoordelen van leerlingen

Toetsendietotdoelhebbenleerlingentebeoordelen,kunnenonderscheidenwordenintoetsenwaarmeeweleerlingenkunnen:• selecteren• classificeren• plaatsen• certificeren Hiernazullenweelkecategorietoetsenmeteenofmeervoorbeeldentoelichten.

1.1.1 Het selecteren van leerlingenWesprekenvanselectiealsnietalleleerlingendiezichvooreenopleidingofonderwijs-programmaaanmeldenookwordentoegelaten.

Hetvoorbeeldvoorhetselecterenvanleerlingenontlenenweaandetoelatingvanstudententothethogeronderwijs.InNederlandgeldtdat,afhankelijkvanhetvakkenpakketofprofiel,eenhavoofvwo-diplomarechtgeeftoptoelatingtotdemeesteopleidingenofstudierichtingeninhethogeronderwijs.Bijdemeesteopleidingenofstudierichtingeniserdusgeensprakevanselectie.Datrechtopautomatischetoelatinggeldtechternietvoorstudierichtingenmeteennumerusfixus(Latijn:vastgesteldaantal)zoalsGeneeskunde.BijdezestudierichtingeniserwelsprakevanselectiewatinhetgevalvandeopleidingGeneeskundevaneenbepaaldeuniversiteitbetekentdatstudentendieeengemiddeldvwo-eindexamencijfervanachtofhogerhebbenautomatischtoegelatenworden,eenaantalstudentenopbasisvaneentoelatings-procedurevandeuniversiteit,dezogenaamdedecentraleselectie,toegelatenwordenendatderesterendeopleidingsplaatsenviaeencentralegewogenlotingtoegewezenworden.Eenredenvoorhetselecterenvanstudentendoormiddelvaneennumerusfixusisdateronvoldoendedocentenen/ofopleidingsfaciliteitenzijnomallestudentenaantenemendiedeopleidingwillenvolgen.Eenandereredenkanzijndatmenverwachtdateronvoldoendewerkisvoorafgestudeerden.

1.1.2 Het classificeren van leerlingenWesprekenvanclassificerenalsleerlingenafhankelijkvanderesultatenopeentoetsverschillendeonderwijsprogramma’svolgendietotverschillendediploma’sofcertificatenleiden.

Page 17: Toetsen op School

17 Het doel van toetsen < Inhoud Index >

VoorkindereninNederlandvindtdeeerstebelangrijkeclassificatiebeslissingplaatsaanheteindvanhetbasisonderwijs.Nadebasisschoolgaanalleleerlingennaarhetvoortgezetonderwijsdatvieropleidingenkent,hetpraktijkonderwijs,hetvmbo(lwoo,basisberoeps-gerichteleerweg,kaderberoepsgerichteleerweg,gemengdeleerweg,theoretischeleerweg), dehavoenhetvwo(atheneum,gymnasium).Wanneereenkindaangemeldwordtbijeenschoolvoorvoortgezetonderwijs,dandientdatvolgensdewetgepaardtegaanmeteenadviesoverhettevolgentypeonderwijs.Eendergelijkadvieskomttotstandopbasisvan:• dewensenenideeënvandeoudersenhetkind;• deinschattingvandebasisschool;• hetresultaatopeenonafhankelijketestoftoets.

Hetspreektvanzelfdatdewensenenideeënvandeoudersenhetkindeenbelangrijkerolspelenbijdekeuzevanhetvervolgonderwijs.Hetgaatimmersomeenkeuzediebeslissendkanzijnvoordetoekomstvanhetkind.Deouderskunneninformatiegevenoverhuninschattingvandecapaciteitenvanhetkindenhetkindzelfkanaangevenhoegemotiveerdhetisvooreenbepaaldekeuze.Deinschattingvandebasisschoolzalvooreengrootgedeeltegebaseerdzijnopderesultatenbehaaldoplandelijketoetsenvoorverschillendeschoolvakkendiebijverschillendetoetsleveranciersbeschikbaarzijn(ziehoofdstuk5),toetsendiebijhetlesmateriaalhoren,toetsendiedeschoolzelfontwikkeldheeftenopobservatiesvandeleerling.

Deonafhankelijketoetsdieopheteindvanhetbasisonderwijshetmeestgebruiktwordtvoorhet classificerenvanleerlingen,isdeEindtoetsBasisonderwijs,ookwelbekendalsdeCitotoets,ziewww.citotoets.nl.HetdoelvandeEindtoetsBasisonderwijsishetgevenvanonafhankelijkeinformatieaandeleerling,deoudersennatuurlijkdeleerkrachtbijhetkiezenvanhetbestpassendetypeonderwijsvoordeleerling.DeEindtoetsBasisonderwijswaarvanjaarlijkseennieuweversieverschijnt,bestaatuittwaalftaken.DetakenbevattenopgavenophetgebiedvanTaal(100opgaven),Rekenen-Wiskunde(60opgaven),Studievaardigheden(40opgaven)enWereldoriëntatie(90opgaven).Taal,Rekenen-WiskundeenStudievaardighedenzijnverplichteonderdelenterwijlWereldoriëntatieeenfacultatiefonderdeelis.OpbasisvanhettotaalaantalgoedopdeonderdelenTaal,Rekenen-WiskundeenStudievaardighedenwordteenstandaard-scoreberekend.Delaagstestandaardscorediebehaaldkanwordenis501endehoogstmogelijkestandaardscoreis550.Dedooreenleerlingbehaaldestandaardscorevormtdebasisvoorhetadviesvoorhetbestpassendetypevoortgezetonderwijs.

HoeweldemeestekinderenopdeEindtoetsconformhuncapaciteitenpresteren,komterbijsommigeleerlingenminderuitdanerinzit,bijvoorbeelddooreengebrekaanmotivatieomteleren.Omnategaanofereenverschilistussencapaciteitenenleervorderingen–tussen kennenenkunnen–kandeCitoIntelligentietestafgenomenworden,ziewww.citotoets.nl > Intelligentietest.Dezetestdoetvooraleenberoepopverbalevermogens,redeneervermogenenruimtelijkinzicht.Hoewelookintelligentietestsalsonafhankelijketestgebruiktkunnenworden,kandeCitoIntelligentietestalleenincombinatiemetdeEindtoetsBasisonderwijsafgenomenworden.IndiendescoreopdeCitoIntelligentietestendestandaardscoreopdeEindtoetsovereenstemmen,kanhetschooladviesgevolgdwordendatopbasisvandestandaardscoreopdeEindtoetsgegevenis.Indienzenietovereenstemmen,kanhetnodigzijnomnaderonderzoektedoenomtoteengoedadviestekomeneneenpedagoogofpsycholoogteraadplegen.

Indeonderbouwvanhetvoortgezetonderwijsisersprakevanhetclassificerenvanleerlingenalsdeleerlingenmoetenkiezenvooreenleerweginhetvmbo,dehavoofhetvwo.EentoetsdieondersteuningbiedtbijdiekeuzeishetCitoVolgsysteemvoortgezetonderwijs,ziewww.cito.nl >Voortgezetonderwijs>CitoVolgsysteem.HetCitoVolgsysteemisgerichtopleerlingenindeeerstedrieleerjarenvanhetvoortgezetonderwijs.Omaantesluitenbijdevaardigheidvande

Page 18: Toetsen op School

18 Cito | Toetsen op School < Inhoud Index >

leerlingenendusrechttedoenaanhetniveauverschiltussendeleerlingenzijnervoorelkafnamemoment(tweeafnamemomenteninheteerstejaar,éénafnamemomentinhettweedejaareneenafnamemomentinhetderdejaar)drietoetsversiesbeschikbaar.Eéntoetsversievoorvmbo-leerlingenophetniveaubasisberoepsgerichteleerwegenleerwegondersteunendonderwijs,éénvoordeoverigevmbo-niveaus:kaderberoepsgerichtengemengdeentheoretischeleerwegenéénvoorhavo/vwo-niveau.MetdetoetsenvanhetCitoVolgsysteemkanhetniveauvanleerlingenopdezogenaamdekernvaardighedenbepaaldwordenengedurendemeerdereleerjarengevolgdworden.Dekernvaardighedenzijn:leesvaardigheidenwoordenschatNederlands,taalverzorging,leesvaardigheidenwoordenschatEngels,enrekenen-wiskunde.Devergelijkingvanprestatiesopmeerdere,opeenvolgendemeetmomentengeeftinzichtindegroei,stilstandofachteruitgangvandevaardighedenvanleerlingen.Dedoorleerlingenbehaalderesultatenopdetoetsenkunnengebruiktwordenvoorhetbepalenvandeleerwegofhetonderwijstypedathetbestebijdeleerlingenpast.DaartoeleverendeVolgsysteem-rapportagesinformatiewaarmeedeprestatiesvanleerlingenvergelekenkunnenwordenmetdievanleerlingenvanhetzelfdeonderwijstype,maarookmetdievanleerlingendieineenhogeroflageronderwijstypegeplaatstzijn.Omtoteenmeerverantwoordekeuzevoorhetvervolgonderwijstekomen,kunnenderesultatenbehaaldopdetoetsenvanhetCito Volgsysteemvoortgezetonderwijshetbestegecombineerdwordenmetgegevenszoalseenbeoordelingvandestudiehouding,dewensenvanoudersenoptoetsengebaseerderapportcijfers.

1.1.3 Het plaatsen van leerlingenWesprekenvanhetplaatsenvanleerlingenalsleerlingenafhankelijkvanderesultatenopeentoetsverschillendeonderwijsprogramma’svolgenmaardatdieverschillendeprogramma’sweltothetzelfdediplomaofcertificaatleiden.

Eenvoorbeeldvanhetplaatsenvanleerlingenzijndetweeleerwegeninhetmiddelbaarberoepsonderwijs:deberoepsopleidendeleerweg(BOL)endeberoepsbegeleidendeleerweg(BBL).MetBOLziteenstudentvijfdagenindeweekopschoolendoetpraktijkervaringopmetstages.BijeenBOL-opleidingbestaatminimaal20%enmaximaal60%uitberoepspraktijk-vorming.StudentendieeenBBL-opleidingvolgen,werkenmeteenarbeidsovereenkomstineenleerbedrijfengaanmeestalééndagindeweeknaarschoolvoordetheoretischeonderbouwing.EenBBL-opleidingbestaatvoorminimaal60%uitberoepspraktijkvorming.InhetgevalvandekeuzetussendeBOLendeBBLishetniethetresultaatopeenspecifieketoetsmaarishetdezelfbeoordelingvandestudentdiedekeuzebepaalt.Bijdiezelfbeoordelingkunnenresultatenopeerderafgelegdetoetsenzoalsbijvoorbeeldeenberoepskeuzetestmogelijkeenrolspelen.InhetalgemeenzullenstudentendiemeerinteressevoortheoretischevakkenhebbenennognietineenregulierewerksituatiewillenmeedraaienvoorBOLkiezen.DaarentegenzullenstudentendiemeerpraktijkgerichtzijneneenwerkplekineenbedrijfambiërenvoorBBLkiezen.

1.1.4 Het certificeren van leerlingenWesprekenvanhetcertificerenvanleerlingenalsafhankelijkvanderesultatenopeentoetsbeslistwordtofleerlingeneenonderwijsprogrammaalofnietmetsuccesafgeslotenhebben.

Toetsendieeen(deelvaneen)onderwijsprogrammaafsluiten,wordenookwelsummatievetoetsenof‘toetsenvanhetleren’(Engels:assessmentoflearning)genoemd.Debekendsteafsluitendetoetsenzijnexamens.DeOnderwijsraad,www.onderwijsraad.nl,gebruiktdetermexamensvoorelkevormvanafsluitendeoftussentijdsevormvantoetsingvoorhetvaststellenvanleerresultatenmetenigcivieleffect.Vandevelefunctiesdieaanexamenstoegedichtworden,beschouwtdeOnderwijsraaddekwalificerendefunctievanexamensalsdebelangrijkstefunctievanexamens.Bijdekwalificerendefunctiegaathetmetnameomhet

Page 19: Toetsen op School

19 Het doel van toetsen < Inhoud Index >

vaststellenvanheteindniveauvaneenstudentaanheteindvaneenschoolperiode.Aandiekwalificerendefunctieontlenenexamenshuncivieleffect,datwilzeggendatdeexamenserkendwordendoordemaatschappij,dearbeidsmarkt,devervolgopleidingenofdeoverheidendataanhetslagenvoorexamensrechtenontleendkunnenworden.Zoalshetbehalenvanhetrijbewijshetrechtgeeftomeenautotebesturen,zogeefthetbehalenvanhetvwo-diplomahetrechtomeenuniversitaireopleidingtevolgen.

Deexamensinhetvoortgezetonderwijszijndeexamensdiebijiedereenbekendzijn.Voordezeexamenszijnerlandelijkeexamenprogramma’sdieeisenstellenaandeinhoudenbeoordeling,ziewww.examenblad.nl.Demeestevakkenbestaanuiteencentraalexameneneenschool-examen.Inhetcentraalexamenvaneenbepaaldvakmoetenalleexamenkandidatendezelfdevragenbeantwoordenofopdrachtenuitvoerendiedoordeeigendocentvandekandidateneneendocentvaneenandereschoolbeoordeeldworden.Debeoordelingvanhetcentraalexamenresulteertineencentraalexamencijferwaarbijhetlaagstecijfergelijkisaan1,0enhethoogstecijfergelijkisaan10,0.Voorhetschoolexamenvaneenbepaaldvakstaatinhetexamen-programmaaangegevenwelkeonderwerpengetoetstmoetenwordenenwelkeonderwerpengetoetstmogenworden.IneendooreenschooloptestellenProgrammavanToetsingenAfsluiting(PTA)beschrijfteenschooldeinhoudvanhetschoolexamen.HetPTAheeftnietalleenalsfunctieomallebetrokkenenbijhetschoolexamenteinformerenoverdeinhoudenderegelsvoordetoetsingvanhetschoolexamenmaarhetisookeenverantwoordingvandeschoolaandeInspectie.Hetschoolexamenbestaatmeestaluitschriftelijkeen/ofmondelingetoetsen,praktischeopdrachten,handelingsdelen(verplichteopdrachten)enprofiel/sectorwerkstukken.Deverschillendeonderdelenvanhetschoolexamenwordendoordeeigendocent(en)beoordeeldenopbasisvandiebeoordelingenwordthetschoolexamencijferbepaald.Decijfersbehaaldophetcentraalexamenenhetschoolexamenbepalenhetdiplomacijfer.Voorvakkendienietmeteencentraalexamenwordenafgesloten,geldtdathetcijferophetschoolexamenookhetdiplomacijferis.

Hetvoorbeeldvandeexamensvoortgezetonderwijslaatziendatwehiertemakenhebbenmettweesummatievetoetsen,namelijkhetcentraalexamenenhetschoolexamen.Hetverschiltussendetweetoetsenisdathetcentraalexamenineenkorteperiodewordtafgenomenenvooralleleerlingengelijkis.Daarentegenwordthetschoolexamenopgebouwdindehelebovenbouwendeschoolbepaaltgrotendeelszelfdeinhoudvanhetschoolexamen.Ditbetekentdatschoolexamensvanverschillendescholennietidentiekzullenzijnendatdaardoorookdebetekenisvandeschoolexamencijferskanverschillen.

Watbetreftdeverantwoordelijkheidvoorexamensbestaanergroteverschillentussendeverschillendeonderwijssectoren.InhetvoortgezetonderwijsisdeschoolverantwoordelijkvoorhetschoolexamenterwijlvoorhetcentraalexamendeministervanOnderwijs,CultuurenWetenschapverantwoordelijkis.Inhetmiddelbaarberoepsonderwijsenhethogeronderwijszijndeonderwijsinstellingenzelfverantwoordelijkvoordeexamens.ExterntoezichtopdeexamensinhetvoortgezetonderwijsenmiddelbaarberoepsonderwijsvindtplaatsdoordeInspectievanhetOnderwijs,www.onderwijsinspectie.nl,eninhethogeronderwijsdoordeNederlands-VlaamseAccreditatieorganisatie,www.nvao.net.DaarnaastwordtookdoordeStichtingExamenkamer,www.examenkamer.nl,toezichtopexamensuitgeoefend.

Hoeweleenhavoofvwo-diplomahetrechtgeeftomhogeronderwijstevolgen,iseendergelijkdiplomanietpersenodigomtoegelatentewordentothethogeronderwijs.Toelatingkannamelijkookverkregenwordenviacertificeringopbasisvaneencolloquiumdoctum(Latijn:geleerdesamenspraak)wat,afhankelijkvandestudiediemenwilvolgen,uiteenmondelingen/ofschriftelijkonderzoeknaardegeschiktheidvandetoekomstigestudentbestaat.Hoewelhetcolloquiumdoctumeenhavo-ofvwo-examenvervangt,ishetalleengeldigvooréén

Page 20: Toetsen op School

20 Cito | Toetsen op School < Inhoud Index >

specifiekestudieaandieuniversiteitwaarhettoelatingsonderzoekheeftplaatsgevonden.Bovendienmoetmenmeestalminstens21jaaroudzijnomzichviaeencolloquiumdoctumtekunnencertificeren.DelaatstejarenishetookmogelijkdatmensenzichkunnenlatencertificerenviaeenEVC-procedure,www.lerenenwerken.nl>Ervaringscertificaat.EVCstaatvoorErkenningvanVerworvenCompetenties.ViaeenEVC-procedurekunnenmensenkennisenervaringofficieellatenerkennenenvastlatenleggenineenervaringscertificaat.

1.2 Toetsen voor het beoordelen van het onderwijsleerproces

Indevorigepararaafhebbenwevoorbeeldenvansummatievetoetsenuitverschillendeonderwijssectorenbesproken.Indezeparagraafgaathetovertoetsenvoorhetbeoordelenvanhetonderwijsleerproces.Dezetoetsenhebbentotdoeldedocentteinformerenoverhetverloopvanhetleerprocesbijdeleerlingenenopbasisvandieinformatiehetonderwijsaanindividueleofgroepenleerlingeneventueelaantepassen.Dezetoetsenwordenookwelaangeduidalsformatievetoetsenof‘toetsenvoorhetleren’(Engels:assessmentforlearning).Voorbeeldenenkenmerkenvandezetoetsenbesprekenwehierna.

Toetsenvoorhetbeoordelenvanhetonderwijsleerprocesmakenveelalonderdeeluitvaneenleerlingvolgsysteem.Inhetbasisonderwijsishetmeestgebruikteleerlingvolgsysteemhet CitoVolgsysteemprimaironderwijsdattoetsenvoordegroepen1totenmet8bevat,zie www.cito.nl>Primairenspeciaalonderwijs>CitoVolgsysteemprimairenspeciaalonderwijs.Detoetsenwordenmeestaltweekeerperschooljaarafgenomenengevendusinformatieoverdevoortgangvanleerlingenovereenlangereperiode.Deleerlingenvangroep1en2makenvooraltoetsenvoortaalenordenen(voorbereidendrekenen)terwijlhetmerendeelvandeleerlingenvangroep3totenmet8toetsenvoorspelling,rekenen/wiskundeentechnischenbegrijpendlezenmaakt.Ooktoetsenophetgebiedvanwoordenschat,luisteren,Engels,sociaal-emotioneelfunctioneren,interesseenstudievaardighedenmakendeeluitvanhetleerling-volgsysteem.

Hetdoelvaneenleerlingvolgsysteemisnategaanofdeschoolzijndoelstellingenhaalttenaanzienvanindividueleleerlingen,groepenleerlingenofdeschoolalsgeheel.Voorindividueleleerlingendoethetleerlingvolgsysteemdatdoorhetgevenvaninformatieover:

1 Deontwikkelingvandeleerlingtenopzichtevanhetvoorgaandetoetsmomentofdevoorgaandetoetsmomenten.Detoetsengevendanantwoordopvragenals:

• Isdematevanvooruitgangvandeleerlingindeafgelopenperiodetevergelijkenmetdematevanvooruitganginvoorafgaandeperiodes?

• Vertoontdeontwikkelingvandeleerlingnogsteedseenopgaandelijnofstagnerendevorderingen?

2 Deontwikkelingvaneenleerlinginvergelijkingmetleeftijds-ofgroepsgenoten.Detoetsengevendanantwoordopvragenals:

• Hoezijndevorderingeninvergelijkingmetdievanandereleerlingenuithetlandovereenlangereperiode?

• Wordteeneventueleachterstandtenopzichtevanandereleerlingensteedsgroterofloopteenleerlingdeachterstandin?

Page 21: Toetsen op School

21 Het doel van toetsen < Inhoud Index >

3 Devoortgangvanindividueleleerlingentenopzichtevande(tussen)doelendiemenwilrealiseren.Detoetsengevendanantwoordopvragenals:

• Bereiktdeleerling,alsdiezichindittempoblijftontwikkelen,degesteldetussendoelenofeinddoelen?

• Iswatdeleerlingpresteertinovereenstemmingmetwatjemagverwachten?

Afhankelijkvanhetantwoordopbovenstaandevragenzaldedocentbesluitenzijnonderwijsandersinterichtenvoorindividueleleerlingen,groepenleerlingenofdeklasalsgeheel.Ofeenaanpassingvanonderwijshetgewensteeffectheeft,kandedocentafleidenuitderesultatendiedeleerlingenopeenvolgendtoetsmomentbehalen.

InverbandmethetvoorgaandeishetonderzoekvandeInspectienaarhetprestatiegerichtwerkenvanbasisscholenvanbelang.VolgenshetOnderwijsverslag2008-2009vandeInspectiewerkteenkwartvandebasisscholenvoorrekenenenwiskundeprestatiegerichtofopbrengstgericht.Dezescholenstellenduidelijkedoelenvooralleleerlingen,analyserenproblemenvanleerlingendiededoelenniethalenenslagenervaakindieteverhelpendoorgoedeleerlingenzorg.Lerarenopscholendieprestatiegerichtwerken,hebbeninhunlessenduidelijkvoorogenwatzehunklasmoetenlerenenstemmenhunonderwijseffectiefafopdeverschillentussenleerlingen.Dezescholenkijkenjaarlijkskritischnaarhoeallegroepenleerlingenpresterenenverbeterenzichsnelalsprestatiestegenvallen.Opdezescholenpresterenleerlingenbeterdanopscholendieminderkritischkijkennaarwatzemethunleerlingenbereiken.DeInspectieconstateertookdatzwakkeenzeerzwakkescholendeoorzaakvanslechteprestatiesvaaknietbijzichzelfzoeken,maartenonrechtebijdeleerlingenleggen.DeInspectiepleitdanookvoordeinvoeringvanverplichtetoetsenopverschillendemomentenindeschoolloopbaanvanleerlingen.Datkanscholenhelpenomkritischnaarzichzelftekijkenenzichtevergelijkenmetanderescholen.

OokhetCitoVolgsysteemvoortgezetonderwijsdatweinparagraaf1.1.2besprokenhebben,heeftalstweededoelhetinkaartbrengenvanzwakkeensterkekantenvanleerlingentenbehoevevanbegeleidingen/ofremediëring.Alsblijktdateenleerlingopéénvandekernvaardighedenachterblijft,kandoordedocentgerichteactiewordenondernomen.

Hiervoormerktenweopdattoetsenuitleerlingvolgsystemenbetrekkinghebbenopleerinhoudendiegedurendeeenlangereperiodeonderwezenzijn.Datlaatstekanbetekenendathetenigetijd,enwellichttelang,kandurenvoordatstagnatiesinhetleerprocesvanleerlingengeconstateerdworden.Mettoetsendiebetrekkinghebbenopleerinhoudenvanéénofmeerderelessen,eenbepaaldonderwerpofhoofdstukishetmogelijkomveelsnellerinzichttekrijgeninhetleerprocesenhetonderwijseventueelaantepassenomhetleerprocestebevorderen.

Uitonderzoekblijktdatkenmerkenvantoetsendiehetleerprocesvanleerlingenbevorderentoetsenzijnwaarbijleerlingen:• opdrachtenenvragenvoorgelegdkrijgendieinzichtgeveninhunleerproces;• wetenwathetleerdoelisenwanneerditleerdoelbehaaldis;• effectievefeedbackontvangen;• gestimuleerdwordenheteigenleerprocesvormtegeven;• gestimuleerdwordenomtelerenvanandereleerlingen.

Toetsenmetbovengenoemdekenmerkenwordenookweldiagnostischetoetsengenoemd. Hetdoelvandezetoetsenishetidentificerenvandesterkeenzwakkepuntenvanindividueleleerlingenengroepenleerlingen.Opbasisvandieidentificatiekanhetonderwijsaangepastworden.Dewaardevaneendiagnostischetoetsstaatofvaltmetdekwaliteitvandefeedback.Effectievefeedbackbestaatnietalleenuithetduidelijkmakenvanwelkeleerinhoudende

Page 22: Toetsen op School

22 Cito | Toetsen op School < Inhoud Index >

leerlingnognietbeheerst(feedback)maarvooralookuitduidelijkmakenwatdeleerlingconcreetmoetgaandoenomdieleerinhoudenweltebeheersen(feedforward).Uitonderzoeknaarfeedbackindeonderwijspraktijkblijktechterdatfeedbackmeestalalleenbeperktblijfttothetgevenvaneencijfer.Bovendienblijktdathetgevenvaneencijfervooralzwakkeleerlingendemotiveert.Effectievefeedbackvereistdattoetsenopmeerderemomentenafgenomenwordenomdevorderingenvandeleerlingentekunnenblijvenvolgenenoptijdmaatregelentekunnennemenindienervertragingofachterstandoptreedt.Bijhetdiagnostischofformatiefgebruikvantoetsenzienwedatdescheidingtussenonderwijsentoetsingvervaagt.

EenvoorbeeldvaneendiagnostischetoetsisDIALANG,EuropeanSystemforDiagnosticLanguageAssessment,tevindenopdewebsitevanLancasterUniversity,ziewww.lancaster.ac.uk/researchenterprise/dialang/about.htm.DezeonlinediagnostischetaaltoetsisgeëntophetCommonEuropeanFrameworkofReference(CEFR)forLanguagesdatinNederlandbekendisonderdenaamEuropeesReferentiekader(ERK).Voorveertientalenzijndiagnostischetoetsenbeschikbaarvoorlezen,luisteren,schrijven,woordenschatengrammaticalestructuren.GebruikerskrijgenaanhetCEFRgekoppeldefeedbackbijhuntoetsprestatiesnaastadvieshoezijhunhuidigevaardigheidsniveaukunnenverhogen.

1.3 Toetsen voor het beoordelen van groepen leerlingen en scholen

Toetsendievoorhetbeoordelenvangroepenleerlingenenscholengebruiktworden,zijngewoonlijkdezelfdetoetsenalsdiegebruiktwordenvoorhetbeoordelenvanindividueleleerlingen.Deresultatendieindividueleleerlingenvaneenbepaaldegroepofschoolopeentoetsbehaaldhebben,wordendangebruiktominformatieoverdegroepofdeschooltegeven.Wepresenterenvijfvoorbeelden.

HetCitoVolgsysteemprimairenspeciaalonderwijsgeeftinformatieoverdevorderingenvandegroeptenopzichtevandelandelijkevergelijkingsgroepenvandeterealiserenonderwijsdoelen.Deresultatenopdetoetsengevendanantwoordopvragenals:• Isdematevanvooruitgangvandegroepindeafgelopenperiodetevergelijkenmetdemate

vanvooruitgangindedaaraanvoorafgaandeperiodes?• Vertoontdeontwikkelingvandegroepnogsteedseenopgaandelijnofstagnerende

vorderingen?

Deresultatenvanleerlingenvaneengroepkunnennatuurlijkookmetelkaarvergelekenworden.Deresultatenopdetoetsengevendanantwoordopvragenals:• Hoegrootzijndeverschilleninprestatiestussendeleerlingenvandegroep?• Welkeleerlingenpresterenongeveerhetzelfde?• Welkeleerlingenlijkenonvoldoendevanhetonderwijsgeprofiteerdtehebben?

HetCitoVolgsysteemprimairenspeciaalonderwijsgeeftookinformatieoverdekwaliteitvanhetonderwijsopschoolniveau.Deresultatenopdetoetsengevendanantwoordopvragenals:• Hoepresteertdeschoolopbijvoorbeeldrekenen?• Hoeontwikkelenderekenprestatieszich?• Hebbenmaatregelenomderekenprestatiesteverbetereneffectgehad?

De EindtoetsBasisonderwijs,www.citotoets.nl,biedtscholendemogelijkheidomzelfschoolrapportentemakenvanallemogelijkeselectiesvanleerlingenviadeportalvanCito.Behalvedescoresvandeleerlingenzijnookdeachtergrondgegevensvandeleerlingenopgeslagen,zoalsgeboortedatum,leerlinggewicht,e.d.

Page 23: Toetsen op School

23 Het doel van toetsen < Inhoud Index >

Drieverschillendeschoolrapportenzijnmogelijk:1 Inhet‘Schoolrapportzondercorrectie’wordendegemiddeldescoresvaneenschool

vergelekenmetdegemiddeldescoresvanalledeelnemendescholen.Hierbijwordtgeenrekeninggehoudenmetkenmerkenvandeschoolofleerlingen.

2 Het‘SchoolrapportcorrectieLG’geefteenvergelijkingvandeschoolgemiddeldenmetdatvanscholendie,geletopdesociaal-cultureleachtergrondvandeleerlingen,metdeschoolvergelijkbaarzijn.Daaromwordenin‘SchoolrapportcorrectieLG’degemiddeldescoresvandeschoolgecorrigeerdvoorhetpercentageleerlingenmeteenbepaaldleerlinggewicht(LG).

3 Het‘SchoolrapportcorrectieLGenBL’corrigeertdeprestatiesvandeschoolvoorzowelhetpercentageleerlingenmeteenbepaaldleerlinggewichtalsdevaardigheidvandeleerlingenopBegrijpendlezen(BL)alsindicatorvoordeintelligentievandeleerlingen.

OokhetCitoVolgsysteemvoortgezetonderwijsdatweinparagraaf1.1.2besprokenhebben,levertgroepsrapportagesdiedeschoolinstaatstellenomklassenen/ofleerjarentevergelijkenmeteenlandelijkgemiddelde.Ditgeeftinzichtinhoedeschoolpresteerttenopzichtevananderescholen.

De InspectievanhetOnderwijs,www.onderwijsinspectie.nl,beoordeeltdescholeninhetbasisonderwijszoweltijdensalsaanheteindevandeschoolperiode.HetoordeeloverderesultatenaanheteindevandeschoolperiodebaseertdeInspectieopderesultatendiedeleerlingenbehaaldhebbenoplandelijke(eind)toetsenvandeafgelopendrieschooljaren.Waarmogelijkzijnderesultatenvaneenschoolafgezettegenderesultatenvanscholenmetvergelijkbareleerlingen.HetoordeeloverderesultatengedurendedeschoolperiodebaseertdeInspectieopderesultatenvanlandelijketoetsenvoortechnischlezen(ingroep3en4),rekenenenwiskunde(ingroep4en6)enbegrijpendlezen(ingroep6).

COOL,www.cool5-18.nl,iseenonderzoekdatbedoeldisomdekwaliteitvanhetonderwijsenvanindividuelescholenteonderzoeken.Hetonderzoekrichtzichopdeleeftijdsgroepvan5tot18jaar.Descholendieaanhetonderzoekmeewerken,ontvangenalstegenprestatieeenschoolspecifiekerapportage.Daarinwordenpermeetjaarde(toets)resultatenvandeleerlingenvandeschoolvergelekenmetandereleerlingenenscholenuithetlandmeteenvergelijkbaresociaal-etnischeachtergrond.Scholenkunnendusderesultatenvanhungroepenleerlingenvergelijkenmetdelandelijkegemiddeldescoresvanvergelijkbaregroepenleerlingen.Ookkunnenscholen,aangenomendatzijaanmeermetingenmeedoen,vergelijkingenmakentussenmeetjarenendeontwikkelingenbijhunleerlingenvolgen.Inhetschoolrapportstaanookderesultatenophetsociaal-emotioneledomein(o.a.werkhouding,welbevinden,gedrag),verschillendeaspectenvanmotivatieenvanburgerschapscompetenties.

1.4 Toetsen voor het beoordelen van de kwaliteit van het onderwijs

HetgebruikvantoetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijsvindtzowelinNederlandalsinternationaalplaats.Hiernawordteerstingegaanophetpeilingonderzoekdatsinds1987naardekwaliteitvanhetbasisonderwijsinNederlandverrichtwordt.Daarnawordteenaantalinternationaleonderzoekenkortbesproken.

Wat is het doel van het zogenaamde Periodiek Peilingonderzoek van het Onderwijsniveau in Nederland (PPON)? Hetdoelvandeopdrachtgever,hetministerievanOnderwijs,CultuurenWetenschap,wasdathetPPON,http://ppon.cito.nl,zoumoetenleidentothetverkrijgenvaninzichtinhetleeraanbodendeleeropbrengstenvanhetbasisonderwijs.Hetpeilingonderzoekgeeftvooreengrootaantalvakkenuithetbasisonderwijsantwoordopdevolgendevragen:• Watproberenscholenhunleerlingenteleren?• Watstekenleerlingenvanhetonderwijsop?

Page 24: Toetsen op School

24 Cito | Toetsen op School < Inhoud Index >

• Welkewijzigingenvoltrekkenzichoverdejarenindeonderwijsresultaten?• Inhoeverrewordendekerndoelenbasisonderwijsgehaald?• Welkeverschillenzijnerindeleerresultatentussencategorieënleerlingen?

Aaniederpeilingonderzoekligteendomeinbeschrijving,eenbeschrijvingvanhetleergebiedaandehandvaneenlijstvanleer-envormingsdoelen,tengrondslag.Dezebeschrijvingisgebaseerdopdekerndoelenbasisonderwijs,analysesvanonderwijsmethodesenvak-inhoudelijkeenvakdidactischepublicaties.Uitgaandevandedomeinbeschrijvingwordtnietéénbreedsamengesteldetoetsmaareenreekstoetsenvoorverschillendeonderwerpenvaneenleergebiedontwikkeldenafgenomenbijeengrootaantalleerlingenvanbasisscholen.Zowordenvoorhetpeilingonderzoekrekenen/wiskundebijhetdomein‘getallenenbewerkingen’tienonderwerpengetoetst,bijhetdomein‘verhoudingen,breukenenprocenten’vieronderwerpenenbijhetdomein‘meten’achtonderwerpen.Mettoetsenvoorintotaal22onderwerpenkaneengedetailleerdebeschrijvinggegevenwordenvanwatleerlingenaanheteindevanhetbasisonderwijsvanrekenen/wiskundebeheersen.

Hoe worden de leeropbrengsten beschreven? IndePPON-rapportagesdieopdewebsitevermeldstaan,wordendevaardighedenvandeleerlingenaandehandvanvoorbeeldopgavenbeschreven.Devoorbeeldopgavenillustrerenwatleerlingenmetverschillendevaardighedengoed,matigofinonvoldoendematewetenofkunnen.Uitgaandevandekerndoelenbasisonderwijsgevendeskundigebeoordelaarsvervolgensaanwatnaarhunoordeelhetgewensteniveauvanvaardigheidis.Zijbepalenstandaardenvoorminimaleenvoldoendebeheersingdiefungerenalsreferentieniveaus.Destandaardenkrijgeninhoudelijkbetekenisdoordatzegerelateerdzijnaandevoorbeeldopgaven.Tenslottewordtonderzochthoedeleerresultatenvandeleerlingenzichindeloopdertijdontwikkelen.

Voor wie zijn de peilingresultaten bedoeld? HetPPON-peilingonderzoekiseenvormvansysteemevaluatiewaarbijhetobjectvanevaluatiedekwaliteitvanhetonderwijssysteemis.Deresultatenzijndanooknietbedoeldvoorhetbeoordelenvanleerlingenenscholenmaarombetrokkenenbijhetonderwijsteinformerenoverdestandvanzakenvanhetonderwijs.BelangrijkedoelgroepenvoorderesultatenvanhetpeilingonderzoekzijnonderanderehetministerievanOCW,deInspectievanhetOnderwijs,landelijkeenregionaleonderwijs-enschoolbegeleidingsinstituten,lerarenopleidingenvoorhetbasisonderwijs,lerarenbasisonderwijsenontwikkelaarsenuitgeversvanmethodenvoorhetbasisonderwijs.Alsderesultatennietvoldoenaandeverwachtingen,zijndezebetrokkenenopverschillendemaniereninstaatommaatregelentenemendietotbetereresultatenleiden.

Internationale onderzoeken VoorbeeldenvaninternationaleonderzoekennaardekwaliteitvanhetonderwijszijnPISA,PIRLS en TIMSS.PISA(ProgrammeforInternationalStudentAssessment)iseendriejaarlijkspeilingonderzoekwaarbijdekennisenvaardighedenvan15-jarigenuiteengrootaantallandenophetgebiedvanleesvaardigheid,wiskundigeennatuurwetenschappelijkegeletterdheidvergelekenworden,www.pisa.nl.PIRLS(ProgressinInternationalLiteracyStudy)betreftonderzoeknaardeleesvaardigheidvanleerlingenuitgroep6vanhetbasisonderwijsenTIMSS(TrendsinInternationalMathematicsandScienceStudy)betreftonderzoeknaardewiskundeennatuurkundevaardighedenvan17/18-jarigen,ziewww.pirls.com.Deresultatenopdezeonderzoekenkunnenvoorlandenaanleidingzijnhetonderwijsaantepassen.

Page 25: Toetsen op School

2 De inhoud van toetsen

2 De inhoud van toetsen

Page 26: Toetsen op School

26 Cito | Toetsen op School < Inhoud Index >

2 Deinhoudvantoetsen Erik Roelofs en Jacqueline Visser

Hetvaststellenvandeinhoudvaneentoetsiszo’nbeetjehethalvewerkvandeconstructievaneentoets.Hoekomtdat?Iseentoetsmakennieteenzaakvandeinhoudbepalenendanovergaantotdekeuzevandetoetsvorm?Jaennee.Ja,globaalgesprokenkomteerstdeinhoudvandetoetsendandevorm.Nee,wantinhoudelijkevragenspelenbijallestappenvantoetsconstructieeenrol,dusookbijhetbepalenvandetoetsvorm.Bijdeuitwerkingvandetoetsinhoudbliktdetoetsconstructeuralvooruitnaardeprestatiediehijvaneenleerlingbijtoetsopgavenwilzien.Enandersom,bijhetkiezenvantoetsvormenenopgavenmoetdeconstructeurnagaanofhijdaarmeedebedoeldeinhoudwelkantoetsen. Hetkomtookvoordateerdervastgesteldetoetsinhoudtijdenshetontwerpenvanopgavenwordtaangescherptomdatdanindepraktijkduidelijkwordtwatmeneigenlijkwiltoetsen.

Stappen van toetsconstructieIndithoofdstukbeschrijvenweindetailvijfstappenvantoetsconstructiediebepalendzijnvoordeinhoudvandetoets:1 Hoewordtbepaaldwatleerlingenaanheteindvaneenopleidingofopleidingsfasemoeten

kennen,kunnenenwillen,oftewelhoekomjetoteenglobaalprogrammavaneinddoelenentussendoelen?

2 Hoekomjevaneenglobaalprogrammavaneinddoelenentussendoelentottoetsbareleerdoelen?

3 Hoekunjetoetsbareleerdoelenomzettenintoetstakendiehetbedoeldegedragoproepenbijdeleerling?

4 Welketoetsvormpasthetbestbijdetetoetsenleerdoelen?5 Hoesteljeeentoetsinhoudelijkcorrectenevenwichtigsamen?

Eensystematischeuitwerkingvandetoetsinhoudzorgtervoordatwatinstap1wordtvastgelegdookfeitelijkaandeordekomtindetoets.Gebeurtditniet,danbestaathetrisicodateendeelvandegesteldeleerdoelenineenonderwijsprogrammanietindetoetsenaandeordekomt.

De eerste stap,deuitwerkingvaneenprogrammavaneinddoelenentussendoelen,gebeurtvaakopbeleidsniveau.Duidelijkmoetwordenwatleerlingenaanheteindvaneenopleidingstraject(basisonderwijs,voortgezetonderwijsenberoepsonderwijs)moetenkennen,kunnenenwillen.Daartoewordenradenofcommissiesinhetlevengeroependiedoelenformulerenineendemocratischprocesvanbijschavenenherformuleren.Daarbijwordendiversedeskundigenenbelanghebbendenbetrokken,zoalsvertegenwoordigersvanuithetministerie,vakdeskundigen,vertegenwoordigersvanonderwijsinstellingen,branche-organisaties(bijberoepsonderwijs),onderwijsgevendenenonderwijsadviesorganisaties. Ditprocesmondtuitin‘kerndoelen’,‘eindtermen’en‘basiskwalificaties’peronderwijstypeenonderwijsfase.

Omdatdeze‘doelen’nogtevaagzijnomertoetsenoptekunnenbaseren,iseentweede stap nodig:deuitwerkingvantoetsbareleerdoelen.Daarinwordtdeaardvandevereisteprestatieverderuitgewerkt.Tebeantwoordenvragenzijn:welkgedragwordtvandeleerlingenverwacht(mentaleprocessen,handelingen,vaardigheden)?Inwelkesituatiesmoetdeleerlingpresteren?Welkehulpmiddelenmageenleerlinggebruiken?Volgenswelkestandaardofnormzoueen

Page 27: Toetsen op School

27 De inhoud van toetsen < Inhoud Index >

leerlingmoetenpresteren?Indelingsschema’s(taxonomieën)voormenselijkpresterenvormenhierbijeenhandighulpmiddelomdebeoogdedoelenbijstap1correctenevenwichtiguittewerkentoteenverzamelingtoetsbareleerdoelen.Webeschrijvenindelingsschema’svoorhetuitwerkenvanleerdoelendiebetrekkinghebbenoprespectievelijklosseelementenvaneenvakgebied(zoalshetuitvoerenvaneenstaartdeling)enopcompetenthandeleninechteleef-ofberoepssituaties(hetvoerenvaneenverkoopgesprek).

Zodradetetoetsenleerdoelenhelderzijn,ishetzaakdetehanterentoetstakenoftoetsopgaventekiezen(stap3),eenofmeertoetsvormentekiezen(stap4)endeuiteindelijketoets(en)samentestellen(stap5).Inpraktijkzalvaakeerststap4komen:deuitwerkingvaneenglobaaltoetsplanmetdaarineenoverzichtvantoetsendieopverschillendemomententijdensdeopleidingwordenvoorgelegdaandeleerlingen.Inzo’nplanstaateenmixvantehanterentoetsvormenvermeld.

Indithoofdstukbesprekenweechtereersthoeafzonderlijketoetstakenkunnenwordengekozenbijdetetoetsenleerdoelen,stap 3dus.Daarbijgaanweinopde‘anatomie’vaneentoetsopgaveendedaaruitvoortvloeiendeontwerpkeuzes.Aandeordekomenkeuzesbetreffendedeauthenticiteitofechtheidvandetaaksituatie,desoortentoetsstimuli(foto,film,materiaal,verkoopsituatie),destructureringvandetoetstaak(bijvoorbeeldwelofgeeneigenoplossingenkiezen,alofniettoestaanvanhulpmiddelen)endekenmerkenvandeverlangderespons(bijvoorbeeldeenverbalereactieofeenhandeling).Dezekeuzeszijnvanbelangbijdecorrectevertalingvanafzonderlijkeleerdoelennaarafzonderlijketoetstaken.Ogenschijnlijkkleineaanpassingeninbijvoorbeelddegebruiktetoetsstimulikunnenervoorzorgendathetgesteldeleerdoelnietoptimaalgetoetstkanworden.Gebruikvandia’sinplaatsvanfilmpjesleidtbijverkeerstoetsentoteenwezenlijkandereopgave.

Bijdeuitwerkingvanhettoetsplan(stap 4)gaatheteromtewaarborgendathettotaleprogrammavantetoetsenleerdoelenevenwichtigwordtgedektdooreenmixvantoetsvormen(bijvoorbeeldschriftelijketoetsen,essays,proevenvanbekwaamheid).Elketoetsvormisdaarbijeenverzamelingvantoetsopgavenmetsoortgelijkekenmerken.

Bijhetsamenstellenvanafzonderlijketoetsen(stap 5)ishetdebedoelingdatdebeoogdegroepenleerdoeleninhoudelijkcorrectenafdoendewordenvertegenwoordigdintoetsopgaven.Bijdezestapgaanweinophetgebruikvantoetsmatrijzenwaarinwordtaangegevenhoeveelopgavenineentoetsdienentewordenopgenomenovereenaspectvankennisofbekwaamheid,zoalsverwoordindeleerdoelen.Doorhetgebruikvantoetsmatrijzenwordtvoorkomendatonderdelentenonrechtenietwordengetoetstofdatandereonderdelenonevenredigveelaandachtkrijgen.

Dwarsdooraldezestappenheenspeeltdevisieoplerenentoetseneenrol.Verschillendevisiesleidentotverschillendetoetsen,zoalsweinparagraaf2.1zullenzien.

2.1 Visie op leren en toetsen

Watwewillentoetsenheefttemakenmetonzevisieoplerenentoetsenineenvakdomein.Dezevisieheeftconsequentiesvoordekeuzeswatbetrefttoetsconstructie.

2.1.1 Visie op lerenBijhetontwerpenvantoetsenspeeltdevisieoplereneenbelangrijkerol.Eenvandevragendaarbijisofbijlerendeaandachtvooraluitmoetgaannaarafzonderlijkekennis-ofvaardigheidselementenofjuistuitmoetgaannaargroteregehelen,betekenisvolletakenofcompletetaken.Datlaatstezienwebijvoorbeeldbijcompetentiegerichtleren.

Page 28: Toetsen op School

28 Cito | Toetsen op School < Inhoud Index >

Voorbeeldenvandeeerstebenaderingzijn:• hetverklankenvanletterstotwoorden;• hetmakenvanrechtezaagsnedenineenhoutenplank;• hettoepassenvangrammaticaregelsbijwerkwoordspelling;• hetbenoemenvanverschillendetypenbottenineenmenselijkearm;• hetidentificerenvanplaatsnamenopeen(blinde)landkaart.

Voorbeeldenvandetweedebenaderingzijn:• hetschrijvenvaneenbriefaanSinterklaas;• hetaanleggenvaneenelektrischeinstallatieineenschuur;• hetuitzettenvaneentoeristischefietsroute;• eenspreekbeurtgevenoverhetonderwerp‘kilometerheffing’.

Visiesoplerengaanmeestalgepaardmetvakdidactischevisiesdiemedebepalenwatenwanneerergedurendeeenonderwijsprogrammawordtonderwezenengetoetst.Zozaleenleerboek,werkboekofeducatievesoftwaredieeendocentgebruikt,gebaseerdzijnopeenvisieopleren.Intabel2.1staantweevakdidactischevisiesoprekenen-wiskundediegevolgenkunnenhebbenvoorwat,wanneerenhoegetoetstwordt.

Tabel 2.1: Twee vakdidactische visies op rekenen-wiskunde: mechanistische en contextrijke visie

Mechanistisch rekenen/wiskunde Contextrijk rekenen/wiskunde

Visie Bijrekenendientgestreefdtewordennaar

automatiseringvanbasisbewerkingenviahetfoutloos

gebruikvanrekentechnieken.

Getalbegripendenkeninmodellenmoeten

eerstaangelegdwordenvoordat

rekenprocedureswordenaangeleerdenverkort.

Didactiek Lerenvanvoorbeeldenenpreciesnadoenenvolgen

vanregels.

Zorgvuldigrekenenleidendtoteenjuisteuitkomst.

Stapsgewijsverkortenenabstraheren.

Schattendrekenen.

Wat

toetsen

Cijferen,gebruikvanalgoritmenzoalsdestaartdeling.

Rijtjeskalesommen.

Contextgebondenrekentaken.

Bijrekentoetsendiegemaaktzijnvanuiteenrealistischerekendidactischevisiezullenvaakvoorbeeldenuithetdagelijkslevenwordengebruikt.Onderinvloedvandezedidactischevisieisschattendrekenendoorgedrongentothettetoetsenrekenrepertoire.Eenopgavezoals ‘Hoeveelisongeveer19x19?’waarvandeuitkomstgeschatmoetworden,zalnietpassenbijeenformelerekendidactiekwaarbijleerlingendeuitkomstvan‘Hoeveelis19x19?’ cijferendmoetenuitrekenen.VooranderevoorbeeldenvandidactischevisiesziePDF2.1 in de toetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Bijhetverderuitwerkenvandetoetsinhoudishetessentieeldatdezeaansluitbijdevisieophetvakgebiedendevakdidactiek.Datlaatsteisbijvoorbeeldniethetgevalalsleerlingenonderwezenwordeninschattendrekenenmaardatzebijhetvanmakenvanrekenopgavengeenschattingenmaarexacteuitkomstenmoetengeven.

Page 29: Toetsen op School

29 De inhoud van toetsen < Inhoud Index >

2.1.2 Visie op toetsen en beoordelenDeinhoudvaneentoetswordtnietalleenbeïnvloeddoordevisieoplerenmaarookdoordevisieoptoetsenenbeoordelen.Vandeverschillendevisiesoptoetsendieweinpublicatiesovertoetsenkunnentegenkomen,latenweintabel2.2zienwatdekenmerkenvantoetsenbijdezetweezeerverschillendevisieszijn.

Tabel 2.2: Kenmerken van toetsen bij twee verschillende visies op toetsen

Kenmerken Uiterste zienswijze 1 Uiterste zienswijze 2

Aanbiedingswijze Vooriedereenhetzelfde. Verschillendperkandidaat.

Aardvandeopgaven Losstaandeelementen.

Contextvrijetaken.

Productcentraal.

Samenhangendeelementen.

Takenincontext.

Procescentraal.

Afnamecondities Vooriedereenaltijdhetzelfde.

Opgavengeheim.

Permomentenkandidaatverschillend.

Opgavenopenbaar.

Afnamemoment Openkelevastemomenten.

Gescheidenvanleerproces.

Continu.

Verwevenmetleerproces.

Samenstelling Veelkorteopgaven. Enkelecomplexeopgaven.

Scoring Objectief.

Vastecorrecteantwoordenperopgave.

Automatischescoringprestaties.

Analytischebeoordeling.

Subjectief.

Meerdereoplossingenmogelijkperopgave.

Scoringvanprestatiesdoordomeinexpert.

Holistischebeoordeling.

Eenvoorbeeldvaneentoetsdieaansluitbijvisie1iseentoetswaarbijleerlingenEngelsidioomcorrectmoetenvertalendoorsteedsdejuistevertalinguitviervertalingentekiezen.Dezetoetskangescheidenvanhetleerprocesmetbehulpvandecomputerwordenafgenomenenautomatischwordengescoord.Detakenzijngeïsoleerdeidioomelementendielosvandegebruikscontextstaan.Erkunnenveelidioomelementen,metvastecorrecteantwoordenperopgave,wordengetoetst.Eenvoorbeeldvaneentoetsdieaansluitbijvisie2iseentoetswaaringekozenwordtvoorhetintegratieftoetsenvanidioom,grammaticaenhetgebruikvanschrijfstrategieën.Bijvoorbeeldeenopdrachtwaarbijeenleerlingermeteenmondelingedialoogvoormoetzorgendateenklachtbehandeldwordt.Zo’nopdrachtgeeftdeleerlingveelruimtebijdeuitvoering. Naastanalytischebeoordelingopobjectieftebeoordelendeelaspecten,bijvoorbeeldofdezinsbouwcorrectis,zalerooksprakezijnvaneenholistischebeoordelingdoorbeoordelaarsdiebijvoorbeeldbeoordelenofdeklachtovertuigendgepresenteerdis.

Hetisnietzodattoetsingvolgenseenvandetweeuiterstezienswijzenpersebeterisdandeander.Dekeuzevoordeeneofdeanderemaniervantoetsenzalonderandereafhangenvanhetdoelvandetoetsenwatwewillenmeten.Inveelgevallenzaleenmixvantoetsenvanbeidezienswijzenwenselijkzijn.

Page 30: Toetsen op School

30 Cito | Toetsen op School < Inhoud Index >

2.2 Een programma van einddoelen en tussendoelen

Uitgangspuntvoorhetuitwerkenvaneentoetsplanenafzonderlijketoetseniseenvastgesteldprogrammavaneinddoelenentussendoelen.Indeverschillendesectorenvanonsfunderendonderwijs(basisonderwijs,voortgezetonderwijs)enhetberoepsonderwijswordtuiteindelijktoegewerktnaareinddoelenwaarvoorverschillendetermeningebruikzijn:exameneisen(vmbo,havo,vwo),basiskwalificaties(middelbaarberoepsonderwijs),kerndoelen(basis-onderwijs,speciaalbasisonderwijs,speciaalonderwijs,basisvorming).Deleerwegnaardezeeinddoelenisopgesplitstineenaantalstappendatgekenmerktwordtdoorverschillendetussendoelenwaaropiniedergevalsummatievetoetsingplaatsvindt.Bijvoorbeeldaanheteindvaneenopleidingsfase,eentrimesterofeenleerjaar.Dezeeinddoelendienenweerverderuiteengelegdtewordenindoelenvoorbijvoorbeeldonderwijsmodules,blokken,instructie-eenhedenenuiteindelijklessen.Opelkvandieniveauskantoetsingplaatsvinden,summatiefofwelformatiefvanaard.

Examenprogramma’s,kerndoelen,enkwalificatie-eisenzijndoordeoverheidvastgelegd.Gestuurddooreenvisieopmens,maatschappijenwatvanuitstromendeleerlingenmagwordenverwacht,wordteenprogrammavan(algemene)doelengeformuleerd.Bijdetotstandkominghiervanwordendeskundigenopdevakgebieden,vertegenwoordigersvanbrancheorganisatiesenvertegenwoordigersuithetonderwijsveldgeraadpleegd.Inderegelbemoeitdeoverheidzichnietmetdevraaghoediedoelenbereiktdienenteworden,maarwelmetdevraagwatbereiktmoetworden.

Alsvoorbeeldvanhoekerndoelenmeestalgeformuleerdworden,hebbenweenkelekerndoelenvoorschrijfvaardigheidinhetbasisonderwijsenvoortgezetonderwijsgenomen.

Voorbeeld 1: Enkele kerndoelen voor schrijfvaardigheid in het basisonderwijs

4 Deleerlingenlereninformatieteachterhalenininformatieveeninstructieveteksten,waaronderschema’s,tabellenendigitalebronnen.

5 Deleerlingenlerennaarinhoudenvormtekstenteschrijvenmetverschillendefuncties,zoals:informeren,instrueren,overtuigenofplezierverschaffen.

Voorbeeld 2: Enkele kerndoelen voor schrijfvaardigheid in de eerste fase van het voortgezet onderwijs

17Deleerlingenkennenspecifiekekenmerkenvaneenaantaltekstsoortenenkunnendaarbijhetschrijvenrekeningmeehouden.Hetgaatdaarbijom:deadvertentie;debrief;hetformulier;hetverslag;hetwerkstuk.

18Deleerlingenkunnenzichvoorbereidenopeenschrijftaak. Hetgaatdaarbijom:brainstormen;eigenideeënengedachtenordenen;informatie

selecteren,ordenenenverwerken;dehoofdlijnenvandeteschrijventekstuitzetten.19Deleerlingenkunneneentekststructurerenmeteenindelingininleiding,kernstuken

slotendaarbijgebruikmakenvanalinea’sentussenkoppen.

Degeformuleerdedoelenuitbovenvermeldevoorbeeldenzijnnognietvoldoendeuitgewerktomtoetsenoptebaseren.Kijkendnaarkerndoelenvoorhetbasisonderwijsvaltallereerstopdatzeeenstrevenbelichamen(deleerlingenleren…)ennieteenprestatiedoorleerlingen

Page 31: Toetsen op School

31 De inhoud van toetsen < Inhoud Index >

(leerlingenkunnen…).Vandekerndoelenvoordeeerstefasevanhetvoortgezetonderwijsvaltdirectopdatkerndoel17vooralalskennisdoelisgeformuleerdenkennisvantekstsoortenbetreft(kennenspecifiekekenmerkenvaneenaantaltekstsoorten),enminderalsvaardigheidsdoel(hetkunnenschrijvenvaneenadvertentie,eenbrief,etc.).Eentweedeobservatieisdatdedoelenindevoorbeeldentealgemeenzijngeformuleerdomerdirect toetsopgavenuittekunnenafleiden.Hoezietbijvoorbeeldeenteksteruitdiezogeschrevenisdatdeinhoudendevormervanovertuigen(voorbeeld1,kerndoel5)?Overwelkeonderwerpenmagdetekstgaan?Hoelangmoetzo’ntekstzijn?Watzijnpreciesdevorm-kenmerkenendeinhoudskenmerkenwaaraandetekstmoetvoldoen?Hoestellenwevastdateenleerlingdezetekstovertuigendschrijft?Eenderdeobservatieisdatindedoelenalleenheteindniveauisuitgewerkt,terwijlmenookoptussenmomentenwiltoetsen,omdatmendaarookbeslissingenwilnemen.Eenlaatsteobservatieisdateenpureopsommingvandoelennogweinigzegtoverdematevanaandachtdieaanelkkerndoelafzonderlijkmoetwordenbesteed.Evenminwordtduidelijkwelkeaspectenvanpresterenmogelijkonderdedoelenverscholenliggen(reproduceren,bedenken,toepassen,overtuigen,informeren),enopwelkeschrijfsituaties(zoalssoortenteksten)dedoelenbetrekkinghebben.

Vanafhetmomentdaterduidelijkheidisoverhetprogrammavaneinddoelenentussendoelen,moetdanooknagedachtwordenoverdeinhoudvantoetsenopdeverschillendemomenteninhetcurriculum.Vragendiedaarbijcentraalstaanzijn:welkeonderdelenvandeinhoudmoetenaandeordekomen?Hoewordtdetetoetsenleerinhoudgeordend?Inwelkeverhoudingenmoetenonderdelenaandeordekomen?Hoekunnenweallerelevanteaspectenvanpresterenopeenpassendemanierinkaartbrengen?Enbelangrijker,hoekunnenwedieverschillendeaspectentoetsen?

2.3 Uitwerking tot toetsbare leerdoelen

Inhetbasisonderwijsenvoortgezetonderwijsisindemethode(inclusiefdocenthandleiding,leerboeken,werkboeken)alveelvoorwerkverrichtalshetgaatomhetuiteenleggenvaneinddoelen,doelenperleerjaar,doelenperinstructie-eenheid,lesdoelenenzelfsdoelenperonderwijsleeractiviteit.Datisimmersnodigomconcretelesactiviteitentekunnenuitwerken.Ookstaaninveelmethodensuggestiesvoortoetsingvanhetgeleerdeineeninstructie-eenheidofzijnmethodegebondentoetsenbijgeleverd.

Tegelijkertijdzijndetebereikenleerdoelenveelalnietuitgewerktinconcretegedragsdoelen.Ookzijnervakgebiedenofsoortenvaardigheden,zoalsinhetmiddelbaarberoepsonderwijsvaakhetgevalis,waarslechtsglobaalaangegevenwordtwatleerlingenmoetenkennenenkunnen.Indatgevalzijndocentenopzichzelfaangewezen,alshetgaatomhetuitwerkenvantoetsbareleerdoelen.

Hettoetsbaarmakenvanleerdoelenvraagtomdeinvullingvantweevoorwaarden.Deeerstevoorwaardeisdatdeinhoudvandetoetsgespecificeerdis.Voorhetspecificerenvandeinhoudvandetoetswordeninparagraaf2.3.1driebenaderingenonderscheiden.Naspecificatievandetoetsinhoudisdetweedevoorwaardedatbepaaldiswelkeonderdelenvandeinhoudgetoetstwordenenwelkeprestatiesmenvandeleerlingenverwacht.Hiervoorwordenveelaltaxonomieënofindelingschema’sgebruiktwaarvanerinparagraaf2.3.2vijfbeschrevenworden.Zodraaandezetweevoorwaardenvoldaanis,kanmendetoetsbareleerdoelenopstellenzoalsbeschreveninparagraaf2.3.3.

Page 32: Toetsen op School

32 Cito | Toetsen op School < Inhoud Index >

2.3.1 Specificeren van toetsinhouden: drie benaderingenBijhetuitwerkenvanalgemeneleerdoelentotspecifiekeleerdoelenkunnenwedetetoetseninhoudopverschillendemanierenvoorstellen.Zoalsgeïllustreerdintabel2.3,kunnenwegerichtzijnophettoetsenvanlosseelementen(zoalsopgedeeldekennis,vaardigheden,attitudes),hettoetsenvancompetenthandeleninspecifiekepraktijksituaties(zoalsspreken ineenvreemdetaal)enhettoetsenvanalgemenecompetenties(zoalssamenwerken,onderhandelen).

Tabel 2.3: Drie benaderingen voor het specificeren van de inhoud van de toets

Wat toetsen? Karakterisering Voorbeeld uit schoolse context Voorbeeld uit leefwereld of

beroepscontext

Losseelementen

binneneenvak

Presteren op

afzonderlijke

elementenvaneen

vakgebied.

Tekststructuur doorzien: Deleerling

weethoetekstengestructureerd

kunnenzijnmetbehulpvan

alinea’s,tussenkoppenendoor

middelvaneenindelingin

inleiding,kernenslot.

De kandidaat kent de

verschillendelettertypesdie

gebruiktwordenbijhetopmaken

vanrubriekenvankrantX.

Competent

handelenin

specifieke

praktijksituaties

Prestatie in

authentieke

(beroeps)taken.

Informatie overdragen:Deleerling

kaninklas-ofschoolverbandeen

kortemonolooghoudenmetals

doelinformatiegeven.

Deleerlingkaningesprekmet

sprekersvandemoedertaalin

dagelijkseleefsituaties

informatiegevenoverdeeigen

persoonlijkeachtergrond.

Algemene

competenties

Prestaties in

gevarieerde

taaksituatieswaarin

eenalgemene

competentieingezet

moetworden.

Samenwerken:deleerlingkan

zodanigsamenwerkenmet

medeleerlingendatgezamenlijke

doelenwordenbereiktenieder

eenbijdrageheeftinde

totstandkomingvanderesultaten.

Deaanstaandeleraarisinstaat

samentewerkenmetcollega’sin

deplanningenuitvoeringvan

onderwijsonderdelen.

Aandeeerstebenadering,hettoetsenvangeïsoleerdeelementen(kennis,vaardigheden,attitudes),ligtdegedachtetengrondslagdatdeuitvoeringvancomplexetakendebeheersingvandesamenstellendeonderdelenvereist.Zowordtinhetvoorbeeldintabel2.3hetdoorzienvantekststructurenalsvoorwaardegezienomgoedgestructureerdetekstentelerenschrijven.Zokanookkennisoverlettertypes,alsvoorwaardeomhetvakvanopmakerteleren,afzonderlijkwordengetoetst.Bijdeeerstebenaderingisdegelijkenistussentaaksituatie en leef-ofwerksituatieveelalbeperkt.

Bijdetweedebenadering,competenthandeleninspecifiekepraktijksituaties,moetenleerlingenbijdeuitvoeringvandetakenkennisenvaardighedencombineren.Volgensdezebenaderingbestaatdetetoetseninhouduitclustersvansamenhangendeonderdelen.Deopdelingindeeltakenismindersterkdanbijtoetsingvanlosseelementen.Ditisbijvoorbeeldhetgevalbijeenpresentatieovereenonderwerpmetalsdoelinformatietegeven.Doordekeuzevanpraktijksituatiesisdeafstandtotdewerkelijkheidgering.Degrenzenvanhetschoollokaalenhetschoolvakwordendoorbroken.Ditlaatstezienweinhetberoepsonderwijswaartoetsingindeberoepspraktijkplaatsvindt.

Page 33: Toetsen op School

33 De inhoud van toetsen < Inhoud Index >

Inhetbasisonderwijsenvoortgezetonderwijszijnpraktijksituatiesvaakenigszinskunstmatig(eenkortemonolooghoudenineennagespeeldesituatie)omdetoetspraktischuitvoerbaartehouden.

Indederdebenadering,hettoetsenvanalgemenecompetenties,gaathetomgeneriekevaardighedenencompetenties(samenwerken,onderhandelen,onderzoekdoen)diedeleerlingeningevarieerdesituatiesmoetenverwerven.Zezijnnietspecifiekvooréénvakgebiedofberoepsdomein,maarwelvanbelangvoordeontwikkelingvandeleerling.Denkdaarbijaanhetvermogenommetanderensamentewerken,teonderhandelenofhetverrichtenvan(eenvoudig)onderzoek.

Indepraktijkishetmogelijkomhettoetsenvanafzonderlijkeelementenuiteenvakgebiedtecombinerenmethettoetsenvancompetenthandeleninpraktijksituaties.Eenvoorbeeldvanafzonderlijkekenniselementendiegetoetstwordenineenbetekenisvollecontextiseenrekenopgavediegenomenisuithetdagelijkseleven(ineenverhaal-ofcasusvorm).

2.3.2 Indelingsschema’sOmuiteindelijktoetsbareleerdoelentekunnenformuleren,moetbepaaldwordenwelkeprestatiesenonderdelendaarvanpreciesmoetenwordengetoetst.Toetsconstructeursgebruikendaartoevaaktaxonomieënofindelingsschema’sdieaspectenvanmenselijkpresterenbeschrijven.Webeschrijvenvijfindelingsschema’s,waarvanerdrievooralpassenbijhettoetsenvanlossekennis,vaardighedenenattitudes,entweediebetrekkinghebbenoptoetsingvancompetenthandelenenalgemenecompetenties.

Het indelingsschema van Anderson en BloomIndelingsschema’sbevattenmeestaldimensies,waarmeebeoogdeprestatiesnaderkunnenwordengeclassificeerd.HetmeestbekendeclassificatieschemaisdatvanBenjaminBloom. Deeersteversieervanisrecentelijkvernieuwdwaardoorhetmeerbeantwoordtaanhedendaagseeisenvantoetsontwikkelaars(zietabel2.4).Hetclassificatieschemaisvooralbedoeldvoorhetindelenvancognitieveprestaties.IndezelfdeperiodewaarinBloomsschemaverscheen,werdenookschema’svooraffectieveprestatiesenpsychomotorischeprestatiesgepubliceerd.Zievoordezeschema’sPDF2.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Tabel 2.4: Het indelingsschema van Anderson en Bloom (2001)

Handelingsdimensie

Kennisdimensie Oproepen Begrijpen Toepassen Analyseren Evalueren Creëren

Feitenkennis

Conceptuelekennis

Procedurelekennis

Metacognitievekennis

a* b c d e f

*a,b,c,etc.verwijzennaarvoorbeeldenindetekst

Inhetschemawordentweedimensiesmetelkaargecombineerd,dekennisdimensie en de handelingsdimensie.

Page 34: Toetsen op School

34 Cito | Toetsen op School < Inhoud Index >

De kennisdimensieomvatvierniveaus.Heteerstedaarvanbetreftfeitenkennis.Ditbetreftkennisvanbasiselementen,zoalsterminologie(deelementenvanhetperiodieksysteem,delettersvanhetalfabet),detailsengebeurtenissen(in1986wasereenkernrampinTsjernobyl), dieeenleerlingnodigheeftombekendterakenmeteenvakgebiedofomdedaarinvoorkomendeproblementekunnendoorzienofoptelossen.Hettweedekennisniveaubetreftconceptuele kennisofbegripskennis:hetgaathieromkennisoverelementendieonderdeeluitmakenvaneengroterestructuurenhunonderlingerelaties.Voorbeeldendaarvanzijnabstractebegrippenals‘democratie’metalhaarkenmerkenenrelatiesmetanderebegrippenzoals‘stemrecht’.Ofconcretebegrippenzoals‘dieren’,metalsondergeschiktebegrippen‘vissen’en‘vogels’,hunkenmerkenenderelatiesdaartussen.Kennisvanallerhandeprincipes,wetmatighedenenrelatiestussenbegrippenhorenooktotconceptuelekennis,zoalsoorzaak-gevolg(waterverdamptalshetwordtverwarmd)enmiddel-doel-relaties(omtebepalenwieerindevolksvertegenwoordigingkomt,wordterlandelijkgestemd).Hetderdekennisniveaubehelstprocedurele kennis.Ditbetreftkennisoverhoeietstedoen,zoalsmethodenvanonderzoek(westarteneenonderzoekdoorgaansmeteenprobleemstelling,daarnaonderzoeksvragen,enz.),algoritmen(welkestappenzetjebijhetmakenvaneenstaartdeling?)entechnieken(hoeslijpjeeenbeitel?).Hetlaatstekennisniveaubetreftmetacognitieve kennis,hetbewustzijnvandeeigenkennis,heteigendenkenendesturingvanditdenken.Eenleerlingmaaktbijvoorbeeldeenplanningvoorhetmakenvaneenwerkstuk(eenverwarmingsinstallatie,eengeschrevenwerkstuk)engaattussentijdsnaofdeactiviteitenvolgensplanverlopen,ofenwaarhijmoetbijsturen,ofhetproductinwordingaandegesteldeeisenvoldoetenwaarhijhulpvananderenmoetinroepenofbronnenmoetraadplegen.

DetweededimensieinhetindelingsschemavanAndersonenBloomisdehandelingsdimensie.Dezebeschrijfthetcognitieveniveauofdegevraagde‘kennishandeling’waaropdeleerlingmoetpresteren.Hetniveauvankennishandelingenlooptincomplexiteitopvanhetlagereordeniveau‘oproepen’tothetmeestcomplexeniveauvan‘creëren’.

Wanneerwedezeskennisniveausvandehandelingsdimensiecombinerenmetdevierniveausvandekennisdimensie,danwordendaarmeedecellenvanhetschemaingevuld.Ditgeeftvoorhetkennisniveauconceptuele kennishetvolgenderesultaat.

a Oproepen:herkennen(uiteenreeksgegevenbegrippenhetnaderomschrevenbegripherkennen),benoemenvanbegrippen(Hoenoemtmenhetverschijnseldat…?Wijzendopeenlegendavaneenkaarteenantwoordlatengevenopdevraag:‘Watisdit?’).

b Begrijpen:interpreterenvaneenverband,illustreren,classificerenvanindividuenondereendiersoort,samenvatten(bijvoorbeeldvanuitvoorbeeldenmetbehulpvanéénoverkoepelendbegrip),vergelijken(vantweestaatsvormen),verklaren(waaromeenkurkblijftdrijvenophetwatereneensteenniet),voorspellen(watgebeurteralsmenkoudwaterineenpanmetheetvetgiet).

c Toepassen:gebruikenenuitvoerenvaneenregel,principeofwetmatigheidineennieuwetaaksituatie(bijvoorbeeldhetkiezenvandemeestzonzekerevakantiebestemmingmetbehulpvanklimaatkaartenindewereldatlas).

d Analyseren:onderscheiden(indelenvanwaargenomengebeurtenissennaarbijvoorbeeldtijdgeestenfunctie),organiseren(hetmakenvaneenindelingvooreenopstel),uiteenleggeninonderdelen(bijvoorbeeldeenorganogrammakenopgrondvaninformatievaneenbedrijf).

e Evalueren:waarderen(opgrondvaneenwaarderingssysteemsterkeenzwakkepuntenvaneenwerkwijzeofbenaderingbijelkaarzetten),beoordelen(tegenelkaarafwegenvanplus-enminpuntenenkomentoteenwaarderendeuitspraak),concluderen(doorcombinatievan

Page 35: Toetsen op School

35 De inhoud van toetsen < Inhoud Index >

bevindingenenwaarnemingeneenalgemeneuitspraakdoen).f Creëren:plannen(hetmakenvaneenplanvanaanpakopbasisvaneerdergeleerdeprincipes

eneeninschattingvaneentaaksituatie),produceren,ontwerpen(ietsnieuwsmakenopgrondvaneenaantalgeleerdeprincipes),uitvinden(hetbedenkenvaneenorigineleoplossingvaneenprobleemdienognooitiemandandershadbedacht),hypothetiseren(opgrondvaneentheorieeennieuwexperimentbedenkenwaarvoormeneenhypotheseopstelt).

Het vaardighedenschema van RomiszowskiRomiszowskiheefteeninvloedrijketaxonomievoorvaardighedenontwikkeld.Daarinonderscheidthijcognitieve,psychomotorische,affectieveeninteractievevaardigheden.Inhetsysteemwordtverdereenonderscheidgemaakttussenreproductieveenproductievevaardigheden.

Tabel 2.5: Het vaardighedenschema van Romiszowski

Reproductieve vaardigheden Productieve vaardigheden

Cognitieve

vaardigheden

Eenbekendeproceduretoepassenopeen

bekendecategorieproblemen:aantallenop

elkaardelen;despellingregelstoepassenbijhet

schrijvenvaneenzin.

Onbekendeproblemenoplossen,eennieuwe

procedureuitvinden,eentheoretischestelling

bewijzen,eeneigentekstschrijvenovereen

onderwerp.

Psychomotorische

vaardigheden

Sensomotorischevaardigheden;herhaalbareof

geautomatiseerdeactieszoals:typen,koppelen-

schakelen,hardlopen.

Strategischevaardigheden;vakmanschap,

zoals:paginaontwerp,voetballen,eenveilige

routerijden.

Reactieve

vaardigheden

Aangeleerdegewoontenenattitudes,zoals:

aandachtbestedenaan,reagerenop,waarderen

van.

Persoonlijke(zelf)controlevaardigheden,

zoals:emotiesbedwingen,zelfbeheersing,

uitstelvanbehoeftebevrediging.

Interactieve

vaardigheden

Socialegewoontes:aangeleerdereacties,goede

manieren,plezierigetoon.

Interpersoonlijkevaardigheden:overreding,

communicatievevaardigheden,discussiëren.

Reproductieve vaardighedenbetreffenrepeterendeactiviteitendiemetweinigofgeenplanninggepaardgaan.Hetgaatmeestalomstandaardproceduresofregelmatigvoorkomende(geautomatiseerde)handelingen.Integenstellingtotreproductievevaardighedendoenproductieve vaardighedeneenberoepopdecreativiteitenplanningsvaardighedenvandelerende.Zegaangepaardmet(complexe)processendiebewustendeelsonbewustverlopen.Delerendemoetdegeleerdeinformatiespontaantoepasseninnieuwesituaties,waarvoorhijnieuweoplossingenmoetbedenken.Cognitieve vaardighedenverwijzennaarintellectuelevaardighedenzoalsanalyseren,hoofd-enbijzakenonderscheiden,schematiseren,beslissen,voorspellen,evalueren,verklaren,probleemoplossen.Bijpsychomotorische vaardigheden(zoalshetbedienenvaneenvoertuig)issprakevansamenwerkingtussenhoofd(waarnemenenervarenvantijdinderuimte)enlichaam(handelingenuitvoeren).Reactieve vaardighedenverwijzennaargevoelens,attitudes,waarden;kortomhetreagerenopanderenenopgebeurtenissen.Interactieve vaardighedentenslottebetreffenvaardighedenwaarbijdebetrekkingtussenmensencentraalstaat,zoalshetvermogentotcommunicerenensamenwerken.

Page 36: Toetsen op School

36 Cito | Toetsen op School < Inhoud Index >

Vakspecifieke indelingsschema’sDetaxonomieënvanAndersonenBloomenRomiszowskizijnnietontwikkeldvooreenbepaaldvakdomein,maarzijnbreedtoepasbaar.Daarnaastbestaanerookvakspecifiekeindelings-schema’swaarinverschillendetypencognitieveoperatieswordenuitgewerktindecontext vaneenvak.Zozijnervoorlezen,rekenenenmodernevreemdetalenvakspecifiekeindelingsschema’smeteenvakspecifieketerminologie.EenvoorbeeldhiervanishetindelingsschemavoorderekentoetsenvanhetCitoVolgsysteemprimaironderwijsdatisopgenomeninPDF2.3indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Procesmatige prestatiemodellenBijprocesmatigeprestatiemodellenwordthetpresterenopeenvakofdomeinvoorgesteldalseensamenhangendgeheelvandeelprocessendiedeelsgelijktijdigendeelsvolgtijdelijkwordendoorlopen.Presterenbetekentdatmenzoweldeafzonderlijkedeelprocessenalsdegeheleketenvandeelprocessenmoetkunnendoorlopen.Alserééndeelprocesnietcorrectdoorlopenwordt,isdetotaleuitvoeringinadequaat.Ditbetekentdaterleerdoelenzijndieinfeitedeketenvanalledeelprocessenomvatten.Indetetoetsenleerdoelenvoorautorijdenvindenweeengoedvoorbeeldvanhetgebruikvaneenprocesmatigprestatiemodel.

Hetuitvoerenvaneenverkeersopgave,tedefiniërenalshetuitvoerenvaneenspecifiekegedragskeuzeineenverkeerssituatie,zoalshetinvoegenopeenautosnelweg,wordtdaarbijopgevatalseenhandelingscyclusmetdevolgendeprocessen:waarnemen,voorspellen,evalueren,beslissen.Waarnemenheeftbetrekkingophetzieneninterpreterenvan(steedsveranderende)informatieindeverkeerssituatie(weg,weer,anderverkeer,eigengedragendatvananderen)endefactorendievanbelangzijnomdeverkeersopgaveoptelossen.Hierbijisdoelbewustkijkenvanbelang.Voorspellenheeftbetrekkingophetvoorspellenvanwatergegevendewaargenomensituatiezal/kangebeurenmetbetrekkingtotheteigengedrag,hetgedragvanandereverkeersdeelnemersendeverkeerssituatie.Bijhetevaluerengaathetomhetinschatteninhoeverredebelangenvanveiligheid,doorstroming,milieuensociaalrijgedragingevaarkomenalsdegemaaktevoorspellingenuitkomen.Bijzowelvoorspellenalsevaluerenstaathetcombinerenenintegrerenvanwaargenomeninformatiecentraal.Diewaargenomeninformatiedienttewordenvergelekenmeteerderinhetgeheugenopgeslageninformatie.Dieligtinhetgevalvanautorijdenvaakopgeslageninherkendescenario’sdietijdenshetopdoenvanrijervaringontstaan.Ervarenbestuurdershebbenbijhetautorijdenbovendiendebeschikkingoverhandelingsscripts:eensoortgeautomatiseerdhandelingsprogrammadatrazendsnelbeschikbaarkomtzodraeensituatiewordtherkend.Hetbeslissenisindiegevalleninhogemategeautomatiseerd.Leerling-bestuurdersmoetenbeslissingenvaaknogbewustnemen.Zevallendaarbijterugophetcorrectenverantwoorduitvoerenvandedeelprocessen.Overigens,alssituatiesergingewikkeldworden,zullenzelfservarenbestuurdersterugvallenopdeelprocessen(Watbetekentdezesituatie?Welkeregelsgeldenhier?Watgebeurteralsiknu…?).Inderijopleidingzienwedateenleerwegwordtuitgestippeldwaarbijleerlingenintoenemendematecomplexereverkeersopgavenlerenoplossen(zoalslinksafslaanopeendrukkemeervoudigekruisingmetdaaroptrams,fietsersdiedoorroodrijden,etc.).Tijdenshetaanlereniseraandachtvoordedeelprocessen(waarnemen,voorspellen,etc.),waardeuitvoeringvandeverkeersopgavealspaakkanlopen.Daaromzienwedatinsystematischerijopleidingenzowelleerdoelenwordenonderscheidendiedegehelehandelingscyclusbehelzenalsdoelendieopéénenkeltaakprocesbetrekkinghebben.Vooreenuitgewerktvoorbeeldmetbetrekkingtotdeverkeersopgave‘invoegenopautosnelwegen’ziePDF2.4indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Page 37: Toetsen op School

37 De inhoud van toetsen < Inhoud Index >

Een model voor competent handelenBijprestereninberoepssituatieswordtvandeleerlingvaakgevraagdomcompetenttehandelen.RoelofsenSandershebbeneenmodelvancompetenthandelenontwikkelddatgebruiktwordtvoorverschillendetoetsenenexamensinhetberoepsonderwijs.Infiguur2.1zijnallecomponentenendesamenhangenertussensamengevat.

Figuur 2.1: Model van competent handelen (Roelofs & Sanders, 2007)

Hetstartpuntomtebepalenofeen(aankomend)beroepsbeoefenaarmeerofmindercompetenthandelt,iseenverzamelingberoepstaken in kritische situaties.Ineenkritische situatiewordtdekandidaatminofmeergedwongenomadequaathandelentelatenzien,opstraffevanernstigenegatievegevolgenvoordebetrokkenen.Daarmeemaaktdesituatiehetonderscheidtussenkandidatendiemeerenminderbekwaamhandelen.Hierbijpasteenanalogiemetskiën:alsergeenbergenzijnen/ofalsergeensneeuwis,dankaneenaspirant-skiërnietlatenziendathijkanskiën.Alseralleenmaarflauwehellingenzijn,dankanergeengoedonderscheidgemaaktwordentussenmatigeengoedeskiërs.Bovendienzijnervoldoendesituatiesnodigomuitsprakentekunnendoenovercompetentieineentaakdomein.Hieronderwordendeonderdelenvanfiguur2.1nadertoegelicht.

Competenthandelende(aankomend)beroepsbeoefenarenkunnenhunhandelenverantwoordenmetbehulpvangeaccepteerdeprofessioneleprincipes.Voorbeeldenhiervaninhetdocentenberoepzijn:leerlingenlerenhetbestineenpositiefenondersteunendgroepsklimaat;voorkenniskanhetaanlerenvannieuwekennisenvaardighedensomsindewegstaan,zodatleerlingenhunbestaandeopvattingenvaakmoetenherstructureren.

Deverantwoordingvanheteigenhandelenstoeltbijvoorkeuropeenpersoonlijkeprofessionele basismetelementenals:• kennis,zoalsbijdocentenhunkennisoverhoeleerlingenlerenlezen,ofoverbegrippenen

wettenindenatuurkunde;• eenontwikkeldrepertoireaanvaardigheden,zoalshetkunnentoepassenvandidactische

werkvormeneninstructiestrategieën,zelfeenaantelerentechniekkunnendemonstreren;• opvattingen en voorkeuren,diemedegestoeldkunnenzijnopberoepsnormen,bijvoorbeeld

bijtandartsenofverpleegkundigen‘hetbevorderenvanhetwelbevindenvancliëntendient

1 Professionele basis • Kennis • Vaardigheden • Opvattingen • Persoonlijke

eigenschappen

3 Handelen

2 Inschatten, afwegen en beslissen

4 Gevolgen

beroepstakenin

kritische situaties

Page 38: Toetsen op School

38 Cito | Toetsen op School < Inhoud Index >

alsuitgangpunttewordengenomenbijeenbehandeling’;• persoonlijke eigenschappen,zoalsgeduld,introversie-extraversie.

Eenbekwameberoepsbeoefenaarkaneentaaksituatieinschatteneneenprofessioneleafwegingmakenoverhoehijgaathandelen.Eenvoorbeeldvanzo’nafwegingdooreen(aankomend)docentkanzijn:‘Geefikbijdebegeleidingvaneengroepsamenwerkendestudententipszodatikmisvattingenuitdewereldkanhelpen?’Of‘Laatikdegroepmetrustomhenzelftelatenontdekkenenuitzoekenofenwaarzevakmatiggezienmisvattingenhuldigen?’

Hetdaadwerkelijkehandelenvan(aankomend)beroepsbeoefenarenzalvaakbijnagelijktijdigofafwisselendmethetprocesvaninschatten,afwegenenbeslissenplaatsvinden.Hetgaatbijhethandelenomhetpassendinzettenvaneenprofessioneelrepertoireaanhandelingen.Bijdocentengaatdatbijvoorbeeldomhetmakenvaneenlesplanning,ontwerpenvanopdrachten,organiserenvandeonderwijsleersituatie,verzorgenvaninstructie,voerenvanouder-gesprekken.Dezebredecategorieënkunnenverderuitgewerktwordeninspecifiekeactiviteitenzoalsvragenstellenenfeedbackgeven.

Delaatstecomponentvanhetmodelbetreftdegevolgen.Slaagtdekandidaaterinombijdeuitvoeringvantakenpositievegevolgenteweegtebrengen?Voorbeeldenvanpositievegevolgenvanhethandelenvandocentenzijn:betrokkenwerkendeleerlingen,leerlingendiezichingroepsverbandnieuwebegrippenoftechniekeneigenmaken.Watwepositievegevolgennoemen,hangtmedeafvandevisieophetberoep.Hetismogelijkdateenresultaatindeenevisiealspositieverwordtgeziendanindeanderevisie.VooreenuitgewerktvoorbeeldvanditmodelziePDF2.5indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Allebeschrevenindelingsschema’sdrageneraanbijdattoetsbareleerdoelenkunnenwordengeformuleerddievariërennaarinhoudenniveauvancognitief,affectief,psychomotorischofinteractiefpresteren.

2.3.3 Toetsbare leerdoelen opstellenZodraduidelijkisopwelkedomeinengepresteerdgaatwordenenwelkindelingsschemadaarvoorhetbestkanwordengebruikt,kunnendealgemenedoelenwordenuitgewerkttottoetsbareleerdoelen.Deverzamelingenvanleerdoelenwerkenalseenkompasvoordetoetsconstructeur.Inhetoverzichtvandeleerdoelenwordtduidelijkwatmenwiltoetsen.

Wileenleerdoeltoetsbaarzijn,danzalhetmoetenvoldoenaaneenaantalkenmerken.Formeeluitgedruktzieteenleerdoeleralsvolgtuit:deleerlinginstadiumAingroepBvanonderwijssoortCvertoontgedrag P in situatiesQ,onderconditiesR,waarbijhulpmiddelen S wordengehanteerd,volgensprestatiestandaardT.

Webesprekenhiernaallecursiefgedruktecomponentenvaneentoetsbaarleerdoel.

De leerling.Hetgaatbijdeformuleringvaneenleerdoelaltijdomeenleerlingofcursistdiezichineenbepaaldefasevaneenopleidingbevindt.

Gedrag.Devraagishier:watmoetdeleerlingkunnentonen,beheersenofweten?Hetgaatomobserveerbaar,aantoonbaargedrag.Gebruikmakendvandewerkwoordenindeindelingsschema’skanmenaangevenwatvandeleerlingwordtverwacht.Uitdrukkingenals‘herkennen’,‘classificeren’en‘plannen’worden

Page 39: Toetsen op School

39 De inhoud van toetsen < Inhoud Index >

gebruiktinhetformulerenvantoetsbareleerdoelen.Dewerkwoordengevenaanwatdeleerlingmoetkunnentonennaafloopvaneenles,eenlessenreeksofeenopleidingsfase.Hetkomtnogaleensvoordatdezewerkwoordenofweltealgemeenofweltespecifiekzijngekozen.Intabel2.6zijnvoorbeeldenopgenomenvanwerkwoordenwaarvanwordtaangenomendatzeachtereenvolgensvoldoendespecifiek,tespecifiekoftealgemeenvanaardzijn.

Tabel 2.6: Minder en meer geschikte werkwoorden bij het formuleren van toetsbare doelen

Te algemene werkwoorden

Bestuderen

Genereren

Afleiden

Interpreteren

Observeren

Testen

Gebruiken

Toepassen

Reageren

Voldoende specifieke werkwoorden

Sorterenopalfabetischevolgorde

Kiezen

Tellen

Beschrijven

Tekenen

Verklaren

Opsommen

Meten

Ineigenwoordennavertellen

Wegen

Groeperen

Ordenen

Te specifieke werkwoorden

Omcirkelen

Aanvinken

Eenlijntrekkentussen

Eencirkelzettenom

Eenkruisjezettenbij

Onderstrepen

Dezelfdekleurgevenals

Deeersteletteropschrijven

Eenkaderzettenom

Degebruiktewerkwoordenzijnaltijdverbondenmeteeninhouduiteenvakgebied,eenberoepstaakofeenalgemenekwaliteit,zoalshetverzorgenvandieren,hetuitvoerenvaneenrijtaak,hetverrichtenvanonderzoek,hetschrijvenvanovertuigendeteksten,enz.

Situaties.Devraagishier:inwelkesituatiesmoetdeleerlingpresteren?Omdatprestatiessterksituatieafhankelijkkunnenzijn,ishetvanbelanguittewerkenwelketaaksituatiesweaanleerlingenwillenvoorleggen.Ofhetnugaatompresterenbinneneenschoolvakofbinneneenberoepscontext,duidelijkmoetzijninwelketaaksituatiesditmoetgebeuren.Omietstekunnenzeggenoverwateenleerlingkan,dientmeninhetleerdoelaantegeveninwelketaaksituatieshetgedraggetoondmoetworden.

Zowordenbijhettoetsenvandoeleninhettaalonderwijsvaakverschillendesoortentekstenonderscheidenwaarinhetdoelgedragmoetwordengetoond.NeemalsvoorbeeldhetluisterennaargesprokenEngelsetekstenmethetdoeldetekstineigenwoordennatevertellen.Ditgerichtluisterenkanbijvoorbeeldgebeurenbijhetnavertellenvanverhalen,betogen,dialogen,enmonologen.Detebeluisterentekstkanbovendienafkomstigzijnuiteenauthentiekedagelijksesituatie(bijvoorbeeldeenopnamevaneennieuwsuitzending),vaneennagespeeldesituatiedieverwijstnaardewerkelijkheid,ofdoordeleraarwordenvoorgelezen.Hetisnietvanzelfsprekenddatleerlingendieerinslageneenvoorgelezentekstineigenwoordennatevertellenditookkunnennahetbeluisterenvaneenauthentiekenieuwsuitzending.Hetisdusvanbelangindedoelstellingaantegeveninwelkesituatiesdeleerlingdienttepresteren.Andersgezegd,daarmeewordendegrenzenvanhetsituatiedomeinwaarbinneneenleerling

Page 40: Toetsen op School

40 Cito | Toetsen op School < Inhoud Index >

moetpresterenbepaald.

Condities.Devraagishier:onderwelkeomstandighedenmoetdeleerlingpresteren?Deomstandighedenwaaronderleerlingenmoetenpresteren,deprestatiecondities,hangensterksamenmetdetekiezentaaksituaties,maarvallenernietmeesamen.Deuitwerkingvandeprestatieconditiesindetetoetsenleerdoelendientervooraltoeomvariatietekunnenaanbrengenindegewenstemoeilijkheidsgraadvaneentoetstaak.Indeleerdoelenmoetduidelijkwordenonderwelkeomstandighedeneenleerlinghetgevraagdegedragmoetkunnentonen.BijhettoetsenvandoelenvoorbijvoorbeeldhetbegrijpendlezenvanEngelstaligetekstenwordentekstengebruiktdievariëreninmoeilijkheidsgraadvanwegehunlengte,hetgebruikvancomplexezinsconstructies,enalofnietbekendebegrippen.Ditallesomerzekervantezijndatleerlingendebetekenisvantekstenlerendoorgronden,ookalzijndezesomsmoeilijkgeschreven.Doordeprestatieconditiestevermeldenwordtduidelijkbinnenwelkegrenzenvantaakcomplexiteitleerlingengeachtwordentepresteren.

Hulpmiddelen.Devraagishier:welkehulpmiddelenmag/moetdeleerlinginzettenbijhetuitvoerenvanhetgevraagdegedrag?Hetkanzijndathulpmiddelenjuistnietgewenstzijn,wanneerwebijvoorbeeldverlangendatleerlingenkennisdirectparaathebbenofwanneereenbewerking‘uithethoofd’moetwordengedaan,zoalsbijhoofdrekenenofschattendrekenen.Inanderegevallenishetgebruikvanhulpmiddelenjuistnodigomeenhogereordevaardigheidtetonen,zoalshetgebruikenvaneenspreadsheetomingewikkelderekenbewerkingenteorganiseren.Inhetlaatstegevalteltnietdeparatekennisofdefoutlozebewerkingmaardehogereordevaardigheidomeengeschiktspreadsheetoptezetten.Anderevoorbeeldenvanhulpmiddelenzijneenatlas,eenroutenavigator,eenstukgereedschap.Eendoelstellingverandertinhoudelijksterkwanneerhulpmiddelenwelofjuistnietwordenopgenomen.Neemalsvoorbeeldeendoelstellingwaarinhetoplossenvaneencontextrijknatuurkundigprobleemcentraalstaat.Wanneergeenformule-informatiemagwordengeraadpleegd,wordteenzwaarberoepgedaanopreproductievanformulekennis.Leerlingendiedezekennisnietparaathebben,zullenhetprobleemnietadequaatkunnenoplossen,terwijlzedatmogelijkwelhaddengekundalsdeformulesbeschikbaarwarengeweest.Wanneerdiereproductievandeformuleessentieelwordtgeacht,moetdatindegesteldetoetsdoelenvoorafduidelijkwordengemaakt.Dedocentmoetindatgevalkunnenverantwoordenwaaromparateformulekennisnoodzakelijkis.Gaathetdenatuurkundeleraareromdatzijnleerlingenhetprobleemjuistkunnenplaatsendanisparateformulekennisnietnoodzakelijk.

Prestatiestandaard.Centraalstaanhierdevragen:hoegoedmoetietswordenbeheerst? Welkecriteriageldenvoorde(goede)uitvoering?Wanneerisdedocenttevredenoverhetgetoondegedragofdegedemonstreerdekennis?Wanneerniet?Hetlaatsteonderdeeldateenleerdoeltoetsbaarmaakt,betreftdeprestatiestandaard waartegenhetgedragvandeleerlingwordtafgemeten.Zokaneenleerdoeloverhetschrijvenvantekstenindeeigenmoedertaalinformatiebevattenoverdekwaliteitvandegeschreventekst(hetproduct),zoalsdematevangestructureerdheid,degebruikteinterpunctieendeovertuigingskracht.Ookzouhierbijdeaanpakomtekomentoteengeschreventeksteentetoetsenleerdoelkunnenvormen,zoalshetaantalgehanteerdeinformatiebronnen(zoalsobservaties,gesprekken,tijdschriftartikelen),dekwaliteitwaarmeedekernvandeinformatieisgeorganiseerdineenschema,enz.

Bijhetspecificerenvandeprestatiestandaardinhetleerdoelhelpthetomtebedenkenwatdegevolgenvanadequatetaakuitvoeringzoudenmoetenzijn.Diewenselijkegevolgenkunnenvervolgensalselementenvandeprestatiestandaardwordenvermeld.Ditisvooralaandeordebijtalvan(praktische)vaardighedenzoalsuittevoereninleef-enwerksituaties.Bijvoorbeeld

Page 41: Toetsen op School

41 De inhoud van toetsen < Inhoud Index >

bijspreekvaardigheidindeEngelsetaaliseenwerkelijkgevolgdatdesprekerietsgedaankrijgtvandeander.Deautomobilistlostverkeersopgavenzoopdatzevooranderengeenhinderofgevaaropleveren.Deleerlingbaktfritesdiedekoperlekkervindt.

Watwemethetvoorgaandewillenbenadrukkenisdathetuitwerkenvantoetsbareleerdoelengeenwoordenspelis,maareennoodzakelijkevoorbereidingvoorhetuitwerkenvantoetsenentoetsopgaven.

Hieronderzijn,geletopdebovengenoemdekenmerken,enkelevoorbeeldenvanmeerenminderadequaatgeformuleerdeleerdoelenweergegeven.Wemerkenerbijopdatookdeverbeterdeformuleringennogverderkunnenwordengespecificeerd.

Voorbeeld 1Te specifiek:deleerlingkaneenkruisjezettenopeenafbeeldingteraanduidingvandecorrectemeetkundigevorm(cirkel,driehoek,rechthoek,vierkant,ellips).Beter:deleerlingkaneenafbeeldingvaneengeometrischevorm(cirkel,driehoek,rechthoek,vierkant,ellips)identificerenalsdenaamvandezevormwordtgenoemd.

Voorbeeld 2Geen situatie genoemd:derijinstructeurordentdeaantelerenrijtakenvaneenvoudignaarcomplex.Beter:derijinstructeurordentdeaantelerenrijtakeninhetkadervaneenregulierrijlesprogrammavaneenvoudignaarcomplex.Metprestatieconditie:inhetkadervaneenregulierrijlesprogrammamaaktderijinstructeur,afhankelijkvandebeginsituatievandeleerling,eenbijdeleerlingpassendeordeninginaantelerenrijtakenvaneenvoudignaarcomplex.

Voorbeeld 3Gedrag te algemeen:deleerlingbaseertzijnconclusiesopbevindingenuitzijnonderzoek.Beter:ineendiscussieparagraafvaneenonderzoeksverslagonderbouwtdeleerlingzijnonderzoeksconclusiesmetempirischebevindingenuithetverrichteonderzoek.

Voorbeeld 4Prestatiestandaard te vaag:deaspirantbestuurdervoegtopjuistewijzeinopdoorgaandewegenenautosnelwegen.Beter:deaspirantbestuurdervoegtopeenzodanigewijzeinopdoorgaandewegenenautosnelwegendatandereverkeersdeelnemersniethoevenintehoudenofuittewijken.

Page 42: Toetsen op School

42 Cito | Toetsen op School < Inhoud Index >

2.4 Bepalen van toetstaken

Eenvolgendestapindeuitwerkingvandetoetsinhoudisdekeuzevantoetstaken.Hoebeterdetoetstakenaansluitenbijdeleerdoelen,destebeterisdekwaliteitvandeuiteindelijketoets.Meteentoetstaakbedoelenweéénopgavewaarinminstenséénleerdoelwordtgetoetst.

Omnategaanofeentoetstaaktoetstwatinhetleerdoelstaatvermeld,moetenwedusantwoordkunnengevenopdevragen:• Noodzaaktdetoetstaakdeleerlingomhetbedoeldegedragtetonen?• Komtdeindetoetstaakaangebodentaaksituatieovereenmetdebeoogdetaaksituaties?• Komenindetoetstaakdebedoeldeprestatieconditiesnaarvoren?• Krijgtdeleerlingindetoetstaakdekanstevoldoenaandebedoeldeprestatiestandaard?

Wateentoetstaakfeitelijktoetst,hangtafvandekenmerkenvandietoetstaak.Kleineveranderingenintoetstakenkunnendanookgrotegevolgenhebbenvoorwatgetoetstwordt.Daaromzettenwedebelangrijkstekenmerkenvantoetstakenopeenrij.Weonderscheidenzeshoofdkenmerken.

1 Authenticiteit2 Kritiekefactoren3 Soortenstimuli4 Taakstructurering5 Responskenmerken6 Gevolgenvantaakuitvoering

AuthenticiteitHeteerstekenmerkbetreftdeauthenticiteitvandetaaksituatiediekanuiteenlopenvanonveranderdecht,gereduceerdecht,gesimuleerd,hands-offtotformeel.Onveranderd echte taaksituatieswordengebruiktvoorhetbeoordelenvanprestatiesinreëlewerksituaties.Kenmerkendvoordezetaaksituatiesisdatzewordenuitgevoerdindecomplexeonveranderdewerk-ofleefsituatie.Indiereëlesituatiedienenzichmeestalmeerdereproblementegelijkertijdaan.Erkunnenredenenzijnomkandidatentoetstakenvoorteleggenwaarbijsprakeisvaneengereduceerd echte taaksituatie.Indezesituatieisdeomvangvandetaaksituatiebeperkter. Degevolgenvangoedeofzwakkeuitvoeringzijnnogsteedsmerkbaarvoordeuitvoerendezelf,deontvangers,anderenofobjecten.Verschillendestorendebronnenkunnenechterwordenuitgeschakeld.Bijvoorbeeldhetvoerenvantelefoongesprekkenineenrustigeruimteinplaatsvanineenruimtewaaranderenpratenenbinnenlopen.Dereductieheeftbetrekkingopdeomvangvandesocialecontextwaaringewerktwordt.Tegelijkertijdmoetbeseftwordendatdemoeilijkheidgraadvandetoetstaakhierdoorook(ongewenst)kanverminderen.Bijgesimuleerde taaksituatiesmoeteenkandidaatpresterendooreentaakuittevoerenondernagebootsteomstandigheden.Inditsoorttaaksituatieswordenaspectenvandenatuurlijkewerk-ofleefsituatievereenvoudigd,gemanipuleerdofzelfsweggelaten.Vaakbestaatdemogelijkheiddesituatie‘stiltezetten’,zoalsineenrijsimulatorofbijeenrollenspelmetacteurs.Vergelekenmetechtetaaksituatiesishetaantalgelijktijdigegebeurtenissenkleiner,ookalzijndesimulatieszeerintelligentopgezetofgeprogrammeerd.Bijhands-off taaksituatiesissprakevanbeschreven,geïllustreerdeofgefilmdetaaksituatiesdiezichnietinhethier-en-nuvoordoen.Deleerlinghandeltnietindesituatiezelf.Erzijndanookgeendirectegevolgenvanhethandelenomdatergeensprakeisvanrechtstreekseinteractie.Tevenswordtdecomplexiteituitdewerkelijkheidgereduceerdtotdevoordetaakessentiëleinformatie.Bijhands-offtaaksituatiesissprakevaneenrelatieopafstandmetsituatiesuitde

Page 43: Toetsen op School

43 De inhoud van toetsen < Inhoud Index >

werkelijkheid:detakenzijningebedineengebruikscontext.Voorbeeldenvanhands-offtaaksituatieszijn:contextrijkerekensommen,waarbijeenleerlinguiteendenkbeeldigesituatiederekenopgavemoetherkennenenoplossenofhetluisterennaareenopgenomenradio-uitzendingindeklasenhetbeantwoordenvanvragendaarover.Totslotonderscheidenweformele taaksituaties,waarineenrelatiemeteenleef-ofwerksituatieontbreekt.Toetstakeninformeletaaksituatieskunnennietteminafhankelijkvandedoelstellingzeergoedwordeningezet.Denkaanhettechnischlezenvanwoordenenzinnendatindeeerstejarenvanhetbasisonderwijsgeautomatiseerdensneldienttegaanverlopen.Anderevoorbeeldenzijninvuloefeningenwaaringrammaticaregelswordengeoefendofhetuitwerkenvanspecifiekeformulesineenrekenblad.

Kritieke factorenHettweedekenmerkvandetoetstaak,dekritiekefactorenindetaaksituatie,wordtsterkbepaalddoordeindetoetsdoelenvastgesteldeprestatiecondities.Alshettoetsdoeldaaromvraagt,moeteninbijvoorbeeldeentoetstaakvoorrijvaardigheidverschillendeprestatie-conditiesvertegenwoordigdzijn,zoalsuiteenlopendewegtypen,verschillendeaantallenverkeersdeelnemers,variërendeweersomstandigheden.

Soorten stimuliHetderdekenmerkbetreftdetegebruikensoortenstimuliindetoetstaak.Destimulivormenhetconcretetoetsmateriaalwaarindeopdrachtvervatligt.Hethangtsterkvanhettetoetsenleerdoelafwelkestimulimoetenwordengekozen.Alseentetoetsendoelindecriterium-situatieeendynamischesituatievraagt,zoalshetopmerkenvanveranderingenindeverkeers-situatie,danvolstaateentoetstaakmeteenfotoniet,maarmoetminimaaleenfilmpjegebruiktworden.Eentoetstaakalshetbenoemenvanverschillendetypenbottenengewrichtenvanhetmenselijklichaamkanmetbehulpvanfoto’sof3Dmodellen,maarmoetsomsaandehand vaneenechtepersoon,wanneerhetbenoemenbijvoorbeeldgaatinhetkadervanhetdiagnosticerenvaneengewrichtsblessure.Hetkiezenvandepassendestimuliiscruciaal,omdathetgebruikervanmedebepaaltwaterfeitelijkgetoetstwordt.Alsdemeestgewenstetoetsstimulinietbeschikbaarzijnofbijvoorbeeldteduur,dankaneengevolgzijndatbepaaldeleerdoelennietgetoetstkunnenworden.

TaakstructureringHetvierdekenmerkvaneentoetstaak,taakstructurering,endedaarmeeinverbandstaandekenmerkenvanderesponsendeaardvandegevolgenvandetaakuitvoering,ishetmeestcomplexekenmerkvaneentoetstaak.HiernawordenelfaspectenvanditkenmerkgenoemdwaarvaneenschematischoverzichttevindenisinPDF2.6indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.InPDF2.7wordendekenmerkentoegelichtaandehandvantweevoorbeelden.

• Duur:hoelangmoeteentaakdurenomhetindedoelstellinggevraagdetekunnenaantonen:kortetaken,uittevoerenbinnenéénlesuur,langetermijntaken,dieenkelewekentoteenhalfjaarinbeslagkunnennemenoftussenvormen?

• Opgeroepen/spontaan:moethetindedoelstellinggevraagdewordenaangetoondintakenopaanvraagofintakendieineennatuurlijkesituatieoptreden?

• Structurering probleemdefinitie:welkestructuurindeprobleemdefinitiemoetgegevenwordengezienhetgevraagdeindedoelstelling:eenongestructureerde,matigofsterkgestructureerdeprobleemdefinitie?Bijtoetstakenmeteenongestructureerdeprobleem-definitiemoetdeleerlinghetprobleemeerstzelfinkaartbrengenalvorenshetoptelossen.

• Taakinstructies:inwelkematemoetentaakinstructieswordengegevenopdathetindedoelstellinggevraagdewordtgemeten?Moetenveelofweinigaanwijzingenworden

Page 44: Toetsen op School

44 Cito | Toetsen op School < Inhoud Index >

gegevenwatbetreftdetevolgenwerkwijze,hetmateriaalgebruik,hetgereedschapgebruik,hethulpmiddelengebruikendeaardvandegewensteoplossing?

• Alternatieve werkwijzen:vereisthetindedoelstellinggevraagdeéénvastewerkwijzeofzijnermeerderemogelijkewerkwijzen?

• Alternatieve oplossingen/producten:vereisthetindedoelstellinggevraagdeéénspecifiekecorrecteoplossingofproductofzijnmeerderecorrecteoplossingen/productenmogelijk?

• Groepsprestaties:verwijsthetgevraagdeindedoelstellingnaareentoetstaakwaarinkandidatenindividueelwerken,ingroepenofcombinatiesdaarvan?

• Interactiviteit:vereisthetindedoelstellinggevraagdedathethandelenvandekandidaatleidttotveranderingindetaaksituatie?

• Materiaalgebruik:vereisthetindedoelstellinggevraagdebepaaldetegebruiken/bewerkenmaterialen(bijvoorbeeldpapier,klei,voer,hout)ofjuistniet?

• Gereedschappen:vereisthetindedoelstellinggevraagdealofniethetgebruikvaninstrumenten(meters,potlood,pen,messen,rekenmachine,computer),machinesofvoertuigen?

• Strategische hulpmiddelen:vereisthetindedoelstellinggevraagdehetalofnietgebruikenvanstrategischehulpmiddelen(bijvoorbeeld:atlas,woordenboek,tabellenboek,stappenplan,internetbronnenzoalswikipedia,gebruikershandleiding,routenavigator).

ResponskenmerkenHetvijfdekenmerkvantoetstakenbetreftdegevraagderespons.Allereerstbetreftditderesponsmodaliteit.Devraaghierbijiswelkemodaliteithetbestpastbijhetindedoelstellinggevraagde:moetdekandidaatverbaal(schriftelijk-mondeling),non-verbaal,symbolisch,performaal(grafisch,fysiek,beeldend)presterenindetoetstaak?Daarnaastkanderesponsstructuurvandetoetstaakvariëren.Issprakevaneenopenofeengeslotenrespons(bijvoorbeeldantwoordoptiesbijmeerkeuze-opgavenoftekiezenmeervoudigerespons).Eenvolgendaspectbetreftderesponstijd:vereistdetoetstaakdateronmiddellijkeenactie/antwoordkomt?Isdetoetstijdbeperkt?Totslotiserdevereiste mate van verfijning:hoeverfijnddientderesponstezijngezienhetindedoelstellinggevraagde.Daarbijvalttedenkenaandelengte(bijvoorbeeldeenkortantwoord,eenkortessay,eenlangessay,eenverslag),degevraagdematevannauwkeurigheidinrespons(bijvoorbeeldeenglobaalofexactantwoord),deeisvanvaktaal.

Gevolgen van taakuitvoeringHetlaatstekenmerkvandetoetstaakbetreftdegevolgenvantaakuitvoering:inhoeverrehebbendevolgensdedoelstellinguittevoerentakenwelofgeendirectegevolgenvoordeuitvoerendezelf,ontvangers,anderenofobjecten?Ookwanneerdekenmerkenvantoetstakenwordengevarieerd,heeftdatgevolgenvoorwatfeitelijkgemetenwordt.Hetisdanookzaaktezorgenvoorgelijkvormigheidtussenhettetoetsenleerdoelendetoetstaak.HetschematischoverzichtinPDF2.6kandaarbijhelpen.

2.5 Opstellen van een toetsplan

Nadatdedoelenvandetoetszijnuitgewerkt,kanhettoetsplanwordenopgesteld.Daarinstaatwelketoetsvormenwanneergebruiktgaanwordenvoorsummatieveofformatievedoeleinden.Hettoetsplansteltdocenteninstaatregelmatigterugkoppelingtegevenaandeleerlingenenhunonderwijsaantepassenaanwatdeleerlingennodighebben.Bovendienkrijgenleerlingenmaarookoudersduidelijkheidoverwatdeschoolbelangrijkachtomteleren.

Bijdeuitwerkingvanhettoetsplanstaandevolgendevragencentraal:• Metwelketoetsvormenwordendeverschillendeleerdoelengemeten?

Page 45: Toetsen op School

45 De inhoud van toetsen < Inhoud Index >

• Hoewordentoetsengespreidoverdetijd?• Welkgewichtkrijgendeverschillendetoetsvormenbijdebeoordelingvanleerlingen?

Bijhetopstellenvaneentoetsplanishetzaakeenevenwichttevindeninhetgebruikvanverschillendetoetsvormen.Omwelkeinhoudvaneentoetshetookgaat,aangeradenwordtomgebruiktemakenvaneenevenwichtigemixvantoetsvormen.Eenevenwichtigemixvantoetsvormenzorgtervoordatpotentieelzwakkekantenvandeenetoetsvormgecompenseerdwordendoordepotentieelsterkekantenvandeandere.‘Sterk’en‘zwak’hebbenbetrekkingopde betrouwbaarheidenvaliditeitvandeverschillendetoetsvormen.Zozaleentoetsbestaandeuit meerkeuzevragenmeestalbetrouwbaarderzijndaneenproevevanbekwaamheidterwijldezelaatstetoetsvormveelauthentiekeris.

Zoalsinparagraaf2.4werdbetoogd,ishetverstandigstiltestaanbijdegewenstetypentoetstakenvoordatmendefinitiefvooreenbepaaldetoetsvormkiest.Hetkanheelverhelderendzijnombijdevaststellingvantoetsvormeneersteenaantalprototypischeopgaventeontwikkelendiemenindegewenstetoetsvormengaatgebruiken.Daarbijstaatdevraagcentraalofdegesteldeleerdoelenmetdebeoogdetoetstakenkunnenwordengetoetst.Veelhangtdanafvandekenmerkenvandeopgaven.Vervolgenskanalofnietbeslotenwordenomdoortegaanmeteentoetsvorm.

Eenvoorbeeldvaneentoetsprogrammavooraspirantrijinstructeursstaatinfiguur2.2.Hierinstaandevierverschillendetoetsvormendieafgenomenwordenomdekennisbasisendecompetentievanaspirantrijinstructeursvasttestellen.Indefiguurzienwedat‘verantwoordrijdenalseerstebestuurder’doormiddelvaneencasustoetseneenpraktijkritbeoordeeldwordtterwijlhet‘verwoordenvandetaakprocessen’alleendoormiddelvandepraktijkritbeoordeeldwordt.Voormeerinformatieoverdetoetsvormenendetoetstakendieindetoetsengebruiktworden,verwijzenwenaarVissers,NägeleenRoelofs(2006).

Competentiedomeinen Kennisbasis Beroepstaken

Casustoets Situatie-

beoordelings-

toets

Praktijkrit Proeven van

bekwaamheid/

videodossiers

Cluster 1 Competent in verkeersdeelname

1.1 Verantwoordrijdenalseerstebestuurder

1.2 Verwoordenvandetaakprocessen

1.3 Voertuigbeheersingalstweedebestuurder

X

X

X

X

X

Cluster 2 Competent in voorbereiden van lessen

2.1 Lesplanningopmaatmaken

2.2 Uitwerkenvanrijvaardigheidsdidactiek

2.3 Organiseren

X

X

X

X

X

X

Cluster 3 Competent in uitvoeren van lessen

3.1 Instructiegeven

3.2 Coachenvanhetleerproces

X

X

X

X

X

X

Cluster 4 Competent in evalueren en bijstellen

4.1 Beoordelenvanrijvorderingen

4.2 Reflectieenbijstellingeigenhandelen

X X X

X

Figuur 2.2: Toetsplan voor aspirant rijinstructeurs (Vissers, Nägele & Roelofs, 2006)

Page 46: Toetsen op School

46 Cito | Toetsen op School < Inhoud Index >

Deplanningvandeverschillendetoetsvormenkanzichuitstrekkenoververschillendetijdseenheden:eenschooljaar,eentrimester,eeninstructie-eenheidofeenles.Ineentoetsplankunnenenkelemalenperschooljaarlandelijketoetsenwordenopgenomenomdealgemenevoortgangvanleerlingentetoetsenentrendstesignaleren(bijvoorbeeldeenopgelopenachterstand),leerlingenteplaatsenofhenadviestegeven.Opscholenvoorprimaironderwijswordtinditverbandveelgebruikgemaaktvaneenleerlingvolgsysteemwaarintoetsenzijnopgenomenvoortaal(technischlezen,begrijpendlezen,spellen),rekenen(zoalsgetallen,bewerkingen,breuken,meten)ofstudievaardigheden.Inhetvorigehoofdstukzagenwedaterookvoorhetvoortgezetonderwijsenhetberoepsonderwijstoetsenbeschikbaarzijnwaarmeelerarendestudievoortgangvanhunleerlingenkunnennagaanenwaarmeeleerlingenbeterekeuzesvoorvervolgonderwijskunnenmaken.

Eengrootdeelvaneentoetsplanbehelstdeplanningvansummatievetoetsenwaarmeenagegaanwordtof(detussen)doelenbereiktzijn.Dezetoetsenkunneneeninstructie-eenheid,eentrimesterofeenschooljaarbetreffen.Aandehandvandezetoetsenwordenleerlingenbeoordeeld,wordtbeslotenhenaldanniettebevorderenoftecertificeren.InscholenvoorvoortgezetonderwijszienwedatdegeplandetoetsenwordensamengevatineenzogehetenProgrammavanToetsingenAfsluiting(PTA).Hetgaathiermeestalomzelfontwikkeldetoetsen,maarookcommercieelverkrijgbaretoetsenkunnenonderdeelvormenvaneenPTA. VooreenvoorbeeldvaneenPTAziePDF2.8indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Bijdeplanningvaneentoetsplanmogenformatievetoetsennatuurlijknietontbreken.Zoalsweinhoofdstuk1reedsopmerkten,gevenderesultatenopformatievetoetseninzichtinsterkeenzwakkepuntenvandeleerlingenondersteunenhetnemenvandidactischemaatregelenopvrijkortetermijn.

Indepraktijkkomthetnogaleensvoordatmentoetsendiemeteenformatiefoogmerkwerdenafgenomenlatertochlaatmeetellenbijeeneindbeoordeling.Omdezepraktijktevoorkomen,moetineentoetsplanstaanwelketoetsenwelenwelketoetsennietgebruiktzullenwordenbijhetvaststellenvaneeneindbeoordeling.

2.6 Samenstellen van afzonderlijke toetsen

Delaatstevoorbereidendestapvoordeeigenlijkeconstructievantoetsopgavenishetmakenvaneenblauwdrukvoordesamenstellingvandetoets(en).

Omervoortezorgendateentoetseenrepresentatieveafspiegelingisvanwatgetoetstmoetworden,dientmendevolgendevragentebeantwoorden:• Welkgewichtkrijgendeverschillendeleerdoelenindetoets?• Hoebereikenweeengoededekkingvandoelenenonderwerpen?• Hoebereikenweeengoededekkingvanzowellagerealshogereordeprocessen?• Hoebereikenweeengoededekkingvanbeoogdetoepassingssituaties?• Hoebereikenwedatdeprestatieookechtvandeleerlingzelfis?

Demeestevandezevragenkunnenmetbehulpvaneentoetsmatrijsbeantwoordworden. Webeschrijvenditaandehandvaneenvoorbeeld.Tabel2.7toonteenvoorbeeldvaneenbeknoptetoetsmatrijs,zoalsdieisgehanteerdbijdeconstructievantheorie-examensvoorkandidaat-rijinstructeurs.Hettetoetsendomein,theorievanderijtaak,isvoorafgaandhieraanuiteengelegdineenbeschrijvingvanderijtaakvolgensmodernegedragswetenschappelijke

Page 47: Toetsen op School

47 De inhoud van toetsen < Inhoud Index >

modellenophetterreinvanrijvaardigheid.Ditresulteerdeineenonderscheidinhoofdtaken(hierafgebeeldindelinkerkolom)endeeltaken,kwaliteitscriteriawaaropdeadequaatheidvandetaakuitvoeringdiendetewordenbeoordeeldendeaardvanhettebevragentaakproces.

Tabel 2.7: Toetsmatrijs examenthema ‘Theorie van de rijtaak’: aantal waarneem- en voorspel/evalueeropgaven (VE) en aantal handelingskeuzeopgaven (H) per hoofdrijtaak (aangepast naar Roelofs & Vissers, 2007)

Kwaliteitscriteria van autorijden

Veiligheid Doorstroming Milieu Sociaal rijgedrag Totaal

VE H VE H VE H VE H

Voorbereidenenafsluiten

vanverkeersdeelname

2 0 2 0 1 0 0 0 5

Stromen 4 2 4 1 1 1 1 1 15

Kruisen 7 3 5 1 0 0 3 1 20

Zijdelingsverplaatsen 7 3 3 1 1 1 3 1 20

Totaal 20 8 14 3 3 2 7 3 60

Ineenbijeenkomstmetvertegenwoordigersvaneenexamenopgavencommissieisbepaaldwelkgewichtiederecombinatievankwaliteitscriteriaentaakprocessenenerzijdsenrijtakenanderzijdszoumoetenkrijgen.Veiligheidwerdhierbijbeschouwdalshetbelangrijkstecriterium,gevolgddoorachtereenvolgensdoorstroming(vlotrijden),sociaalrijgedragenmilieusparendrijden.Bijdetaakuitvoeringwerden‘kruisen’en‘zijdelingsverplaatsen’alsmeestcrucialerijtakenvandetotalerijtaakbeschouwd,omdatdaarbijdemeesteontmoetingenmetanderenplaatshebben.Uitgaandevaneenaantalvan60opgavenzijnnahetverkrijgenvanconsensusdeaantallenteontwikkelenopgavenverdeeldoverdecellen.Indetabelzienwedathetgrotetoegekendegewichtaanveiligheidzichtbaarterugtezienisinhetaantalvan28itemsdatbesteedmoetwordenaanditonderdeel.Ookzienwedatvoorderijtaak‘Voorbereidenenafsluitenvanverkeersdeelname’geenhandelingskeuzeopgavenwordenontwikkeld.Meerinhetalgemeenzijnermeervoorspel-enevalueeropgavengeconstrueerddanhandelingskeuzeopgaven.Ookditiseengevolgvaneenkeuzevandeexamenopgavencommissie.

Hoewelditvoorbeeldisgenomenuitdecontextvanprofessioneletoetsconstructie,geldendehiervoorgenoemdevragenookvoortoetsendieindeschoolpraktijkgebruiktworden,zoalseenschriftelijkeoverhoring,eenproefwerkofeenoptegevenwerkstuk.Hetgebruikvaneentoetsmatrijsvoorkomtdatonevenredigveelofjuistteweinigaandachtbesteedwordtaanbepaaldeleerdoelenofdatdetoetseenzijdiggerichtisoplagereofjuisthogereordedenkprocessen.

Tot slotTerugkerendnaardeopzetvandithoofdstukkunnenweconstaterendatdebelangrijkstestappenvandebepalingvantoetsinhoudzijnbeschreven.Wezijnindetailingegaanopindelingsschema’somprestatiesvanleerlingensystematischuittewerken,zodatdaaroptoetsbareleerdoelenkunnenwordengebaseerd.Aandeordekwamenvervolgensdeelementendieineentoetsbaarleerdoelthuishoren.Daarnaiseenmethodiekbeschrevenomtebepalenhoeeentoetstaakeruitzoumoetenzien,wilhetbeoogdeleerlinggedragdaarmeeopgeroepenworden.Totslotisingegaanopdeplanningvantoetsvormenendesamenstellingvanafzonderlijketoetsen,omdewat-vraagvantoetsingverdergestaltetegeven.

Page 48: Toetsen op School

48 Cito | Toetsen op School < Inhoud Index >

Indehoofdstukken6,7en8komenenkeleveelgebruiktetoetsvormenaandeorde(zoalstoetsenmetopenengeslotenvragenenpraktijktoetsen),waarbijmetnameinhoofdstuk8allestappenvantoetsspecificatienogeensderevuepasseren.Ookdanzalblijkendatinhoudelijkeafstemmingtussendetezettenstappeneenbelangrijkevoorwaardeisvoorkwalitatiefgoedetoetsen.

Page 49: Toetsen op School

3 De betrouw

baarheid van toetsscores

3 De betrouwbaarheid van toetsscores

Page 50: Toetsen op School

50 Cito | Toetsen op School < Inhoud Index >

3 Debetrouwbaarheidvan toetsscores

Piet Sanders

De betrouwbaarheidvantoetsscoresishetonderwerpvandithoofdstuk.Watindetheorieovertoetsendieaangeduidwordtmetklassieketesttheorieonderdebetrouwbaarheidvantoetsscoresverstaanwordtenhoediebetrouwbaarheidmeteenbetrouwbaarheidscoëfficiëntgekwantificeerdkanworden,wordtinparagraaf1uiteengezet.Hoemetbehulpvandestandaardmeetfoutdebetrouwbaarheidvanindividueletoetsscoresbepaaldkanworden,wordtinparagraaf2behandeld.Devraaghoedebetrouwbaarheidvantoetsscoresgekwantificeerdkanwordenintermenvanmisclassificaties,datwilzeggentenonrechtegezakteofgeslaagdeleerlingen,staatcentraalinparagraaf3.Dezelfdevraagkomtinparagraaf4aandeordeingevalersprakeisvanmeerderetoetsenzoalsbijeenhavo-examen.Opwatdeinvloedvanbeoordelaarsisopdebetrouwbaarheidvantoetsscores,wordtinparagraaf5ingegaan.Hoedebetrouwbaarheidvantoetsscoresverhoogdkanworden,komtinparagraaf6aandeorde. Tenslottewordeninparagraaf7adviezengegevenvoordedagelijksetoetspraktijk.Vooreengoedbegripvandithoofdstukisenigekennisvaneenbeperktaantalstatistischebegrippengewenst.Voorzoverdiebegrippennietindetekstuitgelegdworden,verwijzenwenaarWikipedia,GoogleofdeToetstechnischeBegrippenlijstvanCito,tevindenopwww.cito.nl > Onderzoekenwetenschap>Kenniscentrum>ToetstechnischeBegrippenlijst.

3.1 Betrouwbaarheid van toetsscores

Ondertoetsscoresverstaanwedescoresdieleerlingenopeentoetskunnenbehalen.Alsvoorbeeldvaneentoetsnemenwedehavo-toetsEngels2009dieeenvandetoetsenvanhethavo-examen2009was.OpdewebsitevanCitozijndeexamengegevensvandelaatstedriejaarbeschikbaar.Daaromverwijzenwevoordeteksten,devragenenhetcorrectievoorschriftvandehavo-toetsEngels2009naarwww.alleexamens.nl>HAVO>Engels:2009–Tijdvak1. Dehavo-toetsEngelsuit2009bestaatuit43vragenwaarvan34meerkeuzevragenen9open vragen.Opdevragenkunnen1of2scorepuntenbehaaldwordenenintotaalkunnen49scorepuntenbehaaldworden.Inplaatsvandetermenvragen,opdrachten,takenofonderdelenwordtindithoofdstukendeanderehoofdstukkenookweldegenerieketerm‘items’gebruikt.

Opdehavo-toetsEngels2009kunnendusminimaal0scorepuntenenmaximaal49score-puntenbehaaldworden.VerondersteldateenleerlinggenaamdJan42scorepuntenbehaalt.Die42scorepuntennoemenwezijngeobserveerdetoetsscore.AlswedezetoetseentweedekeerbijJanzoudenafnemendanishetnietwaarschijnlijkdathijopnieuw42scorepuntenzoubehalen.Dehavo-toetsEngelsofeenanderetoetseenaantalkerenafnemen,kannatuurlijknooitinwerkelijkheidplaatsvinden.Hetiseengedachte-experimentomeenbelangrijkbegripteintroduceren,namelijkdatvaneenverdelingvanmogelijkegeobserveerdescoresvaneenleerling.Elkeleerlingdiedehavo-toetsEngelsaflegt,heeftzo’nverdelingdiewezoudenkunnenaanduidenalsde‘privéverdeling’vandieleerling.Alswedehavo-toetsEngelseengrootaantalkeren,bijvoorbeeld1000keer,bijJanhaddenkunnenafnemen,danzoudatindevolgendeprivéverdelingvanJangeresulteerdkunnenhebben:100keer36scorepunten,200keer38score-punten,400keer40scorepunten,200keer42scorepuntenen100keer44scorepunten.

Page 51: Toetsen op School

51 De betrouwbaarheid van toetsscores < Inhoud Index >

De gemiddeldetoetsscorevandie1000geobserveerdetoetsscoresdefiniërenwealsdewarescorevanJanendieisgelijkaan40scorepunten.

Omdatdetoetsmaaréénkeerbijdezelfdeleerlingafgenomenwordt,wordtdegeobserveerdescorevandieleerlingalseentoevalligetrekkinguitdeprivéverdelingvandieleerlingbeschouwd.InhetgevalvanJanhaddenwebijvoorbeeldookdescore36,38,40,42of44kunnentrekken.Degeobserveerdescorevandeleerlingkangelijk,groterofkleinerzijndandienswarescore.Hetverschiltussendegeobserveerdescoreendewarescorewordtdemeetfoutgenoemd.Isdegeobserveerdescoregroterdandewarescore,danisdemeetfoutpositief.IngevalvaneenpositievemeetfoutbehaaltJaneenscorediegroterisdanwathijgemiddeldgenomenopdezetoetszoubehalen.Isdegeobserveerdescorekleinerdandewarescoredanisersprakevaneennegatievemeetfout.

Demeetfoutheeftbetrekkingopalleswatdegeobserveerdetoetsscorevaneenleerlingdoetverschillenvanzijnofhaarwarescore.Meetfoutenkunnenveroorzaaktwordendoorzakendietemakenhebbenmetdeleerling.Hetkanzijndattoevalligopdedagdatdetoetsafgenomenwordtdeleerlingzichnietlekkervoelt,slechtgeslapenheeft,nietgemotiveerdis,mindergeconcentreerdisofpechofgelukheeftbijhetbeantwoordenvanbepaaldeitems.Toets-ofexamenangstwordtvaaktenonrechteookwelalsmeetfoutaangeduidmaartoetsangstmoetalseeneigenschapvandeleerlingbeschouwdwordendietotonderpresterenleidtopalletoetsendiebijdeleerlingafgenomenworden.Meetfoutenkunnenookveroorzaaktwordendoorzakendiemetdetoetstemakenhebben.Indiendetoetsdoorbeoordelaarsbeoordeeldengescoordwordt,ishetmogelijkdatdetoetsvansommigeleerlingendooreenmildebeoordelaarendievanandereleerlingendooreenstrengebeoordelaarbeoordeeldwordt. Tenslottekunnenmeetfoutenveroorzaaktwordendooromstandighedenwaaronderdetoetswordtafgenomen.Juistopdedagdatdetoetsafgenomenwordt,iserbijvoorbeeldietsmismetdeverlichting,isersprakevangeluidsoverlast,isdeexamenzaaltekoudoftewarmenisereensurveillantbijwiehetmogelijkisomaftekijken.

Dehavo-toetsEngelseengrootaantalkerenbijJanafnemen,heeftzoweleentheoretischalseenpraktischbezwaar.HettheoretischbezwaarisdatJanzichdeitemszalherinnerenendeantwoordentewetenkankomenindetijdtussenverschillendeafnamenwaardoorzijnwarescoreperafnamezalverschillen.HetpraktischebezwaarisnatuurlijkdatweJannietvelemalendehavo-toetsEngelskunnenlatenafleggen.DetweebezwarenimplicerendatwedewarescorevanJannietkennenenooknietdewarescorevanandereleerlingendiedetoetsmaken.Enomdatwedewarescorenietkennen,kennenweookdemeetfoutniet.Wezittendusmeteenonoplosbaarprobleem.Hetenigedatwekennenisdegeobserveerdescoreendieissamengestelduiteenwarescoreeneenmeetfout.Wekunnenditprobleemformulerenmeteeneenvoudigewiskundigevergelijking.Steldatwevandaagdehavo-toetsEngelsbijJanafnemen.WestellendescoredieJangaatbehalenvoormetdehoofdletterX,enomduidelijktemakendathetomdegeobserveerdescorevanJangaat,plakkenwezijnnaamendedagalseenindexaanhetscoresymboolvast: ,Jan vandaagX .VolgensdeklassieketesttheorieheeftJanookeenwarescoreopdetoets.DezewarescoreiseenvastgetaldatwekunnenopvattenalseenvasteeigenschapvanJan.Alssymboolvoordezewarescoregebruikenwedekleine(Griekse)lettertauenwestellendewarescorevanJanvoorals Janτ .Maarerkomtookeenmeetfoutvoordieweaanduidenmet ,Jan vandaagE endiewenietkennen.Indeklassieketesttheoriewordtdegeobserveerdescoregedefinieerdalsdesomvandewarescoreendemeetfoutenditwordtweergegevenmetdevolgendevergelijking:

Page 52: Toetsen op School

52 Cito | Toetsen op School < Inhoud Index >

τ= +Jan,vandaag Jan Jan,vandaagX E (1)

Dezevergelijkinglaatziendatwemeteenonoplosbaarprobleemtemakenhebben.Hetenigewatwenadeafnamevandetoetskennen,isdegeobserveerdescore,endieisdesomvantweegroothedendiewenietkennen.Wehebbenduséénvergelijkingmettweeonbekendenendiekunnenwenieteenduidigoplossen.

HetvoorgaandeisnietalleenvantoepassingopJanmaaropiedereleerlinguitdepopulatieleerlingenvoorwiedehavo-toetsEngels2009bedoeldis.Vandaardatwevooriedereleerlinguitdepopulatiedevergelijkingvandeklassieketesttheoriekunnenopschrijvenals:

= +X T E (2)

Volgensformule(2)isdegeobserveerdescorevaniedereleerlinguitdepopulatiedesomvandewarescorevandieleerlingendemeetfoutdiewemakenophetmomentvandetoetsafname.Informule(2)staathetsymboolTvoorhetEngelse‘truescore’ofwarescoreenishetsymboolEdeafkortingvanhetEngelse‘error’datinhetNederlandsmeestalaangeduidwordtmetmeetfout.

Voordatwedeformulevandebetrouwbaarheidvantoetsscorespresenteren,dienenweeerstdebegrippen‘variantie’en‘standaardafwijking’of‘standaarddeviatie’teintroduceren. Devariantieenstandaardafwijkingvandetoetsscoresdieleerlingenopeentoetsbehaaldhebben,kunneninvijfstappenberekendworden:1 Berekendegemiddeldetoetsscore.2 Trekvandetoetsscorevanelkeleerlingdegemiddeldetoetsscoreaf.Ditresulteertin

negatieveenpositieveverschillen.3 Kwadrateerdieverschillenentelzeop.4 Deeldeuitkomstvanstap3doorhetaantalleerlingen.Dezeuitkomstgeeftdevariantie.5 Neemdevierkantswortelvandevariantieendieuitkomstisdestandaardafwijking.

Destandaardafwijkingiseenveelgebruiktemaatvoordeverdelingofspreidingvanscores.Dezemaatheeftalsvoordeeldatzeuitgedruktwordtindezelfdeeenheidalsdescores.Eenanderemaatvoordespreidingvanscoresishetkwadraatvandestandaardafwijkingofdevariantie.Hoeweldezemaatalsnadeelheeftdatzenietuitgedruktwordtindezelfdeeenheidalsdescores,hebbenvariantiesinsommigegevallenwelalseigenschapdatzeopeenzinvollemanierbijelkaarkunnenwordenopgeteld.Datisookhetgevalindeklassieketesttheoriewaardevariantievandegeobserveerdescoresgelijkisaandesomvandevariantievandewarescoresplusdevariantievandemeetfouten.Alsformulewordtditgeschrevenals:

= +Var( ) Var( ) Var( )X T E (3)

Hetbelangrijkstebegripuitdeklassieketesttheorieisdebetrouwbaarheidvandetoetsscores.Dieheeftdirecttemakenmetformule(3):devariantievandegeobserveerdescoreskanopgedeeldwordenintweedelen,enwatwewillenisdathetdeeldattoeteschrijvenisaandemeetfoutrelatiefkleinis,waardoorhetgedeeltedatdevariantievandewarescoresuitdruktrelatiefgrootwordt.

Page 53: Toetsen op School

53 De betrouwbaarheid van toetsscores < Inhoud Index >

DeformulevoordebetrouwbaarheidvandetoetsscoresXisgedefinieerdals:

ρ = =+

Var( ) Var( )Var( ) Var( ) Var( )

T TX T E (4)

Informule(4)staathetsymbool ρ (ρ staatvoordeGriekseletterrho)voordebetrouwbaarheidvandetoetsscores.DeEngelsetermvoorbetrouwbaarheidis‘reliability’.Uitformule(3)valtonmiddellijkafteleidendatVar(X)evengrootisalsofgroterisdanVar(T).Ditbetekentdatdenoemerindebreukvanformule(4)evengrootofgroterisdandetellerenditbetekentdatdebetrouwbaarheidnietgroterkanzijndan1.Omdatvariantiesnietnegatiefkunnenzijnendeverhoudingtussenvariantiesdusookniet,kanookdebetrouwbaarheidnietnegatiefzijn,waaruitweervolgtdatdebetrouwbaarheideengetalistussen0en1.

Formule(4)iseenzogenaamdedefinitieformule.Deformuledruktpreciesuitwatmenindeklassieketesttheoriebedoeltmetbetrouwbaarheidmaarzekannietgebruiktwordenomdebetrouwbaarheidvantoetsscoresteberekenen.Deformulebevatnamelijkeengrootheid,Var(T),diewenietkunnenberekenenomdatwedewarescoresvandeleerlingennietkennen.Gelukkigzijnermethodenontwikkeldwaarmeewedebetrouwbaarheidkunnenschattenzonderdewarescoresvandeleerlingentekennen.Demeestbekendemethode,deinterne-consistentiemethode,besprekenwehierna.

Tenslotteishetvanbelanghieroptemerkendatweindithoofdstuksomskortheidshalveover‘betrouwbaarheid’sprekenterwijlweover‘betrouwbaarheidvantoetsscores’zoudenmoetenspreken.Toetsenkunnennamelijknietbetrouwbaarofonbetrouwbaarzijnmaartoetsscoreswel.

3.1.1 Schatting van de betrouwbaarheid van toetsscoresDeinterne-consistentiemethodevoorhetschattenvandebetrouwbaarheidvantoetsscoresheeftzijnpopulariteitvooraltedankenaanhetfeitdatdemethodetegemoetkomtaanwatindepraktijkgebruikelijkis,namelijkdatdetoetsmaaréénkeerbijeensteekproefvanleerlingenwordtafgenomen.Bijdezemethodevormendeopdeitemsbehaaldescoresdebasisvoordeschattingvandebetrouwbaarheid.Debekendsteschattingvandebetrouwbaarheidvantoets-scores,veelalaangeduidmetbetrouwbaarheidscoëfficiënt,isCronbach’salfadiegedefinieerdisals:

α = − −

∑ Var( )1

1 Var( )

ii

Xk

k X (5)

Informule(5)wordthetaantalitemsindetoetsvoorgesteldmetk.Indehavo-toetsEngelsisk gelijkaan43,hetaantalitemsindetoets.Tussendevierkantehakenstaateenbreuk;denoemervandebreukisdevariantievandegeobserveerdetoetsscoresX.OmdetelleruitterekenenmoetenwevanelkitemdevariantievandegeobserveerdeitemscoresXiberekenenenoptellen(hetsymboolsigmastaatvooroptellen).Indehavo-toetsEngelsisdatdusdesomvandevariantiesvan43items,namelijkdevariantievanitemi=1,itemi=2,item i=3,totenmetitemi=43.Aangezienformule(5)geenonbekendegroothedenbevat,kunnenwealfauitrekenen.Cronbach’salfakanvoortoetsenbestaandeuitdichotomeen/ofpolytomeitemsgebruiktworden.Indiendetoetsalleenuitdichotomeitemsbestaat,isCronbach’salfagelijkaandebetrouwbaarheidscoëfficiëntdiealsdeKR20bekendstaat.

Page 54: Toetsen op School

54 Cito | Toetsen op School < Inhoud Index >

3.1.2 Interpretatie van de betrouwbaarheid van toetsscoresDebetrouwbaarheidkunnenweinterpreterenalseenproportieofalseenpercentagedoordeproportiemet100tevermenigvuldigen.Volgensdeformulesinvoorgaandeparagraafbetekenteenbetrouwbaarheidvan0,90dateenproportievan0,90of90%vandevariantievandegeobserveerdescorestoegeschrevenkanwordenaanverschillentussendewarescoresvanleerlingenen0,10of10%aanmeetfouten.Eenhogebetrouwbaarheidbetekentdusdatverschilleningeobserveerdetoetsscoresvanleerlingenvooraltemakenhebbenmetverschillenindewarescoresvanleerlingen.Eenhogebetrouwbaarheidimpliceertdatwedewarescorevaneenleerlingbeterkunnenvoorspellen(zieparagraaf3.2).Eenhogebetrouwbaarheidimpliceertookdat–wanneerwebijdezelfdeleerlingentweevergelijkbare(parallelle)toetsenzoudenafnemen,bijvoorbeelddehavo-toetsenEngels2009vanheteersteentweedetijdvak–leerlingenmeteenhogetoetsscoreopdetoetsvanheteerstetijdvaknaarverwachtingookeenhogeretoetsscoreopdetoetsvanhettweedetijdvakzullenbehalen,terwijlleerlingenmeteenlagetoetsscoreopdetoetsvanheteerstetijdvakookeenlageretoetsscoreopdetoetsvanhettweedetijdvakzullenbehalen.

Watacceptabelewaardenvoordebetrouwbaarheidvaneentoetszijn,hangtafwaarvoordetoetsgebruiktwordt.Indienmeteentoetsbelangrijkebeslissingenoverindividueleleerlingengenomenworden,wordteenbetrouwbaarheidvanminstens0,90alswenselijkbeschouwd.Indieneentoetsechtergebruiktwordtomdeprestatiesvangroepenleerlingen–bijvoorbeeldklassenofscholen–tebeschrijvenoftevergelijken,wordtalsvuistregeleenbetrouwbaarheidvan0,70alsacceptabelbeschouwd.Ziehieroverookhoofdstuk10.

AangezienCronbach’salfanogsteedsdepopulairstebetrouwbaarheidscoëfficiëntis,ishetbelangrijkomtweekanttekeningenbijhetgebruikvandezecoëfficiëntteplaatsen.De eerstekanttekeningisdatbewezenkanwordendatalfaeenondergrensvandebetrouwbaarheidis.Ditbetekentdatalsdetoetseenalfavan0,70heeft,menzekerweetdatdebetrouwbaarheidvandetoetsgelijkisaanofgroterisdan0,70,maarmenweetnietofdebetrouwbaarheidnu0,70is,of0,80ofzelfsgelijkaan1is.Alsmeneenhogealfavindt,bijvoorbeeld0,95,danisdatgeengrootprobleem,maaralsalfalaagis,bijvoorbeeld0,30,danzoudebetrouwbaarheidweleensgroterkunnenzijn.Erzijncoëfficiëntenontwikkelddievooralbijtoetsenmeteengeringaantalitemsinhogereondergrenzenresulteren.Infeiteisdebetrouwbaarheiddiebijdehavo-toetsEngelsgerapporteerdwordt(zieparagraaf3.1.3)nietcoëfficiëntalfamaardehoogstmogelijkeondergrensvandebetrouwbaarheid.Detweedekanttekeningbetreftdeinterpretatievancoëfficiëntalfaalsmaatvoordeinterne consistentie ofhomogeniteitvaneentoets.Metbeidetermenwordtbedoelddatalfazouaangeveninwelkematedeitemsvaneentoets‘hetzelfde’zoudenmetenongeachtwat‘hetzelfde’ookzoumogenzijn.Hetfeitechterdatalfaookeenhogewaardekanhebbenterwijldetoetsuitheterogeneitemsbestaat,datwilzeggenitemsdieniet‘hetzelfde’meten,bewijstdatdieinterpretatieonjuistis.

Alswedehavo-toetsEngels2009zoudenafnemenbijstudentendieEngelsstuderenaaneenuniversitairelerarenopleidingzaldebetrouwbaarheidvandehavo-toetsnaarverwachtinglagerzijndanbijdehavisten.DeredenvoordezelagerebetrouwbaarheidisdatdewarescoresvandestudentenEngelsminderzullenverschillendandewarescoresvandehavisten.Terwijldewarevariantiesvandetweegroepenveelzullenverschillen,zullendevariantiesvandemeetfoutenweinigverschillenomdatverwachtmagwordendatdevariantievandemeetfoutennietafhankelijkisvandegroepenleerlingenwaarbijdetoetsafgenomenwordt.Ditbetekentvolgensformule(4)datdebetrouwbaarheidvandetoetsdieafgenomenisbijdehavistengroterzalzijndandezelfdetoetsafgenomenbijdestudentenEngels.ZekerwetendoenwehetechternietwantdaarvoorzoudenwedetoetsdaadwerkelijkbijdestudentenEngelsmoetenafnemen.

Page 55: Toetsen op School

55 De betrouwbaarheid van toetsscores < Inhoud Index >

Hiervoormerktenweopdateenhogerebetrouwbaarheidimpliceertdatwedewarescorevaneenleerlingbeterkunnenvoorspellen.Alsdiewarescoreookbetrekkingheeftopwaarwegeïnteresseerdinzijn,bijvoorbeeldhoedeschriftelijkebeheersingvanhetEngelsvanhavistennavijfjaaronderwijsis,danheeftdetoetsookeenhogevaliditeit.Validiteitishetonderwerpvanhoofdstuk4.

3.1.3 Havo-toets Engels 2009Eenaantalbegrippendathiervoorbesprokenis,lichtenwetoeaandehandvandehavo-toetsEngels2009.Daarnaastwordtookeenaantalanderebegrippentoegelicht.InonderstaandetabelstaandegegevensdieontleendzijnaanhetExamenverslag2009,ganaarwww.cito.nl > Voortgezetonderwijs>Centraleexamens>Examenverslagen>Oudeverslagen:2009,Resultatenperexamen,Applicatie(Excel),Toevoegen,OpleidingstypeHAVO,HAVOCSEEngels.

Havo Engels 2009 tijdvak 1totaalaantalvo-kandidaten 47648steekproefgrootte 2353aantalitems 43p’-waardetotalesteekproef 0,64maximumscore 49gemiddeldescore 31,4normeringsterm 0,4gemiddeldcijfer 6,2percentageonvoldoendes 28standaardafwijking 6,7betrouwbaarheid 0,83standaardmeetfout 2,8

Indetabelkunnenwelezendatdehavo-toetsEngelsbijeenpopulatievan47648leerlingenafgenomenis.Degegevensindetabelzijngebaseerdopeensteekproefvan2353leerlingen.

Detoetsbestaatuit43itemswaaropeenmaximumscorevan49scorepuntenbehaaldkanworden.

Hetgemiddeldeaantalscorepuntendatopdezetoetsbehaaldwerd,wasgelijkaan31,4score-punten.Hetgemiddeldeisberekenddoordescoresvande2353leerlingenoptetellenentedelendoor2353.

De P’-waardetotalesteekproefwordtberekenddoordegemiddeldescoretedelendoordemaximumscore.DeP’-waardeiseenindicatievandemoeilijkheidsgraadvanhetexamenendaarmeeookvandegemiddeldemoeilijkheidsgraadvandeafzonderlijkeitems.Binnendeklassieketesttheoriewordtdemoeilijkheidvaneenitemgedefinieerdalszijnp-waarde.Bijeenbinairofdichotoomitem,datwilzeggeneenitemwaaropalleeneenscorevannuloféénkanwordenbehaald,isdep-waardedeproportiepersonendathetitemcorrectbeantwoordt.Bijpolytomeitems,datwilzeggenitemswaaropmeerdanéénscorepuntbehaaldkanworden,isdep-waardegedefinieerdalsdegemiddeldescorebehaaldopdatitemgedeelddoordemaximumscoredieopdatitembehaaldkanworden.Degemiddeldemoeilijkheidsgraadvandehavo-toetsEngelswas0,64.

Opdehavo-toetsEngelswerdeengemiddeldcijfervan6,2behaald.Hoedecijfersopdezetoetsbepaaldwerden,plusderolvandenormeringstermdaarbij,kanmennalezeninhoofdstuk9.Hetgemiddeldecijferisberekenddoordecijfersvan2353leerlingenoptetellenentedelendoor2353.

Page 56: Toetsen op School

56 Cito | Toetsen op School < Inhoud Index >

De cesuur,datwilzeggenhetaantalscorepuntenwaaraanhetlaagstevoldoendecijfer5,5toegekendwordt,staatnietindetabelvermeld.Decesuurvoordehavo-toetsEngels2009wasgelijkaan28scorepunten,watlagerisdandegemiddeldescoreopdetoetsdie,zoalswehiervoorzagen,gelijkwasaan31,4scorepunten.

De standaardafwijkingvandehavo-toetsisgelijkaan6,7scorepunt.Hoedestandaardafwijkinginvijfstappenberekendwordt,hebbenwebeschreveninparagraaf3.1.Destandaardafwijkingiseenhandigemaatomdeverdelingvandetoetsscorestebeschrijven.Indiendegeobserveerdescoresvaneentoetseennormaleverdelinghebbenofnormaalverdeeldzijn(zieo.a.Wikipedia,http://nl.wikipedia.org/wiki/Normale_verdeling),danbevindt:• 68%vandescoreszichtussenéénstandaardafwijkingbovenenéénstandaardafwijking

benedendegemiddeldescore;• 90%vandescoreszichtussen1,645standaardafwijkingbovenen1,645standaardafwijking

benedendegemiddeldescore;• 95%vandescoreszichtussen1,96,zegtwee,standaardafwijkingenbovenenbenedende

gemiddeldescore;• 99%vandescoreszichtussen2,58standaardafwijkingenbovenen2,58standaard-

afwijkingenbenedendegemiddeldescore.

Indiendescoresopdehavo-toetsEngelsnormaalverdeeldgeweestzoudenzijn,danzoubij eenstandaardafwijkingvan6,7scorepunt68%vandescoreszichtussende38,1scorepunten(31,4+6,7),afgerond38scorepunten,en24,7scorepunten(31,4–6,7),afgerond25score-punten,bevondenhebben.Omdatdefrequentieverdelinglaatziendatdescoresnietperfectnormaalverdeeldzijn,isditbijdehavo-toetsEngelsechterongeveer62%.

De betrouwbaarheidscoëfficiëntvandehavo-toetsEngelsisgelijkaan0,83.Decoëfficiëntkunnenwegebruikenomdebetrouwbaarheidvanverschillendetoetsentevergelijken. Dievergelijkingisalleenzinvolalsopdeverschillendetoetsenhetzelfdeaantalscorepuntenbehaaldkanworden.Ondanksdatopdehavo-toetsDuits2009tweescorepuntenminderbehaaldkondenworden,kunnenweechterwelzeggendatdehavo-toetsEngels2009betrouwbaarderwasdandehavo-toetsDuits2009dieeenbetrouwbaarheidscoëfficiëntvan0,74had.

Destandaardmeetfoutvandehavo-toetsEngels2009isgelijkaan2,8scorepunt.Hoewedestandaardmeetfoutkunnengebruikenbijhetbepalenvandebetrouwbaarheidvanindividueletoetsscoresbehandelenweindevolgendeparagraaf.

3.2 Standaardmeetfout

Metdebetrouwbaarheidscoëfficiëntishetnietmogelijkdebetrouwbaarheidvandetoetsscoresvanindividueleleerlingentebepalen.Metdestandaardmeetfout,symbolischvoorgesteldalsSE(X)enhettweedebelangrijkstebegripuitdeklassieketesttheorie,kandatwel.Destandaard-meetfoutisdestandaardafwijkingvandemeetfoutenvandetoetsscoresvandeleerlingenbijwiedetoetsisafgenomen.Deformulevoordestandaardmeetfoutisgedefinieerdals:

ρ= −SE( ) SD( ) 1X X (6)

waarbijSD(X)destandaardafwijkingvandegeobserveerdescoresisvandeleerlingendiedetoetsgemaakthebben.Uitformule(6)blijktdatereenbelangrijkerelatietussendestandaardmeetfoutendebetrouwbaarheidbestaat.Alsdebetrouwbaarheidvaneentoetsgelijkisaan0danisdestandaardmeetfoutgelijkaandestandaardafwijkingvandetoetsscores.

Page 57: Toetsen op School

57 De betrouwbaarheid van toetsscores < Inhoud Index >

Alsdebetrouwbaarheidgelijkisaan1danisdestandaardmeetfoutgelijkaan0.Alsdebetrouwbaarheidinformule6, ρ ,geschatismetalfadanbevatdeformulegeenonbekendegroothedenenkandestandaardmeetfoutberekendworden.

Erbestaatookeenvuistregelomdestandaardmeetfoutteschatten.Hetblijktdatbijeenniettemoeilijketoets,datwilzeggeneentoetswaarbijdegemiddeldetoetsscoreongeveer50%vandemaximumscoreis,eenredelijkeschattingvandestandaardmeetfoutverkregenkanwordendoordevierkantswortelvandemaximumscoretevermenigvuldigenmethetgetal0,45.Indiendetoetsmoeilijk(er)is,moetmeneenhogergetaldan0,45nemenenalsdetoetsmakkelijk(er)iseenlagergetaldan0,45.Degemiddeldescorevandehavo-toetsEngelsis64%vandemaximumscorevan49scorepunten.Toepassingvandevuistregelgeefteenschattingvandestandaardmeetfoutvanongeveer7x0,40=2,8watgelijkisaandestandaardmeetfoutuitvoorgaandetabel.Dezevuistregelzougebruiktkunnenwordenindienwedoorbijvoorbeeldervaringzoudenwetenhoemoeilijkdetoetsongeveerzalzijn.Voorafgaandeaandeafnamevandetoetszoumendanovereenschattingvandestandaardmeetfoutbeschikkenenopbasisdaarvankunnenbepalenofmendebetrouwbaarheidvandeindividueletoetsscoresalofnietvoldoendevindt.Inhetlaatstegevalzoumendankunnenbesluitendetoetsuitmeeritemstelatenbestaan.

HetgebruikvandestandaardmeetfoutlichtenwetoeaandehandvanJandieopdehavo-toetsEngels42vandeintotaal49mogelijkescorepuntenbehaaldewathemhetcijfervan8,1opleverde.DestandaardmeetfoutgeeftonsdemogelijkheidomtweevragenoverdescorepuntenenhetcijfervanJantebeantwoorden.

De eerste vraag is: Wat is de ware score van Jan op de havo-toets Engels 2009?

HiervoorconstateerdenwedatJaneenscorevan42opdetoetsbehaaldemaardatalswedetoets1000keerbijJanhaddenkunnenafnemenhijnietiederekeereenscorevan42behaaldzouhebben,maarsomseenhogerescoredan42ensomseenlagerescoredan42.Omdatwedetoetsgeen1000keerkunnenafnemen,constateerdenwehiervoorookdatwedewarescorevanJanofeenandereleerlingnooitzullenweten.Doorgebruiktemakenvandestatistiekkunnenweechterweleenzogenaamdbetrouwbaarheidsintervalopstellenwaarbinnendewarescorezoukunnenliggen.LetweldatdetermbetrouwbaarheidsintervaldeEngelsevertalingvan‘confidenceinterval’isenniethetzelfdeisalsdebetrouwbaarheidvantoetsscoreswatzoalsweeerderalopmerktendeEngelsevertalingvan‘reliability’is.

OmeenbetrouwbaarheidsintervalvoordewarescorevanJantekunnenopstellen,dienenwedekanstespecificerendathetbetrouwbaarheidsintervaldewarescorebevat.Inonderstaandeformulevoorhetbetrouwbaarheidsinterval,formule(7),hebbenwediekansop90%gesteld.

τ− × ≤ ≤ + × =Jan Jan JanP( 1,645 SE( ) 1,645 SE( )) 0,90X X X X (7)

Tussendehakeninformule(7)staatdatdewarescorevanJangroterofgelijkisaandegeobserveerdescorevanJanminus1,645maaldestandaardmeetfoutofdatdewarescorevanJankleinerofgelijkisaandegeobserveerdescorevanJanplus1,645maaldestandaardmeetfout.TussenhakenwordtdushetbetrouwbaarheidsintervalvoordewarescorevanJangegeven.Voordehakeninformule(7)staatP,watdeafkortingvandeEngelsetermvoor‘probability’is,enwatinhetNederlandskansbetekent.Formule(7)moetenwelezenalsdatwanneerwedetoetseengrootaantalkerenbijJanzoudenafnemeneniederekeerhetbetrouwbaarheids-intervaluitrekenen,in90%vandiekerenzijnwarescorebinnenhetberekendeintervalzalliggenenin10%vandiekerenerbuiten.DatlaatstezalhetgevalzijnalsJanbijvoorbeeldeenkeereenhelelagescoreofeenkeereenhelehogescoreopdetoetsbehaalt.

Page 58: Toetsen op School

58 Cito | Toetsen op School < Inhoud Index >

Meteenstandaardmeetfoutvan2,8scorepuntvoordehavo-toetsEngelseneengeobserveerdescorevanJanvan42scorepunten,ishet90%-betrouwbaarheidsintervalvoordewarescorevanJangelijkaan:

( )τ× ≤ ≤ + × =JanP 42 – 1,645 2,8 42 1,645 2,8

( )τ≤ ≤ =JanP 37,4 46,6 0,90

Het90%-betrouwbaarheidsintervalvandewarescorevanJanheeftalsgrenzen37,4en46,6watbetekentdatallewaardenindatintervalalsschattingenvoordewarescorevanJaninaanmerkingzoudenkunnenkomen.Hoeweldieschattingenmetverschillendeschattings-methodenverkregenkunnenworden,beperkenweonshiertottweeschattingsmethoden. Deeersteschattingsmethodebestaathieruitdatmendegeobserveerdescorealsschattingvandewarescoreneemt.Bijdetweedeschattingsmethodehoudtmennaastdegeobserveerdescoreookrekeningmetdebetrouwbaarheidvandetoetsendegemiddeldescoreopdetoets. InhetgevalvanJankomtdatneerop:31,4+rhox(42–31,4)wateenschattingoplevertvan31,4+0,83x10,6=40,2scorepunten.Inhetgevalvaneenhogebetrouwbaarheidvandetoetszullendetweeschattingenweinigverschilleneninhetgevalvaneenperfectetoetsbetrouwbaarheidzijnzeuiteraardidentiek.

WekunnenhetvoorgaandeooktoepassenophetcijfervanJandat8,1is.IndeapplicatievanCitolezenwebijGrafiekendatdestandaardafwijkingvandecijfersvandehavo-toetsEngelsgelijkisaan1,2.Gegevendatdebetrouwbaarheidvandetoets0,83is,isdestandaardmeetfoutvandecijfersvolgensformule(6)gelijkaan0,49enishet90%-betrouwbaarheidsintervalgelijkaan:

( )τ− × ≤ ≤ + × =JanP 8,1 1,645 0,49 8,1 1,645 0,49

( )τ≤ ≤ =JanP 7,30 8,90 0,90

Weziendatondankseenredelijkhogebetrouwbaarheidvan0,83,het90%-betrouwbaarheids-intervalvanhetwarecijfervanJanalsgrenzen7,30en8,90heeft.

Hetismogelijkomvooreenkleinerofgroterbetrouwbaarheidsintervaltekiezenwaarbinnendewarescoreofhetwarecijferzichbevindt.Indienwevooreen68%-betrouwbaarheidsintervalkiezendanmoetenweinformule(7)1,645vervangendoor1,endoor1,96of2,58alswevoorrespectievelijkeen95%-of99%-betrouwbaarheidsintervalkiezen.Weziendusdathetbetrouwbaarheidsintervalbrederwordtalswezekerderuitsprakenwillendoen.

De tweede vraag is: Is het ware cijfer van Jan hoger dan dat van Angela?

Angelaheeftopdehavo-toetsEngelshetcijfer6,3behaald.Het90%-betrouwbaarheidsintervalvanhetwarecijfervanAngelais5,5–7,10.OmdatdebetrouwbaarheidsintervallenvanJanenAngelaelkaarnietoverlappen,mogenweconcluderendathetwarecijfervanJanhogerisdandatvanAngela.HadAngelaechterhetcijfer6,8behaalddanhaddenwedieconclusienietkunnentrekkenomdathetbetrouwbaarheidsintervalvanAngeladangelijkisaan6,0–7,6endatintervaloverlaptmethetintervalvanJan.

Page 59: Toetsen op School

59 De betrouwbaarheid van toetsscores < Inhoud Index >

Voorgaandevoorbeeldenlatenziendatbijtoetsenmeteenbetrouwbaarheidvan0,83,maarookbijtoetsenmeteenhogerebetrouwbaarheid,debetrouwbaarheidsintervallenvanscoresencijfersnietgeringzijn.Ditbetekentdatdegeobserveerdescoresofcijfersnogalonbetrouwbareschattingenvandewarescoreofhetwarecijferzijn.Watbetekentditvoordepraktijkvanhetbeoordelenvanleerlingen?Deeersteconclusieisdatdebetrouwbaarheidvaneentoetszeerhoogzalmoetenzijnalswebelangrijkebeslissingenoverleerlingenopbasisvaneenenkeletoetsnemen.Inparagraaf3.6zullenwelatenziendatverlengingvandetoetsdemeesteffectievemanierisomdebetrouwbaarheidvaneentoetsteverhogen.Detweedeconclusieisdatwebelangrijkebeslissingenoverleerlingennietmoetenbaserenopeenenkeletoetsmaardatweookresultatenopanderetoetsenenmogelijkanderegegevensoverdeleerlingbijdebeoordelingmoetenbetrekken.Datlaatstegebeurtbijvoorbeeldinhetvoortgezetonderwijswaarbijdemeestevakkenzoweleencentraalexamenalseenschoolexamenafgenomenwordt.

Totnutoezijnweerimplicietvanuitgegaandatdestandaardmeetfoutvooralleleerlingengelijkis.Dezeaannameisintegenspraakmetwatweindeeersteparagraafoverdeprivéverdelingvanelkeleerlingopmerkten.Inwerkelijkheidzaldestandaardmeetfoutvanleerlingendieeenhogeofeenlagetoetsscoreopdetoetshebben,kleinerzijndandestandaardmeetfoutvanleerlingendieeenscoreronddegemiddeldetoetsscorehebben.Hetzalookzonderbewijstebegrijpenzijndatwevanleerlingendieopdehavo-toetsEngels47vandemogelijke 49scorepuntenbehalenheelzekerwetendatwatzeopdetoetsgevraagdwordtheelgoedbeheersen.Enzowetenweookvanleerlingendieslechts2scorepuntenbehalenheelzekerdatzenietbeheersenwatopdetoetsgevraagdwordt.Watgeldtvoordescoresgeldtookvoordecijfers.

3.3 Misclassificaties bij één toets

Eenvandebelangrijkstebeslissingendiemettoetsengenomenwordt,betrefthetslagenofzakkenvanleerlingen.Hetzouwenselijkzijndathetaantalterechtebeslissingendatmetdetoetsgenomenwordt,datwilzeggenhetaantalleerlingendatterechtgeslaagdengezaktis, zogrootmogelijkis.Inhetgevaldebetrouwbaarheidgelijkisaan1,wetenwedatdegeobserveerdescoresvandeleerlingengelijkzijnaanhunwarescoresenwetenwedusookdatdeleerlingendiegeslaagdzijnterechtgeslaagdzijnendatdeleerlingendiegezaktzijnterecht gezaktzijn.Inhetgevalvaneenbetrouwbaarheidlagerdan1,kunnenleerlingenmetverschillendegeobserveerdescoresechterdezelfdewarescorehebbenenkunnenleerlingenmetverschillendewarescoresdezelfdegeobserveerdescorehebben.Hoewelwedandusnietwetenwelkeleerlingenterechtgeslaagdofgezaktzijn,kunnenweechterweleenschattingmakenvanhetaantalleerlingendatterechtgeslaagdofgezaktis.

Verondersteldatwedehavo-toetsEngels2009alleenzoudengebruikenomtebepalenwelkeleerlingenzoudenmoetenslagenenwelkeleerlingenzoudenmoetenzakken.Devraagisdanhoebetrouwbaardiebeslissingenmetdehavo-toetsEngelsgenomenkunnenworden.Inhetgevalvandehavo-toetsEngelswasdecesuur,datwilzeggendelaagstescorewaareenvoldoendecijferaantoegekendwordt,detoetsscore28waarhetcijfer5,5aantoegekendwerd.Hetfeitdatdehavo-toetsEngelseenbetrouwbaarheidvan0,83had,betekentdaterleerlingenzijndieopbasisvanhungeobserveerdescoreeenonvoldoendecijferkrijgenterwijlzeopbasisvandewarescoresdiezehaddenkunnenhebbeneenvoldoendecijferhaddenkunnenkrijgen.Inditgevalhebbendeleerlingendiehetbetrefttenonrechteeenonvoldoendecijfergekregen.Hetomgekeerde,leerlingendieopbasisvanhungeobserveerdescoreeenvoldoendecijferkrijgenterwijlzewarescoreszoudenkunnenhebbenwaarmeezeeenonvoldoendecijfer

Page 60: Toetsen op School

60 Cito | Toetsen op School < Inhoud Index >

haddenkunnenkrijgen,komtookvoor.Inditgevalhebbendeleerlingendiehetbetrefttenonrechteeenvoldoendecijfergekregen.Leerlingendietenonrechteeenonvoldoendecijferkrijgenoftenonrechteeenvoldoendecijferkrijgen,noemenwemisclassificaties.Bijredelijkbetrouwbaretoetsenzijnhetvooraldeleerlingendieeenscoreronddecesuurhebbendietenonrechteeenvoldoendeofonvoldoendecijferkrijgen.

Hetismogelijkomgegevendebetrouwbaarheidendecesuurvaneentoetsendeaannamedatdetoetsscoresvandeleerlingennormaalverdeeldzijn,eenschattingtemakenvanhetaantalterechteentenonrechtegezakteengeslaagdeleerlingen.Wanneerzoweldewarealsdegeobserveerdescorestotdezelfdeuitslagleiden,terechtonvoldoendedanwelterechtvoldoende,isersprakevanjuisteclassificaties.Wanneerdewareengeobserveerdescorestotverschillendeuitslagenleiden,isersprakevanmisclassificaties.

Vandehavo-toetsEngels2009meteenbetrouwbaarheidvan0,83eneentoetsscorevan28alscesuur,staandepercentagesleerlingenmeteenterechtonvoldoendecijfer,eenterechtvoldoendecijferendepercentagesmisclassificatiesinonderstaandebeslissingstabel. Dezetabelkanverkregenwordendoordetoetsmetbehulpvaneencomputerprogrammateanalyseren.

Ware score T Ware score T

onvoldoende voldoende

Geobserveerde score X onvoldoende terechtonvoldoende22,2% misclassificatie5,6%

Geobserveerde score X voldoende misclassificatie6% terechtvoldoende66,2%

Detabellaatziendatuitgaandevandegeobserveerdescores27,8%(22,2%+5,6%)vandeleerlingeneenonvoldoendeheeften72,2%(66,2%+6%)eenvoldoende.Hetpercentagemisclassificatiesisgelijkaan11,6%(5,6%+6%)watneerkomtop273vandeintotaal2353leerlingen.Bijhetbeantwoordenvandevraagofmetdehavo-toetsEngels2009betrouwbarezak/slaagbeslissingenkunnenwordengenomen,moetenwewelbedenkendatvooraldeleerlingenmeteentenonrechteonvoldoendebenadeeldzijn.Dezeleerlingen,intotaal6%vandeleerlingen,kunnenechterbijeenherkansingbewijzendatzeweleenvoldoendeverdienen.

Erzijntweefactorendiehetaantalmisclassificatiesbeïnvloeden.Deeerstefactorisdebetrouwbaarheidvandetoets.Hoelagerdebetrouwbaarheidvandetoetshoegroterhetaantalmisclassificaties.Detweedefactorisdehoogtevandecesuur.Indiendecesuurerglaagis,zullenerveelleerlingenslagenmaarzullenerrelatiefveelleerlingentenonrechteslagen. Ditlaatsteisenigszinshetgevalinbovenstaandvoorbeeldwaardecesuurvan28scorepuntenlagerisdandegemiddeldescorevan31,4scorepunten.Indiendecesuurerghoogis,zullenerveelleerlingenzakkenmaarzullenerrelatiefveelleerlingentenonrechtezakken.

Debesprekingvandehavo-toetsbeperktezichtotmisclassificatiesinhetgevalvanzak/slaag-beslissingen.Wezoudenechterookvoorallecijferskunnennagaanofleerlingenterechtoftenonrechtehetcijferhebbendathentoegekendis.Ookvoortoetsenwaarleerlingenopbasisvanhunscoresingedeeldwordeningroepenofcategorieën,kannagegaanwordenofleerlingenterechtoftenonrechteaaneenbepaaldegroepofcategorietoegewezenzijn.

Page 61: Toetsen op School

61 De betrouwbaarheid van toetsscores < Inhoud Index >

3.4 Misclassificaties bij meerdere toetsen

Indevorigeparagraafwerdmetbehulpvaneenbeslissingstabelgedemonstreerdhoeinhetgevalvaneenenkeletoetsmisclassificatiesgekwantificeerdkunnenworden.Indezeparagraaflatenwezienhoemisclassificatiesgekwantificeerdkunnenwordenindienersprakeisvanmeerderetoetsen.Ditishetgevalbijexamensdiemeestaluittoetsenvoorverschillendevakkenbestaan.Opdietoetsenkunjeeenvoldoendeofonvoldoendecijferbehalenmaarjezaktofslaagtnietvooreenenkeletoets.Inhetvoortgezetonderwijskunjewelzakkenofslagenvoorhetvmbo-,havo-ofvwo-examen.Zakkenenslagenvooreenexamengebeurtopbasisvanuitslagregels.Driesoortenuitslagregelskunnenonderscheidenworden:1 Conjunctieveuitslagregels–opalletoetsenmoeteenvoldoendecijferbehaaldworden.2 Complementaireuitslagregels–nietopalletoetsenmoeteenvoldoendecijferbehaald

worden.3 Compensatorischeuitslagregels–onvoldoendecijfersopsommigetoetsenkunnen

gecompenseerdwordenmetvoldoendecijfersopanderetoetsen.

Uitslagregelswordenhiernavergelekenmetbetrekkingtothetpercentagegezakteleerlingenenhetpercentagemisclassificaties.Misclassificatiesingevalvaneenexamenmethetzelfdeprofiellichtenwetoemetonderstaandebeslissingstabel.Debeslissingstabelvooreenexameniseenvariantopdebeslissingstabelvaneenenkeletoets.Degeobserveerdeuitkomstisnuechternietééntoetsscoreofcijfermaareenuitslagophetgeheleexamen,namelijkgezaktofgeslaagd.Inhetvoortgezetonderwijswordtdeexamenuitslagbepaalddoordeuitslagregeltoetepassenopdeexamenresultatenvanzowelschoolexamenalscentraalexamenvanallevakkendiedeexaminandusheeftgedaan.

Ware scores op toetsen Ware scores op toetsen

onvoldoende voldoende

Examenuitslag gezakt juisteclassificatie misclassificatie

Examenuitslag geslaagd misclassificatie juisteclassificatie

Onzebesprekinghierbeperkenwetotdevergelijkingvandrieuitslagregelsvoorhetvwo-examen.Hetvwo-examenkendetotmethetschooljaar2008-2009devolgendeuitslagregel.Omteslagenvoorhetexamenmochteenleerlingmaximaalééneindcijfervierenééneindcijfervijfhalen,metmaximaaléénonvoldoendeopdevakkenvanhetgekozenprofiel.Metingangvanhetschooljaar2009-2010werddezeoudeuitslagregelvervangendooreennieuweuitslagregel.Hoeweldeeisvanmaximaaléénonvoldoendeopdeprofielvakkenkwamtevervallen,mochthetgemiddeldeeindcijfernietlagerdan6,0zijnalseenleerlingalscijferopeenoftweevandetoetsenéénvier,tweevijven,oféénvierenéénvijfhad.Deoudeuitslagregelvoorhetvwo-exameniszowelcompensatorischalscomplementair. Deregeliscompensatorischomdatdecijfersvanhetschoolexamenencentraalexamenpervakwordengemiddeld.Deregeliscomplementairomdateengeringaantalonvoldoendecijfersophetexamentoegestaanis.Denieuweuitslagregelvoorhetvwo-examenisookcompensatorischenwelindezindatonvoldoendesvoorbepaaldevakkengecompenseerdkunnenwordenmetruimevoldoendesopanderevakken.

Naastdezeoudeennieuweuitslagregelzijnookdeeffectenvananderevoorstellenvooruitslagregelsonderzocht.Eenvandievoorstellen,dederdeuitslagregel,bestonduitdeoudeuitslagregelpluseenvoldoendeophetcentraaleindexamenvoordetoetsenvandevakkenNederlands,Engelsenwiskunde.

Page 62: Toetsen op School

62 Cito | Toetsen op School < Inhoud Index >

Watbetekenendezedrieuitslagregelsvoordepercentagesgezakteleerlingenenmisclassificaties?Voorhetbeantwoordenvandezevraagwerdgebruikgemaaktvandeexamengegevensvandedrieexamenjaren2004-2006.Onderstaandetabelgeeftderesultaten.

Percentage gezakten Percentage misclassificaties

Oudeuitslagregel 6,4 6,0

Nieuweuitslagregel 6,2 5,2

Derdeuitslagregel 46,2 17,7

Detabellaatziendatverschillendeuitslagregelstotgroteverschilleninpercentagesgezakteleerlingenenmisclassificatieskunnenleiden.Vooraldederdeuitslagregelleidttoteenzeerhoogpercentagegezakteleerlingenenmededaardoortoteenhoogpercentagemisclassificaties.DederdeuitslagregelisconjunctiefindezindateenvoldoendecijferopdetoetsenvoordevakkenNederlands,Engelsenwiskundeverlangdwordt.Compensatorischeuitslagregelshebbenmeestaldevoorkeurbovenconjunctieveuitslagregelsomdatbijdetoepassingvanconjunctieveuitslagregelsleerlingendoorpechofeenanderemeetfouttenonrechteeenonvoldoendecijferkunnenhalenopeenvandetoetsenendaardoortenonrechtekunnenzakken.Menzouookkunnenzeggendaterbijdetoepassingvanconjunctieveuitslagregelstenonrechtevanwordtuitgegaandattoetseneenzeerhogebetrouwbaarheidhebben.

Hetpercentagemisclassificatieskanmengebruikenvoorhetbeantwoordenvandevraagofmenmetexamensbetrouwbarezak/slaagbeslissingenoverleerlingenkannemen.Inbovenstaandetabelzienwedatbijdeoudeendenieuweuitslagregelhetpercentagemisclassificatiesnietmeerdan6%isendaarbijdientopgemerkttewordendatpercentagesmisclassificatieszowelleerlingenbevattendietenonrechtegeslaagdalstenonrechtegezaktzijn.Datlaatstewordtmeestalkwalijkergevondendanheteerste.

Bijexamensheeftnaastdegehanteerdeuitslagregelookdebetrouwbaarheidvandeindividueletoetseneeneffectophetaantalmisclassificaties.Meerbetrouwbaretoetsendoenhetaantalmisclassificatiesdalen.Bijdeexamensinhetvoortgezetonderwijshebbenwemetredelijkbetrouwbaretoetsentemaken.Vooreenoverzichtganaarwww.cito.nl>Voortgezetonderwijs>Centraleexamens>Examenverslagen.

Bijexamenshebbengezakteleerlingendemogelijkheidomvakkenteherkansen.Diemogelijkheidleidttoteenlagerpercentagegezakteleerlingen.Watechterheteffectisophetpercentagemisclassificatiesisonduidelijkomdatzoweltenonrechtealsterechtgezakteleerlingenherkansen.Leerlingendietenonrechtegezaktzijnenalsnogslagen,doenhetaantalmisclassificatiesdalen.Hetomgekeerdegeldtechtervoordeleerlingendieterechtgezaktwaren.Alszijnaherkansingalsnogslagendoetdathetaantalmisclassificatiesstijgen.Wewetenechterniethoeveelterechtenonterechtgezakteleerlingenherkansenendaardoorwetenweooknietwatheteffectvaneenherkansingisophetpercentagemisclassificaties.Eenherkansingleidtweltoteendalingvanhetpercentageonterechtgezakteleerlingenentoteenstijgingvanhetpercentageonterechtgeslaagdeleerlingen.

3.5 Betrouwbaarheid van beoordelingen door beoordelaars

Demeestetoetsenbestaanuitvragenen/ofopdrachtendieleerlingenmoetenbeantwoordenen/ofuitvoeren.Deantwoordenopdevragenofdeuitvoeringvandeopdrachtenwordendoor

Page 63: Toetsen op School

63 De betrouwbaarheid van toetsscores < Inhoud Index >

beoordelaarsbeoordeeld.Bijdiebeoordelingkanzowelhetaantalbeoordelaarsalsde (on)afhankelijkheidvandebeoordelaarsverschillen.Eenveelvoorkomendeafhankelijkebeoordelingssituatieisdesituatiewaarbijdedocentdeenigebeoordelaarisvandeleerlingendiezijofhijonderwezenheeft.Erzijnechterookbeoordelingssituatieswaarbijersprakeisvanmeerdereonafhankelijkebeoordelaarsdiedeleerlingennietkennen.Eenvoorbeeldinhetvoortgezetonderwijsishetstaatsexamenwaar,inplaatsvanhetschoolexamen,eencommissie-examendoortweeonafhankelijkebeoordelaarsafgenomenenbeoordeeldwordt.

Debeoordelingdieeenleerlingvoordebeantwoordingvaneenvraagofdeuitvoeringvaneenopdrachtontvangt,zoualleenbepaaldmoetenwordendoordekwaliteitvandebeantwoordingofdeuitvoering.Datbetekentookdathetnietzoumogenuitmakendoorwiedeleerlingbeoordeeldwordt.Indienerbijdebeoordelingengeenverschillenzoudenbestaantussendeoordelenvanverschillendebeoordelaarskunnenwesprekenvanobjectievebeoordeling.Objectievebeoordelingisechtereenideaaldatbijnagenoeggeenenkelebeoordelingssituatiegerealiseerdzalworden.Indienbeoordelaarsaanhetzelfdeantwoordopeenvraagofdezelfdeuitvoeringvaneenopdrachtverschillendebeoordelingengeven,veroorzaaktdateenmeetfoutdiedebetrouwbaarheidvandetoetsscoresnegatiefzalbeïnvloeden.Hoegrootdieinvloedis,hangtafvandematewaarindebeoordelingenverschillen.Voorhetkwantificerenvanverschillentussenbeoordelaarswordentweematengebruikt:beoordelaarsbetrouwbaarheidenbeoordelaarsovereenstemming.Deberekeningvandezematenisgelijkaandeberekeningvandebetrouwbaarheidvaneentoets,datwilzeggendatdebeoordelaarsnuderolvanitemsvervullen,enbeidehebbenookeenondergrensvan0eneenbovengrensvan1.Detwee matenwordentoegelichtmetbehulpvanonderstaandetweevoorbeeldendieindepraktijkzeldenzullenvoorkomenmaarweldeverschillentussendetweematenduidelijkmaken. Devoorbeeldenbetreffendebeoordelingenvantweebeoordelaarsvandeuitvoeringvaneenopdrachtdoorvijfleerlingen.

Voorbeeld 1: beoordelaar Voorbeeld 2: beoordelaar

1 2 3 4

Leerling

1 1 3 1 1

2 2 4 2 2

3 3 5 3 3

4 4 6 4 4

5 5 7 5 5

Gemiddeldebeoordeling 3 5 3 3

Invoorbeeld1zienwedatbeoordelaar1enbeoordelaar2iedereleerlingverschillendbeoordelen.Wezienechterookdatersprakeisvaneensystematischverschilindebeoordelingenvanbeoordelaar1enbeoordelaar2.Beoordelaar2geeftelkestudent2score-puntenmeerdanbeoordelaar1.Hoeweldeabsolutebeoordelingenvanbeoordelaar1enbeoordelaar2dus2scorepuntenverschillen,zijnhunrelatievebeoordelingenaanelkaargelijk.Beidebeoordelaarsbeoordelendeuitvoeringvandeopdrachtdoorleerling5alsdebeste,leerling4alsdeopeennadebesteenleerling1alsdeslechtste.Inbeoordelingssituatieszoalsinvoorbeeld1hebbenwetemakenmeteenperfectebeoordelaarsbetrouwbaarheiddiegelijkisaan1.Ondankseenperfectebeoordelaarsbetrouwbaarheidmaakthetvoordeleerlingenechterweldegelijkuitdoorwiezebeoordeeldworden.Indienersprakezouzijnvanslechtséénbeoordelaarheeftvooreenleerlingbeoordelingdoorbeoordelaar2duidelijkdevoorkeuromdatbeoordelaar2,gegevenzijngemiddeldebeoordeling,eenmilderebeoordelaarisdanbeoordelaar1.Ookwanneerdevijfleerlingendoorbeoordelaar1enbeoordelaar2beoordeeldwordenenhunoordelengemiddeldofgesommeerdworden,kanhetuitmakendatde

Page 64: Toetsen op School

64 Cito | Toetsen op School < Inhoud Index >

beoordelaarssystematischtweescorepuntenverschillen.Indieneenexamenalleenuitdezeopdrachtzoubestaanendecesuurligtbij4scorepunten,dankrijgtleerling2eenonvoldoendebeoordelingvanbeoordelaar1,eenvoldoendebeoordelingvanbeoordelaar2ofeenonvoldoendegemiddeldebeoordelingvanbeoordelaar1en2.Voorbeeld1laatziendatdestudentenondankseenperfectebeoordelaarsbetrouwbaarheidongelijkebeoordelingenkunnenkrijgen.Hoewelsystematischeverschillenzeldenzullenvoorkomen,komenverschillentussenbeoordelaarsveelvuldigvoor.

Invoorbeeld2zienwedatbeoordelaar3enbeoordelaar4ookvindendatdeuitvoeringvandeopdrachtdoorleerling5debeste,endeuitvoeringdoorleerling1deslechtsteis.Indatopzichtzijndebeoordelingeninvoorbeeld2gelijkaandieinvoorbeeld1.Invoorbeeld2zijnechterookdeindividuelebeoordelingenvandeleerlingendoordetweebeoordelaarsidentiek.Invoorbeeld2hebbenwetemakenmetzoweleenperfectebetrouwbaarheidalseenperfectebeoordelaars-overeenstemming.Invoorbeeld2maakthetvoordeleerlingennietuitofzeeenbeoordelingvanbeoordelaar3,beoordelaar4ofeengemiddeldebeoordelingvanbeoordelaar3en4krijgen.Voorbeeld2laatziendatleerlingenalleenbijeenperfectebeoordelaarsovereenstemminggelijkebeoordelingenkrijgen.

Watlerendezetweevoorbeeldenonsoverbeoordelaarsenbeoordelen?1 Dat we moeten streven naar een hoge beoordelaarsovereenstemmming.

Eénvandemanierenvoorhetrealiserenvaneenhogeovereenstemmingisdoorbijdebeoordelinggebruiktemakenvaneencorrectievoorschriftdatuiteenantwoordmodelofbeoordelingsschema,scoringsvoorschrifteneenbeoordelaarsinstructiebestaat(ziedehoofdstukken6,7en8).Eenanderemanierisdoortrainingencertificeringvanbeoordelaarsofassessoren.

2 Dat we antwoordmodellen of beoordelingsschema’s voor vragen en opdrachten moeten ontwikkelen die tot een hoge beoordelaarsovereenstemming tussen beoordelaars leiden. Datlaatstezaluitonderzoekmoetenblijken.

3 Dat we beoordelaarsbetrouwbaarheid of beoordelaarsovereenstemming niet moeten interpreteren als de betrouwbaarheid van een toets. Eenhogebeoordelaarsovereenstemmingiseennoodzakelijkemaargeenvoldoendevoorwaardevoorhetrealiserenvaneenhogetoetsbetrouwbaarheid.Debelangrijkstefactorvoorhetrealiserenvaneenhogetoetsbetrouwbaarheidishetaantalvragenofopdrachtendatweeenleerlinglatenbeantwoordenofuitvoeren.Dewarescorevaneenleerlingkanmetveelopdrachtenveelbetrouwbaardergeschatwordendanmetweinigopdrachten.Verschillentussenbeoordelaarszullendoorhetlatenuitvoerenvanmeerdereopdrachtenookminderinvloedhebbenopdescoreofhetcijferdatdeleerlingkrijgtdanwanneerslechtséénopdrachtafgenomenwordt.

4 Dat we leerlingen door twee of liever nog meer onafhankelijke beoordelaars zouden moeten laten beoordelen. Indepraktijkechterzalzelfsdeinzetvantweeonafhankelijkebeoordelaarsvaaknietmogelijkzijn.Somswordtdooréénonafhankelijkeenéénafhankelijkebeoordelaarbeoordeeld,ziedeexamensinhetvoortgezetonderwijs,ensomswordtdoormaarslechtséénonafhankelijkeoféénafhankelijkebeoordelaarbeoordeeld.Verwachtmagwordendatdeinzetvanéénonafhankelijkeoféénafhankelijkebeoordelaardebetrouwbaarheidvaneentoetsnegatieverzalbeïnvloedendandeinzetvanmeerdereonafhankelijkebeoordelaars.Ofdieinvloedverwaarloosbaarofgrootis,kanechteralleenviaonderzoekvastgesteldworden.WatbetreftdeexamensinhetvoortgezetonderwijskunnenweinditverbandverwijzennaarhetCito-rapport‘Depraktijkvandeeersteentweedecorrectie’(2013)waarinKuhlemeierenKremersverslagdoenvanonderzoeknaarhetfunctionerenvanhetCSE.Zoalshiervoorreedsopgemerktwerd,kunnengoedecorrectievoorschriften,getraindebeoordelaarsenhetafnemenvanveelitemservoorzorgendateentoetsvoldoendebetrouwbaaris.

Page 65: Toetsen op School

65 De betrouwbaarheid van toetsscores < Inhoud Index >

3.6 Hoe worden toetsscores betrouwbaarder?

Debetrouwbaarheidvantoetsscores,destandaardmeetfout,hetaantalmisclassificatiesbijééntoetsenmeerderetoetsenendematevanovereenstemmingtussenbeoordelaarswordendooreendrietalmetelkaarsamenhangendefactorenbeïnvloed:dekenmerkenvandetoets,deconditieswaaronderdetoetswordtafgenomenendesamenstellingvandegroepleerlingenwaarbijdetoetswordtafgenomen.

ToetskenmerkenKenmerkenvandetoetsbetreffendelengtevandetoets,devormvandevragenendekwaliteitvandeitems.

Lengte van de toetsLangetoetsenzullenbijnaaltijdbetrouwbaarderetoetsscoresopleverendankortetoetsen. Deverklaringhiervoorisdatiederetoetsuiteenverzamelingitemsbestaatenalsdieverzamelingtekleinis,speeltdespecifiekekeuzevandeitemseentegroterolbijhetbepalenvandescoresdiedeleerlingenkrijgen.DerelatietussenbetrouwbaarheidendelengtevandetoetswordtuitgedruktdoordeSpearman-Brownformule:

ρρρ

×=

+ − ×(1)( )

1 ( 1) (1)fff

Indeformulestaathetsymbool ρ voordebetrouwbaarheidvandetoets.Deletterfstaatvoordefactorwaarmeedetoetsverlengdwordtwaarbijfeenwillekeurigpositiefgetalis.WelichtendetoepassingvandeSpearman-Brownformulemettweevoorbeeldentoe.Heteerstevoorbeeldbetrefteentoetsdie24itemsbevateneenbetrouwbaarheidvan0,63heeft.Watwordtdebetrouwbaarheidvandetoetsalswedetoetsanderhalfkeerzolangmakenzodatweeentoetsmet36itemskrijgen?Metf=1,5geefttoepassingvandeSpearman-Brownformulevoorhomogenetoetsverlengingeenbetrouwbaarheidvan:

ρ ×= =

+ − ×1,5 0,63(1,5) 0,72

1 (1,5 1) 0,63

ToepassingvandeSpearman-Brownformulelaatziendathettoevoegenvan10itemsaaneentoetsvan30itemsmeerbetrouwbaarheidswinstoplevertdanhettoevoegenvan10itemsaaneentoetsvan50items.Meestalheefthetverlengenvaneentoetszinalsdetoetsuitrelatiefweinigitemsbestaatenalsdebetrouwbaarheidvandetoetsniettelaagis.Eenvoorbeeldvandatlaatsteiseentoetsvan15itemsmeteenbetrouwbaarheidvan0,40.Dietoetszoumet 75itemsverlengdmoetenwordenomeenbetrouwbaarheidvan0,80terealiseren.

Letweldatdoordetoetsteverlengennietalleendebetrouwbaarheidmaarookdestandaard-meetfoutgroterwordt.Zokanbewezenwordendatwanneerwedetoetsvierkeerzolangmaken,bijvoorbeeld64itemsinplaatsvan16items,destandaardmeetfouttweekeerzogrootwordt.Dateenhogerebetrouwbaarheidgepaardgaatmeteengroterestandaardmeetfoutlijktmetelkaarintegenspraak.Ondankseengroterestandaardmeetfoutneemtdenauwkeurigheidvandemetingechtertoeomdateentweemaalzogrotestandaardmeetfoutgebruiktwordtomtoetsscorestevergelijkenopeenviermaalzolangescoreschaal.Toetsscoresvanverschillendeleerlingenkunnenwebetrouwbaardervergelijkenopeenschaalvan64scorepuntendanopeenschaalvan16scorepunten.

ToepassingvandeSpearman-Brownformulelaatookziendatintheorieelketoetsscoreperfectbetrouwbaargemetenkanworden.Wanneerdehavo-toetsEngels2009nietuit43itemsmaar

Page 66: Toetsen op School

66 Cito | Toetsen op School < Inhoud Index >

uit430itemszoubestaan,zoudenwedewaretoetsscoreofhetwarecijfervandeleerlingenveelnauwkeurigerkunnenbepalen.

Hettweedevoorbeeldbetrefthetkortermakenvandetoets.Watwordtdebetrouwbaarheidvandetoetsalswedetoetsvan24itemsinkortentot18items?Metf=0,75geefttoepassingvandeSpearman-Brownformuleeenbetrouwbaarheidvan:

ρ ×= =

+ − ×0,75 0,63(0,75) 0,56

1 (0,75 1) 0,63

Wathiervoorbijhetverlengenvandetoetsopgemerktwerdoverderelatietusseneenhogerebetrouwbaarheideneengroterestandaardmeetfout,geldtookvoorhetverkortenvandetoets.

VraagvormToetsendieuitobjectiefscoorbarevragenbestaan,zoalsmeerkeuzevragenenkort-antwoordvragen,zullenmeestalbetrouwbaarderetoetsscoresopleverendantoetsenbestaandeuitlang-antwoordvragenwaarvandeantwoordendoorbeoordelaarsgescoordmoetenworden. Tweeverklaringenhiervoorzijndatbijgelijketoetstijdmeermeerkeuzevragenenkort-antwoordvragendanlang-antwoordvragenafgenomenkunnenwordenendatverschillendebeoordelingenvanbeoordelaarsbijlang-antwoordvragenbijdragenaandemeetfout. Bijtoetsenmetlang-antwoordvragenkaneengeringeraantalvragenechterwelgecompenseerdwordendoorvragenmetveelscorepuntenwaardoordescoreschaalgroterwordtwaardoorhetweermogelijkisomleerlingenbetrouwbaardertevergelijken.

Kwaliteit van de itemsItemsdietemoeilijkoftemakkelijkzijnvoorleerlingenzullenmeestalweinigbijdragenaandebetrouwbaarheidvandetoetsscores.Daarentegenwordtdebetrouwbaarheidverhoogddooritemsvaneengemiddeldemoeilijkheidsgraadenitemsdiegoedtussendeslechteenbetereleerlingenkunnenonderscheiden.

AfnameconditiesInparagraaf3.1merktenwereedsopdatindienfysiekeafnamecondities–zoalsdeverlichting,hetgeluidendetemperatuurvanexamenzalen–(opverschillendetijdstippen)verschillen,ditmeetfoutentotgevolgkanhebbenendebetrouwbaarheiddusnegatiefkanbeïnvloeden. Datgeldtookvoordeinstructiesdieervoormoetenzorgendatalleleerlingendezelfdekansenhebbenomdevragengoedtebeantwoorden.Ditbetekentbijvoorbeelddataanleerlingenverteldmoetwordendatzeallemeerkeuzevragenmoetenbeantwoordenendusnooitmeerkeuzevragenmoetenoverslaan.

Samenstelling van de groep leerlingenDegroottevandebetrouwbaarheidscoëfficiëntisafhankelijkvandewareverschilleninwatdetoetsmeetbijdegroepleerlingenwaarbijdetoetswordtafgenomen.Ditbetekentdatdebetrouwbaarheidlagerzalzijnbijeengroepleerlingenwaardewareverschillenkleinzijndanbijeengroepleerlingenwaardewareverschillengrootzijn.Bijdelaatstegroepisdeverhoudingtussendevariantiesvanwareengeobserveerdescoresgroterdanbijdeeerstegroep(zieookparagraaf3.1.2).Watwelkanvoorkomenisdatdeverschillentussendeleerlingenzeergeringzijnendatdaardoordebetrouwbaarheidvandetoetslaagis.Alsdiegeringeverschillenhetgevolgzijnvanzeergoedonderwijs,zouhetechteronjuistzijnomaaneenlagebetrouwbaarheiddeconclusieteverbindendatdetoetsonbruikbaarofongeschiktzouzijn.

Page 67: Toetsen op School

67 De betrouwbaarheid van toetsscores < Inhoud Index >

3.7 Betrouwbaarheid van toetsscores en de dagelijkse toetspraktijk

Indeparagrafenhiervoorisdebetrouwbaarheidvantoetsscoresvanuitverschillendegezichtspuntenbesproken.Opbasisvanonderanderediebesprekingensluitenwedithoofdstukafmetadviezenvoordedagelijksetoetspraktijk.

1 Toetsenenbeoordelingenvanbeoordelaarszijnfeilbaremetingenvandeprestatiesvanleerlingen.Metdiefeilbaarheiddientmenrekeningtehoudenbijdeinterpretatie en het gebruikvandegeobserveerdescoresdiehetresultaatzijnvandietoetsenofbeoordelingen.

2 Indienmenmaaréénenkeletoetsgebruiktvoorhetnemenvanbelangrijkebeslissingenoverleerlingendanmoetdietoetseenhogebetrouwbaarheidhebben.Debestegarantievooreenhogetoetsbetrouwbaarheidiseentoetsdieveelitemsvandejuistekwaliteitbevat.

3 Ookbijtoetsenmeteenhogebetrouwbaarheidzalvooreenaantalleerlingendebeslissingvaneenonvoldoendecijferofzakkenopdetoetseenfoutebeslissingzijn.Omhetaantaltenonrechtegezakteleerlingenzokleinmogelijktelatenzijn,moetmenruimhartigzijnmethetgevenvanherkansingen.

4 Gegevendatdemeestetoetsengeenhogebetrouwbaarhedenhebben,kanmenvoorhetnemenvanbelangrijkebeslissingenoverleerlingennietvolstaanmethetafnemenvaneenenkeletoetsmaarzalmenmeerderetoetsenmoetenafnemen.

5 Indienverschillendetoetsenmeteenredelijkebetrouwbaarheidtotvergelijkbarebeslissingenoverleerlingenleiden,kunnenwevertrouwenhebbenindebeslissingen.Indiendebeslissingenvanverschillendetoetsenelkaarechtertegenspreken,moetenwevoorzichtigzijnmethetnemenvanbeslissingen.

6 Ooktoetsenvoorhetlerenofformatievetoetsenmoetenvoldoendebetrouwbaarzijnomdatonbetrouwbaretoetsentotonbetrouwbarebeslissingenoverdevoortgangvanhetonderwijsleiden.

Page 68: Toetsen op School

68 Cito | Toetsen op School < Inhoud Index >

Page 69: Toetsen op School

4 De validiteit van toetsscores

4 De validiteit van toetsscores

Page 70: Toetsen op School

70 Cito | Toetsen op School < Inhoud Index >

4 Devaliditeitvantoetsscores Saskia Wools

Waaromvindenstudentenhetoneerlijkwanneererinhettentamenalleenvragenoverhetlaatstehoofdstukzijnopgenomen?Kunnenwemetbehulpvaneenbepaalderekentoetsuitsprakendoenoverrekenvaardigheidénruimtelijkinzicht?Klopthetadviesdatweleerlingenuitgroep8gevenoverhetvervolgonderwijs?Ditzijnallemaalvragendietemakenhebbenmetdevaliditeitvantoetsscores.

Dithoofdstukoverdevaliditeitvantoetsscoresbestaatuitdriedelen.Heteerstedeelgaatoverwatvaliditeitisenhoevaliditeitaangetoondkanworden.Welkebewijzengeschiktzijnomvaliditeitaantetonenwordtindeeltweebesproken,terwijlindeeldriedetheorieuitdetweevoorgaandedelenaandehandvantweepraktijkvoorbeeldenwordttoegelicht.

4.1 Wat is validiteit?

Validiteitgaatoverdeinterpretatieenhetgebruikvantoetsscores.DenkbijvoorbeeldaaneenluistertoetsFrans.HetisdebedoelingdatdescoresopdezetoetsietszeggenoverdeluistervaardigheidFransvandeleerlingendiedetoetsmaken.Weinterpreterendescoreopdetoetsdusalseenmaatvoorluistervaardigheid.Vervolgensgebruikenwedescoreomtebeslissenofeenleerlingvoldoendeluistervaardigisomnaardevolgendeklasovertegaan.Andersgezegdgaathetbijvaliditeitdusomdevraagofdetoetsscoresdeinformatiebiedenwaarinwegeïnteresseerdzijnenofopbasisvandezescoresdegewenstebeslissingengenomenkunnenworden.

Validiteitisafhankelijkvanhetdoelvaneentoetsendaaromishetmogelijkdateentoetsvoorhetenedoelvalideisenvooreenanderdoelniet.Denkbijvoorbeeldaaneentoetsdiedoorleerlingengemaaktwordtterafsluitingvaneencursusendiedaarnaastookgebruiktwordtomhetfunctionerenvandedocentteevalueren.Dezetoetsdientdustweedoelenenomerzekervantezijndatwedetoetsscoresvoorbeidedoelenkunnengebruiken,zullenwedevaliditeitvoorbeidedoelenmoetenaantonen.

Voorhetaantonenvandevaliditeitvantoetsscoreskunnenverschillendebewijzengebruiktworden.Gezamenlijklatendezebewijzenziendatdetoetsscoresmeerofmindergeschiktzijnvooreenbepaaldeinterpretatieofeenbepaaldgebruik.Hetverzamelen,combinerenenpresenterenvandezebewijzennoemenwevalideren.

4.1.1 Interpretatie en gebruik van toetsscoresBijhetvaliderenvantoetsscoresmakenweeenonderscheidtussendeinterpretatievantoetsscores(welkebetekenisheefteenscore?)enhetgebruikvantoetsscores(welkebeslissingenneemikopgrondvandetoetsscores?).

Deinterpretatievantoetsscoresisalleenvalidewanneererbewijzenbeschikbaarzijndiedezeinterpretatieondersteunen.DenkbijvoorbeeldaandeEindtoetsBasisonderwijs,ookwelCitotoetsgenoemd,waarmeevolgensdemakersvandetoetsleervorderingengemetenworden.Ditbetekentdatdetoetsscoregeïnterpreteerdkanwordenalseenmaatvoorwatde

Page 71: Toetsen op School

71 De validiteit van toetsscores < Inhoud Index >

leerlingenopdebasisschoolgeleerdhebben.Eenbeschrijvingvandeinhoudvandetoetskanalsbewijsvoorhetvaliderenvandezeinterpretatiegelden.

NaastdeinterpretatievandetoetsscoreskaninhetgevalvandeEindtoetsBasisonderwijsookhetgebruikvandescoresgevalideerdworden.DescoresvandeEindtoetsBasisonderwijswordengebruiktomleerlingenteadviserenoverhetbestpassendeschooltypenadebasisschool.Datdetoetsscoresgeschiktzijnvoorditgebruikmoetdusaangetoondworden.Onderzoekwaaruitblijktdatleerlingennaeenaantaljarennogsteedsophetgeadviseerdeschooltypezitten,kanalsbewijsdienenvoorhetgebruikvandeEindtoetsBasisonderwijs.DeEindtoetsBasisonderwijskannatuurlijkalleenalsadviesinstrumentgebruiktwordenalsweerzekervanzijndatdetoetsleervorderingenmeet.Daarommoetenzoweldeinterpretatiealshetgebruikvandetoetsscoresgevalideerdworden.Eenvalideinterpretatievandetoetsscoresisnamelijkeenvoorwaardevooreenvalidegebruik.InhetgevalvandeEindtoetsBasisonderwijszaldanookeerstaangetoondmoetenwordendatdetoetsscoresleervorderingenuitdrukken.Wanneerdeinterpretatievandetoetsnietkanwordengevalideerd,kanookhetgebruikvandetoetsnietgevalideerdworden.

Voorhetvaliderenvaneentoetszijnbewijzennodigdiezowelkwalitatiefalskwantitatiefvanaardkunnenzijn.Indevolgendeparagraafwordenverschillendecategorieënvaliditeits-bewijzenonderscheiden.Wekunnendevaliditeitvaneentoetshetbesteaantonendoorbewijzenuitverschillendecategorieënteverzamelen.Hetisnietnoodzakelijkombewijzenuitallecategorieënteverzamelenomdathetaantalenhetsoortbewijzenvooralafhankelijkisvandeinterpretatieenhetgebruikvandetoetsscores.

Tenslottewillenweopmerkendatweindithoofdstukkortheidshalvesomsoverdevaliditeitvaneentoetssprekenterwijlweoverdevaliditeitvantoetsscoreszoudenmoetenspreken.Toetsenzelfkunnennamelijknietvalidezijnmaardetoetsscoreswel.

4.2 Validiteitsbewijzen

Hiervoorhebbenwealuitgelegddatdevaliditeitvantoetsscoresbewezenmoetworden.Indezeparagraafbesprekenwezevencategorieënvanvaliditeitsbewijzen.

4.2.1 InhoudsbewijzenBijdeconstructievaneentoetswordenkeuzesgemaakttenaanzienvandeonderwerpenofonderdelenuitdeleerstofdieindetoetsopgenomenworden.Dezekeuzesbepalenvooreengrootdeelofdeinhoudvaneentoetsrepresentatiefisvoorhetleerstofdomeinofdevaardigheidwaaroveruitsprakengedaanmoetenworden.Alswebijvoorbeelduitsprakenwillendoenoverdebeheersingvandeleerstofuiteenbepaaldhoofdstukvaneenboek,stellenwenietalleenvragenoverdeeerstetweepagina’sofoverwatindeconclusiestaat.Inhoudsbewijzenlatenziendatdeitemsdieindetoetsopgenomenzijn,representatiefzijnvoorhetleerstofdomeinofdevaardigheidwaaroverweuitsprakenwillendoen.Figuur4.1bevatdriescenario’sdiederepresentativiteitvaneentoetsovertopografiepresenteren.DezetopografietoetswordtafgenomenomnategaaninhoeverredeleerlingendetopografievanNederlandkennen.InheteerstescenarioisteziendaterslechtseengedeeltevanhetleerstofdomeingedektwordtomdatalleenplaatseninGelderland(aangeduidmetzwartebolletjes)bevraagdworden.InhettweedescenariowordtjuistteveelvanhetleerstofdomeingevraagdomdatnietalleenkennisvandetopografievanNederlandmaarookvanEuropabevraagdwordt.InhetderdescenarioisersprakevaneenrepresentatievedomeindekkingvanhetleerstofdomeinomdatplaatsenuitgeheelNederlandbevraagdworden.

Page 72: Toetsen op School

72 Cito | Toetsen op School < Inhoud Index >

Figuur 4.1: Drie scenario’s voor de domeindekking van een topografietoets

Eeninhoudsbewijsvoordetopografietoetsisdetoetsmatrijswaarinaangegevenwordthoedeitemsoverdeverschillendeonderdelenvanhetleerstofdomeinverdeeldzijn.Hiermeekanaangetoondwordendatallebelangrijkeonderdelenuithetdomeinindetoetsbevraagdworden.Eenanderinhoudsbewijsvoordetopografietoetszijnbijvoorbeeldoordelenvandocentenaardrijkskundeoverderepresentativiteitenrelevantievandeitemsuitdetoets.

Inhoudsbewijzenzijnkwalitatiefvanaardenmoetengebaseerdzijnopanalysesvaninhoudelijkdeskundigen.

Waarom vinden studenten het oneerlijk wanneer er in het tentamen alleen vragen over het laatste hoofdstuk opgenomen zijn?

Alserineententamenalleenvragenoverhetlaatstehoofdstukopgenomenzijn,betekentditdatderepresentativiteitvanhettentamennietgoedis.Ofandersgezegd,dedomeindekkingvandezetoetsisonvoldoendeaangetoond.Studentenzullenhierdoorhetgevoelkrijgendatzijmaareenkleindeelvanhetgeleerdekunnendemonstreren.Voorhetdoenvaneerlijkeuitsprakenoverdevaardigheidvanstudentenishetbelangrijkdatoveralleonderdelenvandebehandeldeleerstofvragengesteldworden.Hetisnietnoodzakelijkdatoveralleonderdelenevenveelvragengesteldwordenomdathetaantalvragenookafhangtvanhetbelangvanhetdeelonderwerp.

4.2.2 ComplexiteitsbewijzenEentoetsmoetnietalleenhetleerstofdomeindekkenintermenvaninhoudmaarookintermenvankennishandelingendiedeleerlingenmoetenbeheersenomeentaakgoedtekunnenuitvoeren.Leerlingenmoetenbijvoorbeelddeleerstofkunnenoproepen,toepassen en analyserenenhetisvanbelangdatdiekennishandelingenindetoetsaandeordekomen. Opdezemanierkunnenweervoorzorgendatdecomplexiteitvandetakenindetoetshetzelfdeisalsdecomplexiteitvandetakeninhetleerstofdomein.Complexiteitsbewijzenlatendusziendatdecomplexiteitvandecognitieveprocessendietijdensdetoetsverlangdwordenvergelijkbaarzijnmetdecomplexiteitvancognitieveprocessendienodigzijnindetetoetsenvaardigheid.Omaantetonendatdetakenindetoetsoverdejuistecomplexiteitbeschikkenisopdeeersteplaatseenbeschrijvingvandevaardigheidwaarbijdekennishandelingeneenrolspelenvereist.Daarnaastmoetbewezenwordendatdeleerlingenbedoeldekennishandelingendaadwerkelijkgebruikenbijhetoplossenvandetaak.Eénvandemanierenomditaantetonenisdoormiddelvan‘hardop-denk’-protocollenwaarbijaanleerlingengevraagdwordtombijhetmakenvande

Page 73: Toetsen op School

73 De validiteit van toetsscores < Inhoud Index >

toetshardoptedenken.Doorditaanmeerdereleerlingentevragen,kannagegaanwordenofdebedoeldekennishandelingengebruiktworden.

Complexiteitsbewijzenzijnkwalitatiefvanaardenmoetengebaseerdzijnopanalysesvaninhoudelijkdeskundigen.

4.2.3 Interne structuur bewijzenMetdeinternestructuurvaneentoetsbedoelenwederelatietussende(scoresopde)vragenonderlingentussende(scoresopde)vragenende(scoresopde)completetoets.Steldatwedekennisvanwerkwoordspellingwillentoetsenwaarbijweervanuitgaandatwerkwoordspellingéénvaardigheidisendatallevragenindetoetseropgerichtzijnomdezevaardigheidtemeten.Alsdatlaatstehetgevalis,zaldesamenhangtussendevragenerggrootzijn.Dematevansamenhangtussen(descoresop)devragenkunnenwekwantitatiefbepalendoordecorrelatietussen(descoresop)devragenteberekenen.Voorwatcorrelatieisenhoedieberekendkanworden,verwijzenwenaar http://nl.wikipedia.org/wiki/Correlatie.

Hetisoverigensookmogelijkdatweeenaantaltoetsengebruikenomnietéénmaarmeerderevaardighedentemeten.DenkbijvoorbeeldaandeEindtoetsBasisonderwijs.DezetoetsbevatopgavenophetgebiedvanTaal,Rekenen-Wiskunde,StudievaardighedenenWereldoriëntatie.Uitonderzoeknaardeinternestructuurvandezetoetsblijktdatdesamenhangtussende(scoresopde)itemsvanhetzelfdeonderdeelhoogis,terwijldesamenhangtussende(scoresopde)itemsvanverschillendeonderdelenminderhoogis. HetvoorgaandeisereenbewijsvandatmetdeEindtoetsBasisonderwijsnietéénmaarmeerderevaardighedengemetenworden.Hetisoverigensnietaltijdnoodzakelijkomverschillendevaardighedeninapartetoetsonderdelenteverwerkendieopverschillendemomentenwordenafgenomen.

Internestructuurbewijzenzijnzowelkwantitatiefalskwalitatiefvanaard.Enerzijdswordendestructurenweergegevendoorcorrelatiecoëfficiënten,anderzijdsishetvanbelangomvoorhetbestaanofontbrekenvansamenhangtussenscoresopdeitemsvandezelfdeenverschillendeonderdelenplausibeleinhoudelijkeverklaringentegeven.

Kunnen we met behulp van een bepaalde rekentoets uitspraken doen over rekenvaardigheid én over ruimtelijk inzicht?

Wanneerwemetééntoetstweevaardighedenwillenbeoordelen,zullenwemoetenonderzoekenoferindeinternestructuurvandetoetsscoreseentweedelingtevindenis.Alsweeentweedelingvinden,kunnenwenagaanofdezeovereenkomtmetdeverwachtetweedelinginbijvoorbeeldrekenvaardigheidenruimtelijkinzicht.Eenbewijsvoordezetweedelingisdatdeitems‘rekenvaardigheid’meermetelkaarsamenhangendanmetdeitems‘ruimtelijkeordening’.

4.2.4 Externe structuur bewijzen Metdeexternestructuurvaneentoetsbedoelenwedesamenhangtussendescoresvanleerlingenopeenbepaaldetoetsenhunscoresopanderetoetsenofbijvoorbeelddeoordelenvandocenten.Detoetsscoreopeenanderetoetsofhetoordeelvaneendocentwordtookweleen externcriteriumgenoemd.Welkexterncriteriumofwelkeexternecriteriajekuntgebruikenomdevaliditeitvandetoetsscoresaantetonen,isafhankelijkvandeinterpretatie en hetgebruikvandetoetsscores.Zoisbijdeontwikkelingvaneenkortscreeningsinstrumentvoorhetsignalerenvantaal-

Page 74: Toetsen op School

74 Cito | Toetsen op School < Inhoud Index >

achterstandbijkleutersonderzochtofdeuitkomstenvanditinstrumentverschillendofgelijkzijnaandeuitkomstenvaneenuitgebreid,meerdaagsonderzoekvoorhetsignalerenvantaalachterstand.Wanneerdeuitkomstenvanhetkorteinstrumentenhetexternecriterium(d.w.z.hetmeerdaagseonderzoek)overeenkomen,bewijstditdathetkorteinstrumentookkanwordeningezetomtaalachterstandenbijkleuterstesignaleren.Hetisookmogelijkomdetoetsscoresvandeleerlingentevergelijkenmethetoordeelvandedocent.Opbasisscholenwordtbijvoorbeeldweleensgetoetsthoedesocialeverhoudingenindeklasliggen.Omdevaliditeitvandezetoetsscoresteonderzoeken,wordtookaandocentengevraagdomopbasisvanhunervaringendesocialeverhoudingentebeschrijven.Dezebeschrijvingkandanalsexterncriteriumvoordetoetsdienen.Totnutoehebbenwevoorbeeldenbesprokenwaarindesamenhangtussendetoetsscoreenhetexterncriteriumgrootzoumoetenzijn,maarhetisookmogelijkdatdesamenhangmeteenexterncriteriumgeringzoumoetenzijn.Zokunnenweonderzoekenofdescoresopeenrekenvaardigheidstoetssamenhangenmetdescoresopeenexterncriterium,bijvoorbeelddescoresopeenleesvaardigheidstoets.Wanneerwedanvindendatdesamenhangtussendezetweetoetsengeringis,danhebbenweaannemelijkgemaaktdatderekenvaardigheidstoetsrekenvaardigheidennietleesvaardigheidmeet.

Externestructuurbewijzenzijnzowelkwalitatiefalskwantitatiefvanaard.Enerzijdswordendestructurenweergegevendoorcorrelatiecoëfficiënten,anderzijdsishetvanbelangomvoorhetbestaanofontbrekenvansamenhangtussendescoreseneenexterncriteriumplausibeleinhoudelijkeverklaringentegeven.

Klopt het advies dat we leerlingen uit groep 8 geven over het vervolgonderwijs?

Omditteonderzoekenzullenwemoetennagaanofleerlingenmeteenbepaaldschooladviesookdaadwerkelijkeendiplomahalenbijhetgeadviseerdeonderwijstype.Ditkanbijvoorbeelddoorvanleerlingennategaaninwelkschooltypezijuiteindelijkterechtkomenenofzijditmetsuccesafsluiten.

4.2.5 BetrouwbaarheidsbewijzenBetrouwbaretoetsscoreszijneennoodzakelijkemaarnieteenvoldoendevoorwaardevoorvalidetoetsscores.Dezestellingimpliceertdateenonbetrouwbaretoetsscorenooiteenvalidetoetsscorekanzijn.Eentoetsscoredievooreengrootdeelbestaatuitmeetfoutenkannamelijknooiteengoedeweergavezijnvandevaardigheiddiewewillenmeten.Destellingimpliceertookdathetnietzoisdateenbetrouwbaretoetsscoreautomatischeenvalidetoetsscoreis. Eentoetskannamelijkietsandersmetendandebedoelingismaarkanditwelheelbetrouwbaardoen.Ditkomtwelvoorbijtoetsendieopmeerderevaardighedeneenberoepblijkentedoen,bijvoorbeeldeenrekentoetsdieookeenberoepdoetopdetaalvaardigheidvanleerlingen.

Voorgaandestellingdatdebetrouwbaarheidvaneentoetseennoodzakelijkemaargeenvoldoendevoorwaardeisvoorvaliditeitvaneentoets,willenweooknogeensillustrerenaandehandvaneenanalogiemetschietschijven.Indezeanalogiebeschouwenwetoetsenalshetschietenopeenschietschijf.Telkensalsweeentoetsafnemen,beschouwenweditalséénschotenalswedusvijfkeerdezelfdeofeenvergelijkbaretoetsafnemen,betekentditvijfschotenopdeschietschijf.Hetrakenvanderoosstaatindezeanalogievoorhetzogoedmogelijkmetenvandevaardigheiddiewemetdetoetsbeogentemeten.Infiguur4.2isteziendatdeschutterbijdeeersteschietschijfnietergpreciesschiet,datwilzeggendatverschillendeplaatsenvandeschietschijfgeraaktwordenendatookderoosniet(vijfkeer)geraaktwordt.Bijdetweede

Page 75: Toetsen op School

75 De validiteit van toetsscores < Inhoud Index >

schietschijfisdeschutterechterwelergprecies,datwilzeggendatdevijfschotenzeerdichtbijelkaarliggen,maarhijraaktderoosniet.Bijdederdeschietschijfschietdeschutterergpreciesenraakthijbovendienderoos.

Figuur 4.2: Drie schietschijven als analogie voor de betrouwbaarheid en validiteit van toetsscores

Deanalogievandeschietschijvengeeftderelatietussendebetrouwbaarheidendevaliditeitvaneentoetsweer.Deeersteschietschijfgeeftaandatalswedevaardigheidnietprecies (=onbetrouwbaar)meten,wedevaardigheidooknietvalidekunnenmeten.Detweedeschietschijflaatziendathetmogelijkisomdevaardigheidheelprecies(=betrouwbaar)maarnietvalidetemeten.Dederdeschietschijfgeeftaandatdevaardigheidnietalleenprecies (=betrouwbaar)maarookvalidegemetenwordt.

Betrouwbaarheidsbewijzenzijnmatenvoordebetrouwbaarheidvaneentoetsdieinhetvorigehoofdstukbesprokenzijn,zoalsCronbach’salfa,destandaardmeetfoutenhetpercentagemisclassificaties.

4.2.6 ExtrapoleerbaarheidsbewijzenMetdeextrapoleerbaarheidvantoetsenbedoelenwedatdeopeentoetsbehaaldeprestatiesnietalleenbetekenishebbenindecontextvandetoets,maardatdieprestatiesookbetekenishebbenvoorsituatiesbuitendetoetszoalsdeberoepspraktijk.LijkendetoetsenwaarmeedePabo-studenteopdePabobeoordeeldisopwatzijmoetdoentijdensdelio-stageenopwatzijuiteindelijknadeafrondingvanhaaropleidingindeberoepspraktijkmoetdoen?Lijkendetoetsenwaarmeedeleerlingvanhetmbotijdensdestukadoorsopleidingbeoordeeldisopwathijmoetdoenindeberoepspraktijk?

Bijdeextrapoleerbaarheidvaneentoetsisdeauthenticiteitvandevragenenopdrachtenvanbelang.Authenticiteithoudtindatderesponsdiewevandestudentvragen,datwilzeggenhetbeantwoordenvaneenvraag,hetdemonstrerenvaneenvaardigheid,hetschrijvenvaneenverslag,moetlijkenopwathijinde(beroeps)praktijkmoetdoen.Hetlaatsteisdanookderedenwaaromveeltoetsenindepraktijkwordenafgenomen.Vandaarookdatwanneeriemandinaanmerkingmeenttekomenvooreenrijbewijs,zijnrijgedragindeverkeerspraktijkbeoordeeldwordt.Tochisauthentiektoetsennietzovanzelfsprekendalshetlijktomdathetbijvoorbeeldgevaarlijkkanzijnomeenstudentineenauthentiekesituatietetoetsen.Erzullendaaromregelmatigconcessiesgedaanmoetenwordenaandeauthenticiteitvaneentoetswaardoordeextrapoleerbaarheidvandetoetsbeperktwordt.

Extrapoleerbaarheidsbewijzenzullenkwalitatiefvanaardzijnenbestaanuitvergelijkingentussenderesponsendiedoordetoetsgevraagdwordenenwatinde(beroeps)praktijkgevraagd

Page 76: Toetsen op School

76 Cito | Toetsen op School < Inhoud Index >

wordt.Bedoeldebewijzenkunnenzoweldoorbetrokkenenuithetonderwijsalsdoorbetrokkenenuitde(beroeps)praktijkgeleverdworden.

4.2.7 Consequentiële bewijzenEentoetskanverwachteenonverwachteconsequentiesvoorleerlingenendocentenhebben. Zokandeafnamevaneentussentijdsetoetserbijvoorbeeldvoorzorgendatdestudentalhalverwegehetsemesterhardergaatstudereninplaatsvantewachtentotheteindvanhetsemester.Zokaneendocentextraaandachtgevenaanbepaaldeonderdelenvandeleerstofomdathijverwachtdatdezeonderdelengetoetstzullenworden.

Eentoetsdierecentelijkingevoerdis,isdeWISCAT-pabo.DezerekentoetswordtingezetomtebepalenofPabo-studentenovervoldoenderekenvaardigheidbeschikkenominvierjaarvoldoendekennisoptedoenzodatzijnahunopleidingrekenonderwijskunnengeven.DetoetsisingevoerdindehoopdatdezeingangseisvoorPabo-studentenervoorzorgtdathetniveauvanhetrekenonderwijsopbasisscholenindetoekomstzalstijgen.Eengevolgdaarvankanweerzijndatuiteindelijkhetrekenniveauvanbasisschoolleerlingenookzalstijgen.Ofdatlaatstehetgevalis,kunnenwepasovereenaantaljarennagaan.MochtdatinderdaadhetgevalzijndangeldtdestijgingvanderekenvaardigheidvanbasisschoolleerlingenalsconsequentieelbewijsvoordeWISCAT-pabo.

Consequentiëlebewijzenzullenveelalkwantitatiefvanaardzijnomdatbijvoorbeeldbetereleerprestatiesvanleerlingenofbetereonderwijsprestatiesvandocentenkwantitatiefbepaaldworden.

4.3 Valideren in de praktijk

Indezeparagraafwordtaandehandvantweevoorbeeldengeïllustreerdhoetoetsengevalideerdkunnenworden.Beidevoorbeeldenbeginnenmeteenbeschrijvingvandetoetswaarnaindegrijzevlakkeningegaanwordtophetvaliditeitsbewijswatdaarbijhoort.

4.3.1 Eindtoets BasisonderwijsNadebasisschoolgaanallekindereninNederlandnaarhetvoortgezetonderwijs.Wanneereenkindzichaanmeldtbijeenschoolvoorvoortgezetonderwijs,isdebasisschoolbijwetverplichteenadviesuittebrengenoverhetvervolgonderwijs.Naasthetadviesvandebasisschoolzelfiservoortoelatingtothetvoortgezetonderwijsookeenzogehetenonafhankelijkadviesnodig.Datonafhankelijkadvieskandescoreopeentestoftoetsvaneenonafhankelijkeinstantiezijn. ErzijnverschillendetestenentoetsendievoorditdoelgebruiktkunnenwordenwaaronderdeEindtoetsBasisonderwijsvanCito.Hetadviesopbasisvandescoreopdetoets,hetadviesvandebasisschoolendewensenenideeënvandeouders,moetenermetelkaarvoorzorgendathetkindnaareenschooltypegaatdatgoedbijhemofhaarpast.

DevragenvandeEindtoetsBasisonderwijsgaanoverTaal,Rekenen-WiskundeenStudie-vaardigheden.VoorTaalmaakthetkind100vragen,voorRekenen-Wiskunde60envoorStudievaardigheden40.Hetzijnallemaalmeerkeuzevragen.DemeestebasisscholendoenooknogmeeaanhetfacultatieveonderdeelWereldoriëntatie.Ditonderdeelbestaatuit90meer-keuzevragen.

Page 77: Toetsen op School

77 De validiteit van toetsscores < Inhoud Index >

De interpretatie van de scores op de Eindtoets Basisonderwijs

DeEindtoetsBasisonderwijsiseenleervorderingentoets.Ditbetekentdatwedescoresopdetoetsinterpreterenalsmaatvoorleervorderingen,oftewel‘watleerlingeninachtjaarbasisonderwijsgeleerdhebben’.Hiertoewordenleerlingenvragenuitverschillendeleerstofdomeinenvoorgelegdwaarbijhetvanbelangisdatervragenuitalleleerstofdomeinenindetoetsopgenomenzijnzodatereenvolledigbeeldontstaatvandeleervorderingenvaneenleerling.

OmaantetonendatdescoresopdeEindtoetsBasisonderwijsgeïnterpreteerdkunnenwordenalseenmaatvoorleervorderingenishetvanbelangdatdeitemsrepresentatiefverdeeldzijnoverdeleerstofdomeinen.DevragenuitdeEindtoetsBasisonderwijswordendaaromontwikkeldopbasisvaneentoetsmatrijs.DetoetsmatrijsdientalsbewijsdaterindeEindtoetsBasisonderwijsvoldoendeopgavenuitalleleerstofdomeinenzijnopgenomenzodateenuitspraakoverdeleervorderingenvanleerlingenopalleonderdelenvandedriedomeinenmogelijkis.MenkanvanmeningverschillenoverdegehanteerdetoetsmatrijsmaardoordezeopenbaartemakenweetmenopwelkeleerstofdomeinendescoreopdeEindtoetsBasisonderwijsgebaseerdis.

Toetsmatrijs van de Eindtoets Basisonderwijs – bewijs voor de interpretatie van de scores van de Eindtoets Basisonderwijs

PerleerstofdomeinstaanhieronderdeonderdelenuitdeEindtoetsBasisonderwijsmettussenhaakjeshetaantalopgaven.

Taal(totaal100) Rekenen-Wiskunde(totaal60)- Schrijvenvanteksten(30) - Getallenenbewerkingen(25)- Spelling(20) - Verhoudingen,breukenen- Begrijpendlezen(30) procenten(20)- Woordenschat(20) - Meten,meetkunde,tijdengeld(15)

Studievaardigheden(totaal40) Wereldoriëntatie(totaal90)- Hanterenvanstudieteksten(10) - Aardrijkskunde(30)- Hanterenvaninformatiebronnen(10) - Geschiedenis(30)- Lezenvanschema’s,tabellenen grafieken(10)

- Natuuronderwijs(30)

- Kaartlezen(10)

VoorelkkinddatheeftmeegedaanaandeEindtoetsBasisonderwijssteltCitoeenLeerling-rapportopzoalsweergegeveninfiguur4.3.Bovenaanstaandeverschillendeonderdelenvandetoetsvermeld,met–opderegelseronder–hetaantalopgavendathetonderdeelbevat,hoeveelopgavengoedzijnbeantwoordenwelkepercentielscoredaarbijhoort.IndekolomTotaalstaatdezelfdeinformatiemaardanoveralleopgavensamen.InhetvoorbeeldziejedatAlexanderbijhetonderdeelTaal75vande100opgavengoedheeftbeantwoord.Bij75vande100opgavengoedhoorteenpercentielscorevan46.Diescorebetekentdat46%vanallekinderendiemeededenaandeEindtoetsBasisonderwijsnetalsAlexander75ofminderdan75vragengoedhaddenbeantwoordendat54%vandekinderenmeerdan75vragengoedhaddenbeantwoord.HeelbelangrijkophetLeerlingrapportisdestandaardscoredieindelaatstekolombovenaan

Page 78: Toetsen op School

78 Cito | Toetsen op School < Inhoud Index >

staat.Destandaardscoreiseengetaltussende501en550datisgebaseerdophetaantalgoedbeantwoordevragenbijTaal,Rekenen-WiskundeenStudievaardigheden.InhetvoorbeeldziejedatAlexandereenstandaardscoreheeftvan536.IndezogehetenpoppetjesgrafiekkunjelezenhoeAlexanderhetmeteenstandaardscorevan536naarverwachtingzaldoenindeverschillendetypenvanhetvoortgezetonderwijs.

DegegevensindepoppetjesgrafiekzijngebaseerdoponderzoekvanCitonaardetoelatingendoorstromingvanleerlingeninhetvoortgezetonderwijs.Indelinkerkolomstaandeverschillendeschooltypenvermeld.JezietdatAlexandermetzijnscorevan536indebasisberoepsgerichte,debasis-enkaderberoepsgerichteendekaderberoepsgerichteleerwegvanhetvmbototdehelegoedeleerlingenbehoort:slechtsenkeleleerlingenhebbeneenhogerestandaardscore(0-3%).Indebrugklastypengemengde/theoretischeleerwegenhavoengemengde/theoretischeleerwegenhavo/vwobehoorthijtotdemiddenmoot.OphetvwozouAlexandertotdeleerlingenbehorendiehetlaagstscoren:99%vandeleerlingenophetvwoscoorthoger.

Figuur 4.3: Voorbeeld van een Leerlingrapport

Het gebruik van de scores op de Eindtoets Basisonderwijs

DescoresvandeEindtoetsBasisonderwijswordengebruiktomleerlingenteadviserenoverdejuisteschoolkeuze.Hetisbelangrijkomaantetonendatdezescoresookgeschiktzijnvoorditgebruik.Wewillenbijvoorbeeldwetenofleerlingenmeteenhavo/vwo-adviesookechtinstaatzijnombinnenditschooltypesuccesvoltezijn.OmhetgebruikvandescoresopdeEindtoetsBasisonderwijstevalideren,zullenwedusbewijzenmoetenaanleverenwaaruitblijktdathetadviesdatgegevenwordtookklopt.

Primair onderwijs | Leerling- en onderwijsvolgsysteem

gemengde/theoretische leerwegen havo

Leerling 123456Alexander

School 12.345.67890CITOSCHOOLSchoolstraat 1231234 AB CITOCITY

basisberoepsgerichte leerweg

basis- en kaderberoepsgerichte leerweg

kaderberoepsgerichte leerweg

gemengde/theoretische leerwegen havo/vwo

gemengde/theoretische leerweg

havo/vwo

havo

vwo

Resultaten Taal Rekenen- Studie- Wereld- Totaal Wiskunde vaardigheden oriëntatie

Aantal opgaven 100 60 40 90 290Aantal goed 75 47 28 67 217Percentielscore 46 60 37 58 52

100%

98%

97%

86%

67%

41%

28%

12%

1%

0% 20% 40% 60% 80% 100%% met eenzelfdeof lagere score

Standaardscore

536

0%

2%

3%

14%

33%

59%

72%

88%

99%

% met eenhogere score

ToelichtingOp basis van de standaardscore komt een keuze voor een school met een gemengde/theoretische leerweg het meest in aanmerking: de brugklastypen ‘gemengde/theoretische leerweg en havo’ en ‘gemengde/ theoretische leerweg en havo/vwo’ lijken het meest geschikt. Van de leerlingen die tot het eerstgenoemde brugklastype worden toegelaten, heeft 67% eenzelfde of lagere standaardscore en 33% een hogere. Voor het tweede type is dat 41% en 59%. De leerkracht kan op basis van de informatie waarover hij of zij beschikt, een ander brugklastype adviseren.

Eindtoets Basisonderwijs 2010Leerlingrapport

Page 79: Toetsen op School

79 De validiteit van toetsscores < Inhoud Index >

OmaantetonendathetadviesdathoortbijeenbepaaldescoreopdeEindtoetsBasisonderwijsklopt,voertCitohetToelatings-endoorstroomonderzoekEindtoetsBasisonderwijsuit. EenbeschrijvingdaarvanwordtalsbewijsvoorhetgebruikvandeEindtoetsBasisonderwijsaangevoerd.

Toelatings- en doorstroomonderzoek Eindtoets Basisonderwijs – bewijs voor het gebruik van de scores op de Eindtoets Basisonderwijs

Inhetnajaarvan2006zijndegegevensvan135.442leerlingendiein2005aandeEindtoetsBasisonderwijsdeelnamen,gekoppeldaandeleerlinggegevensvanhetCentraalBureauvoordeStatistiek(CBS).Voordezeleerlingengeldtdat80%vandeleerlingengeplaatstisinhetophetLeerlingrapportEindtoetsBasisonderwijsgeadviseerdeschooltype.Bij13%vandeleerlingenadviseertdeEindtoets‘hoger’enbij7%‘lager’danhetschooltypewaarindeleerlingenwordentoegelaten.

Onderstaandetabelgeefthetpercentageleerlingenzoalsgeplaatstindeverschillendeschooltypen.

Advies Lager Overeenkomstig Hoger

501–523 BB nvt 78 22

524–528 KB 6 44 50

529–536 GT 12 74 14

537–544 Havo 6 87 7

545–550 Vwo 2 98 nvt

Voorbeeld:VoorAlexander,dieeenstandaardscorevan536heeft,komteenkeuzevooreenschoolmeteengemengde/theoretischeleerweghetmeestinaanmerking.Indetabelzienwedat74%vandeleerlingendieeenstandaardscoreinhetinterval529-536heeftbehaald,ookdaadwerkelijkinditschooltypegeplaatstis.Wezienookdat14%ineenhogerschooltype(havoofvwo)en12%ineenlagerschooltype(basis-ofkaderberoeps-gerichteleerweg)geplaatstis.

OmdevaliditeitvandescoresopdeEindtoetsBasisonderwijsaantetonen,hebbenwebewijzenuittweevandezevenbesprokencategorieëngepresenteerd.OmdeinterpretatievandescoresopdeEindtoetsBasisonderwijsalsmaatvoorleervorderingenaantetonen,iseersteen inhoudsbewijsgepresenteerd(zieparagraaf4.2.1).Ditbewijsbestonduiteentoetsmatrijswaarmeedetoetsconstructeurslatenzienwelkeonderdelenerindetoetszijnopgenomen.DaarnahebbenwehetgebruikvandescoresopdeEindtoetsBasisonderwijsvooradviseringaanleerlingenoverhetbijhunbestpassendeschooltypegevalideerdaandehandvanhetToelatings-endoorstroomonderzoek.Ditonderzoekkandienenalseenexternestructuurbewijs(zieparagraaf4.2.4).Indebeschrijvingvanditvoorbeeldisvoorzoweldeinterpretatiealsvoorhetgebruikslechtséénbewijsstukopgenomen.VoorhetvaliderenvaneenbelangrijketoetsalsdeEindtoetsBasisonderwijszijnechterooknogbewijzenuitanderecategorieënbeschikbaardiewehierechterverderbuitenbeschouwinglaten.

Page 80: Toetsen op School

80 Cito | Toetsen op School < Inhoud Index >

4.3.2 WISCAT-pabo – Adaptieve Rekentoets voor Pabo-studentenWISCAT-paboiseentoetspakketvoorrekenenenwiskundedatkanwordeningezetindelerarenopleidingvoorhetbasisonderwijsomvasttestellenofinstromendestudentenvoldoendevoorkennisvanrekenenenwiskundehebbenomdeopleidingtotdocentgoedtekunnendoorlopen.WISCAT-paboiseenadaptieftoetspakket.Ditbetekentdatelkestudentinprincipeeen(gedeeltelijk)anderetoetsmaakt.Datlaatstekomtdoordatbijeencomputer-gestuurdeadaptievetoetsafname(CAT)hetniveauvandetoetszogoedmogelijkafgestemdwordtopdevaardigheidvandestudent.Helerekenvaardigestudentenkrijgenmoeilijkereitemsdanstudentenmeteengemiddeldeoflagerekenvaardigheid.Omdateencomputer-gestuurdeadaptievetoetsafnamegebruikmaaktvaneenverzamelingitemswaarvandemoeilijkheidsgraadbekendis,kunnendeprestatiesvanstudentenop(gedeeltelijk)verschillendetoetsentochdirectmetelkaarvergelekenworden.VoormeerinformatieovereenCATzie:www.cito.nl>Onderwijs>Hogeronderwijs>Toetsenvoorpabo’s>WISCAT-pabo.

De interpretatie van de scores op de WISCAT-pabo

DescoresopdetoetsenuithettoetspakketWISCAT-pabogevenaanwatderekenvaardigheidvanstudentenvandelerarenopleidingbasisonderwijsis.

OnderrekenvaardigheidverstaatdeVerenigingHogescholendebasalebekwaamheiddienodigisommetsuccesopgavenuitdevolgende(sub)domeinentekunnenmaken:a basisvaardigheden:tellen,optellen,aftrekken,vermenigvuldigen,delen,machten,

schatten,afronden;b breuken,procenten,verhoudingen,decimalegetallen;c metenenmeetkunde;d informatieverwerking,kans,statistiek(zeerbeperkt);e (woord)algebra,verbanden,grafieken,tabellenenenfuncties(zeerbeperkt).

Ondercategorieaenbvallentevensopgavendiehoofdrekenendgemaaktmoetenworden.

DeWISCAT-pabomoetnaasteentotaalscoreookeenprofielscoregevenvoordevolgende,doordeVerenigingHogescholen,www.vereniginghogescholen.nl,aangegeven(sub)domeinen:• hoofdrekenen;• basisbewerkingen;• breuken,procenten,verhoudingenendecimalegetallen;• metenenmeetkunde.

Omeenbetrouwbareprofielscoretekunnengeven,moetelketoetsvoldoendeopgavenuitdeze(sub)domeinenbevatten.OmervoortezorgendatdetoetsscorevolgensdedefinitievandeVerenigingHogescholengeïnterpreteerdkanworden,isvoordetoetseenaantalvasteeigenschappenvastgesteld.Dezeeigenschappenkunnengebruiktwordenalsbewijsvoordeinterpretatievandetoetsscorealsmaatvoorrekenvaardigheid.

Page 81: Toetsen op School

81 De validiteit van toetsscores < Inhoud Index >

Gegarandeerde domeindekking – bewijs voor de interpretatie van de scores op de WISCAT-pabo

Vasteeigenschappenvandetoets:

1 Eriseenvastetoetslengtevan50opgaven.2 Ermoetaltijdbegonnenwordenmet15hoofdrekenopgaven.3 De15hoofdrekenopgavenwordengeselecteerduitde(sub)domeinen1.1(7opgaven),

1.3(7opgaven)en1.4of2(1opgave).4 Vervolgenswordennog35opgavengeselecteerduitde(sub)domeinen: • subdomein1.1:basisbewerkingen(8opgaven); • subdomein1.3:breuken,procenten,verhoudingenendecimalegetallen

(8opgaven); • subdomein1.4endomein2:metenenmeetkunde(14opgaven); • domein3:informatieverwerking,kansenstatistiek,endomein4:woordalgebra,

verbanden,grafiekenenfuncties(5opgaven). Dezeopgavenwordendoorelkaarendusnietper(sub)domeingeordendaangeboden.

Devragendieindetoetsopgenomenworden,zijnafkomstiguiteenopgavenbank.Ditiseendatabasemetdaarinallemogelijkevragendiedoordeadaptievetoetsgeselecteerdkunnenworden.DeopgavenbankvoordeWISCAT-pabobestaatuitmeerkeuzevragenenkort-antwoordvragen.Beidevraagtypenwordenautomatischgescoord.

DeWISCAT-pabowordtgebruiktomtebeslissenofPabo-studentenvoldoenderekenvaardigzijnomindetoekomstbasisschoolleerlingenrekenenteleren.ErisdaarombepaalddatdePabo-studentenophetzelfdeniveaumoetenkunnenrekenenalseengoedeleerlinguitgroep8.DitlaatstekomteropneerdatdePabo-studentmoetkunnenrekenenophetniveauvande20%besteleerlingenvandebasisschool. OmaantetonendatdeWISCAT-pabogeschiktisvoorhetvoorgesteldegebruikishetnoodzakelijkomaantetonendateenleerlingdiezaktvoordeWISCAT-pabomindergoedkanrekenendandebeste20%leerlingenvangroep8.Eenvoorbeeldvaneenbewijsdathiervoorkandienen,iseenbeschrijvingvandeprocedurediegevolgdisomerzekervantezijndatdezak/slaaggrenszodanigisgestelddatdestudentendiebeterofevengoedrekenenalsde20%besteleerlingenuitgroep8zullenslagenendatdeleerlingendiemindergoedrekenenzullenzakken.

Page 82: Toetsen op School

82 Cito | Toetsen op School < Inhoud Index >

Het gebruik van de scores op de WISCAT-pabo

In2005sprakdetoenmaligeministervanonderwijsmetdePabo’safdatstudentenvoortaaneenbindendstudie-adviesmoetenkrijgenomdeopleidingteverlatenalszenaheteerstestudiejaarernietingeslaagdzijneenvoldoendetehalenopeentoetswaarmeedeeigenvaardigheidvoordevakgebiedenNederlandsenrekeneninkaartwordtgebracht.Elkeopleidingmochttoenzelfbepalenwelkniveaudestudentenmoestenhalen.In2005verscheeninhetTijdschriftvoorHogerOnderwijseenartikelwaarinwerdaangetoonddatmeerdandehelftvaneerstejaarsPabo-studentenslechterrekendedaneengoedeleerlinguitgroep8vanhetbasisonderwijs(Straetmans&Eggen,2005).DedaaropvolgendediscussieleiddeertoedatderekenvaardigheidvaneerstejaarsPabo-studentenvoortaangetoetstzoumoetenwordenmeteenlandelijketoetsinclusiefeenlandelijkgeldendeprestatiestandaard.

BijhetvaliderenvandeWISCAT-pabozijntweemogelijkebewijzenbesproken.Heteerstebewijsdatdienttervalideringvandeinterpretatievandetoetsscorealsmaatvoorreken-vaardigheidiseentoetsmatrijs.Hetgebruikvandetoetsscoresisgevalideerddooreenproceduretebeschrijvendieervoorzorgtdatdezak/slaaggrenszorgvuldigisvastgesteld.Doordatdezak/slaaggrensopdezemanierisvastgesteld,ishetmogelijkomdeprestatievanstudentenopdeWISCAT-pabotevergelijkenmethetniveauvanleerlingeningroep8vanhetbasisonderwijs.Hetbewijsvoordeinterpretatieisbewijsuitdecategorieinhoudsbewijs(paragraaf4.2.1),terwijlhetbewijsvoorhetgebruikvandetoetsscoresalsbewijsuitdecategorieexternestructuur(paragraaf4.2.4)opgevatzoukunnenworden.

4.4 Validiteit van toetsscores in de dagelijkse toetspraktijk

Indeparagrafenhiervoorisdevaliditeitvantoetsscoresbesproken.Opbasisvanonderanderediebesprekingensluitenwedithoofdstukafmetadviezenvoordedagelijksetoetspraktijk.

1 Wanneerwedevaliditeitvantoetsscoreswillenonderzoeken,ishetnoodzakelijkombewijzenteverzamelendiemoetenaantonendatdetoetsscoresgeschiktzijnvoorhetvoorafvastgesteldedoelvandetoets.Hetzorgvuldigvaststellenvanhetdoelvandetoetsisdanookvangrootbelang.

2 Omerzekervantezijndatjemeteentoetsdejuistebeslissingneemt,moetenzoweldebetrouwbaarheidalsdevaliditeitvantoetsscoresaangetoondworden.Eenmetingkanimmersalleenvalidezijnalsdezeookbetrouwbaaris.

3 Hetisbelangrijkomhetaantalvragenindetoetstemaximaliseren.Ditkomtnietalleentengoedeaandebetrouwbaarheid,maarkanerookvoorzorgendatdevaliditeitvandebeslissingaannemelijkerwordt.

4 Eénvandebelangrijkstebewijzenvoordevaliditeitvantoetsendieinhetonderwijsgebruiktworden,ishetinhoudsbewijs.Ditbewijskantijdenshetconstructieprocesvandetoetsalgrotendeelsgeconstrueerdwordendoortewerkenmeteentoetsmatrijs.Ineentoetsmatrijswordtiniedergevalbepaaldwelkeonderdelenindetoetszullenwordenopgenomenenkanookaangegevenwordenwelkekennishandelingeneenrolspelen.Doordeitemsteconstruerenvolgensdetoetsmatrijskaneengoededomeindekkingbereiktworden.

Page 83: Toetsen op School

83 De validiteit van toetsscores < Inhoud Index >

5 Hetvaliderenvaneentoetsisveelwerkenvereistkennisvanveelverschillendeaspecten.Naastinhoudelijkekennisoverhetonderwerpvandetoetsishetookvanbelangdatermettoetstechnischekennisnaardetoetsgekekenwordt.Validerenisdusteamsport.

6 Nietalleenindividueletoetsen,examensofassessmentsdienengevalideerdtewordenmaarookexamenplannen,toetsplannenofcompetentieassessmentprogramma’sdieuitmeerderetoetsenbestaan.Eenbekendvoorbeeldisheteindexameninhetvoortgezetonderwijsdatuitmeerderetoetsenbestaatdietoteendiplomaleiden.Voordezegecombineerdetoetsenishetvanbelangdatzoweldeafzonderlijkeonderdelenalsdecombinatievandeafzonderlijketoetsengevalideerdworden.

Page 84: Toetsen op School

84 Cito | Toetsen op School < Inhoud Index >

Page 85: Toetsen op School

5 Inform

atie over toetsen en examineren

5 Informatie over toetsen en examineren

Page 86: Toetsen op School

86 Cito | Toetsen op School < Inhoud Index >

5 Informatieovertoetsenen examineren

Erna Meijer

Ophetinternetisveelinformatiebeschikbaarovertoetsingenexaminering.Maarwaariswelkeinformatietevinden?Indithoofdstukmaakjeeerstkennismetdebelangrijksteinformatiebronovertoetsingenexamineringophetinternet,dewebsiteToetswijzer.Daarnalatenwezienhoejeinformatieoverschooltoetsenenliteratuurovertoetsingenexamineringkuntvinden.

5.1 Toetswijzer, gids op internet voor toetsing en examinering

Alsjeietswiltwetenophetgebiedvantoetsingofexamineringkunjeterechtop www.toetswijzer.nl.DewebsiteToetswijzerbevatinformatieoveronderanderetoets-constructie,vraagvormenzoalsgeslotenenopenvragen,praktischeopdrachten,beoordelenmetportfolio’s,leerlingvolgsystemen,toetsenvoorbegrijpendlezen,deEindtoetsBasisonderwijs,eindexamensinhetvoortgezetonderwijs,beoordelenvantoetsen,centraleexamenstaalenrekenenvoorhetmiddelbaarberoepsonderwijsenbeoordelenvandocentbekwaamheid.

Homepage van de website Toetswijzer

Page 87: Toetsen op School

87 Informatie over toetsen en examineren < Inhoud Index >

Breed aanbodDeinformatieopToetswijzerisafkomstigvanallerleiorganisatieszoalshetministerievanOCW,deOnderwijsraad,deInspectievanhetOnderwijs,instellingenuitdeonderwijsverzorgingzoalsSLO,KPC,CPS,APSenCito,onderwijsradenzoalsPO-Raad,VO-raad,MBORaaden VerenigingHogescholen,uitgevers,universiteitenenonderwijsinstellingen.ToetswijzeriseenonderdeelvanKennisnetendecontentvanToetswijzerisdanookspeciaalgerichtopdegebruikersvanwww.kennisnet.nl:docentenenmanagersinhetonderwijs.Maareigenlijkisdesiteboeiendvooriedereendiegeïnteresseerdisintoetsingenevaluatie,zoalsonderwijsadviesorganisaties,lerarenopleidingen,leerlingenenhunouders.OmdatToetswijzeronderdeelisvanKennisnet,isdewebsiteooktevindenophttp://toetswijzer.kennisnet.nl.

OnderwijssectorenDeinformatieopToetswijzerisgeordendnaarschooltype:primaironderwijs,voortgezetonderwijs,bveenleraren(opleidingen).Jekomtbijdegegevensdooropwww.toetswijzer.nl een schooltypeteselecterenenvervolgenslinksophetschermopeenonderwerpteklikken. Eengreepuitdeonderwerpen:• OnderdeknopAlgemeenisalgemeneinformatieovertoetsingtevindenzoals

deskundigheidsbevordering,organisatiesinbinnen-enbuitenlandentoetsconstructie. ZovindjeindeDatabank algemeen > Toetsing > Toetsconstructiebijvoorbeeldeenbrochureoverhettoetsenmetopenvragen,eenliteratuurlijstoverdeconstructievangeslotenvragen,deToetstechnischeBegrippenlijsteneenspecialoverhettoetsconstructieproces.

• DerubriekPrimair onderwijsinformeertovertoetsinginhetbasisonderwijs.De‘Databankprimaironderwijs’bevatverwijzingennaaronderandereobservatie-instrumentenvoorpeutersenkleuters,leerlingvolgsystemen,eindtoetsenvoorgroep8,eenspecialoverdeCitotoetsentoetsenvoortaal,rekenen-wiskunde,wereldoriëntatieenEngels.

• ViadeknopVoortgezet onderwijsvindjeinformatieoverondermeervolg-enadvies-systemenvoordeonderbouwvoortgezetonderwijs,schoolexamensencentraleeind-examens.Klikinde‘Databankvoortgezetonderwijs’bijvoorbeeldop2e fase HAVO/VWO > Algemeenvoordeexamenprogramma’svoorhavoenvwovanhetCollegevoorExamens(CvE),dehandreikingenvoordeschoolexamensvanSLOofhetdossiervandeOnderwijsraadmetadviezenoverexamens.BijVakkentrefjeondermeerinformatieaanoverhetEuropeesReferentiekaderTalen(ERK),hetDIALANGtoetssysteemvoormodernevreemdetalenenonlinewiskundetoetseninWisBase.

• InderubriekBVEvindjeinde‘DatabankBVE’verwijzingennaarbijvoorbeelddewebsitevanhetKenniscentrumEVC(ErkenningvanVerworvenCompetenties),hetExamenverslagmbovandeOnderwijsinspectieendelandelijkeexamineringvantaalenrekeneninhetmbo.

• DerubriekLeraren(opleidingen)bevatallerhandeinformatieophetgebiedvandocent-bekwaamheid.De‘Databankleraren(opleidingen)’verwijstondermeernaarinformatieoverdebekwaamheidseisenvoorhetonderwijs(wetBIO)endebekwaamheidsinstrumentenvandeOnderwijscoöperatie.

ToetsspecialsInteressantvoordocenten(inopleiding)zijndetoetsspecials,waarindeskundigenophetgebiedvantoetsingenexamineringdieperingaanopeenspecifiekonderwerp.Zoisereenspecialover:• hettoetsconstructieproces;• observatie-instrumentenvoorhetvolgenvandeontwikkelingvanjongekinderen;• deEindtoetsBasisonderwijs(Citotoets);• deinstrumentenbijindicatiestellinginhetleerwegondersteunendonderwijs(LWOO)en

praktijkonderwijs(PrO)inhetvoortgezetonderwijs;• praktijktoetsenenpraktischeopdrachtenindeonderbouwvanhetvoortgezetonderwijs;

Page 88: Toetsen op School

88 Cito | Toetsen op School < Inhoud Index >

• deeindexamensinhetvoortgezetonderwijs(dezespecialbevatondermeereenoverzichtvanwebsiteswaarleerlingenoudeexamenopgavenkunnenoefenen);

• deleeropbrengstvanfeedbackincomputergestuurdetoetsen;• lerenvantoetsen:hetgebruikvantoetsenvoorformatievedoeleinden.EenoverzichtvanallespecialsvindjeviahetstartschermvanToetswijzer.

ToetsgidsInderubriekToetsgidsvindjeinformatieoverschooltoetsen.Toetsgidsbevatbeschrijvingenvande inhoud en kwaliteitvanschooltoetsendieindehandelverkrijgbaarzijn.Detoetsenkunnenopbasisvankwaliteitsbeoordelingenmetelkaarvergelekenworden.DekwaliteitsbeoordelingeninToetsgidszijnontleendaandeCommissieTestaangelegenhedenNederland(COTAN).Toetsgidsiseenhulpmiddelvoordocenten,onderwijsadviesbureausenorthopedagogendievanplanzijneentoetstegebruikenoftekopen.InformatieoverdewerkwijzevandeCOTANistevindeninhoofdstuk10.

Zoekactie in Toetsgids: klik op de naam voor meer informatie over de toets

5.2 Informatie over schooltoetsen

Opverschillendeplaatsenophetinternetisinformatietevindenoverschooltoetsen.Bijtoetsenvancommerciëleuitgeversgaathetombetaaldeproducten,watderedenisdatdeinformatieophetinternetzichveelalbeperkttoteenbeschrijvingofdemovanhettoetsproduct.Naastinformatieoverbetaaldetoetsproductenzijnophetinternetookveelgratisschriftelijke,elek-tronischeenonlinetoetsentevinden.Hiernabesprekenweeenaantalbronnenophetinternetdiejekuntraadplegenalsjejewiltoriënterenophetaanbodvantoetsenvoorgebruikopschool.

Page 89: Toetsen op School

89 Informatie over toetsen en examineren < Inhoud Index >

COTAN

www.cotandocumentatie.nl

COTANstaatvoorCommissieTestaangelegenhedenNederland.DecommissieisonderdeelvanhetNederlandsInstituutvanPsychologen(NIP).COTANwildekwaliteitvantestsentestgebruikinNederlandbevorderen.Zijdoetditondermeerdoorpsychodiagnostischeinstrumenten,waaronderookschooltoetsen,tebeoordelenaandehandvancriteriaalsuitgangspuntenvandetestconstructie,kwaliteitvanhettestmateriaalendehandleiding,normen,betrouwbaarheiden validiteit.Detestbeschrijvingenen-beoordelingenvanCOTANzijngepubliceerdinhetnaslagwerk‘DocumentatievantestsentestresearchinNederland’(2delen,NIP/VanGorcum,2000) en‘COTANTestboekvoorhetonderwijs’(NDC-Boom,2002).Metingangvan2009isde COTAN-documentatieviaeenabonnementensysteemonlinebeschikbaarvia www.cotandocumentatie.nl.MeerinformatieoverdeCOTANistevindeninhoofdstuk10en op www.psynip.nl/tests_cotan.html.

Kennisnet

www.kennisnet.nl

Kennisnetfaciliteertinstellingeninhetprimaironderwijs,voortgezetonderwijsenberoepsonderwijsbijhetbenuttenvandekrachtvanICT.SamenmethaarpartnersenhetonderwijsheeftKennisnetpraktischetoepassingenendienstenontwikkelddietevindenzijnviade knop DienstenopdewebsitevanKennisnet.Wenoemenhierenkelewebsitesdieookinformatiebevattenoverschooltoetsen,oefenmateriaal,toetsingofbeoordeling.

WikiwijsleermiddelenpleinOphetWikiwijsleermiddelenplein,www.wikiwijsleermiddelenplein.nl,kunnenleermiddelen–waaronderevaluatie-entoetsmateriaal–gezocht,vergeleken,gemaaktengedeeldworden.

Edurep, de educatieve zoekmachineEdurepiseengratis,centralevoorzieningdie(digitaal)leermateriaalopinternetvindbaarmaakt,ziehttp://edurep.kennisnet.nl.HiervoorverzameltEdurepgegevensoverleermateriaaluiteengrootaantalcollecties.Dezecollectieszijnafkomstigvanbijvoorbeelduitgeverijen,onderwijsinstellingenencultureel-maatschappelijkeorganisaties.

Kennisnet FederatieIndeKennisnetFederatiezijnonderwijsinstellingenenleveranciersvaneducatievecontentverenigd.Viadezedienstkunnenscholenmetéénlogindeleermiddelenvandeaangeslotenleveranciersbereiken.Kijkopwww.kennisnetfederatie.nl.

Leraar24Leraar24iseenonlineplatform,voorendoorleraren,omhenteondersteunenbijhetuitoefenenvanhunberoep,ziewww.leraar24.nl.Leraar24iseeninitiatiefvanKennisnet,WetenschappelijkCentrumLerarenOnderzoek(LOOK)endeOnderwijscoöperatie.

Page 90: Toetsen op School

90 Cito | Toetsen op School < Inhoud Index >

DavindiDavindiisdezoekmachinevoorleerlingeninhetbasisonderwijs,ziewww.davindi.nl.Davindibevatleer-eninformatiebronnenvoorhetbasisonderwijsophetinternetdiezorgvuldigzijngeselecteerddooreenredactievandocenten.

Nederlands Jeugd instituut

www.nji.nl

HetNederlandsJeugdinstituut(NJi)ishetlandelijkkennisinstituutvoorjeugd-enopvoedingsvraagstukken.HetNJihelptorganisatiesindejeugdsectordekwaliteitvandedienstverleningteverbeteren.OpdehomepagevandeNJi-siteiseenoverzichttevindenvandossiersoverondermeerADHD,autisme,gedragsstoornissenenvoor-envroegschoolseeducatie(vve).Enindatabankenopwww.nji.nl>Kennis>Databankenisinformatiebeschikbaaroverinterventies,onderzoek,instrumentenenna-enbijscholing,ziebijvoorbeeld:• DatabankEffectieveJeugdinterventies• DatabankInstrumentenenRichtlijnen• DatabankMethodiekenPedagogischeKwaliteit• DatabankNederlandsOnderzoekJeugdenOpvoeding

Toetsgids ToetsGidshttp://toetswijzer.kennisnet.nl/main.asp?Sector=TG

ViadeknopToetsgids op de websitevanToetswijzerkunjeinformatievindenoverschooltoetsenvoorhetprimairenvoortgezetonderwijsdieindehandelverkrijgbaarzijn.Toetsgidsbevateenselectievandetoetsenuithet‘COTANTestboekvoorhetonderwijs’(NDC-Boom,2002).NaasteeninhoudelijkebeschrijvingisvandemeestetoetseneenvoorbeelditemeninformatieoverdeCOTAN-beoordelingopgenomen.NaastdeuitgebreideinformatieoverschooltoetsenvancommerciëleuitgeversinhetonderdeelToetsgids,kunjeookviadesectorenopwww.toetswijzer.nlverwijzingenvindennaarallerleitoetsen.KijkinderubriekAlgemeenbijvoorbeeldeensindedatabankbijToetsing > ToetsenofindeonderdelenPrimair onderwijs en Voortgezet onderwijsbijVakken.

Page 91: Toetsen op School

91 Informatie over toetsen en examineren < Inhoud Index >

Wikiwijsleermiddelenplein

www.wikiwijsleermiddelenplein.nl

OphetWikiwijsleermiddelenpleinkunnenleermiddelen–waaronderookevaluatie-entoetsmateriaal–gezocht,vergeleken,gemaaktengedeeldworden.Zokanvooriedereonderwijssituatieeenoptimaleleermiddelenmixwordensamengesteld.Wikiwijsleermiddelenpleiniseenpubliekenonafhankelijkonderwijsplatform,bedoeldvooriedereendiebetrokkenisbijhetkeuzeprocesendeinzetvanleermiddelenindedagelijkselespraktijkinprimaironderwijs,voortgezetonderwijs,middelbaarberoepsonderwijsenhogeronderwijs:vandocenten,afdelingshoofden,ICT-coördinatorentotonderwijsbeslissers.WikiwijsleermiddelenpleiniseengezamenlijkinitiatiefvanKennisnet,OpenUniversiteitenSLO.

Onderwijsbegeleidingsdiensten

De onderwijsbegeleidingsdienstenbeschikkentenbehoevevanadviesendienstverlening aanscholenovercollectiesmetinformatie-,toets-enhulpmaterialen.Dezecollectieszijnin demeestegevallenopafspraakterinzage.Eenoverzichtvanonderwijsbegeleidingsdiensteneneducatievecentraistevindenop:• www.edventure.nu>Keurmerk&Lidmaatschap>Leden• www.internetwijzer-bao.nl>Allerubrieken:E>Educatievecentra• www.telefoongids.nl>GoudenGids>Zoek:onderwijsbegeleiding

Testotheken van universiteitsbibliotheken

Eenaantaluniversiteitsbibliothekenbeschiktovereentestotheek.Indetestotheekzijntestmaterialenverzameldterondersteuningvanhetonderwijsenonderzoekaandeuniversiteit.Voordemeesteuniversiteitsbibliothekengeldtdatalleenstudentenenmedewerkersvandeuniversiteitdetestskunneninzienenlenen.Opwww.toetswijzer.nl kun jeeenoverzichtvindenvantestothekenvanuniversiteitsbibliothekendoortezoekenoptestotheek.

Page 92: Toetsen op School

92 Cito | Toetsen op School < Inhoud Index >

Uitgevers

Eenoverzichtvandegrootstecommerciëletoets-entestuitgeversinNederland:• www.drempelonderzoek.nl | 678OnderwijsAdviseringgeefttoetsenuitvoorgebruikin

primairenvoortgezetonderwijstenbehoevevandidactischeplaatsbepalingvanleerlingen.• www.a-vision.nu | A-VISIONiseenonderwijsadviesbureaudatzichheeftgespecialiseerdin

hetontwikkelenenafnemenvandigitaleteststenbehoevevanhetonderwijsenvanstudie-enloopbaanadviezen.

• www.bsl.nl | BohnStafleuVanLoghumbiedttestsaanvoordiagnose,vroegsignaleringenpsychosocialescreening.

• www.boomtestuitgevers.nl | Boomtestuitgeversontwikkelttestsenvragenlijstenvoorondermeerprimairenvoortgezetonderwijs.

• www.cito.nl|Citoontwikkelttoetsen,examensenvolgsystemenvoorbasisonderwijs,voortgezetonderwijsenberoepsonderwijs.

• www.pearsonclinical.nl | Pearsonisuitgevervanwetenschappelijkonderbouwdepsychologischemeetinstrumentenophetgebiedvangezondheidszorg,humanresourcemanagement,onderwijsenlogopedie.

Let op bij gratis toetsmaterialen Ophetinternetzijnveelgratistoetsenbeschikbaar.Maarletop,wanttenaanzienvandegratismaterialeniseenkritischehoudinggewenst:• Wieisdeaanbieder?Welkeorganisatiegaatschuilachterhetgratisproduct?

Betreftheteenbekende,gerenommeerdeuitgeveroforganisatie?• Geeftdeaanbiederaanwathetdoelisvanhetgratisproduct?• Moetenpersoonlijkegegevenswordeningevuld?Geeftdeaanbiederaanwathet

doelisvanregistratievandegegevensdoordewebsitebezoeker?Iseenprivacyverklaringbeschikbaar?

AlsvoorbeeldnemenweeenkijkjeopdewebsitesvanDeNederlandseTaaltestenExamenbundel.nl.

De Nederlandse TaaltestOpwww.nederlandsetaaltest.nlkaniedereengratiszijn/haarkennisvandeNederlandsetaaltesten.Erzijnonlinetoetsenvoorspelling,zinsbouw,woordenschat,uitdrukkingenengrammatica.Bijdetestuitslagontvangtdedeelnemereenadviesvoorhetverbeterenofhetoppeilhoudenvanzijn/haarkennisvandeNederlandsetaal.DewebsiteiseeninitiatiefvanUitgeverijPak,specialistinstudieboekenNederlandsvoorVO,MBOenHBO.

Examenbundel.nlOpwww.examenbundel.nlkunnenscholierengratisoefenenvoordecentraleeindexamensmetbehulpvanexamensvanvoorgaandejaren.ButtonsopdesiteattenderenscholierenopdemogelijkheidominteschrijvenvoordeExamentrainingofomuitgavenvandeExamenbundelofSamengevattebestellenviabol.comofVanDijk.nl.DewebsiteiseigendomvanThiemeMeulenhoff,uitgevervandeExamenbundel-boeken.

Page 93: Toetsen op School

93 Informatie over toetsen en examineren < Inhoud Index >

5.3 Literatuur over toetsing

Alsjejenaderwiltverdiepeninliteratuurovertoetsingenevaluatiekunjeverschillendebronnenraadplegen.

Toetswijzer ToetsWijzerhttp://toetswijzer.kennisnet.nl

De websiteToetswijzerisaanhetbeginvandithoofdstukaluitgebreidbesproken.IndeverschillenderubriekenopToetswijzerisallerhandeinformatietevindenovertoetsingentoetsgerelateerdeonderwerpen.VoorinformatieovertoetsconstructieentoetstechnischeonderwerpenneemjeeenkijkjeinderubriekAlgemeenbijDatabank algemeen > Toetsing > Toetsconstructie.

Cito Kenniscentrum

http://www.cito.nl/nl/Onderzoek%20en%20wetenschap/kenniscentrum.aspx

HetKenniscentrumvanCitoisgespecialiseerdininformatieovertoetsingenonderwijs-evaluatie.DeinformatieisbeschikbaarviadewebsiteToetswijzerendebibliotheekvanhetKenniscentrum.VoorinformatieoverdedienstverleningvanhetKenniscentrumneemjeeenkijkjeopwww.cito.nl>Onderzoekenwetenschap>Kenniscentrum.HetKenniscentrumondersteuntineersteinstantiehetwerkvandeCito-medewerkers,maarookgeïnteresseerdenuithetonderwijskunnengebruikmakenvandedienstverlening. Debibliotheekcataloguskangeraadpleegdwordenviahttp://catalogus.cito.nlendebibliotheekisopafspraakopenvoorbezoekers.

Education Resources Information Center (ERIC)

www.eric.ed.gov

ERICiseenbelangrijkebronvoorinternationaleonderwijsliteratuur.ERICiseenonlinebibliotheekvooronderwijsonderzoeken-informatiemetbeschrijvingenvanboeken,rapportenenartikelenuitEngelstaligeonderwijsvakbladen,waaronderooktijdschriftenophetgebiedvanassessment.Eengrootdeelvandepublicatiesisfulltextbeschikbaar.VoorinternationaleliteratuurophetgebiedvantoetsingisERICeenuitstekendeinformatiebron.ERICisonderdeelvanhetAmerikaanseInstituteofEducationSciences(IES)endeU.S.DepartmentofEducation.

Page 94: Toetsen op School

94 Cito | Toetsen op School < Inhoud Index >

British Education Index (BEI)

www.leeds.ac.uk/bei

EenanderebronvoorinternationaleonderwijsliteratuurisdeBritishEducationIndex(BEI). Eendeelvandeaangebodeninformatieisuitsluitendtoegankelijkopbasisvanbetaaldelogin-abonnementen.ViaderubriekenEducation-lineenPartnershipsisgratisonlineinformatiebeschikbaar.BEIiseeninitiatiefvandeUniversity ofLeeds.

Google

www.google.nl

Naastdegespecialiseerdeonderwijsinformatiebestandendieindithoofdstukstaangenoemd,kanookmetbehulpvanzoekmachineszoalsGooglenaarinformatieophetinternetwordengezocht.MetGooglekanhetworldwidewebwordendoorzocht,maarhetisookmogelijkomgerichttezoekennaar:• boekpublicatiesinGoogleBooksophttp://books.google.nl;• wetenschappelijkepublicatiesenartikeleninGoogleScholarophttp://scholar.google.nl.Zoektip:klikinGoogleeensopGeavanceerd zoekenenbekijkdemogelijkhedendieGooglebiedtomheelgerichtenspecifiektezoekennaarinformatie(enhetzoekresultaatteverkleinen).

Koninklijke Bibliotheek

www.kb.nl

De KoninklijkeBibliotheek(KB)inDenHaagisdenationalebibliotheekvanNederland.OpdehomepagevandeKB-siteishetmogelijkomtezoekeninzo’n6miljoenitemsofwel110kmboeken,krantenentijdschriften.Leneneninzienvanmaterialenisalleenmogelijkvoor KB-pashouders.Niet-pashouderskunnendezoekmogelijkheidopdewebsitevandeKoninklijkeBibliotheekgebruikenomzichteoriënterenophetaanbodvantitelsopeenbepaaldvakgebied.

Page 95: Toetsen op School

95 Informatie over toetsen en examineren < Inhoud Index >

WorldCat

www.worldcat.org

EenandervoorbeeldvaneenonlinecollectieinformatiematerialenoveruiteenlopendeonderwerpenisWorldCat.Dewebsitegeefttoegangtotdecollectiesvanmeerdan10.000bibliothekenoverdehelewereld.Opdehomepagevindjehetzoekschermwaarmeejeitemskuntvindeninbibliothekenbijjouindebuurt.

Toetstermen Nederlands – Engels Alsjeindedatabankenwiltzoekennaarbuitenlandseliteratuur,verdienthetdevoorkeuromEngelsezoektermentegebruiken.HetoverzichtvanNederlandsetoets-enonderwijstermenmetdeEngelsevertaling,tevindenophttp://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk5,kanhierbijvanpaskomen.Opdezewebpaginastaanookenkelehandigevertaalhulpmiddelengenoemd.

Uitleg toetstermenVooreenuitlegvantoetstechnischebegrippenkunjeterechtopverschillendewebsites.OpdewebsitevanCitoisdeToetstechnischeBegrippenlijstbeschikbaar,ganaarwww.cito.nl>Onderzoekenwetenschap>Kenniscentrum:ToetstechnischeBegrippenlijst. En op http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk5vindjeeenoverzichtvandiversebegrippenlijstenophetweb.

Page 96: Toetsen op School

96 Cito | Toetsen op School < Inhoud Index >

Page 97: Toetsen op School

6 H

et construeren van gesloten vragen

6 Het construeren van gesloten vragen

Page 98: Toetsen op School

98 Cito | Toetsen op School < Inhoud Index >

6 Hetconstruerenvangeslotenvragen

José Noijons

Dithoofdstukgaatoverhetconstruerenvangeslotenvragen,datwilzeggenvragenwaarbijdeleerlinguittweeofmeeralternatievenhetgoedealternatiefdienttekiezen.Wijhebbenonsnietgeconcentreerdopbepaaldevakken,wantinprincipekandegeslotenvraaggebruiktwordenbijalleleerstof.Natuurlijkzaleenaantalpraktischevaardighedenmoeilijkmetbehulpvangeslotenvragenbevraagdkunnenworden,maardathoeftniettebetekenendatdievragendaargeheelniettoepasbaarzijn.Devoorbeeldendiehiergepresenteerdworden,beogenduidelijktemakenhoemengeslotenvragenconstrueert.Deoplossingendievoorallerleiproblemengebodenworden,kunnenzowelbijtheoretischevakkenalsbijpraktijkvakkengebruiktworden.

Watondereengeslotenvraagverstaanwordt,komtindeeersteparagraafaandeorde.Wanneerenhoegeslotenvragengebruiktkunnenworden,behandelenwedaarna.Vervolgensgaanweinopdevoor-ennadelenvandegeslotenvraag.Daarnabesprekenweverschillendesoortengeslotenvragen,welkesoortenmeerofmindergeschiktzijnenwelkesoorteneigenlijkmaarbeternietgebruiktkunnenworden.Indeparagraafoverdeconstructievangeslotenvragenbesprekenwehoewevragenzoduidelijkmogelijkkunnenformulerenenwaaraangoedeantwoordenenafleidersdienentevoldoen.Hethoofdstukwordtafgeslotenmeteenparagraafovereisenwaaraangeslotenvragenmoetenvoldoen.

6.1 Wat is een gesloten vraag?

Wijgaanuitvandevolgendedefinitievaneengeslotenvraag:eengeslotenvraagiseenvraagwaarbijdeleerlinguittweeofmeerreedsgeformuleerdeantwoorden(alternatieven)dienttekiezen.Meerkeuzevraagenmultiplechoicevraagzijnanderetermenvoordegeslotenvraag.Indithoofdstuksprekenweechtersteedsoverdegeslotenvraag.

Bijdegeslotenvraagonderscheidenwedestamendealternatieven:

Stam: InwelkeplaatsisCitogevestigd?Alternatieven: A Amersfoort B Amsterdam C Arnhem D Rotterdam E Utrecht

Eenvandealternatievenishetgoedeantwoord(deantwoordsleutel).Deoverigealternatievennoemenwedeafleiders.

Page 99: Toetsen op School

99 Het construeren van gesloten vragen < Inhoud Index >

Indestamvandegeslotenvraagstaateenhelderevraagofprobleemstelling.Nabeantwoordingvandevraagofnahetoplossenvandeprobleemstellingvergelijktdeleerlingzijn/haarantwoordmetdealternatievenenmaakteenkeuzeuitdealternatieven.Invrijwelallegevallenisdeantwoordsleutelhetgoedeantwoord.Insommigegevallenzalhetgoedeantwoordhetbesteantwoordzijntussendeanderealternatieven.Ditisbijvoorbeeldhetgevalalshetgoedeantwoordeensamenvattingisvanwaterineentekstgezegdwordteneenletterlijkeaanhalingeentelangalternatiefzouopleveren.Ookbestaanergeslotenvragenmetmeerderegoedeantwoorden.Wijgevendevoorkeuraanvragenmetééngoedantwoordofmethetbesteantwoord.

Afleiderszijnindeeersteplaatsbedoeldalsalternatieve(foute)antwoordennaasthetgoedeantwoord.Dathoudtindatjenietzondernadenkeneenalternatiefalsfoutantwoordmagkunnenherkennen.Deleerlingmoetopgrondvanrelevantekennis,inzichtenofvaardighedenziendatdealternatievengeengoedeantwoordenzijn.Relevantbetekentinditverbanddatdealternatievenbetrekkingmoetenhebbenopdestofdiebeheerstmoetworden.Dekeuzevooreenbepaaldalternatiefmoetterugtevoerenzijnopeenonvoldoendebeheersingvaneenvaardigheidbijdeleerling.Eenanalysevandedoordeleerlinggekozenantwoordengeeftdedocent feedbackvoorhetinrichtenvanzijnvervolgonderwijs.

6.2 Voordelen en nadelen van gesloten vragen

Dekeuzevoorgeslotenvragenineentoetsisvaakeenonderwerpvandiscussie.Voorstandersroemendeefficiëntievanzulkevragen:deleerlingverliestgeentijdbijhetformulerenvanhetantwoord,dedocentwinttijdbijdecorrectievandeantwoorden.Ookzijnermogelijkhedenomdeantwoordenelektronischteverwerken.Tegenstandersmerkenopdatvaakalleenreproductievankenniswordtgemeten.Enzogenaamdegoedeantwoordenblijkenbijnaderinzientochnietzogoedofronduitfouttezijn.Ookblijkenafleidersvaakzofoutnogniet,endusnietaftewijzen.Detegenstanderszulleninveelgevallengelijkgehadhebben.Hetconstruerenvangeslotenvragenisnamelijkeenlastigezaakenveeltoetsenmetgeslotenvragenvoldoendanooknietaandeeisendieinparagraaf6.6staanbeschreven. Maarmetdegeslotenvraagisnietsmisenerkanmeermeegetoetstwordendanvaakwordtgedachtengedaan.Welmoethijvoorgeschiktedoeleindenwordengebruikten,nogmaals,hijmoetzorgvuldiggeconstrueerdworden.

Devoordelenhebbendusnietalleentemakenmetefficiëntie,maarookmetdebetrouwbaarheidvandemeting.Geslotenvragenmakenhetmogelijkomveelvragentestellenenzulleninhetalgemeengeenbeoordelingsproblemenopleverenomdatvantevorenisbepaaldwatdegoedeantwoordenzijn.Denadelenkomenvooraltijdensdeconstructiefasenaarvoren,hoewelzeookbijhetscorenvandeantwoordenkunnenblijken.

Eenvoordeelvantoetsenmetgeslotenvragenisdatje–vergelekenmettoetsenmetopen vragen–ineenrelatiefkortetijdeengrootdeelvandeleerstofkuntbevragen.Zowordtvoorhetbeantwoordenvaneenwaar/onwaarvraag50secondengerekend,terwijlvooreenmeerkeuzevraagmet4of5alternatieven75secondengerekendwordt.Eennadeelisdatbepaaldeonderdelenvandeleerstofzichmisschienmindergoedlenenvoorgeslotenvragen,waardoorgenoemdvoordeelweerkomttevervallen.Tochishetnietjuistdatwemetgeslotenvragenalleenmaarreproductievankenniskunnenbevragen,hoeweldatindepraktijkwelergvaakgebeurt.

Page 100: Toetsen op School

100 Cito | Toetsen op School < Inhoud Index >

Somsiseenkort-antwoordvraagteprefererenbovenhetstellenvaneengeslotenvraag. Meteenkort-antwoordvraagkaneenleerlingnamelijkhetantwoordnietherkennenomdathijhetantwoordmoetgeven.Kort-antwoordvragenhebbendevoorkeurbovengeslotenvragenals:• devraagmaarééngoedantwoordheeft;• hetgoedeantwoorduiteenoftweewoordenbestaat;• hetgoedeantwoordsteedseenvantweemogelijkhedenis(bijvoorbeeldmannelijkof

vrouwelijkbijeenkeuzevangeslacht).Alskort-antwoordvragendezekenmerkenhebben,hoeftdeleerlingnauwelijksietsopteschrijvenenzaldeinterpretatieenbeoordelingvanhetgegevenantwoordergeenvoudigzijn.

Leerlingenvragennogweleensofhetzinheeftomdeantwoordenopgeslotenvragenopheteindvaneentoetsnogeenstecontrolereneneventueeleenanderantwoordtegeven. Hetblijktdatdemeesteleerlingenenookveeltoetsdeskundigendenkendathetveranderenvandeantwoordengeenzinheeft.Tochishetvasthoudenaandeeersteingevingnietaltijdhetbeste.Uitonderzoekhiernaarblijkthetvolgende:• hetloontdemoeiteomantwoordenteveranderenomdatgeblekenisdattweeopdedrie

veranderingeneengoedantwoordoplevert;• naarmateopgavenmoeilijkerzijn,hebbenveranderingenmindersucces;• mindergoedeleerlingenprofiterenmindervanveranderingendangoedeleerlingen.

6.3 Soorten gesloten vragen

Weonderscheidenhierdevolgendeveelvoorkomendesoortengeslotenvragen:• Standaardtype• Vraagmettweeuitspraken• Vraagmetmeerdantweeuitspraken• Herordeningsvraag• Combinatievraag• Waar/onwaarvraag

StandaardtypeEenvoorbeeldvaneenstandaardtypevandegeslotenvraaghebbenweeerderallatenzien:

Stam: InwelkeplaatsisCitogevestigd?Alternatieven: A Amsterdam afleider B Arnhem juiste antwoord (antwoordsleutel) C Enschede afleider D ‘s-Gravenhage afleider E Zaandam afleider

Bijhetstandaardtypegaathetomgeslotenvragenwaarbijhetaantalalternatievenkanvariërenvantweetot(meerdan)vijf.Dealternatievenstaanbijvoorkeurinalfabetischevolgordealsdealternatievenbeginnenmeteenwoord.Alsdealternatievengetallenzijn,danisdevolgordevankleinnaargrootgetal.

Overhetaantalalternatievenhetvolgende.Deraadkansneemtafnaarmateermeeralternatievenzijn,maardeleesdrukopdeleerlingneemttoe.Bedenkookdatefficiëntiejuisteenvandevoordelenvandegeslotenvraagis.Bijvijfofmeeralternatievenzienwevaakdatsommigevandiealternatievenermetdeharenzijnbijgesleeptennauwelijksgeloofwaardig

Page 101: Toetsen op School

101 Het construeren van gesloten vragen < Inhoud Index >

zijn.Eengoeduitgangspuntbijdeconstructieistebeginnenmetdriealternatievenenalleenalternatieventoetevoegenwaarmeewekunnenvaststellenofleerlingendeleerstofalofnietbeheersen.

Vraag met twee uitspraken Ditvraagtypewordtgerekendtotdegroepvandezogenaamdestellingvragen.Hetiseenmoeilijkvraagtype,zowelomteconstruerenalsomtebeantwoorden.Eenvoorbeeld:

Watgeldtvoordevolgendebeweringen? 1 Erissprakevaneenduidelijkesamenhangtussenzoutgebruikendehoogtevande

bloeddruk. 2 Hetisgoedommensenmetverhoogdebloeddrukaanteradenveelzoutepinda’steeten.

A 1en2zijnjuist B Alleen1isjuist C Alleen2isjuist D 1en2zijnnietjuist

Bijditvraagtypegeldtdeafspraakdatdebeweringen1en2nietlosvanelkaarmogenstaan. Ermoetsprakezijnvaneensamenhang.Isdatniethetgeval,danzijnhetfeitelijktweewaar/onwaarvragenonderelkaar(ziehierna)endanzoudenerookantwoordenvoordehelftgoedkunnenzijn.Uitdetoetspraktijkisbekenddatleerlingenproblemenhebbenmetdittypevragen.Dieproblemenhebbennietzozeertemakenmethunbeheersingvandeleerstof,maarmetdelees-endenktijddiehetkostomdeformuleringvanhetprobleemtebegrijpenenhetprobleemoptelossen.Wijradendaaromaandittypevraagniettegebruikenomdathetnietalleenmoeilijkteconstruerenismaardatmenerookvaakietsmeetoetstdatmennietwiltoetsen.

Vraag met meer dan twee uitsprakenOokdezevraagwordtgerekendtotdegroepvanstellingvragen.Ditvraagtypeleentzicherheelgoedvooromovereenbepaaldeprobleemstellingmeeruitsprakentedoenentelatenbeoordelenwelkeuitsprakenbetrekkinghebbenofvantoepassingzijnopdegeschetsteprobleemstelling.Hierondervolgteenvoorbeeldvanditvraagtype:

Welkemanier(en)is(zijn)juistomeenongegrondeklachttebehandelen? 1 Deklantbeleefddoeninziendatdeklachtongegrondiseneenregelingtreffen. 2 Deklantduidelijkmakendatalleengegrondeklachteninbehandelingwordengenomen. 3 Deklantopzijn/haarongelijkwijzenengeenenkelevormvanschadeloosstelling

aanbieden.

A Alleen1 B Alleen2 C Alleen3 D Zowel1als2 E Zowel1als3 F Zowel1,2als3

Page 102: Toetsen op School

102 Cito | Toetsen op School < Inhoud Index >

Bijnaalledenkbarealternatievenzijnhiergeformuleerd.Dithoudtnietindataldiedenkbarealternatievenaangebodendienenteworden.Alleendiealternatievenkomeninaanmerkingdieaantrekkelijkzijnvoorleerlingenmetonvoldoendekennisen/ofdieeenindicatiekunnengevenvanmogelijkekennistekortenbijdeleerling.

HerordeningsvraagDenaamgeeftalaanwaarhetomgaat.Leerstofisvolgensbepaaldeordeningsprincipesopgebouwdendeleerlingmoetderelevanteordeningsprincipestonen.Eenvoorbeeldvaneenherordeningsvraag:

Hieronderstaaninwillekeurigevolgordezeshistorischegebeurtenissen. Vierdaarvanhebbenmetelkaartemaken.

1 AanvalopPearlHarbor 2 BezettingvanhetRuhrgebied 3 Herstelbetalingen 4 SlagomStalingrad 5 VerdragvanLocarno 6 VredesverdragvanVersailles

Welkeviergebeurtenissenhorenbijelkaarenstaaninchronologischevolgorde? A 1–2–5–3 B 1–4–5–6 C 2–1–4–5 D 2–1–5–3 E 4–1–5–3

Eerderhebbenwealgeziendatwedealternatievenbijvoorkeursystematischmoetenordenen,alfabetischofopnumeriekevolgorde.Uitdestamvandezevraagblijktdatdatordenings-principeookkanwordentoegepastvoordestamalsdaarsprakeisvanopsommingenendergelijke.Inditgevalzijndezeshistorischegebeurtenissenalfabetischgeordend.Ditvoorbeeldmaaktookduidelijkdatditvraagtypealleentoegepastkanwordenindieneenaantalgegevensineenbepaaldevolgordegezetkanworden(historischegebeurtenissen,handelingenbijeenproces).Houderrekeningmeedatditsoortvragenlastigzijnvoorleerlingen.

Page 103: Toetsen op School

103 Het construeren van gesloten vragen < Inhoud Index >

CombinatievraagDitiseenvraagtypedatvergelijkbaarismetdeherordeningsvraag.Alleenmoetennuopeenanderemanierdegegevensuitdeenerijgecombineerdwordenmetdieuiteenandererij. Eenvoorbeeldvaneencombinatievraagisdevolgende:

Hieronderstaandenamenvanzesdieren. A Beer B Ezel C Hond D Kat E Leeuw F Varken

Vulbijdevolgendegezegdendeletter(A–F)voorhetjuistedierin. Eendierkanmeerderemalenvoorkomen!

1 Zoziekalseen.... 2 Zosterkalseen.... 3 Zotrouwalseen.... 4 Zodomalseen....

Dezogeheten‘matching’vraagisookeencombinatievraag.Deleerlingmoet‘matchen’,datwilzeggentweedingenbijelkaarplaatsen.Voorbeeldiseenvraagwaarbijlinkseenaantalhoofdstedenstaanenrechtseenaantallanden.Deleerlingmoetaangevenwelkehoofdstadbijwelklandhoort.Een‘matching’vraagkanomgevormdwordentoteenaantalgeslotenvragen.

Waar/onwaar vraagBijeenwaar/onwaarvraagwordteenuitspraakofbeweringgedaanenmoetaangegevenwordenofdiebeweringkloptofnietklopt.Destandaardvormvanditvraagtypeisalsvolgt:

Inalleslagadersstroomthetbloedvanhethartaf. Dezestellingis: A Waar B Onwaar

Bijhetgebruikvanditvraagtypeisgrotevoorzichtigheidgeboden.Zoblijkthetheelmoeilijktezijnomvolledigwarealternatieventeconstrueren.Sommigeleerlingenwijzeneenals‘waar’bedoeldalternatiefbijvoorbeeldafomdathetnietvolledigis.Hetpresenterenvaneenonwarebeweringisbovendiennietgebruikelijkinhetonderwijs,waardedocenttochinhetalgemeengeassocieerdwordtmethetoverdragenvanfeitenenwatwaarschijnlijkis.Ditvraagtypeblijktbijsommigeleerlingenbepaaldeantwoordtendentiesopteroepen,datwilzeggendatsommigeleerlingengeneigdzijnombijnaallevragenmet‘waar’tebeantwoordenterwijlandereleerlingenbijnaaltijd‘onwaar’antwoorden.

Page 104: Toetsen op School

104 Cito | Toetsen op School < Inhoud Index >

6.4 De constructie van gesloten vragen

Aanbevolenwordtomsamenmetcollega’stoetsvragenteconstrueren,ofiniedergevalcollega’sdeconceptvragentelatenbeoordelen.Nogbeterishetomcollega’sbijdezelfdeleerstofiedervoorzichvragentelatenmakenendiedanmetelkaartebespreken.Zoleertmenvanelkaar.Datlijktminderefficiënt,maaromdaterbijdezelfdeleerstoftochvaakmeerdereversiesvaneentoetsmoetenwordengemaakt,kunnendemeestevandegeconstrueerdevragenopeenlatertijdstipgebruiktworden. Hetverdientaanbevelingombijiederegeslotenvraageersteengoedantwoordteformulerenenomvoordetoetsalsgeheeleenantwoordsleutel,datwilzeggeneenlijstmetdegoedeantwoorden,temaken.Wanneermenconceptvragenaancollega’svoorlegt,vraagzedanookomeerstdeantwoordsleutelbijdevragentemakenvoordatmendetailkritiekgeeft.Bijhetconstruerenvandefouteantwoordenishetmogelijkgebruiktemakenvaneerderefouteantwoordenvanleerlingenbijeenopenvariantvandevraag.Ookkunnenbekendeproblemendieleerlingenmetdeleerstofhebben,gebruiktwordenvoordefouteantwoordenindegeslotenvraag.Omfouteantwoordennietdirectalsfoutteherkennen,zalookaandeformuleringvandefouteantwoordendenodigezorgbesteedmoetenworden.

De stamBijhetformulerenvandestamineengeslotenvraagmoetenweervoorzorgendatereenhelderevraagofopdrachtindestamkomttestaan.Bijhetbeantwoordenvandevraagofhetuitvoerenvandeopdrachtbestaanervoordeleerlingtweemogelijkheden:1 Nahetdoornemenvandestamformuleertdeleerlingvoorzichzelfhetgoedeantwoorden

selecteerthetjuisteantwoordbijdealternatieven.2 Nahetdoornemenvandestamselecteertdeleerlingopbasisvandegegevenalternatieven

hetgoedeantwoord.

Manierenomdestamvaneengeslotenvraagteformulerenzijn:• Eenpositieveofnegatieveformulering.• Eenmeerofminderdirectevraagstelling.

Positieve formulering in de stam Alshetmaarenigszinsmogelijkis,verdienthetdevoorkeuromdestamvaneenvraagofopdrachtpositiefteformuleren.Eennegatieveformuleringvandestamroeptvaakproblemenop.Hetisnamelijkmoeilijkertebepalenwathetgoedeantwoordisalsdevraagnegatiefgeformuleerdis,terwijldiemoeilijkheidnietsmetdeleerstoftemakenheeft.Indienmennietaannegatieveformuleringenontkomt,laatdandenegatiefgeformuleerdevraagstellingduidelijkzien,bijvoorbeelddoorhetnegatieveelementvettedrukken,tekapitaliseren,tecursiverenofteonderstrepen,ofdooreencombinatiehiervan.Zovaltduidelijkeropdatdevraagstellingnegatiefgeformuleerdis.Eenvoorbeeldvaneenvraagmeteennegatiefgeformuleerdestam:

WatisGEENgoedadviesbijeenvermoedenvanMexicaansegriep? A Gazogauwmogelijknaarhetspreekuurvandehuisarts. B Probeerzoveelmogelijkuitdebuurtvananderemensenteblijven. C Wassteedsgoeduwhandenenraakzominmogelijkobjectenmetuwhandenaan.

Naaraanleidingvanditvoorbeelddientopgemerkttewordendatmenseninhetalgemeengeïnteresseerdzijningoedeadviezen.Daarnaast,zoalsaleerderopgemerktwerd,wordt

Page 105: Toetsen op School

105 Het construeren van gesloten vragen < Inhoud Index >

meestalineersteinstantieonderwezenwatgoedisenzettenvragennaarwatnietgoedisdeleerlingenvaakophetverkeerdebeen.EennietgoedlezendeleerlingzalgeneigdzijnomAalsfoutantwoordtekiezen,omdathijgeleerdheeftdathetgeengoedideeisomnaarhetspreekuurvandehuisartstegaan.Hetisdanookgoedmogelijkdatsommigegoedeleerlingenhiereenfoutantwoordgeven.

Directe vraagstellingHetverdientdevoorkeuromdevragenalsdirectevragenteformuleren,datwilzeggenvragenwaarbijaanheteindvandevraagduidelijkiswatvandeleerlingverwachtwordt.Eenvoorbeeldvanzo’ndirectevraagis:

Opwelkedatumbegintdezomer? A 1juni B 21juni C 1juli D 21juli

Hetisgeengoedideeombijditvraagtypezinnenletterlijkuiteenleerboekovertenemenenuiteenzineenwoordjewegtelatenendattelateninvullen.Dekansbestaatdatdanhetvisueelgeheugenvandeleerlingeninplaatsvanhunbeheersingvandeleerstofgetoetstwordt.

De alternatievenBijdealternatievengaathetomhetformulerenvanhetgoedeantwoordendeafleiders.

Formuleren van het goede antwoord Vaakvindtmenhetmoeilijkombijeengeslotenvraagwaarschijnlijkealternatieventebedenken.Hetbelangrijkstealternatief,hetgoedeantwoord,levertdoorgaansgeenproblemenop.Menmoetechterwelmetdeformuleringdaarvanbeginnenomdatmendezekerheidmoethebbendaterookwerkelijkeengoedantwoordopdevraagteformulerenvalt.Eengoedantwoordmagnietopvallendoorzijnformulering.Bijhettheoretischegedeeltevanhetvroegererijexamenbestondhetgoedeantwoordnogweleensuiteenletterlijkcitaatuitdewetstekstenwarendefoutealternatievenvlotgeformuleerdevariantendaarop.ZieonderstaandvoorbeeldwaaralternatiefCopvaltdoorhetformeletaalgebruiken alternatiefBdoordevlotteformulering.

Watduidtditbordaan? A Alleentoegangvoorvoetgangers. B Nietinrijden,behalvealsmenhierwoont. C Verbodeninterijdenvoorallegemotoriseerdverkeer.

Tenslottedientmeninhetgoedeantwoordecho’s,datwilzeggenletterlijkegedeeltenvandeuitgangstekst,tevermijdenwanneerindeanderealternatievengeenecho’svoorkomen. Hetblijktnamelijkdateenantwoordmeteenechoeenextragroteaantrekkingskrachtopleerlingenheeft.Deleerlinggeeftdanmogelijkhetgoedeantwoordterwijlhijhetgoedeantwoordopdevraagnietweet.Ditmoeternatuurlijkniettoeleidendatmeninhetgoedeantwoordgeenechoopneemtenindeanderealternatievenjuistwel.Alseendefinitiegevraagdwordt,zalhetgebruikvandeletterlijketekstsomsonvermijdelijkzijn.Zorgerdanvoordatookindeafleidersminofmeerletterlijkedefinitiesgegevenworden.

Page 106: Toetsen op School

106 Cito | Toetsen op School < Inhoud Index >

Formuleren van de afleiders Afleiderszijnindeeersteplaatsbedoeldalsalternatieve(foute)antwoordennaasthetgoedeantwoord.Dathoudtindatzenietoverduidelijkalsfoutantwoordteherkennenmogenzijn. Deleerlingmoetopgrondvanrelevantekennis,inzichtofvaardighedenconcluderendatdealternatieveantwoordennietdegoedeantwoordenzijn.Afleidersmoetenaantrekkelijkzijnvoorleerlingendiedeleerstofinonvoldoendematebeheersen.

Voordeconstructievandeafleidersgeldendevolgenderegels:

• Deformuleringvandeafleidersmoetzodanigzijndatdeessentiëleverschillentussendeafleidersduidelijkuitkomen.Hetverschiltussendeeneendeandereafleidermagdusnietbepaaldwordendoorwoordenals‘ongeveer’en‘ruim’.Diewoordenmogennatuurlijkwelgebruiktwordenmaarzemogenniethetenigeverschilzijntussentweeafleiders.

• Hetgebruikvanabsolutewoordenals‘altijd’,‘nooit’en‘zeker’inalternatievenwijstbijna

altijdopafleiders.Immers,opdemeesteuitsprakenofonderzoeksresultatendieindealternatievengenoemdworden,komenweluitzonderingenvoor.Absolutewoordengevendaardoorvaakdirectaandathetalternatiefniethetgoedeantwoordzalzijn.

• Alsbijnageenleerlingvooreenbepaaldeafleiderkiest,haddieafleidernetzogoedweggelatenkunnenworden.Datlaatstegeldtvoorsummatievetoetsenmaarhoeftnietvoordiagnostischetoetsentegeldenwaarafleidersdedocentinformatiegevenoverdieonderdelenvandeleerstofdiedeleerlingeninvoldoendeofonvoldoendematebeheersen.

• Dealternatievendienenineenvastevolgordegerangschikttewordenomdatleerlingenanderswellichtinformatieuitdevolgordekunnenafleiden.Deafleiderskunnenopalfabetischevolgordewordengezet,inopklimmendegetalgrootteofchronologisch.

• Allealternatievenmoetenovereenkomeninbasisidee,uitgangspunt,grammaticalestructuurenlengte.InhetvolgendevoorbeeldwordtdoordegrammaticaleconstructieenwoordkeusvanzoweldestamalsvanalternatiefDeenverwijzinggegevennaarhetgoedeantwoord.

Watbetekenthetspreekwoord‘Wieeenssteelt,isaltijdeendief?’ A Alsjeiemandbedriegt,wordjezelfookbedrogen. B Alsjenieteerlijkbent,kunjedatnooitmeervergeten. C Alsjezelfslechtbent,zuljeookslechtoveranderendenken. D Wieeenmaaleenmisstapbegaat,isaltijdonbetrouwbaar.

• Hetgebruikvanhetalternatief‘geenvanbovengenoemde’of‘allebovengenoemde’wordtafgeraden.

Page 107: Toetsen op School

107 Het construeren van gesloten vragen < Inhoud Index >

• Afleidersmoetenelkaaruitsluiten.InhetvolgendevoorbeeldimpliceertalternatiefCook AenB,dusalsCgoedis,zalookA,maarookBgoedgerekendmoetenworden.

Watzegtdesprekerhieroverdegeschiktheidvoorpiloot? A Mannenzijngeschikt. B Vrouwenzijngeschikt. C Mannenenvrouwenzijngeschikt.

• Deverschillentussendealternatievendienenniettegroottezijn. Deopdrachtkantegemakkelijkwordenwanneerhetgoedeantwoorderalshetware

uitspringt.Menkandevraagmoeilijkermakendoordeverschillentussendealternatieventeverfijnen.Leterechterwelopdatdevraagdangeenleesoefeningwordt.

Eerstnadatdeleerlingendevragenhebbenbeantwoord,kanbepaaldwordenofalleafleidersinvoldoendemategekozenzijn.Isdatniethetgevalenwordtdevraagopnieuwgebruikt,dankunnendenietvoldoendegekozenafleidersweggelatenworden.Ookkanmendeafleiderdiehetmeestgekozenisbijstellen.

Wevattenvoorgaandeadviezenhierondernogeenssamen.

Tips voor het construeren van gesloten vragen

• Formuleerdevragenbijvoorkeuralsdirectevragen.• Steleenvraagindestam,gebruikdaarbijvolledigezinnenensluitafmeteen

vraagteken.Maakdusgeenonvolledigezinnendieindealternatievenmoetenwordenafgemaakt.

• Formuleerdestambijvoorkeurpositief.• Accentueereennegatiefgeformuleerdevraagstellingdoorhetnegatieveelementvet

tedrukken,tekapitaliseren,tecursiverenofteonderstrepen.• Beginmethetopschrijvenvanhetgoedeofbesteantwoord.• Gebruikalsafleidersookbekendeproblemenmetdeleerstofenveelvoorkomende

foutenvanleerlingen.• Gebruikalleenafleiderswaarvanweverwachtendatleerlingendieookwerkelijk

zullenkiezen.• Maakinprincipevragenmetdriealternatievenwaarvanermaaréénhetgoede

antwoordis.• Weeserzekervandathetgoedeantwoordookwerkelijkhetgoedeofbesteantwoord

is.• Vermijdformuleringenwaarbijhetgoedeantwoordopvalt.• Neembijvragenmetweglatingenindetekst,geenzinnenletterlijkoveruiteen

leerboek.

6.5 Taalgebruik

Eenjuisttaalgebruikisbelangrijkbijhetformulerenvanvragen.Voorkomenmoetwordendatdemoeilijkheidvandevraagveroorzaaktwordtdoordeformulering.Natuurlijkmoetendeformuleringenvoldoenaandealgemenespellings-engrammaticaregelsvandetaalwaarindevraaggesteldis.Alsdatnietdemoedertaalvandeconstructeuris,verdienthetaanbeveling

Page 108: Toetsen op School

108 Cito | Toetsen op School < Inhoud Index >

omeen‘nativespeaker’naardevragentelatenkijken.Deevaringleertdatvragenvaakmoeilijkhedenbevattendienietstemakenhebbenmetdebevraagdeleerstof.

Watdestijlvanschrijvenbetreft,ishetvanbelangdatdetekstindestamenindealternatievenniettelangis.Wanneerdestamtelangdreigtteworden,ishetbeteromeeninleidingbijdestamtemakenendestamzelfdankorttehouden.Probeerhetalternatief‘binnenderegel’tehoudenwantdatvergemakkelijkthetlezen.Vermijd,ookweerterbevorderingvandebeknoptheid,constructiesmetbijzinnen.Indealternatievenverdienteenniet-samengestelde,korte,krachtigezindevoorkeur.Herhaalgeenzakenindealternatievendieookéénmaalindestamgenoemdkunnenworden.Vermijdverder‘weggevertjes’indeformuleringvandeafleiders–zoals‘nooit’,‘altijd’,‘alle’,etc.–wantzoalsweeerderalopmerkten,zijnabsoluteuitsprakenmaarzeldenwaar.

Hetgoedeantwoordmoetnietopvallendoorhetletterlijkciterenuitdeuitgangstekst.Alsmengedwongenisdeletterlijketekstinhetgoedeantwoordoptenemen,neemdanookindeafleidersletterlijkecitatenop.

Gebruikgeendubbeleontkenningen.Voorleerlingenishetuiterstverwarrendomzinnentemoetenlezenmet‘nooitgeen’of‘nietonmogelijk’,hoejuisteendergelijkebeweringopzichookkanzijn.Dekansisgrootdateenfoutantwoordgekozenwordtomdatdeleerlingdevraagnietgoedgelezenheeftennietomdathijofzijdeleerstofnietbeheerst.

Watbetrefthetgebruikvanhoofdlettersaanhetbeginvanalternatieven,hetvolgende:• Alsdealternatievenuithelezinnenbestaan,beginnenallealternatievenmeteenhoofdletter

eneindigenmeteenpunt.• Alsdestamdoorlooptindealternatieven,beginnendealternatievenmeteenkleineletteren

eindigenmeteenpunt.• Inanderegevallenliggenderegelsmindervast.Vaakbeginnendealternatievendanmeteen

kleinelettereneindigenzonderpunt.

6.6 Eisen voor gesloten vragen

Wehebbenonstotnutoevooralgerichtopdemeertechnischeaspectenvandeconstructievangeslotenvragen.Erzijnechterooknogenkelealgemeneeisendieaangeslotenvragengesteldmoetenworden.Opdebelangrijksteeisenwordthiernaingegaan,methierendaareenverwijzingnaardegevolgenvandieeisenmetbetrekkingtotdeconstructievandezevragen.

SpecificiteitDezeeishoudtindatdevragenalleenmaargoedbeantwoordzoudenmoetenkunnenwordendoordegenendiedeleerstofbestudeerdhebben.Voordegenendiedeleerstofnietbestudeerdhebben,magdevraaggeenzogeheten‘indicatoren’(d.w.z.onbedoeldeaanwijzingen)bevattenwaardoorzijhetgoedeantwoordopdevraagkunnengeven.DeGrootenVanNaerssen(1969)onderscheidendevolgendesoortenindicatoren:

• Herhalingvaneenwoorduitdestaminhetjuistealternatief.

• Eenofmeervande(foute)alternatievensluitengrammaticaaloflogischnietaanopdestamvandevraag.

• Een(ofmeer)vandealternatievenvandevraagis,logischgezien,volstrektnietmogelijkwaardoorhetzondermeerdoordeleerlinguitgeschakeldkanworden.

Page 109: Toetsen op School

109 Het construeren van gesloten vragen < Inhoud Index >

• Hetgoedealternatiefisteherkennendoordathetveellangerofkorterisdandeandere. Eenvoorbeeld:

Eenvandebelangrijkstebezwarenvanstemplicht(inplaatsvanstemrecht)isdathet A duurderis. B ertoeleidtdatmeermensenonnadenkendhunstemuitbrengen,alleenmaaromte

voldoenaandewettelijkeverplichting. C moeilijkuitvoerbaaris. D vreemdelingenervanweerhoudtstaatsburgertewillenworden.

• Deonjuistealternatievenoverlappenelkaarofsluitenelkaarin.Eenvoorbeeld:

Katoenkomtvaneen A dier B mineraal C plant D schaap

• Devraagkanopgelostwordenmetzeeralgemenekennis,terwijlhetdebedoelingwasomopgelosttewordenmetzeerspecifiekekennisvandegeleerdeleerstof.Eenvoorbeeld:

Debakermatvandedemocratieligtin A Carthago B Griekenland C Frankrijk D Uruguay

RelevantieMetrelevantiebedoelenwedatdevragenrelevantmoetenzijnvoorwatwewillenmeten.Relevantevragenzijnvragendiebetrekkinghebbenop:• deleerstofdiedeleerlingenmoetenbeheersen;• dekennishandelingen(kennis,inzicht,toepassing,etc.)diedeleerlingenmoetenbeheersen;• dehoofdzakenvandeleerstof.

ObjectiviteitEenvraagwordtalsobjectiefgezienalsverschillendedeskundigenhetzelfdealternatiefalshetgoedeantwoordopdievraagaanwijzen.Objectiviteitheeftindezebetekenisnietstemakenmetdeinhoudvandevraag,diekan,enzalsoms,zeersubjectiefzijn.Vanproblemenmetdeobjectiviteitisonderanderesprakeindevolgendegevallen:• Alsdeskundigenverschillenoverhetgoedeantwoord.Alsdathetgevalis,ishetaanteraden

omdevraagmaartelatenvervallenomdatuitervaringblijktdatherstelwerkzaamhedenaandevraagmeestalniethetgewensteeffecthebben.

• Alseronbedoeldmeeralternatievenjuistzijndieookallealsjuistwordenaangeduiddoordeskundigen.

• Alsvolgensdedeskundigenhetgoedeantwoordernietbijstaat.

Page 110: Toetsen op School

110 Cito | Toetsen op School < Inhoud Index >

• Alsergevraagdwordtnaardemeningvaneenleerling.Vragenals‘Watvindjijvan...?’of ‘Watzoujijdoenals...?’zijninprincipenooitobjectiefeniederantwoordisjuist.

EfficiëntieEenvraagisefficiëntwanneerdevraagrelevanteinformatieoverdeleerlingverschaftendetijddiedeleerlingnodigheeftomdevraagtekunnenoplossenkortis.Minderefficiëntzijnvragenwaarbij:• ersprakeisvannodeloosingewikkeldezinsconstructies;• deinleidingvandevraagtelangis;• woordenwordengebruiktwaarvannietverwachtmagwordendatleerlingendiekennen;• deaansluitingtussendestamenéénofmeeralternatieventaalkundignietcorrectis;• ersprakeisvanoverbodigeinformatie;• eenontkenningvoorkomtdienietduidelijkalszodanigaangegevenis;• dubbeleontkenningenvoorkomen.

AfbeeldingenHetgebruikvanafbeeldingenkaninbepaaldegevallenzinvollerzijndanalleenomschrijvingen.Defunctionaliteitvandeafbeeldingdientvooroptestaanwaarbijeropgeletmoetwordendat:• hetgebruikvanplaatjesengrafiekenzinvolis,datwilzeggendatzenoodzakelijkzijnvoor

eengoedbegripvandevraagofvoordebeantwoordingervan;• deplaatjes,grafiekenendergelijkeduidelijkzijn;• detekeningencorrectzijn;• detoelichtingbijdeafbeeldingenduidelijk,kortenhelderis.

PresentatieEengoedelay-outvantoetsmateriaaliseenbelangrijkerandvoorwaardevoorhetmakenvaneentoets.Delay-outisnietfunctioneelals:• devragennietduidelijkvanelkaarteonderscheidenzijn;• denummeringvandevragennietinzichtelijkis;• deverwijzingindevraagnaareentekstofafbeeldingnietjuistis;• hetgebruiktelettertypemoeilijkleesbaaroftekleinis.

Page 111: Toetsen op School

7 H

et construeren van open vragen

7 Het construeren van open vragen

Page 112: Toetsen op School

112 Cito | Toetsen op School < Inhoud Index >

7 Hetconstruerenvanopen vragen

Tom Erkens

Dithoofdstukgaatoveropenvragen,datwilzeggenvragen,takenenopdrachtenwaarbijdeleerlingzelfhetantwoordmoetformuleren.Eerstwordendeverschillendesoortenopenvragenendevoordelenennadelenvanopenvragenbehandeld.Daarnawordtingegaanophetconstructieprocesvanopenvragen.Eenaparteparagraafisgewijdaandeproblemendiezichvoordoenbijhetcorrigerenvanopenvragenendemogelijkeoplossingenvoordezeproblemen.

Opdiverseplaatseninhethoofdstukstaantipsdienuttigkunnenzijnbijhetconstruerenvanopenvragen.Aanheteindevanhethoofdstukvindtmeneenchecklistdiegebruiktkanwordenbijhetsamenstellen,beoordelenenredigerenvanopenvragen.

7.1 Soorten open vragen

Openvragenzijnvragenwaarbijleerlingenzelfhetantwoordmoetenformuleren.Datantwoordkaninlengtevariërenvanéénwoordofenkelewoordentoteenvolledigbetoog.Decorrectievanopenvragendientdoor(vak)deskundigentegebeuren.Deopenvraagwordtinhetonderwijsveelgebruikt.Eendocentsteltbijvoorbeeldopenvragentijdenshetonderwijs-leergesprek,tijdensmondelingeofschriftelijkeoverhoringen,alsonderdeelvanproefwerkenenbijtoetsenofexamens.Indecentraleexamensvanvmbo,havoenvwozijndemeestevragenopenvragen.

Deopenvraagheeftweliswaarvoordelen,zieparagraaf7.2,maargeeftookproblemendiedoorgaanspaswordenontdekttijdensofnadeafnamevandetoets.Deproblemenzijnvooreennietonbelangrijkdeelterugtevoerentotkwestiesdiemetformulerentemakenhebben.Metanderewoorden:hetgaatveelalomtaalproblemen.Eennietjuistofnietvolledigjuistgeformuleerdevraagleverteennietverwachtofgewenstantwoordopvandeleerlingenenveroorzaaktdaardoorproblemenbijdebeoordeling.

Openvragenzijnbijuitstekgeschiktomhogerecognitievevaardighedentetoetsen.Datbetreffenvaardighedenalstoepassen,analyseren,synthetiserenenevalueren.IndeNederlandseonderwijspraktijkzienweechterdatopenvragenookgebruiktwordenvoorhettoetsenvanfeitenkennis.Menkanzichafvragenofopenvragendaarvoorgebruiktmoetenworden.Hetisgeblekendatfeitenkennisopeenveelefficiëntereenbetrouwbaarderewijzemetbehulpvangeslotenvragenkanwordenbevraagd.Inhoofdstuk2zagenweechterdatbijdekeuzevooreenbepaaldevraagvormsomsandereoverwegingeneenrolkunnenspelen.

Openvragenkomenindiversevormenvoor.Erisdaarbijeenonderscheidtemakennaardelengtevanhetantwoord,ennaardebenodigdetijdvoordebeantwoording.

Page 113: Toetsen op School

113 Het construeren van open vragen < Inhoud Index >

In- en aanvul vragenBijditsoortvragenwordtvanleerlingenverwachtdatzijeenonvolledigezin,berekeningoftekeningcompleteren.Lezenenbeantwoordenvaneendergelijkevraagkostweinigtijd.

Voorbeeldenvaneenin-enaanvulvraagzijn:

DelangsteriviervanEuropaisde...

Demoordop...vormdededirecteaanleidingtotdeEersteWereldoorlog.

Kort-antwoord vragen Opkort-antwoordvragenmoetmeteencitaat,metenkelewoorden,eenenkelvoudigezin,eengetal,een(eenvoudige)tekeningofformulewordengeantwoord.Detijdvoorhetlezenendebeantwoordingzalmeestalnietmeerdaneenminuutvergen.

Eenvoorbeeldvaneenkort-antwoordvraag,gesteldaandehandvaneencontext,is:

Vanwelkevormvanwerkloosheidishiersprake?

Lang-antwoord vragen Leerlingendienenlang-antwoordvragentebeantwoordenmetsamenhangendezinnen. Ookeentoelichting,eengecompliceerdeberekening,tekeningofeenbewijsbestaandeuitverschillendestappen,zijnvoorbeeldenvanantwoordmogelijkheden.Voorhetlezenenbeantwoordenvaneendergelijkevraagisalgauwdrietotvijfminutennodig.

Eenvoorbeeldvaneenlang-antwoordvraag,gesteldaandehandvaneencontext,is:

Leguitwaaromhetvoorsommigebedrijveneconomischgezienvoordeligkanzijnafvalopnieuwtegebruiken.

Opstel en betoog vragenTypischeantwoordenopopstelenbetoogvragenzijn:eensamenhangendetekst,gestructureerdbijvoorbeeldnaarinleiding,middenenslot,ofeenzeergedetailleerdetekeningofberekeningdiebeidealseenafgerondgeheelwordenbeschouwd.Hetlezenenantwoordenvaneendergelijkevraagiseentijdrovendeaangelegenheid.Vijftientotdertigminutenvooreendergelijkeopdrachtisnietongebruikelijk.

Page 114: Toetsen op School

114 Cito | Toetsen op School < Inhoud Index >

Eenvoorbeeldvaneenopstelvraagis:

DeheerAndersreageerdemeteeningezondenbriefopeenartikelinHetHollandsDagbladoverbijbaantjesvoorscholieren.Zijnbriefbegonalsvolgt:

‘InuwkrantverscheenonlangseenartikelwaarindeministervanOnderwijs,CultuurenWetenschappenzijnbezwarentegenbijbaantjesvanscholierenuiteenzet.HieronderwilikdevoordelenvanbijbaantjesvoorscholierenvoordeNederlandseeconomieuiteenzetten…’

Schrijfhetvervolgvandebrief.

Indebriefmoetendevolgendeaspectenaandeordekomen: a debijdragevanbijbaantjesvanscholierenaanhetterugdringenvande

frictiewerkloosheidindetoekomst b hetmultipliereffectvandestijgendebestedingenvanscholieren

Openvragenkunnenookonderscheidenwordennaardeomvangvanhetantwoordendebenodigdeantwoordtijd.Veelalblijkenleerlingenmeertijdvoordebeantwoordingnodigtehebbendanwordtaangenomen.Degemiddeldeantwoordtijdopvragenstaatweergegeveninonderstaandetabel.

Vraagtype Beantwoordingstijd

Openvraag,antwoordvergtéénwoordofzin 1minuut

Openvraag,antwoordvergt1/4pagina-A4 5minuten

Openvraag,antwoordvergt1/2pagina-A4 10minuten

Openvraag,antwoordvergtéénpagina-A4 25minuten

Openvraag,antwoordvergttweepagina’s-A4 60minuten

7.2 Voordelen van open vragen

Sommigedoelstellingenzijnbetertetoetsenmetopenvragendanmetgeslotenvragen. Ditgeldtvoordoelenwaarbijoriginaliteitofcreativiteiteenrolspelen(bijvoorbeeldbijhetontwerpenvaneenonderzoeksopzet),bijdetoetsingvancomplexerevaardighedenofwanneerhettetoetsenkennisdomeinomvangrijkis.Datwilzeggen:

• Bijdebeantwoordingvaneenopenvraag(vooraldelang-antwoordvraag)hoevendeleerlingennietinhunvrijheidtewordenbeperkt.Bijdebeantwoordingkunnendeleerlingenvoldoendecreativiteitaandedagleggen.

Eenvoorbeeldvaneenvraagdiemetbehulpvantweebronnenmoetwordenbeantwoord,is:

Gebruikbron16(prent)en17(toespraak). IndeprentgeeftdetekenaarzijnmeningoverdetoespraakvanpresidentTruman.

Watisdemeningvandetekenaar? Ondersteunjeantwoorddoortweeelementenuitdeprentteverbindenmettweeelementenuitdetoespraak.

Page 115: Toetsen op School

115 Het construeren van open vragen < Inhoud Index >

• Daarwaartaalvaardigheidaspectenbijdetoetsingeenrolspelen,verdientdeopenvraagdevoorkeurbovendegeslotenvraag.Deleerlingenkunnenimmersbijdebeantwoordingvanopenvragenproductiefgebruikmakenvandetaal.

Eenvoorbeeldvaneendergelijkevraagis:

MaakeengoedlopendesamenvattingincorrectNederlandsvanmaximaal200woordenvandetekst‘Deliefdetotzijnlandisiederaangeboren’.Zorgervoordatjesamenvattingbegrijpelijkisvooriemanddiedeoorspronkelijketekstnietkent.

Uitjesamenvattingmoetduidelijkworden: - welkeovereenkomstenerzijntussendeidentiteitvanhetgezinendenatie; - welkgevaarzichvoordoetophetniveauvandeidentiteitvandenatie; - welkefactorenditgevaarbeperkenenwaardoordezefactorenremmendwerken; - metwelkeredeneringkosmopolitismegeenalternatiefwordtgevondenvoorde

behoefteaaneennationaleidentiteit; - watwordtgeconcludeerdtenaanzienvanhettrotszijnopdeeigennationale

identiteit.

7.3 Nadelen van open vragen

• Voortaalzwakkeleerlingenleverenopenvragenextraproblemenop.Hetisnietaltijdduidelijkofeen‘foute’beantwoordingvandevraaguitsluitendtewijtenisaanonvoldoendekennisdanwel(mede)hetgevolgisvaneenonvoldoendetaalbeheersing.Metanderewoorden:isdetaalofdevakinhoudhetprobleem?

• Heteenduidigformulerenvanopenvragenislastig.Nieteenduidiggeformuleerdevragenzijnvoorleerlingenopmeermanierenteinterpreteren.Zodraleerlingenmoeteninterpreteren,zalhetdoordedocentgewensteofverwachteantwoordwaarschijnlijknietwordengegeven.

• Nieteenduidiggeformuleerdeopenvragenleverenbeoordelingsproblemenopomdatdeleerlingeneenanderantwoordgedragvertonendanwasbeoogd.

• Ookindiendevraageenduidigisgeformuleerd,kunnenverschillenontstaantussenbeoordelaars.Beoordelaarsdiebijvoorbeeldvanmeningverschillenoverhetjuisteantwoord.Ofeenbeoordelingvanééndocentdienietconsistentophetantwoordvaniedereleerlingwordttoegepast.

• Debeantwoordingvanopenvragenkostmeertijddandebeantwoordingvangeslotenvragen.Voorhetbeantwoordenvaneengeslotenvraagiseenminuutmeestalvoldoende.Hiervoorzagenwedat,afhankelijkvandevraagstelling,hetbeantwoordenvanopenvragenvaakveelmeertijdkost.Ditheeftnadeligegevolgenvoorhetaantalvragendat,gegevendebeschikbaretoetstijd,gesteldkanworden.

• Hetbeoordelenvandeantwoordenopopenvrageniszeerarbeidsintensief.

7.4 Constructieregels voor open vragen

Eenaantalproblemenmetopenvragenkunnenwordenvoorkomenindiendeconstructeurvandevragenzichhoudtaaneenaantalregels.

Regel 1: Formuleer bij open vragen eerst het modelantwoord en vervolgens de vraagEenvraagkanuiteenlopendeantwoordenuitlokkendiestukvoorstukteverdedigenzijn.

Page 116: Toetsen op School

116 Cito | Toetsen op School < Inhoud Index >

Ditkomtomdatdeantwoordenterugzijntevoerenopuiteenlopendeinterpretatiesvandevraag.Hetprobleemwordtvoorkomendoorandersomtewerktegaan.Formuleereersthetwenselijkeantwoord,hetzogenoemdemodelantwoord,endanpasdebijbehorendevraag.

Eenvoorbeeldvaneendergelijkevraagis:

Bedenkeenredenwaaromeenpolitiemanofvrouwdiezijnofhaarwerkdoet,tochvoor eenrechtermoetkunnenverklarenwaaromhijofzijgeweldheeftgebruikt.

Regel 2: Voeg zo nodig antwoordrestricties aan de vraag toeEenanderprobleemdatzichvoordoet,isdatleerlingeninhunantwoorduitvoerigerdanwelbeknopterzijndandedocentverwacht.Ditgebeurtvooralbijvragenwaarbijdedocentgeenofonvoldoendeantwoordrestrictiesvoordeleerlingenheeftgeformuleerd,zoalshoeveelvoorbeeldenmoetenerwordengegeven,uithoeveelwoordenhetantwoordmaximaalmagbestaan,enz.

Eenvoorbeeldvaneendergelijkevraagis:

Erzijnmeerdereredenenomalcoholofdrugstegaangebruiken.Noemerenkele.

Regel 3: Geef bij iedere toets(deel)vraag aan hoeveel punten kunnen worden behaaldLeerlingenzijnnietaltijdinstaateeninschattingtemakenvanhetrelatievebelangvandevraagrespectievelijkdevraagonderdelen.Hierdoorkomthetvoordatleerlingenaanbepaaldetoetsvragenofvraagonderdelendieslechtseenbeperktaantalscorepuntenopleveren,relatiefveeltijdbesteden.

Regel 4: Ontwikkel open vragen samen met collega’s Bijhetformulerenvaneenopenvraagrealiserendocentenzichnietaltijddatleerlingeneenbepaaldemaniervanlezenhebben.Zodoendezijndocentenzichnietbewustvandeveleinterpretatiesdiemogelijkzijn.

Hetvolgende,aandeexamenpraktijkontleendevoorbeeld,isinditverbandillustratief. Devraagluidde:

WaarombepaalthetKNMIelkuurdetemperatuuropeengrootaantalmeetpunten?

Bijdecorrectievandezevraagsignaleerdendocentenverschillendeantwoorden.Dieantwoordenblekenafhankelijktezijnvandewijzewaaropleerlingendevraaghaddengelezen:

• Nadrukopwaarom:datlevertnuttigeinformatieopvoorboerenentuinders.• NadrukopKNMI:datbehoorttotdetakenvandatinstituut.• Nadrukopelkuur:datleverteengroterebetrouwbaarheidvandemetingopinvergelijking

meteenkleineraantalmeetmomenten.• Nadrukoptemperatuur:voorhetdoenvaneengoedeweersvoorspellingzijntemperatuur-

gegevensonmisbaar.• Nadrukopeengrootaantalmeetpunten:temperaturenkunnenvanplaatstotplaatsnogal

verschillen.

Page 117: Toetsen op School

117 Het construeren van open vragen < Inhoud Index >

Hetprobleemmetdezevraaghadwaarschijnlijkvoorkomenkunnenwordendoordevraagtelatenbeoordelenenbeantwoordendoorverschillendedeskundigen/docenten,ookdocentenvanbuitenhetvakgebied.Hetissteedsweerverrassendomtezienhoeverschillendedeskundigen/docentendevraaginterpreteren.Laatdocentendevragenbeantwoordenzonderdatzijbeschikkenovereenmodelantwoord.Verzamelhunantwoordeneneventueleop-enaanmerkingen.Gebruikdezeinformatieomdevraagenhetantwoordbijtestellen.

Regel 5: Splits de vraag op in een informatiegedeelte en een vraaggedeelteHetprobleemhiervoorhadookvoorkomenkunnenwordendoordevraagtesplitsenineeninformatiegedeelteeneenvraaggedeelte.

ZozoudeKNMI-vraagalsvolgtkunnenwordenopgesplitst:

HetKNMIbepaaltelkuurdetemperatuurvaneengrootaantalmeetpunten. a Geeféénredenwaaromdatelkuurgebeurt. b Geeféénredenwaaromdatopeengrootaantalmeetpuntengebeurt.

Regel 6: Hanteer concrete opdrachten en vragen en vermijd formuleringen die het gewenste antwoord niet oproepenSommigevraagformuleringenleidentotongewenstedanwelontwijkendeantwoordenomdatzeonduidelijkeantwoordinstructiesbevatteneneenconcreteopdrachtontbreekt.

Voorbeeldenvandergelijkeformuleringenzijn:

‘Probeereensuitteleggenwaarom…’ Devraagsuggereerteenpogingmaarhetgaatomdeuitleg.

‘Kunjeaangevenopwelkemanier…’ Devraagsuggereertdatdeleerlingenietskunnenaangevenmaarhetgaateromof

leerlingendemanieraangeven.

‘Zaldemaatregelleidentoteenstijgingofeendaling…’ Leerlingenvolstaanmethetantwoord‘ja’omdatbeideontwikkelingenimmers

mogelijkzijn.

Regel 7: Kom tot afspraken voor wat betreft vraagformuleringen: gebruik een beperkt aantal vraagformuleringen en geef aan vraagformuleringen steeds eenzelfde betekenisIndepraktijkwordenvoorhetzelfdetypeopenvragenverschillendeformuleringengebruikt.Dezeverschillendeformuleringenkunnenbijleerlingeneen,nietbeoogd,verschillendantwoordgedragoproepen.Enerkunnenzichproblemenvoordoenalsbepaaldeformuleringennietsteedsconsequentgebruiktworden.Ookisuitonderzoekgeblekendatnietalleformuleringenhetgewenstegedragvanleerlingendaadwerkelijkoproepen.

Voorleerlingenishetprettigalszijbijeenbepaaldeopdracht-ofvraagvormbijallevakkeneenzelfdesoortantwoordmoetengeven.Hetisdaaromgoedtekomentoteengemeenschappelijkelijstvanvraagformuleringen.Doorhethanterenvaneendergelijkelijstontstaatervoordeleerlingenduidelijkheidoverhetpervraagvereisteantwoord.Alsvoorbeeldvaneendergelijkeafspraakgevenwehiernahetoverzichtvanformuleringendatbijdecentraleexamensvmbo,havoenvwowordtgebruikt:

Page 118: Toetsen op School

118 Cito | Toetsen op School < Inhoud Index >

Standaardformuleringen voor kort-antwoord vragen

Formulering Toelichting en/of voorbeeld

Noem/schrijf

op

Tegebruikenbijeenvraagnaarietsconcreetszoalstermijn,plaats,gebeurtenis,kenmerk,aspect.

Voorbeeld:

• Noemtweegasvormigeafvalproductenvanelektriciteitscentralesdie,zondertegenmaatregelen,de

voornaamstebijdrageleverenaandeverzuringvanhetmilieu.

Geef(aan) Ditkaneenkort-oflang-antwoordvraagzijn,moetdusnadergespecificeerdworden.Alskort-

antwoordvraagtegebruikenvoorconcretezaken.

Voorbeeld:

• Geefdeformulevandeprijselasticiteitvandevraag.

• Geeféénvoorbeeldvaneenwinkelketendieaan…voldoet.

• Geefaanofdevolgendebeweringenjuistzijnofonjuist.

Hoe Tegebruikenbijkwantitatievevragenenvragennaarconcretezakenofverschijnselen.

Voorbeeld:

•Hoeveel%vandepakkenzalminderdan1kgbevatten?

• Hoegrootisdeafstandvan…naar…?

• Hoevaak…?

• Hoelangduurt…?

•Ineenwinkelwordenschappenopdrieverschillendehoogtenonderscheiden.Bukhoogteen

grijphoogtezijnertweevan.Hoeheetdederdehoogte?

Wie Tegebruikenbijreproductie-ofidentificatievragen.

Voorbeeld:

• Wieheefthetbuskruituitgevonden?

Wat • WatisdebetekenisvandeafkortingAIVD?Of:WaarvanisAIVDeenafkorting?

• Watwordtverstaanonderarbeidsproductiviteit?

Waar Tegebruikenbijeenconcreteplaatsaanduiding.

Voorbeeld:

• Waarheeft…plaatsgevonden?

Welke Tegebruikenbijeenvraagnaareenconcreetobjectofconcretecategorie.

Voorbeeld:

• Welkedriemuziekinstrumentenhoorjeachtereenvolgens?

• InwelkevierdelenvanNederlandisvolgensdekaartdevervuilingdoorammoniakuitstoothet

grootst?

• Voorwelkewaardevan…geldt…?

Wanneer • WanneervonddeTweedeWereldoorlogplaats?

Arceer • Arceerophetuitwerkbladhetgebieddatonderwaterlooptalsdedijkdoorbreekt.

Journaliseer Tegebruikenvoorhetdebiterenencrediterenvanbedrageningrootboekrekeningen.

Voorbeeld:

• XenYbrengenhunzakenbijeenineenVOF.JournaliseerdeinbrengvanX.

Citeer • Citeerheteersteenlaatstewoordvandezinwaarindatstaat.

Page 119: Toetsen op School

119 Het construeren van open vragen < Inhoud Index >

Standaardformuleringen voor lang-antwoord vragen

Formulering Toelichting en/of voorbeeld

Geef(aan) Kankort-oflang-antwoordvraagzijn,moetdusnadergespecificeerdworden.

Alslang-antwoordvraagtegebruikenbijeenvraagnaarietsabstractszoalsreden

ofoorzaak(dusniet:waarom…).

Voorbeeld:

• Geefdeoorzaakvoorhetontstaanvanconjuncturelewerkloosheid.

• Geefeenverklaringvoorhetontstaanvan….

Geefdeberekening

van

Bijdezevraagmoetookdeberekeningzelfgegevenenbeoordeeldworden.

Voorbeeld:

• Geefdeberekeningvandetotaleconstantekostenperjaar.

Laatmeteen

berekeningzien

Tegebruikenwanneerdeuitkomstvandeberekeningalindevraagstaataangegeven.

Voorbeeld:

• Laatmeteenberekeningziendatdeprijs€10,25is.

Stelop/samen Tegebruikenbijhetopstellenvanvergelijkingen.

Voorbeeld:

• Steldebalanssamen.

Leidaf Tegebruikenomopbasisvanverstrektegegevenshetgevraagdeafteleiden.

Voorbeeld:

• Leiduithetmodeldehoogtevanhetnationaleinkomenafwaarbijsprakeisvan

inkomensevenwicht.

Onderzoek Tegebruikenvoorhetonderzoekenvaneenserieeigenschappenvaneenfunctieofvoor

beweringen,o.a.indestatistiek.

Voorbeeld:

• Onderzoekofdesteekproefgrootgenoegisomdevereistenauwkeurigheidtebereiken.

Bewijs Tegebruikenwanneeropdeductievewijzebewezenmoetwordendateenbeweringwaaris

doordezeteherleidentotdefinities,stellingenofaxioma’s.

Voorbeeld:

• Bewijsdatdesteekproefgrootgenoegisomdevereistenauwkeurigheidtebereiken.

Toonaan Tegebruikenwanneereenbeweringaannemelijkmoetwordengemaaktzonderdeductieve

redenering.

Voorbeeld:

• Gegevenis….Toonaandatbijhetinkomensevenwichtsprakeisvaneentekortopde

overheidsbegroting.

Leguit(waarom) Tegebruikenwanneereenredeneringofargumentatiegegevenmoetwordendieuitenkele

afzonderlijkedenkstappenbestaat.

Voorbeeld:

• Leguitwaaromhetvoorsommigebedrijveneconomischgezienvoordeligkanzijnomafval

opnieuwtegebruiken.

Zie vervolg tabel op volgende pagina.

Page 120: Toetsen op School

120 Cito | Toetsen op School < Inhoud Index >

Formulering Toelichting en/of voorbeeld

Beschrijf Bij‘beschrijf’moeteenantwoordrestrictiewordenopgenomen.Inhetvolgendevoorbeeldis

deantwoordrestrictie:‘ineengesloteneconomiezonderoverheid’.

Voorbeeld:

• Beschrijfdewerkingvandemultiplierineengesloteneconomiezonderoverheid.

Beredeneer

Beargumenteer

Beoordeel/geefeen

beoordeling

Vatsamen

Geefeenverklaring

voor

DezestandaardformuleringenkomenvoorindeexamensNederlands,enwordenvaak

gevolgddooreenaanwijzingoverdelengtevanhetantwoord.

Voorbeeld:

• Beredeneerdatvoorlichtingoverdegevarenvanrokeneenaverechtseffectkanhebben.

Gebruikmaximaal40woorden.

• Deschrijvervanfragment2maakteenverwijtnaardeschrijvervanfragment1.

Beoordeelofditverwijtterechtofnietterechtis.Geefbijjestandpuntéénopdetekst

gebaseerdargument.

• MaakeensamenvattingincorrectNederlandsvanmaximaal180woordenvandetekst…

Zorgervoordatdezesamenvattingbegrijpelijkisvooriemanddiedeoorspronkelijketekst

nietkent.

Regel 8: Formuleer de vraag zodanig dat leerlingen de vraag taalkundig begrijpen. Laat de conceptvragen zo nodig beoordelen door ter zake deskundigen.Indepraktijkiserineenaantalgevallensprakevangeringeretoetsprestatiesvanallochtoneenvrouwelijkeleerlingen.Uitonderzoekisgeblekendatsommigeopgavenmoeilijkerwarenvoorallochtonedanvoorautochtoneleerlingen.Ditalsgevolgvanhunanderecultureleenlinguïstischeachtergrond.Ookbleekdatsommigeopgavenmoeilijkerwarenvoormeisjesdanvoorjongensalsgevolgvanhunandereinteressesenachtergrondkennis.Hetverschijnseldateenverschilinmoeilijkheidsgraadvaneenopgavevoorverschillendegroepenleerlingenveroorzaaktwordtdooraspectenvandeopgavedienietrelevantzijnvoorwatdeopgavebeoogttemeten,wordtindetestliteratuur‘itembias’genoemd.ZiedewebsitevanCitowaaroverditonderwerpeenpublicatievanK.BügelenP.F.Sanders(1998)kanwordengedownload,getiteld‘Richtlijnenvoordeontwikkelingvanonpartijdigetoetsen’,www.cito.nl>Onderzoekenwetenschap>Psychometrie>Richtlijnenontwikkelingtoetsen.

Allochtoneleerlingenofleerlingendienietergtaalvaardigzijn,mogennietbenadeeldwordendooronnodigcomplexofaltezeercultuurgebondentaalgebruikineentoets.Menmoetzicheraltijdbewustvanzijndateronbedoeldeenongewenstecultureleaspectengetoetstkunnenworden.Datgevaardreigtvooralalsermeerderecultureninhetspelzijn.Toetsconstructeursmoetenvoorkomendatleerlingenfoutenmakendiehetgevolgzijnvantemoeilijkoftevaagtaalgebruik.Cultuurgebondenverwijzingen,(te)langezinnenenteksten,figuurlijktaalgebruikenhetgebruikvanverwijswoordenleverenbijmindertaalvaardigeleerlingenproblemenop.Hettaalgebruikmoetechterookweernietzoversimpeldwordendathetinhoudelijkeniveauvaneentoetsofexamenomlaaggaat.

Regel 9: Gebruik contexten die aansluiten op het algemene niveau dat van de leerlingen verwacht mag worden. Let daarbij in het bijzonder op de aansluiting van het materiaal bij de voorkennis en het taalniveau van de doelgroep. Gebruik geen contexten en voorbeelden die overwegend inspelen op de belangstelling en ervaring van bepaalde groepen leerlingen.Bijveelopenvragenwordendevragengesteldnaaraanleidingvaneencontext,bijvoorbeeldeensituatie,eentekst,afbeelding,cartoon,tekeningofadvertentie.Voordecontextgeldtdatdezefunctioneelmoetzijnmetbetrekkingtotwatwewillentoetsen.Ookmoetdecontext(binnengrafischebeperkingen)inhoudelijkenquavormgevingovereenkomenmettekstenen

Page 121: Toetsen op School

121 Het construeren van open vragen < Inhoud Index >

afbeeldingenzoalsmendezeinwerkelijkheidtegenkomt.Hetmagnietzozijndatdeleerlingenzonderzichindecontextteverdiependevraagkunnenmaken.Ookdientvoorkomentewordendatdecontextofhetvoorbeeldoverwegendaansluitenbijdevoorkennisvaneenbepaaldegroepleerlingen,bijvoorbeelduitsluitendbijvrouwenofmannen.Wanneertoetsvragenoverwegendaansluitenbijdevoorkennis,ervaringenbelangstellingvansteedsdezelfdegroepleerlingen,wordtdezegroepbevoordeeldtenopzichtevananderegroepenleerlingen.

7.5 Verschillen bij de beoordeling van open vragen

Bijopenvragenwordteenzoobjectiefmogelijkebeoordelingnagestreefd.Hetisbelangrijkdatbeoordelaarsdeantwoordenvandeleerlingenzonauwkeurigmogelijkensteedsopgelijkewijzebeoordelen.Datverhoogtdebetrouwbaarheidvandetoets(ziehoofdstuk3).Uitdiverseonderzoekenblijktdaterindepraktijkgroteverschillenbestaantussendewijzewaaropdeantwoordenvanleerlingenoptoetsvragenwordenbeoordeeld.Debelangrijksteoorzakenvoordieverschillen,dezogehetenbeoordelaarseffecten,wordeninonderstaandeparagraafbesproken.Oplossingenomdezeverschillenteverminderenenhetgebruikvanhetcorrectie-voorschriftwordendaarnabesproken.

7.5.1 Verschillen tussen beoordelaarsWebesprekenhiernegenbeoordelaarseffectenbijdebeoordelingvanopenvragen.

Lage intra- en interbeoordelaarsovereenstemmingDebeoordelaardiehetzelfdeantwoordopeenlatertijdstipopnieuwbeoordeelt,bijvoorbeeldomdatleerlingenhebbengeprotesteerdtegendeuitslag,komtnogaleenstoteenanderoordeel.Wesprekendanvaneengeringeintrabeoordelaarsovereenstemming.Vaneengeringeinterbeoordelaarsovereenstemmingissprakeindientweeofmeerbeoordelaarsonafhankelijkvanelkaartotaanzienlijkverschillendebeoordelingenvandezelfdetoetsvragenkomen(zieookhoofdstuk3). Strengheid en mildheidHiermeebedoelenwedeneigingvanbeoordelaarsomconsequentstrengofmildtebeoordelen.

NormverschuivingMetnormverschuivingbedoelenwedeneigingvandebeoordelaaromdebeoordelingenaantepassenaanhetgemiddeldeniveauvandegroepleerlingen.Zokanhetvoorkomendateenaanvankelijkstrengebeoordelaartijdenshetbeoordelengaandewegmilderwordt.

Centrale tendentie Hiervanissprakealsbeoordelaarsgeenextreemhogeoflagescoresgevenmaarvoornamelijkhetmiddenvandebeoordelingsschaalgebruiken.Zogevensommigedocentennooitcijfershogerdan8oflagerdan4.

Sequentie-effectHiervanissprakealsdebeoordelingbeïnvloedwordtdoorvoorafgaandebeoordelingen.Beoordelaarshebbendeneigingomnaeen(groot)aantalslechteprestatieseenrelatiefgoedeprestatieovertewaarderen.Hetomgekeerde,naeen(groot)aantalgoedeprestatieseenrelatiefslechteprestatieonderwaarderen,komtookvoor.

Page 122: Toetsen op School

122 Cito | Toetsen op School < Inhoud Index >

Contaminatie-effectIndienbeoordelaarsaandebeoordelingenvandeleerlingennoganderefunctiestoekennendanlouterdebeoordelingvandeprestatiesvandeleerlingen,sprekenwevanhetcontaminatie-effect.Zokunnendocentenderesultatenvan‘hun’leerlingenbeschouwenalseenmaatstafvoordekwaliteitvanhunonderwijsenhierbijhetgevenvanscoresrekeningmeehouden.

Halo-effectHiermeebedoelenwedeneigingvanbeoordelaarsomalsgevolgvaneenpositievebeoordelingvaneerderevragen/toetsenvanleerlingen,ookanderevragen/toetsenvandieleerlingenpositieftebeoordelen.

Horn-effectHiermeebedoelenwedeneigingvanbeoordelaarsomalsgevolgvaneennegatievebeoordelingvaneerderevragen/toetsenvanleerlingen,ookanderevragen/toetsenvandieleerlingennegatieftebeoordelen.

Signifisch effectHiervanissprakealsbeoordelaarsdebeoordelaarstaakeigenzinnig,datwilzeggenandersdananderebeoordelaars,opvattenZokaneendocentdiebijdebeoordelingvaneenopsteluitsluitendopinhoudenopbouwleteenopsteldaardoorveelhogerwaarderendananderedocentendieookandereaspectenvanhetopstelbeoordelen.

7.5.2 Oplossingen voor beoordelaarseffecten Hetiseenutopietegelovendatdesituatiezoukunnenontstaandatbeoordelaarsvolledigmetelkaarovereenstemmen.Tegendeongewenstebeoordelaarseffectenzijnechtereenaantaloplossingenvoorhandendiedeeffectenenigszinstenietkunnendoen:

• Omnormverschuivingtevoorkomen,moetnietsteedshetwerkvandezelfdeleerlingenalseerstenagekekenworden.Aanbevolenwordtomdevolgordevanbeoordelenregelmatigtewijzigen.

• Hetsequentie-effectkanbeperktwordendoorpervraaginplaatsvanperleerlingdeantwoordenvandeleerlingentebeoordelen.

• Hetcontaminatie-effectismoeilijkoplosbaarzolangergeenscheidingisaangebrachttussendocerenenbeoordelen.Intercollegiaaluitwisselenvanbeoordelingsactiviteiten,docentAbeoordeeltdetoetsvanleerlingenvandocentB,enandersom,biedteenoplossing.

• Hethalo-effectkanbeperktwordendoordetoetsanoniemnatekijken.Aanleerlingenwordtgevraagdomniethunnaamopdetoetstezettenmaarhunidentificatienummer.Hethalo-effectkaneveneenswordengematigddoorhetinschakelenvaneenonafhankelijketweedebeoordelaar.Eentweedebeoordelaarbeperktookhetcontaminatie-effect.Indieninplaatsvandeeigendocenteenbuitenstaanderalsbeoordelaaroptreedt,doenbeidegenoemdeeffectenzichnietvoor.Hetinzettenvaneentweedebeoordelaarzaldebeoordelingnietalleenduurdermakenmaarooklangerlatenduren.Ofeentweededanwelonafhankelijkebeoordelingechtnodigis,hangtafvandefunctievandetoets.Debetrouwbaarheidvansummatievetoetsenopgrondwaarvanwordtbepaaldofeenleerlingslaagtofzakt,danwelofeenleerlingwelofnietwordttoegelatentoteenvervolgstudie,moetuiteraardhogerzijndandievanformatievetoetsen.Dusvooralbijtoetsenwaarvandeuitslagvergaandegevolgenheeftvoordeleerling,iseenbetrouwbareuitspraakovereenvoldoendeofonvoldoendevangrootbelang.Hetisdaaromaantebevelenomdetoetsvanleerlingenmeteen toetsscore rond de zak/slaaggrensdooreentweedebeoordelaartelatennakijken.

Page 123: Toetsen op School

123 Het construeren van open vragen < Inhoud Index >

7.5.3 CorrectievoorschriftWanneerbeoordelaarseencorrectievoorschrifthanteren,verkleintdatdeverschillentussenbeoordelaars.Eencorrectievoorschriftleidtertoedat(extreem)strengeen(extreem)mildebeoordelaarszichmatigen.Hetgebruikvaneendergelijkvoorschriftvoorkomtookdatdocentenverschillendecriteriahanterenbijdebeoordeling.

Eencorrectievoorschriftismeerdaneeneenvoudigechecklistaandehandwaarvandebeoordelaardeantwoordennaloopt.Eencorrectievoorschriftbevatalgemeneenvakspecifiekeregelsvoordebeoordelingenvoorbeeldenvanjuiste,gedeeltelijkjuisteen(voordehandliggende)onjuisteantwoorden.Ookbevathetmodelantwoorddemaximaaltebehalenscorepervraagen(waarzinvolenmogelijk)deverdelingvandezemaximumscoresindeelscores. Dealgemeneregelsgaaninopdewijzevanbeoordelenenhoedebeoordelaarmoetomgaanmetgedeeltelijkjuisteantwoordenenantwoordendienietinhetmodelantwoordvoorkomen,zoalsdoorwerkendefouten(d.w.z.eeneerdergemaaktefoutdiederestvanhetantwoordookfoutmaakt),identiekefoutenentaalfouten.Daarnaastkunnendealgemeneregelsenkeletipsbevattendiebeoordelaarseffectentegengaan.

7.6 Checklist

Wesluitendithoofdstukafmeteenchecklistdiegebruiktkanwordenbijdecontrolevanvragen.Diecontrolekangedaanwordendoordesamenstellervandetoetsofdooreencollegadiedetoetsscreent.Demeestevandegenoemdepuntenzijnookalbijhetonderdeeloverdeconstructieregelsbesproken.

Page 124: Toetsen op School

124 Cito | Toetsen op School < Inhoud Index >

Checklist voor het samenstellen, beoordelen en redigeren van open vragen

Taalgebruik• Isdevraaggrammaticaaljuistgeformuleerd?• Bevatdevraagingewikkeldezinsconstructies?• Bevatdevraageendubbeleontkenning?• Bevatdevraagonnodigetussenvoegsels?• Isdevraagonnodignegatiefgesteld?• Kandeformuleringvandevraagaanleidinggeventotmisverstanden?• Kandevraagdooreenverschuivingvandeklemtooneenanderebetekeniskrijgen?

Informatie• Bevatdevraagvoldoendeinformatievoorbeantwoording?• Geeftdevraagvoldoendeinformatieoverdegewenstelengteenvormvanhet

antwoord?• Isduidelijkdateenantwoordmoetwordenverklaard/toegelicht?• Zijninformatieenprobleemstellingduidelijkgescheiden?

Relevantie• Kandevraagmetgebruikvananderedandebeoogdekenniswordenbeantwoord?• Suggereertdevraageenprobleemdatnietaandeordeis?• Bevatdevraagonbedoeldehintsvoordebeantwoording?• Isdemoeilijkheidsgraadvandevraagrespectievelijkvandegeheletoetsacceptabel?• Wordtdemoeilijkheidsgraadvandevraagonnodigverhoogddoorirrelevante

gegevens?

Context• Ishetgebruikvancontext(tekeningen,grafieken,teksten,afbeeldingen)functioneel?• Isdecontextduidelijkencorrectweergegeven?• Bevatdecontextirrelevanteinformatie?

Presentatie• Zijndevragenendevraagonderdelenduidelijkvanelkaarteonderscheiden?• Isdenummeringvandevragenlogischenoverzichtelijk?• Zijndeconventieswatbetreftspelling,symboolgebruik,interpunctie,e.d.inacht

genomen?• Zijndeverwijzingenindevraagnaarteksten,tekeningen,e.d.juist?

Page 125: Toetsen op School

8 H

et construeren van praktijktoetsen

8 Het construeren van praktijktoetsen

Page 126: Toetsen op School

126 Cito | Toetsen op School < Inhoud Index >

8 Hetconstruerenvanpraktijk-toetsen

Hans Kuhlemeier

Een praktijktoetsiseentoetswaarvandeopdrachteneenminofmeernatuurgetrouweweerspiegelingvormenvantakenofproblemenuithetdagelijkslevenofdelatereberoeps-praktijk.Overhetalgemeendoeteenpraktijktoetseenberoepoppraktischhandelen.Praktijktoetsenzijnvooralbruikbaarvoorhetvaststellenvancompetenties.Zestellendocenteninstaatomdekennis,vaardighedenenhoudingenvandeleerlingengeïntegreerdtetoetsen.Praktijktoetsendoeneensterkberoepopdebeoordelingsdeskundigheidvandedocent. Dehandelingenenproductenvandeleerlingenzijnmeestalnietobjectiefscoorbaar,maarmoetengeobserveerdenbeoordeeldworden.Daardoorisdekansgrootdatleerlingenmeteenvergelijkbareprestatiegeheelverschillendebeoordelingenkrijgenofdatverschillendedocentenaaneenzelfdeprestatieeenverschillendescoretoekennen.Metdeopkomstvancompetentie-gerichttoetsenheeftookdebeoordelingsschaalzijnintredegedaaninhetonderwijs. Eenbeoordelingsschaalisvaakhetmeestgeëigendemiddelomtoteenobjectievebeoordelingvaneencompetentietekomen.

Watdekenmerkenvanpraktijktoetsenzijn,besprekenweinparagraaf8.1.Hetontwikkelenvanpraktijktoetsenishetonderwerpvanparagraaf8.2eninparagraaf8.3besprekenwehetontwikkelenvanbeoordelingsschalen.Hethoofdstukbeoogtpraktischehandvatenaantereikendiebeginnendeenpraktiserendedocenteninstaatstellendecompetentiesvanleerlingenbetertebeoordelen.

8.1 Wat is een praktijktoets?

Erbestaanverschillendemeningenoverwatnupreciesondereenpraktijktoetsmoetwordenverstaan(Engels:performancetestofcompetence-basedtest).Ookinhetonderwijswordthetbegrippraktijktoetsopverschillendemanierengebruikt.Eenpraktijktoetswordtvaakomschrevendooraantegevenwathetnietis.Eenpraktijktoetsisgeenschriftelijketoetsmetmeerkeuzevragen.Enhetisookgeentoetsdiedeleerlingenvooreenprobleemsteltwaarvoormaarééngoedeoplossingbestaat.Watiseenpraktijktoetsdanwel?Alsmeneengrootaantalvoorbeeldenvanpraktijktoetsenbekijkt,blijkendezeeenaantalkenmerkengemeenschappelijktehebben.Dezeparagraafbegintmeteenbesprekingvandekenmerkenvaneenpraktijktoets,gevolgddooreenvoorbeeldvaneenpraktijktoets,eneindigtmetoverwegingenomalofnietvooreenpraktijktoetstekiezen.

8.1.1 Kenmerken van een praktijktoetsDertienkenmerkendieeenpraktijktoetsinmeerofminderematekanbezitten.

Open vraag- of probleemstellingKenmerkendvooreenpraktijktoetsisdeopenheidvandevraag-ofprobleemstelling.Erzijnmeergoedeantwoordenofoplossingenmogelijk.Deleerlingenmoetenzelfietsbedenken,ontwerpen,onderzoekenofpresentereninplaatsvanhet(meest)juisteantwoordtekiezenuit

Page 127: Toetsen op School

127 Het construeren van praktijktoetsen < Inhoud Index >

eenaantalaangebodenalternatieven.Hetuitbeeldenvaneenmuzikaalfragmentdoormiddelvanbewegingofdansishiervaneentreffendvoorbeeld.

Authentiek Devraag-enprobleemstellingzijnrealistischenauthentiek.Deopdrachtenineenpraktijktoetshebbeneengroteovereenkomstmettakenofproblemeninhetalledaagselevenofdelatereberoepspraktijk.Ookdecriteriawaaraandeprestatievandeleerlingmoetvoldoen,kunnenauthentiekzijnindezindatzegelijkenisvertonenmetdeeisendieookgeldeninalledaagsesituatiesenindewereldvanarbeidenberoep.EenbekendvoorbeeldvaneenauthentiekepraktijktoetsishetrijexamenvanhetCentraalBureauRijvaardigheidsbewijzen(CBR).

Integraal onderdeel van het leerprocesEenpraktijktoetsisvaakeenintegraalonderdeelvanhetonderwijsleerproces.Detoetsiserdannietalleenomwillevandetoetsing,maarookomdeleerlingenwaardevolleleerervaringenoptelatendoen.Schriftelijketoetsenenproefwerkenwordenmeestalafgenomenterafsluitingvaneenserielessen.Ineenpraktijktoetsvormeninstructie,oefeningentoetsingechterééngeheel.Eenpraktijktoetsismeerdanalleenmaareenmiddelomdeprestatiesvandeleerlingenvasttestellen.Tijdensdetoetsingkunnenleerlingeneenschataanleerervaringenopdoendiebijdragenaanhetbereikenvanleerdoelen.

Langere toetsduur Eenschriftelijketoetsofproefwerkneemthooguitéénoftweelesureninbeslag.Hetbeantwoordenvaneenmeerkeuzevraagkostmeestalnietmeerdanéénminuut.Eenpraktijk-toetsduurtvaakmeerdanéénlesuur.Hetmakenvandeopdrachtenkanzichzelfsuitstrekkenovereenperiodevanmeerderewekentotzelfsmaanden.Leerlingenkrijgendaarbijvoldoendetijdomhunwerkteplannen,uittevoeren,verschillendebronnenteraadplegen,zichzelfteevaluerenenhunwerktereviseren.Eenbekendvoorbeeldvaneenpraktijktoetsishetzogehetenbeoordelingsportfolio.Datbevatondermeereenverzamelingvanhet(beste)werkvaneenleerlingovereenlangereperiode.Hiermeelaatdeleerlingzienhoecompetenthijofzijisenhoedekennis,vaardighedenenhoudingenzichindeloopvandetijdhebbenontwikkeld.Vaakbevateenportfolioookinformatieoverdeinzetvandeleerling.Voorbeeldenvanportfolio’szijndemapmettekeningenzoalswedieuithetkunstonderwijskennenenhetEuropeestaalportfoliovooropleidingenenbedrijven,ziewww.europeestaalportfolio.nl.

Complexe vaardighedenEenpraktijktoetsdoetvaakeenberoepopcomplexevaardighedendiehogeredenkprocessenvereisen.Daarbijverbindtdeleerlingeerderopgedanekennis,persoonlijkeervaringeneninteressesmetnieuweinformatie.Hiervankansprakezijnalseenleerlingietsontwerpt,eenprobleemoplost,eenonderzoekdoet,samenwerktofietspresenteert.Praktijktoetsenvormenhetmiddelbijuitstekomzogehetenhogereordevaardighedentetoetsen,zoalskritischdenken,problemenoplossenenICTkunnentoepassen.

Integratie van vakken of vaardighedenPraktijktoetsendoenvaakeenberoepopkennisenvaardighedenuitverschillendevakken. Ookmoetenleerlingendikwijlseenaantalvaardighedeninonderlingesamenhangtoepassen.Bijdetoetsingvanonderzoeksvaardighedenmoeteenleerlingbijvoorbeeldnietalleeneenaantaldeelvaardighedenineenbepaaldevolgordekunnenuitvoerenzoalseenonderzoeksvraagformuleren,eenhypotheseopstellen,eenonderzoeksopzetmaken,eenexperimentuitvoeren,observeren,conclusiestrekkenuitobservatieseneenverslagmaken.Deleerlingmoetaldezedeelvaardighedenookalseensamenhangendeactiviteitkunnentoepassen.Onderzoekdoenverondersteltoverigensnietalleenbeheersingenintegratievanvaardigheden.Deleerlingmoetookeenzekerematevannieuwsgierigheideneenpositieveonderzoekshoudingbezitten.

Page 128: Toetsen op School

128 Cito | Toetsen op School < Inhoud Index >

Praktisch handelenDeuitvoeringvaneenpraktijktoetsvereistpraktischhandelen.Deleerlingen‘stekendehandenuitdemouwen’.Demanueleofmotorischecomponentisdaarbijessentieel.Aldoendeleertmenimmersvaakhetbest.Eenvoorbeeldvaneenechtepraktijktoetsishetmetselenvaneenbloembakwaarbijdeleerlingineenwerkplanningeenaantalwerkzaamhedenindejuistevolgordezet,debloembakopeenschaalvan1:10tekent,hetaantalbenodigdestenen,dehoeveelheidspecieendekostenberekent,preciesaangeeftopwelkeplaatsdeprofielenmoetenwordengeplaatst,samenmeteenklasgenooteengedeeltevandebloembakmetselt,eennacalculatiemaakteneenfotovanhetwerkstukneemt.

Samenwerking tussen leerlingenPraktijktoetsenwordenvaakuitgevoerddoorgroepjesleerlingen.Leerlingenoefenendaarbijallerleisamenwerkingsvaardigheden,zoalsnaarelkaarluisteren,metelkaarrekeninghouden,sameneenplanningmakenentakenverdelen.Dekwaliteitvandesamenwerkingvormteenintegraalonderdeelvandebeoordeling.EenvoorbeeldvaneenpraktijktoetsdiesamenwerkingvereistishetEHBO-examenterverkrijgingvanhetdiplomaJeugdEersteHulpB,zie www.ehbo.nl.TotdegeëxamineerdestofbehoortbijvoorbeeldeenbewusteloosslachtofferindestabielezijliggingleggeneniemanddiezichversliktenkelestevigestotentussendeschouderbladengevenenalsdatniethelptdehandgreepvanHeimlichtoepassen.

Meerdere opdrachtenVooreenbetrouwbarevaststellingvaneenpraktischevaardigheidzijnmeestalmeerderemetingennoodzakelijk.Vandaardateenpraktijktoetsdoorgaansuiteenaantalopdrachtenbestaat(Engels:performancetask).Deopdrachtenkunnendeleerlingenmeerofmindervrijlateninhetbepalenvandewerkwijze,debenodigdematerialenengereedschappen,hetuiteindelijkeproducten/ofdeverwerkings-ofpresentatievorm.Hiermeekandetoetsingwordenafgestemdopdebelangstelling,hetvaardigheidsniveauofdefavorieteleerstijlvandeleerlingen.

Beoordelingscriteria vooraf bekendBijeenpraktijktoetswordendeeisenwaaraandeprestatiesvandeleerlingenmoetenvoldoenvóórdeafnamevandetoetsbekendgemaaktenmetdeleerlingenbesproken.Leerlingenlerennamelijkmeeralszijwetenwathetleerdoelis,alszijwetenwatvoorbeeldenvangoedeenslechteprestatieszijnenalszijwetenaanwelkeeisenhunprestatiemoetvoldoen.

Zelfreflectie en zelfevaluatiePraktijktoetsenstimulerendeleerlingentotzelfreflectieenzelfevaluatie.Deleerlingoefentmetacognitievevaardighedenzoalshetkritischbeschouwenvaneigenwerk,hetzichbewustwordenvandetoegepasteactiesofhandelingenenhetherzienvaneigenwerkopgrondvanandermanscommentaar.

Voortgang vaststellenNaasthetaanbrengenvanfeitenkennisenvaardighedenstimuleerthetonderwijsdeontwikkelingvanuniverseleenbreedtoepasbarevaardighedenzoalskritischdenken,problemenoplossen,onderzoekdoen,ontwerpenensamenwerken.Praktijktoetsenzijnuitermategeschiktomdeontwikkelingvanditsoortvaardighedenovereenlangereperiodeinbeeldtebrengen.

Subjectieve beoordelingPraktijktoetsenzijnsterkafhankelijkvanmenselijkeoordelen.Beoordelaarsofdocentenmoetendeantwoorden,oplossingen,handelingenenproductenvandeleerlingenbeoordelen. Ditbetekentspecialeaandachtvoordeobjectiviteitvandebeoordelingdoorduidelijke

Page 129: Toetsen op School

129 Het construeren van praktijktoetsen < Inhoud Index >

beoordelingsvoorschriften,hetinzettenvanonafhankelijkebeoordelaarsenhetverhogenvandedeskundigheidvandebeoordelaars.Hetverhogenvandevakinhoudelijkeenbeoordelings-technischedeskundigheidkanondermeerplaatsvindendoormiddelvantraining,intervisieenexternebeoordeling.

8.1.2 Voorbeeld van een praktijktoetsDeessentiëlekenmerkenvaneenpraktijktoetskunnenwehetbestetoelichtendoortweevoorbeeldenmetelkaartevergelijken:eentraditionele,meerschoolsestelopdrachteneenzogehetenfunctionele,meerauthentiekestelopdracht.BeideopdrachtenzijnafkomstiguitdepraktijkvanhetvakNederlandsinhetvoortgezetonderwijs.

Voorbeeld 1

Traditionele stelopdrachtSchrijfeenopsteloverdezinofonzinvanhuiswerk.Jehebtpreciesveertigminutendetijd.Jetijdgaatnuin.Succes!

Voorbeeld 2

Functionele stelopdrachtSchrijfeenartikeloverdezinenonzinvanhuiswerkvoordeschoolkrant.Jekrijgttweewekendetijd.Eerstgajenaardebibliotheekenkijkjeopinternet.Hebjevoldoendeinformatieverzameld?Schrijfdanthuiseenruweversievanjeartikel.Vervolgensbespreekjejouwconceptmettweeandereleerlingenuitjouwklas. Opbasisvanhuncommentaarschrijfjeeendefinitieveversie.Debeoordelingsschaalbevatdeeisenwaaraanjouwartikelmoetvoldoen.

Devergelijkingvandetweeopdrachtenlaatziendatbeideonmiskenbaareenberoepdoenopdestelvaardigheidvandeleerlingendatbeideontegenzeggelijkvoorbeeldenvanpraktijktoetsingzijn.Immers,inbeidegevallenisdevraag-ofprobleemstellingopenenzijnerverschillendeuitwerkingenmogelijk.Daarnaastdoenbeideopdrachteneenberoepopeencomplexevaardigheidwaarvandedocentdebeheersingsubjectiefmoetbeoordelen.Erzijnechterookverschillendiemakendatdefunctionelestelopdrachtmeerkenmerkenvaneenpraktijktoetsbezitdandetraditionelestelopdracht.Debelangrijksteverschillenkunnenweaandehandvandevolgendezeskenmerkenalsvolgtomschrijven. AuthentiekDefunctionelestelopdrachtomvathetschrijvenvaneenlevensechtartikelvoordeschoolkrant,terwijldeleerlingbijdetraditionelestelopdrachteenschoolsopstelvoordedocentNederlandsschrijft.Daarnaastoefentdeleerlingbijdefunctionelestelopdrachtmeerstappenvanhetschrijfproces,zoalsplannen,informatieverzamelen,analyseren,schrijven,evaluerenenreviseren.Deschrijfactiviteitenvertonendaardooreengroteregelijkenismetdievanprofessioneleschrijverszoalsjournalisten.

Meer toetstijdVoordefunctionelestelopdrachtkrijgendeleerlingentweewekendetijd,terwijldatbijdetraditionelestelopdrachtslechtsveertigminutenis.Ditmaaktdetweedeopdrachttevensrealistischerenauthentiekerdandeeerste.

Page 130: Toetsen op School

130 Cito | Toetsen op School < Inhoud Index >

Integratie van vakken of vaardighedenDe traditionelestelopdrachtdoetinhoofdzaakeenberoepopschrijfvaardigheid,terwijldeleerlingindefunctionelestelopdrachtookanderevaardighedentoepast,zoalshetverwervenenverwerkenvaninformatie.Alvorensmetschrijventebeginnen,gaatdeleerlingimmerseerstnaardebibliotheekenverzameltinformatieophetinternet.

SamenwerkingDetraditionelestelopdrachtvoertdeleerlinggeheelzelfstandiguit,terwijldefunctioneleopdrachtgelegenheidbiedttotoverleg,intervisieensamenwerkingmetklasgenoten.

Criteria vooraf bekend Detraditionelestelopdrachtlaatdeleerlinginhetongewisseoverdeeisenwaaraanhetopstelmoetvoldoen.Bijdefunctionelestelopdrachtkrijgendeleerlingenechtereenbeoordelingsschaalaangereiktdieinformatieoverdebeoordelingscriteriabevat.Defunctionelestelopdrachtscheptdusvanafhetbeginduidelijkheidoverdekwaliteitseisenwaaraanhetschrijfproductmoetvoldoen.

Zelfreflectie en zelfevaluatieAndersdandetraditionelestelopdrachtstimuleertdefunctioneleopdrachthettoepassenvanmetacognitievevaardighedenzoalshetkritischbeschouwenvaneigenwerkenhetreviserenervanopgrondvanandermanscommentaar.

8.1.3 Wanneer een praktijktoets?Inhoofdstuk2zagenwedatonderwijsentoetsingopelkaarafgestemddienentezijn.Telkensstaatmenvoordeuitdagingompreciesdietoetsvormtekiezendiegegevendesituatiehetmeestgeschiktis.Elketoetsvormheeftzijnvoor-ennadelen.Nietiederetoetsvormisgeschiktvoorelktypedocent,elktypedoelstellingofvoorelktypeleerling.Hiernabesprekenwevieroverwegingendieeenrolspelenbijdekeuzevooreenpraktijktoets.

Visie op onderwijs en lerenVoorwelketoetsvormeendocentkiest,heeftdeelstemakenmetdiensvisieoponderwijsenleren.Tegenwoordigwetenwedatlerenmeerisdanhetsimpelwegontvangenvaninformatie.Deleerlingenmoetendieinformatieookzelfstandiginterpreterenenverbindenmetdekennisenvaardighedendiezijalhebben.Ookmoetenzijwetenwanneerenhoezijdezekennisenvaardighedenkunnentoepassenbijhetoplossenvanproblemen.Zietmenonderwijsvooralalshetoverdragenvankennis,danzalmenmeergeneigdzijnschriftelijketoetsenintezetten.Ismeneenvoorstandervanactief,zelfstandigenzelfverantwoordelijkleren,danliggenpraktijktoetsenmeervoordehand.

Doel van de toetsOfmenvooreenpraktijktoetsofeenschriftelijketoetskiest,hangtondermeerafvanhetdoelvandetoets.Schriftelijketoetsenwordenvaakgebruiktvoorresultaatbepaling.Naafloopvaneenserielessenwildedocentbijvoorbeelddeprestatiesvandeleerlingenmeteencijferwaarderen.Erkunnenbelangrijkebeslissingeninhetgedingzijn,metgroteconsequentiesvoordetoekomstvandeleerlingen.Denkbijvoorbeeldaanovergangsbeslissingenofaandetoewijzingvanleerlingenaanopleidingen,leerwegenofprofielen.Praktijktoetsenzijnbijuitstekbruikbaarvoorvoortgangscontroleenremediëring.Dedocentwildeleerlingenlatenzienwaarhunsterkepuntenliggenenhoezijdezwakkepuntenkunnenverbeteren. Daartoewordendeeisenwaaraanhetwerkmoetvoldoenvantevorenbekendgemaaktenmetdeleerlingenbesproken.Doorleerlingenzelfmetbeoordelingsschalentelatenwerken,krijgenzijfeedbackoverhoeverzijzijninvergelijkingmetdeverwachtingeneneisen.Debeoordelings-schalenbiedenmetanderewoordeneeninhoudelijkkaderomdevooruitgangvanhetlerente

Page 131: Toetsen op School

131 Het construeren van praktijktoetsen < Inhoud Index >

volgen.Echter,ookvoorbeslissingenmetverregaandeconsequentiesvoordeleerlingenzijnpraktijktoetsenbruikbaar.

LeerdoelenDe toetsvormmoetpassenbijwatmenwilonderwijzen.Schriftelijketoetsenzijnhetmeestophunplaatsalsmenkennisvanfeiten,concepten,principes,proceduresendergelijkewiltoetsen.Zezijnvooralgeschiktvoorhetbevragenvandekennisvanafgebakendeleerstofonderdelen.Praktijktoetsenzijndaarentegenvooralbruikbaarvoorhetvaststellenvancompetenties,ditwilzeggenkennis,vaardighedenenhoudingen.

Beschikbare tijdDevoorbereiding,afnameenbeoordelingvaneenpraktijktoetskostendedocentdoorgaansmeertijddanbijeenschriftelijketoetshetgevalis.Hetzelfontwikkelenvanopdrachtenenbeoordelingsschaleniszelfszeerarbeidsintensief.Gebruikpraktijktoetsendaaromvooralvoorhetbeoordelenvancompetentiesdievanbelangzijnvoorhetlevenvanalledag,devervolg-opleidingofdelatereberoepspraktijk.

8.2 Het ontwikkelen van een praktijktoets

Hetontwikkelenvaneenpraktijktoetsisnieteenvoudig.Zedoeneensterkberoepopdeprofessionaliteitende(vrije)tijdvandedocent.Indezeparagraafbesprekenweenkelebelangrijkestappendiededocenteeneindopwegkunnenhelpen.Alvorensdattedoen,gaanweeerstnaderinopenkelekwaliteitseisenwaarpraktijktoetsenaanmoetenvoldoen.

8.2.1 Wat is een goede praktijktoets?Eengoedepraktijktoetsvoldoetaandeeisenwaaraantoetsenmoetenvoldoen.Dieeisenwordeninhoofdstuk10beschrevenenbesproken.Eenaantaleisenisinvoorgaandehoofdstukkenalaandeordegeweest.Deeersteeisisdathetduidelijkmoetzijnwathetdoelvandepraktijktoetsis(hoofdstuk1).Eenpraktijktoetsmoetookbetrouwbaar(hoofdstuk3)envalide(hoofdstuk4)zijn.Ookmoetdezak/slaagbeslissingonderbouwdzijn(hoofdstuk9).

8.2.2 Hoe ontwikkel je een praktijktoets? Indezeparagraafbeschrijvenwedeontwikkelingvaneenpraktijktoetsaandehandvanzesstappen.

Doel-

specificatie

→ Toets-

specificatie

→ Opdrachten → Criteria → Beoordeling → Try-outen

revisie

Stap 1: DoelspecificatieDeeerstefasevanhetconstructieprocesbestaatuithetspecificerenvanwaaromenwatergetoetstgaatworden(zieookhoofdstuk1en2).

Waarom toetsen?Praktijktoetsenkunnenvoorverschillendedoelenwordeningezet(zieookhoofdstuk1).Voordedocentdiezelfeenpraktijktoetswilontwikkelenzijnsummatieveenformatieveevaluatiedebelangrijkstefuncties,ookwelresultaatbepalingenvoortgangscontrolegenoemd.Praktijktoetsenzijnuitstekendbruikbaarvoorresultaatbepaling.Zegevendaninzichtindekennis,vaardighedenenattitudenvanleerlingenaanheteindevaneenafgerond

Page 132: Toetsen op School

132 Cito | Toetsen op School < Inhoud Index >

onderwijsleerproces.Eenpraktijktoetskanechterookmeerzijndanalleenmaareenmiddelomdeprestatiesvandeleerlingenvasttestellen.Eenpraktijktoetsisvaakeenintegraalonderdeelvanhetonderwijsleerproces.Tijdenshetuitvoerenvaneenlangerepraktijktoetskunnenleerlingeneenschataanleerervaringenopdoenenzichbelangrijkeonderwijsdoeleneigenmaken.Praktijktoetsenzijnhiermeebijuitstekbruikbaarvoorvoortgangscontroleenremediëring.Zegevendocentenleerlingentussentijdseinformatieoverdeverworvenkennis,vaardighedenenattituden.Hetdoelisdeleerlingenaldoendetelatenzienwaarzijgoedenmindergoedinzijn,welkeonderdelenalbeheerstwordenenwelkenogniet,zodatzijhuntekortengerichtkunnenwegwerken.Samenkunnendocentenenleerlingenhiermeenagaaninhoeverreextrauitleg,oefeningofbegeleidingnodigzijn.

Wat toetsen?Eentweedeaandachtspuntindeontwikkelingvaneenpraktijktoetsishetspecificerenvanwatergetoetstgaatworden(zieookhoofdstuk2).Menkannietstoetsenalsernieteerstgoedisnagedachtoverwatmenpreciesmethetonderwijswilbereiken.Leerdoelenzijnmeestalvrijabstracteuitsprakenoverdeveranderingendiemenbijdeleerlingenwilbewerkstelligen.Zemoeteneerstconcreetgemaaktwordenalvorensbegonnenkanwordenmethetontwikkelenvanles-entoetsmateriaal.Hetiszaakleerdoelenzoteformulerendatduidelijkiswatdeleerlingenpreciesmoetenkennenenkunnen.

Stap 2: ToetsspecificatieNadatdoelendeinhoudvandepraktijktoetsduidelijkis,ishetzaakderandvoorwaardenvoordeafname,scoringenbeoordelingnadertespecificeren.Webeperkenonshiertotdrievragendievoordespecificatievaneenpraktijktoetsvancruciaalbelangzijn.

Aantal opdrachten?Eenpraktijktoetsbestaatdoorgaansuitmeerdereopdrachten.Hoeveelopdrachtenernodigzijn,isvanverschillendezakenafhankelijk.Hoecomplexerdevaardigheid,hoemeeropdrachtenernodigzijnvooreenadequatedekking.Voorhetvaststellenvandebeheersingvaneeneenvoudigevaardigheiddiedeleerlingslechtsinéénsituatiehoefttoetepassen,zijnminderopdrachtennodigdanvooreencomplexe,breedtoepasbarevaardigheid.

Omvang van de opdrachten?Praktijktoetsennemenvaakveeltijdinbeslag.Watreëelis,zalookafhangenvanhetbelangvandeteontwikkelenvaardigheidinhetleerplan.Overhetalgemeengeldt:hoejongerdeleerlingen,hoekorterdeopdrachten.Gaathetomeennietaltecomplexevaardigheiddankanmendeleerlingensomsmeeropdrachteninéénlesuurlatenmaken.Doetdepraktijktoetsechtereenberoepopvakoverstijgendevaardighedenenmoetdeleerlingleerinhoudenvanverschillendevakkenintegreren,dandientmenmeertijdinteplannen.Eendocentdienogmaarnetmetpraktijktoetsenbezigis,dienttebeseffendathetontwikkelenvaneenpraktijktoetsveeltijdenenergiekost.Aangeradenwordtomtebeginnenmeteenkortepraktijktoetswaarvandeleerlingendeopdrachteninhooguitenkelelessenkunnenuitvoeren.

Leerlingen samenwerken?Bijdeontwikkelingvaneenpraktijktoetsstaatdedocentvoordekeuzedeopdrachtenindividueeldanwelingroepjestelatenmaken.Samenwerkenvanleerlingenkanondermeerzinvolzijnindevolgendedriegevallen:• Alsdeschoolhetbelangrijkvindtdatleerlingenlerenommetelkaarsamentewerken.• Alsergroteverschilleninvoorkenniszijnendedocentdezeverschillenwilnivellerenvoordat

deleerlingenaandepraktijktoetsbeginnen.Steleendocentwildeleerlingeneenpresentatieovereentechnischonderwerplatenverzorgen.Sommigeleerlingenwetenoverdatonderwerpechterveelmeerdananderen.Groepswerkisdaneenmiddelomleerlingen

Page 133: Toetsen op School

133 Het construeren van praktijktoetsen < Inhoud Index >

elkaarsvoorkennistelatendelen.• Alsverdelingvanrollenentakenfunctioneelisenvoordeeloplevert.Alseengroepje

leerlingenbijvoorbeeldinformatiemoetopzoekenovereenveelzijdigonderwerp,ishetverstandigdatnietalleleerlingentegelijkertijdnaardezelfdeinformatieopzoekgaan.Ookishetvanbelangdatnietaltijddezelfdeleerlingendezelfderollenvervullenofdezelfdetakenuitvoeren.

Stap 3: Ontwikkeling van de opdrachtenNadetoetsspecificatievolgtdeontwikkelingvandeopdrachtenvandepraktijktoets. Deactiviteitendiedeleerlingentijdensdeopdrachtuitvoeren,moetennatuurlijkpassenbijwat dedocentwilonderwijzenentoetsen.Wilmenbijvoorbeeldtoetseninhoeverreleerlingenkunnensamenwerken,moetmendeleerlingenopdrachtenvoorleggenwaarbijzijmoetensamenwerken.Wilmenkritischdenkentoetsen,danmoetendeopdrachtenkritischdenkenoproepen.Goedeopdrachtenvoorpraktijktoetsenzijnondermeerauthentiek,nodigenuittotactiefleren,roepenbijleerlingenwaardevolleleeractiviteitenopenzijnuitvoerbaarbinnen detijddieervoorstaat.Inditopzichtlijkthetontwikkelenvaneenpraktijktoetssterkop hetontwikkelenvan‘gewoon’lesmateriaal.Voorhandreikingenvoorhetontwikkelenvanauthentieke,motiverendeenleerzameopdrachtenverwijzenwedelezernaarhethoofdstukGeraadpleegdeliteratuur.

Stap 4: Wat zijn de beoordelingscriteria? Eenbelangrijkaandachtspunttijdenshetontwikkelenvaneenpraktijktoetsishetspecificerenvandecriteria,datwilzeggendeeisenwaaraandeproductenenwerkprocessenvandeleerlingenmoetenvoldoen.Deleerlingenmoetennietalleenwetenwatergetoetstwordtenwaarom,maarookwanneerersprakeisvaneenonvoldoende,netvoldoende,goedeofexcellenteprestatie.Beoordelingscriteriamakenduidelijkwatervandeleerlingenwordtverwacht.Zegeveneenantwoordopdevraag:‘Hoegoedisgoedgenoeg?’Criteriazijnernietalleenomhetwerkvandeleerlingenobjectievertekunnenbeoordelen.Zekunnenookeenbelangrijkepositievebijdrageleverenaanhetleren.Duidelijkecriteriagevendeleerlingenaanwijzingenoverwatzijmoetendoenomkwalitatiefhoogwaardigeprestatiesteleveren. Zebiedenleerlingenmeteennognietvoldoendeprestatiegerichteinformatieoverwatzijnogmoetenverbeteren.

Stap 5: Welke beoordelingsmiddelen? Debeoordelingscriteriazijnuitgewerktineenbeoordelingsmiddel.Totdebelangrijkstebeoordelingsmiddelenomeenobjectievebeoordelingterealiseren,behoreneenantwoord-sleutel,correctievoorschrift,antwoordmodel,checklistenbeoordelingsschaal.Praktijktoetsenleidenbijleerlingendoorgaanstotsterkuiteenlopendeprestaties.Ditbetekentdaterbijdocenteneengroterberoepgedaanwordtophunvakinhoudelijkeexpertiseenhundeskundig-heidophetgebiedvanbeoordelen.Beoordelingsmiddelenvoorhetnakijkenvanschriftelijketoetsenmetgeslotenofopenvragen,zoalseenantwoordsleutel,correctievoorschriftofantwoordmodel,biedendebeoordelaarteweinigsturing.Tweebeoordelingsmiddelendiededocentmeersteunkunnenbiedenbijhetobserverenenbeoordelenzijndechecklistendebeoordelingsschaal.

Page 134: Toetsen op School

134 Cito | Toetsen op School < Inhoud Index >

Checklist of observatieschemaHeteindresultaatvaneenpraktijktoetsismeestaleenwerkwijzeofeenproduct.Hetbeoordelenvandekwaliteitvergtvaaknauwkeurigeobservatievandeuitvoering(procesevaluatie)en/ofhetopgeleverdeproduct(productevaluatie).Alsdeeisenvandewerkwijzenofdeproductenonmiddellijkwaarneembaarzijn,iseenchecklisteengeëigendbeoordelingsmiddel.Meteenchecklistkandedocentafvinkenofbepaaldekenmerkenvandewerkwijzeofhetproductaldannietaanwezigzijn.Veelgebruikteantwoordmogelijkhedenzijn‘jaofnee’,‘aanwezigofafwezig’en‘uitgevoerdofnietuitgevoerd’.

BeoordelingsschaalEenbeoordelingsschaalisvaakhetmeestgeëigendemiddelomtoteenobjectievebeoordelingtekomen.Paragraaf8.3bevatachtergronden,vuistregelsentipsvoorhetontwikkelenvanbeoordelingsschalen.

Stap 6: Try-out en bijstellenAlsdepraktijktoetsinconceptvormgereedis,ishetverstandigdezeopzijndeugdelijkheidtebeproeven.Uiteraardkandedocentcollega’svragenhetmateriaalvancommentaartevoorzien.Een try-outisechterhetbestemiddelomtekomentotkwaliteitsverbetering.Doordeopdrachtenbijwijzevanproefaaneenaantalleerlingenvoorteleggen,kandedocentgegevensverzamelenoverondermeerdemoeilijkheidenuitvoerbaarheidvandeopdrachten,dekwaliteitvandeinhoud,debetrouwbaarheid,deafnametijdendeproceduresvoorafname,scoring,beoordeling,verwerking,analyseenrapportage(zieookhoofdstuk10).

8.3 Het ontwikkelen van een beoordelingsschaal

8.3.1 Wat is een beoordelingsschaal?Eenbeoordelingsschaalbeschrijfteenwerkwijzeofeenproductvaneenleerlingopverschillendeprestatieniveaus.Meteenbeoordelingsschaalkandedocentaangeveninwelkematekennis,vaardighedenofhoudingenaanwezigzijn.Deschaalbestaatuitmeerdereschaalpuntendieeenbepaaldepositieofrangordeaangeven.Eengoedebeoordelingsschaalscheptduidelijkheidoverwatenhoeerbeoordeeldmoetworden.Andersgezegd:hetgeeftdedocenteeneenduidigantwoordoptweevragen:• Watmoetikbeoordelen?• Hoekanikdeverschillendeprestatieniveausbijleerlingenherkennenenmetscorepunten

waarderen?

Deobjectiviteitvanhetobserverenenbeoordelenvancompetentiesheeftvaakteleidenonderstorendebeoordelingsfouten.Ditgeldtinhetbijzonderalsdebeoordelingnietwordtuitgevoerddooreen‘onafhankelijke’beoordelaar,maarinhandenisvande‘eigen’docentdiedeleerlingheeftopgeleid.Beoordelingsschalenlevereneenbelangrijkebijdrageaanhetbestrijdenvanbeoordelingsfoutendieinhoofdstuk7uitgebreidaandeordezijngeweest,

Eengoedebeoordelingsschaalmaaktdebeoordelingnietalleenobjectievermaarkanookeenkrachtigonderwijsleermiddelzijn.Mitsgoedgeconstrueerdenverstandiggebruikt,zijnbeoordelingsschalenookbruikbaarvooranderedoelendanalleentoetsing.Totdevoordelenvoordocentenbehorendatbeoordelingsschalenhelpenbijhetverduidelijkenvandebeoordelingscriteriaendatzebruikbarefeedbackleverenoverdeeffectiviteitvanhetonderwijzenenleren.Voorleerlingenzijndevoordelenvanbeoordelingsschalendatzehen:• informatiegevenoverhoehunwerkbeoordeeldwordtenwatervanhenverwachtwordt;• bewustmakenvandebeoordelingscriteria;• helpenbijhettoepassenvandecriteriaophuneigenwerk(zelfevaluatie)eninvoorkomende

Page 135: Toetsen op School

135 Het construeren van praktijktoetsen < Inhoud Index >

gevallenvanhunklasgenoten(zogeheten‘peerevaluation’);• eeninhoudelijkkaderbiedenomdevoortgangvanhetlerenvasttestellen.

Hetinpassenvanbeoordelingscriteriaen-schaleninhetonderwijsgaatnietvanzelf.Voortipsdiedocenteneeneindopwegkunnenhelpen,ziePDF8.1indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk8.

Menkantegenwoordigkiezenuiteengroteverscheidenheidaanbeoordelingsschalen,ziebijvoorbeelddewebsitehttp://rubistar.4teachers.org.Eenonderscheidwordtwelgemaakttussenopdrachtspecifiekeengeneriekeschalenentussenholistischeenanalytischeschalen. Elktypeschaalheeftzijneigengebruiksmogelijkheden.Dedocentstaatvoordemoeilijketaaksteedsdiebeoordelingsschaaltekiezendiegeziendespecifiekeomstandighedenhetbestepast.Debestebeoordelingsschalenzijndoordocentenzelfontworpenensluitendaardoornaadloosaanophetgegevenonderwijs.Inparagraaf8.3.2behandelenweeenaantalkeuzenwaarvoordedocentbijhetontwerpenvaneenbeoordelingsschaalkomttestaan.

8.3.2 Het ontwikkelen van een beoordelingsschaalVoorhetontwikkelenvaneenbeoordelingsschaalzijndevolgendevragenvanbelang:• Opdrachtspecifiekeofgeneriekebeoordelingsschaal?• Holistischeofanalytischebeoordelingsschaal?• Hoeveelschaalpunten?• Deomschrijvingvandeschaalpunten:normatief,descriptiefofmetankers?

Opdrachtspecifieke of generieke beoordelingsschaal? Deeerstebeslissingbijhetontwikkelenisdekeuzetusseneenopdrachtspecifiekeeneengeneriekebeoordelingsschaal.

Opdrachtspecifieke beoordelingsschaalDezebeoordelingsschaalisgeschiktvoordebeoordelingvandeprestatiesopéénspecifiekeopdracht.Deschaalisvooralbruikbaaralshetgaatomduidelijkafgebakendekenniselementenofomproceduresdieineenvastevolgordemoetenwordendoorlopen.Hetgebruikervaniszinvolalseenhogebetrouwbaarheidvandepraktijktoetsgewenstisomdaterbijvoorbeeldbelangrijkebeslissingeninhetgedingzijn.Deprestatieniveauszijnomschrevenintermenvanopdrachtspecifiekekenmerkenofproducteigenschappen.Hetvoorbeeldhiernaisafkomstiguitdesectorgroenvanhetvmboenbetrefthetoppottenvaneenplant.Overeenkomstighettaakspecifiekekarakterisdezeschaalnietvoorandereopdrachtenbruikbaar.

Page 136: Toetsen op School

136 Cito | Toetsen op School < Inhoud Index >

Het oppotten van een plant Score

Vullen van de pot Halfvolmetgrovedelen,aangevuldmetgezeefdepotgrond 2 Meerdandehelftmetgrovedelengevuld 1 Depotisalleenmetgrovedelengevuld 0

Afwerken potgrond op (juiste) hoogte Potgrondprecies1cmonderderand 2 Potgrondonderderand,maarminderdan1centimeter 1 Potgrondmeerdan1cmonderrandOFkomtbovenpotuit 0

Vastheid grond Lichtjesaangedrukt,hetoppervlakisnagenoeggelijk 2 Nietaangedrukt 1 Testevigaangedrukt 0

Aanbrengen steunmateriaal, d.w.z. 1 cm naast de plant, stok reikt tot bodem en plant onbeschadigd aangebonden Steunmateriaalvoldoetaanalledrieeisen 2 Steunmateriaalvoldoetaantweeeisen 1 Steunmateriaalvoldoetaanhooguitééneis 0

Generieke beoordelingsschaalDezebeoordelingsschaalisuitdrukkelijkbedoeldvoorherhaaldetoepassinggedurendeeenlangereperiode.Deleerlingenpassendezelfdecriteriatoeopverschillendeopdrachten,problemenencontexten.Daardoorrakendekwaliteitseisenopdenduurgeïnternaliseerd. Deleerlingleertzozijneigenwerktebeoordelen,ookalzijndeopdrachtenandersenookalhebbenzedebeoordelingsschaalnietoppapiervoorzich.Generiekebeoordelingsschalenkunnenleerlingenhelpenbijdetransfervankennisenvaardighedennaarnieuwesituatiesmetnieuweproblemen.Onderstaandvoorbeeldisafkomstiguitdebeginfasevanhetvoortgezetonderwijsenbetrefthetbeoordelenvandeschriftelijkeuitdrukkingsvaardigheidvandeleerling.

Page 137: Toetsen op School

137 Het construeren van praktijktoetsen < Inhoud Index >

Schriftelijk presenteren Score

Communicatieve strekking Detekstalsgeheelisvolledigbegrijpelijk,deboodschapkomthelemaalover 2Boodschapkomtniethelemaalover 1Boodschapkomtnietover 0

Briefconventies: aanhef en afsluiting Zowelaanhefalsafsluitingzijnpassend 2Ofaanhefofafsluitingisnietpassend 1Nochaanhefnochafsluitingispassend 0

Indeling tekst Tekstindelingbestaatduidelijkuiteeninleiding,middendeelenslot 2Tekstindelingisnietgeheelduidelijk 1Tekstindelingisnietduidelijk 0

Interpunctie, spelling en grammatica Geenenkelefout 2Eénoftweefouten 1Drieofmeerfouten 0

Argumentenvooropdrachtspecifiekeschalenzijn:• Dekwaliteitvandeleerlingenprestatieisgemakkelijkvasttestellen.Hetgaatimmersom

hetregistrerenvandeaan-ofafwezigheidvanconcrete,meestaldirectwaarneembarekenmerkenofinhoudselementen.

• Deleerlingenkrijgengedetailleerdefeedbackophunprestaties.• Geschiktvoorduidelijkafgebakendekennis.• Geschiktvoorproceduresdieineenvastevolgordemoetenwordentoegepast.• Eenhogeobjectiviteitenbetrouwbaarheidzijnhaalbaar. Argumententegenopdrachtspecifiekeschalenzijn:• Hetisarbeidsintensiefomvoorelkeopdrachttelkensweereennieuweschaaltemoeten

ontwikkelen.• Doorhetopdrachtspecifiekekarakterisdeschaaluitsluitendgeschiktvooreenmaliggebruik.• Hetheeftvaakgeenzinomdeleerlingenvantevorenmetdecriteriavertrouwdtemaken

omdatdedocenthiermeehetantwoordofdeoplossingalverklapt.• Zezijnnieterggeschiktvooropenvraag-enprobleemstellingen.Decriteriazettende

leerlingennietaanhetdenken.Erisweinigtransfervanhetgeleerdenaaranderesoortgelijkeopdrachten,problemenencontexten.

• Bijhetbeoordelenzietdedocentgemakkelijkatypischeantwoordenofoplossingenoverhethoofd.

• Vaakmindergeschiktalsmiddelomleerlingenwaardevolleleerervaringenoptelatendoen.

Argumentenvoorgeneriekeschalenzijn:• Zezijnbijuitstekgeschiktvoordeontwikkelingvan‘grote’,universele,breedtoepasbareen

permanentevaardighedenzoalskritischdenken,problemenoplossen,communicerenensamenwerken.

• Menkandezelfdebeoordelingsschaalgebruikenbijverschillendeopdrachten,problemenencontexten.

Page 138: Toetsen op School

138 Cito | Toetsen op School < Inhoud Index >

• Doordeherhaaldelijketoepassingopnieuwevergelijkbareopdrachten,nemendeleerlingendecriteriaeerderopinhunstandaardrepertoire(internalisatie);generiekecriteriadragenmeerbijaandetransfervanhetgeleerdenaarnieuwe,soortgelijkeopdrachten,problemen,vaardighedenencontexten.

• Zebiedenmeermogelijkhedenomvoorttebouwenopwatdeleerlingenalkennenenkunnen.• Zebiedenmeermogelijkhedenomdeleerlingenbijdekwaliteitseisentebetrekkenendeze

samenmethenverderteontwikkelen.• Atypischeantwoordenenoplossingenkunnengemakkelijkindebeoordelingbetrokken

worden.

Argumententegengeneriekeschalenzijn:• Zetrekkeneenzwarewisselopdevakinhoudelijkeenvakdidactischedeskundigheidvande

docent.• Zeveronderstellenkwalitatiefhoogwaardigonderwijswaarinvaardighedensystematisch

overeenlangereperiodewordenaangeleerd.• Doorhetvakoverstijgendkarakterdoenzeeensterkberoepopafstemmingen

samenwerkingtussenvakken.• Hetlerenbeoordelenkostinhetbeginvaakveeltijdomdatdocentenenleerlingenmoeten

lerendezelfdecriteriaopeengroteverscheidenheidaanopdrachtentoetepassen.• Zedoeneensterkberoepophetbeoordelingsvermogenvandedocentenzijndaarmeemeer

vatbaarvoorsubjectiviteit.• Zekunnenteweinigspecifiekefeedbackvoordedocentenleerlingengeven.

Wanneer een opdrachtspecifieke of generieke beoordelingsschaal gebruiken?

Gebruikeenopdrachtspecifiekeschaalals:• Hetgaatomomvangrijkeofcomplexekennis,bijvoorbeeldhetbeoordelenvandeprecieze

inhoudvaneenmondelingeofschriftelijkerapportageovereenbepaaldonderwerp.• Hetgaatomprocedurelekennisofprocedurelevaardigheden,d.w.z.specifiekeeninbeginsel

observeerbarehandelingendiedeleerlingineenbepaaldevolgordemoetuitvoeren,zoalsbijeenopdrachtwaarbijdeleerlingchocoladekoekjesmoetbakken.

• Deuitvoeringvandespecifiekeopdrachtofhetmakenvanhetspecifiekeproducteenbelangrijkedoelstellingvanhetonderwijsrepresenteert,bijvoorbeeldhetfoutlooskunnenlassenvannaden.

• Hetnodigisomeenpreciesbeeldtekrijgenvandeprestatievandeleerlingopeenspecifiekeopdracht,bijvoorbeeldalshetgaatomeenbelangrijkecompetentiewaarvandetoepassingsterkaanéénspecifiekeopdrachtofcontextgebondenis.

Gebruikeengeneriekeschaalals:• Hetzinvolisomdezelfderubriekvoormeeropdrachten/contextentegebruiken.Een

generiekerubriekisbijvoorbeeldbruikbaaralsjetemakenhebtmeteenbreedtoepasbarevaardigheiddiedeleerlingbijverschillendeopdrachteninverschillendecontextenopsoortgelijkewijzekantoepassenenwaarbijdebeoordelingscriteriavergelijkbaarzijn.

• Ersprakeisvaneenopenopdrachtwaarbijdehandelingenenproductenvandeleerlingensterkvanelkaarkunnenverschillenenwaarbijhetnietmogelijk,nodigofzinvolisomderubriekverdertedetailleren.

Holistische of analytische beoordelingsschaal?Vooralgemenevaardighedenofcompetentiesiseengeneriekebeoordelingsschaalmeestaldebestekeuze.Voorhetmakenvaneendergelijkeschaalzijnerverschillendeopties.Eendaarvanisdekeuzetusseneenholistischeeneenanalytischeschaal.Meteenholistischebeoordelingsschaalgeeftdedocentéénalgemeenoordeeloverdekwaliteit

Page 139: Toetsen op School

139 Het construeren van praktijktoetsen < Inhoud Index >

vaneenwerkwijzeofeenproduct.Eenanalytischebeoordelingsschaalbestaatuitverschillendeschalen.Dedocentbeoordeeltdekwaliteitvaneenwerkwijzeen/ofproductopmeeraspecten(dimensies,criteria)waardooreenprofielontstaatvandesterkeenzwakkepuntenvandeleerling.Hetgevenvanéénallesomvattendcijfervoordekwaliteitvaneenmondelingepresentatieiseenvoorbeeldvanholistischebeoordeling.Geeftdedocentdaarentegen(ook)scoresvoorafzonderlijkekwaliteitsdimensies–zoalskennisvanhetonderwerp,structuur,contactmetdeklasenverstaanbaarheid–danisersprakevananalytischebeoordeling.Hetvolgendevoorbeeldvaneenanalytischeschaalvoorhetbeoordelenvandekwaliteitvaneenmondelingepresentatieisafkomstiguithetmbo.

Kwaliteit mondelinge presentatie Score

Kennis van het onderwerp Leerlingstaatbovendestofenbeantwoordtallevragenmetextrauitleg 3 entoelichtingenLeerlingbeheersthetonderwerpenbeantwoordtallevragen,maaris 2 vrijkortvanstofLeerlingweetweinigoverhetonderwerpenbeantwoordtalleen 1 oppervlakkigevragenLeerlingweetvrijwelnietsoverhetonderwerpenkanvragennauwelijks 0 beantwoorden

Structuur Deklasbegrijptprecieswaarhetovergaatomdatdeleerlingdeinformatie 3 ineenlogischeenaantrekkelijkevolgordepresenteertDeklasbegrijptwaarhetovergaatomdatdeleerlingdeinformatieineen 2 logischevolgordepresenteertDeklasheeftmoeiteomdeleerlingtevolgenomdatdeinformatieslecht 1 gestructureerdisDeklasbegrijptnauwelijkswaardepresentatieovergaatomdatdeleerling 0 vandehakopdetakspringt

Contact met de klas Deleerlingheeftvrijwelcontinuoogcontactmetdeklasenmaaktnietof 3 maarzeldengebruikvandetekstoppapierDeleerlingheeftdoorgaansoogcontactmetdeklasmaarvaltregelmatig 2 terugopdetekstDeleerlingleestdetekstmeestalafvanpapierenheeftzeldenoogcontact 1 metdeklasDeleerlingleestdetekstafvanpapierenheeftgeenoogcontactmetdeklas 0

Verstaanbaarheid Deleerlingspreektduidelijkenisookachterindeklasgoedteverstaan 3 Deleerlingspreektduidelijkenisookachterindeklasredelijkteverstaan 2 Deleerlingspreektsommigewoordenverkeerduitenisachterindeklas 1 slechtteverstaanDeleerlingstamelt,spreektwoordenregelmatigverkeerduitenisalleen 0 voorindeklasteverstaan

Page 140: Toetsen op School

140 Cito | Toetsen op School < Inhoud Index >

Wanneer een holistische of analytische beoordelingsschaal gebruiken?

Gebruikeenholistischeschaalals:• Hetmogelijkenzinvolisomhetoordeeloverdekwaliteitopééndimensieuittedrukken.• Hetgaatomeenrelatiefeenvoudigeprestatieofeenvoudigproduct,bijvoorbeeldhet

beoordelenvandelaagdiktebijhetaflakkenvaneenrand.• Dereactiesvandekandidatenzosterkvariërendatverdereverduidelijkingvanhet

beoordelingsobjectendeprestatieniveauserglastigofnietmogelijkis,bijvoorbeeldhetbeoordelenvancreativiteitenoriginaliteit.

• Hetgaatomeenzogeheten‘primarytrait’beoordeling,bijvoorbeeldalsdedocenteenglobaaloordeelmoetgevenoverdematewaarineenprestatieofproductaanzijnprimairedoelbeantwoordtzoalshetbeoordelenvandematewaarineenovertuigendetekstdelezerinderdaadovertuigt.

• Mendeschaalalleenwilgebruikenvoorhetgevenvancijfers.• Ernietandersdansnelbeoordeeldkanworden,bijvoorbeeldomdatdedocentverschillende

kandidatentegelijkertijdineenpraktijksituatiemoetbeoordelen.

Gebruikeenanalytischeschaalals:• Hetnietmogelijkisofnietzinvolisomdekwaliteitopééndimensietebeoordelenenhet

oordeelinéénscoreuittedrukken.Analytischeschalenzijnbijuitstekgeschiktvoorhetbeoordelenvanbredeencomplexevaardighedenzoalstaalgebruik,werkhouding,planmatigwerken,mondelingpresenterenensamenwerken.

• Hetgaatomomvangrijkeopdrachten.Eenanalytischeschaaliseentezwaarmiddelvoorhetbeoordelenvandeprestatiesopkleineopdrachten.Gebruikeenanalytischeschaaldaaromalleenvoorhetbeoordelenvanvolledigeopdrachtenvaneenbehoorlijkeomvangentijdsduur.Voorbeeldenuithetvmbozijnhetvoerenvaneengesprekmeteenklant,hethoudenvaneenmondelingepresentatievooreengroep,hetverzorgenvaneenproductdemonstratie,hetuitvoerenvaneenEHBO-opdrachtofhetverzorgenenbegeleidenvaneendementebejaarde.

• Hetnodigisombetrouwbaartebeoordelen,d.w.z.consistentoverscholenendocenten.• Dedocentmeertijdheeftvoorhetgevenvanzijnofhaaroordeel,bijvoorbeeldbijeen

individueelafgenomenopdrachtzoalseenverkoopgesprek.• Mendeleerlingenvantevorenvertrouwdwilmakenmetdekwaliteitseisen,hen

gedetailleerdefeedbackwilgevenoverhunsterkeenzwakkepuntenenhenhandvatenwilbiedenvoorverbetering.Eenanalytischeschaalresulteertimmersineenscoreprofieldatleerlingenlaatzienwaarzijsterkinzijnenwatzijnogmoetenverbeteren.

Hoeveel schaalpunten?Nadekeuzevaneengeschiktschaaltypemoetmeneenbeslissingnemenoverhetaantalschaalpunten.Hetwenselijkeaantalschaalpuntenhangtondermeerafvan:• decomplexiteitvanhetbeoordelingsobject:hoecomplexer,hoemeerschaalpunten;• degroottevandeprestatieverschillentussendekandidaten:hoegroterdeverschillentussen

kandidaten,hoemeerschaalpuntennodigzijnomtussenkandidatentekunnendifferentiëren;

• detijddiededocentindeexamensituatieaandebeoordelingkanbesteden:hoemindertijd,hoeminderschaalpunten.

Indienpraktijktoetsenvoorformatieveevaluatiegebruiktworden,moetdebeoordelingsschaalinformatiegevenoverwaardeleerlinggoedinisenwaarverbeteringnodigis.Voordatdoelistienschaalpuntenonnodigveel.Deervaringleertdatmeerdanzevenschaalpuntenindepraktijknietgoedwerkt.Hetluktdebeoordelaarsdannietmeeromdeprestatiesvandeleerlingenbetrouwbaarteonderscheiden.Drieofminderschaalpuntenisvaakweerteweinig

Page 141: Toetsen op School

141 Het construeren van praktijktoetsen < Inhoud Index >

omdevooruitgangvandeleerlingengoedtekunnenrapporteren.Wijadvisereneenbeoordelingsschaalmetminimaalvierenmaximaalzevenschaalpuntentegebruiken.

Omschrijven van de schaalpunten: normatief, descriptief of met ankers?Delaatstebeslissingbetreftdeomschrijvingvandeschaalpuntenofweldeprestatieniveaus. Dekunstishetvindenvaneenbalanstussenenerzijdsalgemeneomschrijvingendiebreedtoepasbaarzijnenanderzijdsspecifiekeomschrijvingendiededocentoptimaalhouvastbiedenbijhetbeoordelen.Overhetalgemeengeldt:hoegedetailleerder,hoemeersteundedocentheeftbijhetbeoordelenenhoeminderdeoordelenvanverschillendedocentenvanelkaarzullenverschillen.Teveeldetailmaaktdebeoordelaarstaakechteronnodigcomplex.Voordeomschrijvingvandeprestatieniveauskanmenkiezenuittenminstedrietypenschalen:• normatieveschalen;• descriptieveschalen;• product-ofwelankerschalen.

Normatieve beoordelingsschaalIneennormatieveschaalzijndeschaalpuntenaandehandvansubjectievetermenomschreven.Eeneenvoudigvoorbeeldis:0=slecht,1=middelmatigen2=goed.Anderevoorbeeldenvannormatieveomschrijvingenzijn:uitzonderlijk,matig,voldoende,onvoldoende,juist,correctenacceptabel.HetbekendstevoorbeeldvaneennormatieveschaalmetminimaleverduidelijkingvandeschaalpuntenisdeNederlandse(rapport)cijferschaal.Deschaalpunten 1totenmet10zijngedefinieerddoormiddelvandelabels‘zeerslecht’totenmet‘uitmuntend’(zieookhoofdstuk9).Hetgrotevoordeelisdeeenvoudigeensnellebeoordeling.Voordoeleindenvanvoortgangscontroleenremediëringisdezecijferschaalechternauwelijksgeschikt.Daarvoorzeggendeomschrijvingenvandeschaalpuntenteweinigoverdetebereikenprestatieniveaus,overhoegoeddeleerlingendekennisenvaardighedendaadwerkelijkbeheersenenoverwatdeleerlingendevolgendekeerbetermoetendoen.Normatieveschalenbiedenveelruimtevooreigeninterpretatiesengevendedocentweinighouvastbijhetbeoordelen.Hetbepalenwanneereenprestatiebijvoorbeeldgoed,matig,onvoldoendeofslechtis(hetprestatiecriterium),wordtaandebeoordelaarzelfovergelaten.Normatieveomschrijvingenzoumenineenpraktijktoetsnietmoetengebruiken.

Descriptieve beoordelingsschaalEendescriptieveschaalwordtookweleenrubriekgenoemd(Engels:rubric).Indescriptieveschalenisdewerkwijzeofhetproductverduidelijktdoordeschaalpuntenvaninhoudelijkeomschrijvingentevoorzien.Deomschrijvingenmakenduidelijkhoeleerlingenprestatiesvanverschillendniveauzichvanelkaaronderscheiden.Dedocentbeoordeeltdeprestatiedoordezetevergelijkenmetdeomschrevenprestatieniveaus.Eenvoorbeeldvaneeneenvoudigedescriptieveschaaluitdesector‘Zorgenwelzijn’vanhetvmbois:dekapmantelzitaangeslotentegendenek(2punten),niethelemaalaangeslotentegendenek(1punt)ofnietaangeslotenoftestrak(0punten).Eenandereenvoudigvoorbeeldis:detekstvandeposterpresentatieisopvijfmeterafstandgoedleesbaar(2punten),matigleesbaar(1punt)ofnietleesbaar(0punten).Descriptieveschalenbiedendebeoordelaarmeersteunenverdienendaaromdevoorkeurbovennormatieveschalen.

Hetomschrijvenvandeschaalpuntenisnieteenvoudigenluistertnauw.Devolgendeaanwijzingenhebbenhunwaardebewezenbijhetformulerenvaneenduidigeenrealistischeniveauomschrijvingen.

Page 142: Toetsen op School

142 Cito | Toetsen op School < Inhoud Index >

• Houddeniveauomschrijvingenkorteneenvoudig.Gebruiktaaldieleerlingenkunnenbegrijpen.

• Hanteerbeschrijvendetaalinplaatsvanvergelijkende,evaluatieveofnormatievetaal.Vermijdomschrijvingenzoalsslecht,redelijk,goed,correctofexcellent.Omschrijfdeprestatieniveauswaarmogelijkenzinvolinobserveerbarehandelingenofproducteigenschappen.

• Zorgervoordaterslechtsééndimensieindeschaalvertegenwoordigdis.Wilmentochoptweedimensiestegelijkertijdbeoordelen,zorgerdanvoordatallemogelijkeprestatie-niveausindeschaalvertegenwoordigdzijn.

Eenvoorbeeldvanhoehetnietmoet,is:2=planningvolledigenhelemaalcorrect;1=planningvolledigengedeeltelijkcorrect;0=planningonvolledigenhelemaalfout.Dezeschaalkandedocentinverwarringbrengenomdatdezedeprestatievandeleerlingoptweedimensiestegelijkertijdmoetbeoordelenennietallemogelijkeprestatieniveausinhetschaaltjeverdisconteerdzijn.Zovoorziethetvoorbeeldnietindemogelijkheiddatdeplanningvandeleerlingminofmeervolledigendaarnaastgedeeltelijkcorrectkanzijn.

Eenbeteralternatiefisdan:2=planningvolledigenhelemaalcorrect;1=planningminofmeervolledigen/ofgedeeltelijkcorrect;0=planningonvolledigen/ofhelemaalfout.

• Zorgervoordatdeschaaldevariatieinexamenprestatiesvolledigbestrijktomtevoorkomendatdocentenvooraldemiddelsteschaalpuntengebruiken.

• Zorgervoordatdeafstandentussendeprestatieniveausgelijkzijn.Hetkwaliteitsverschiltussenschaalpunt0en1moetbijvoorbeeldevengrootzijnalsdattussenschaalpunt2en3.

• Zorgervoordatdeprestatieniveausduidelijkonderscheidenzijnenelkaarnietoverlappen.• Beginmetdeomschrijvingenvanhethoogsteprestatieniveau,daarnahetlaagste

prestatieniveauentenslottedemiddelsteprestatieniveaus.• Zorgervoordathethoogsteniveauuitdagendmaarhaalbaaris.• Houddeinhoudvandeomschrijvingenconstantoverdeprestatieniveaus.Alleende

kwaliteitvandewerkwijzeofhetproductmagvariërenoverdeprestatieniveaus,niethetobjectwaardedocentbijdebeoordelingopmoetletten.Omschrijfbijvoorbeeldhetlaagsteniveauvanschrijfvaardigheiddusnietalleenintermenvanfouteninspellingeninterpunctieenhethoogsteniveaualleenintermenvancreativiteitenoriginaliteit.

• Zorgerbijeenanalytischerubriekvoordatdeprestatieniveausvergelijkbaarzijnvooralleaspecten.Eenscorevan4opheteneaspectmoetquaniveauvergelijkbaarzijnmeteenscorevan4ophetandereaspect.

Ankers als schaalpunten?Somszijndeprestatiesvandeleerlingenzomoeilijkbeoordeelbaardatzelfseendescriptievebeoordelingsschaalnogteweinigsteunbiedt,hoegoedmendeschaalpuntenooktoelicht. Hetisdanraadzaamdeschaalpuntentevoorzienvanzogehetenankers.Eenanker is een voorbeeldvaneenconcreetleerlingenproductdathet‘niveau’vanhetschaalpuntillustreert.Eenvanankersvoorzieneschaalwordtweleenproductschaalgenoemd.Hetankerkandevormhebbenvaneentastbaarproduct,zoalseenbrief,opstel,tekening,fotoofbouwconstructie. Bijvluchtigepresentaties,zoalseenmondelingepresentatie,eendansofeenmuziekstuk,kanhetankeruiteenaudio-ofvideo-opnamebestaan.

Hetbeoordelenmeteenproductschaalkanmenzienalseensorteertaak.Debeoordelaarbeoordeeltelkproductdoordattevergelijkenmetdeankersvandebeoordelingsschaal. Debeoordelaarkenteenscoretoedoorhettebeoordelenproductalshetwareopdeschaalteplaatsen.Eenproductschaalbiedtdebeoordelaareenconcreetreferentiekaderwaarindekwaliteitvanhetleerlingenproductzichtbaarwordt.Productschalenzijnbijuitstekgeschiktomdebeoordelingobjectievertemakenendeleerlingentegelijkertijdvertrouwdtemakenmetdebeoordelingscriteria.Docentenenleerlingenontwikkelenhiermeeeengemeenschappelijkedefinitievankwaliteit.Eenproductschaalhelptleerlingenbijhetbeoordelenenreviserenvan

Page 143: Toetsen op School

143 Het construeren van praktijktoetsen < Inhoud Index >

hunwerkwijzenenproducten.Eennadeelisechterdathetmakenvaneengoedeproductschaalgeensinecureis.VooreenstapsgewijzeprocedurevoorhetmakenvaneenproductschaalziePDF8.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk8.

Page 144: Toetsen op School

144 Cito | Toetsen op School < Inhoud Index >

Page 145: Toetsen op School

9 H

et beoordelen van toetsscores

9 Het beoordelen van toetsscores

Page 146: Toetsen op School

146 Cito | Toetsen op School < Inhoud Index >

9 Hetbeoordelenvantoetsscores Piet Sanders en Huub Verstralen

Voorhetantwoordopeenvraagofdeuitvoeringvaneenopdrachtontvangendeleerlingenscorepunten.Hetaantalscorepuntendataaneenantwoordopeenvraagofdeuitvoeringvaneenopdrachttoegekendkanworden,staatvermeldinhetscoringsvoorschriftdatbijdetoetshoort.Alsallevragenofopdrachtengescoordzijn,beschikkenwevanalleleerlingenovereenreeksscores.Doordescoresvaneenleerlingoptetellen,krijgenwezijnofhaartoetsscore. Inhoofdstuk3zagenwedatJan42scorepuntenopdehavo-toetsEngels2009behaalde.Ofeenscorevan42eengoedeofslechteprestatieis,kunnenweechtermoeilijkbeoordelenalswenietwetenwatandereleerlingenopdetoetsgescoordhebbenofnietovereenstandaardbeschikkenwaarmeewedescorevanJankunnenvergelijken.Volgensdecumulatievescore-verdelingvandehavo-toetshadJanmetzijnscore42gelijkofbetergescoorddan96%vandeandereleerlingen.Janbehoordedaarmeetotdebestpresterendeleerlingen.Wezagenookdatdestandaardofcesuurvoordehavo-toetsEngelsop28scorepuntengesteldwasendatJanvoorzijntoetsscorevan42hetcijfer8,1behaalde.

HetvoorbeeldvanJanlaatziendatweeentoetsscorekunnenbeoordelendoorofdetoetsscoretevergelijkenmetdetoetsscoresvanandereleerlingenuitdedoelgroepofdoordetoetsscoretevergelijkenmeteenstandaarddieookalscesuurofnormaangeduidwordt.Inheteerstegevalsprekenwevanrelatiefnormereneninhettweedegevalvanabsoluutnormeren.Indeeerstetweeparagrafenzullenwebeidevormenvannormerenbesprekenenillustrerenmetvoorbeelden.Hettoekennenvancijfersaantoetsscoreskomtindederdeparagraafaandeorde.Indevierdeenlaatsteparagraafwordeneenaantalgangbaremanierenvoorhetscorenvan(meerkeuze)vragenkritischbesproken.

9.1 Relatief normeren

Hetdoelvanrelatiefnormerenishetopstellenvanrelatievenormen.Kenmerkendvoorrelatievenormenisdatdetoetsscorevaneenleerlingvergelekenwordtmetdetoetsscoresdieandereleerlingenvandezelfdedoelgroepbehaaldhebben.Relatievenormenwordenopgesteldviaeenproceduredieuitdriestappenbestaat.

Stap 1: Het bepalen van de doelgroep of normgroepInhetgevalvandehavo-toetsEngelswashetnietmoeilijkdedoelgroepofnormgroepteidentificeren,namelijkalleleerlingendieinheteerstetijdvak2009dehavo-toetsEngelsmaakten.Indienweechtereentoetsleesvaardigheidwillenontwikkelendiebedoeldisvoorleerlingenvangroep5vandebasisschool,danmoetenwenauwkeurigomschrijvenwelkeleerlingenwelenwelkeniettotdenormgroepbehoren.Behorenleerlingendieeenkeerzijnblijvenzittenwelofniettotdenormgroep?Behorenleerlingenuithetspeciaalonderwijswelofniettotdenormgroep?

Stap 2: Het doen van normeringsonderzoekHetnormeringsonderzoekbestaatuithetafnemenvandetoetsbijdeleerlingenuitdenormgroep.Tweebelangrijkeeisendieaandenormgroepgesteldmoetenworden,zijndatdenormgroepgrootgenoegmoetzijnendatdenormgroeprepresentatiefmoetzijn.Watbetrefthetaantalleerlingenisvoortoetsenwaarmeebelangrijkebeslissingengenomenworden,een

Page 147: Toetsen op School

147 Het beoordelen van toetsscores < Inhoud Index >

normgroepvanminstens400leerlingengewenst.Wildenormgroeprepresentatiefzijndanmoetdesteekproefvanleerlingenaselectgetrokkenzijn.Aselectwilzeggendatiedereendietotdenormgroepzoukunnenbehoren,eenevengrotekansheeftgeselecteerdtewordenvoordenormgroep.

Stap 3: Het construeren van een normschaalDeeenvoudigstenormschaalisdecentiel-ofpercentielschaal.Uitgangspuntvooreenpercentielschaalisdecumulatievescoreverdelingwaarvanweeenvoorbeeldbijdehavo-toetsEngelsinhoofdstuk3zagen.Eenpercentielschaalverdeeltdescoreverdelingin100delenvangelijkegrootte.Inheteerstepercentielzittende1%laagstescoresterwijlinhethonderdstepercentielde1%hoogstescoreszitten.Bijdehavo-toetsEngelszaldepercentiel-10leerlingmaarweinigitemsgoedbeantwoordhebbenendusweinigscorepuntenbehaaldhebben. Janwaseenpercentiel-96leerlingenhijbehaalde42vandeintotaal49scorepunten. Anderenormschalenzijndedecielschaalendekwartielschaal.Eendecielschaalverdeeltdescoreverdelingin10delenvangelijkegrootte.Inheteerstedecielzittende10%laagstescoresterwijlinhettiendedecielde10%hoogstescoreszitten.Eenkwartielschaalverdeeltdescore-verdelingin4delenvangelijkegrootte.Inheteerstekwartielzittende25%laagstescoresterwijlinhetvierdekwartielde25%hoogstescoreszitten.

Eenbekendenormschaalisdenormschaaldiedoorintelligentietestsgebruiktwordt.DehuidigeintelligentietestsvindenhunoorsprongindeintelligentietestvoorkinderendiedeFransepsychologenBinetenSimonin1905ontwikkelden.Kortdaarnawerdhetbegripintelligentie-quotiëntofIQgeïntroduceerdwaarbijdetermquotiëntnaardeoorspronkelijkeberekenings-wijzevanhetIQverwijst,namelijkhetquotiëntvanverstandelijkeleeftijdenchronologischeleeftijdvermenigvuldigdmet100.IemandmeteenIQvan100hadduseenverstandelijkeleeftijdgelijkaanzijnchronologischeleeftijd.DezeberekeningvanhetIQbleekvoorkinderenwelmaarvoorvolwassenennietgeschikttezijn.BijdehuidigeintelligentietestsisdeberekeningvanhetIQgebaseerdopdevergelijkingvandetestscorevaneenpersoonmetdetestscoresvaneennormgroep.Bijdemeesteintelligentietestswordendetestscoresafgebeeldopeennormschaaldieeengemiddeldetestscorevan100eneenstandaardafwijkingvan15heeftenwaarbijdetestscoresnormaalverdeeldzijn(ziehoofdstuk3).Hieronderstaateenoverzicht,ontleendaanWikipedia,vanhetpercentagepersonendateenbepaaldIQheeft.

IQ Cumulatief percentage

60 0,38%70 2,28%80 9,12%90 25,25%100 50%110 74,75%120 90,88%130 97,72%140 99,62%150 99,96%

Hetoverzichtlaatziendat50%vandepersonenuitdedoelgroepeenIQgelijkoflagerdan100heeftendat74,75%eenIQgelijkoflagerdan110heeft.HetoverzichtlaatookziendathelelageofhelehogeIQ’sweinigvoorkomen.OmbijvoorbeeldlidtemogenwordenvanMensa,eenverenigingvanhoogbegaafden,moetmenbijdehoogste2%opeenintelligentietestscorenwat

Page 148: Toetsen op School

148 Cito | Toetsen op School < Inhoud Index >

neerkomtopeenIQvan133,datwilzeggeneentestscorediemeerdantweestandaard-afwijkingenbovenhetgemiddeldeligt.

WatbetreftdebetekenisvanIQscoreswordtwelonderstaandeindelinggehanteerd.

IQ Betekenis

>130 Hoogbegaafd115-130 Begaafd100-115 Bovengemiddeld85-100 Benedengemiddeld70-85 Zwakbegaafd55-70 Lichteverstandelijkebeperking40-55 Matigeverstandelijkebeperking25-40 Ernstigeverstandelijkebeperking

TenslotteeenvoorbeeldvanrelatiefnormerendatdoorvieropleidingengeneeskundeinNederlandgehanteerdwordt.Opeentoetsbestaandeuit200meerkeuzevragenkunnendekwalificaties‘onvoldoende’,voldoende’of‘goed’behaaldworden.Destudentenkrijgendekwalificatie‘onvoldoende’alszeeentoetsscorebehalendie1standaardafwijkingonderhetgemiddeldevanalledeelnemendestudentenindejaargroep(=normgroep)ligt,dekwalificatie‘goed’alszeeentoetsscorebehalendie0,5standaardafwijkingbovenhetgemiddeldevanalledeelnemendestudentenindejaargroepligtendekwalificatie‘voldoende’vooralleoverigetoetsscores.Ditvoorbeeldlaatnogeensduidelijkziendatrelatievenormenafhankelijkzijnvantoetsscoresdieandereleerlingenofstudentenbehalen.Eenstudentkanzakkeningevalvaneengoedpresterendejaargroepmaarslagenbijeenmindergoedpresterendejaargroep.

9.2 Absoluut normeren

Hetdoelvanabsoluutnormerenishetopstellenvanabsolutenormen.Kenmerkendvoorabsolutenormenisdatdetoetsscorevaneenleerlingvergelekenwordtmeteentoetsscorediealsstandaardofalscesuuraangeduidwordt.Determstandaardwordtgebruiktalsafkortingvoorprestatiestandaardofbeheersingsstandaard.Demeestbekendestandaardofcesuurvaneentoetsisdetoetsscorediedegrensvormttusseneenvoldoendeofslageneneenonvoldoendeofzakken.Datbetekentdatleerlingenmeteentoetsscoregelijkaanofbovendecesuureenvoldoendehebbengehaaldendusgeslaagdzijnvoordetoetsendatleerlingenmeteentoetsscoreonderdecesuureenonvoldoendehebbengehaaldendusgezaktzijnvoordetoets.Hetisechterookmogelijkomvooreentoetsmeerdanéénstandaardofcesuurvastteleggen.Indatgevalwordendeleerlingennietintweecategorieën(gezaktofgeslaagd)maarinmeerderecategorieën(bijvoorbeeldleerlingendiedeleerstofheelgoedbeheersen/netbeheersen/netnietbeheersen/helemaalnietbeheersen)verdeeld.Eenstandaardofcesuurwordtgebruiktomtekunnenbepalenwelkeleerlingenovervoldoendekennisenvaardighedenbeschikkenombijvoorbeeldeenbepaaldestudietevolgenofeenbepaaldberoepuitteoefenen.Indiegevallenkanmennietvolstaanmethetselecterenvandeleerlingenmetdehoogstescores.Hetismogelijkdatzelfsdeleerlingenmetdehoogstescoresnietgekwalificeerdzijnmaarhetisookmogelijkdatdeleerlingenmetdelaagstescoresgekwalificeerdzijn.Methodenvoorhetbepalenvanstandaardenofcesurenwordenwelonderscheidenin

Page 149: Toetsen op School

149 Het beoordelen van toetsscores < Inhoud Index >

methodendiegebaseerdzijnopdebeoordelingvandeitems/vragen/opdrachtenuiteentoetsenmethodendiegebaseerdzijnopdebeoordelingvandeleerlingendiedetoetsmaken.Vandevelemethodendieindeloopderjarenontwikkeldzijn,zullenweuitelkecategorieéénmethodebespreken.Voorafgaandaandezetweemethodenbesprekenweeenmethodedieeigenlijkgeenmethodegenoemdkanwordenmaardieweweldeintuïtievemethodezullennoemen.

9.2.1 Intuïtieve methodeDe intuïtievemethodeiswaarschijnlijkdemeestgebruiktemethodevoorhetbepalenvandecesuurvaneentoets.Bijdeze‘methode’wordtdecesuurdoordedocentopbasisvanintuïtieenervaringvastgesteld.Vaakwordt55%of60%vanhetaantaltebehalenscorepuntenopdetoetsalscesuurgekozenomdatdatpercentageovereenkomtmethetbeheersenvanietsmeerdandehelftvandeleerstof.Hetnadeelvandezemethodeisdatdeleerlingenhetzelfdepercentagescorepuntenmoetenbehalenbijeengemakkelijkealsbijeenmoeilijketoets.Datlaatstemaaktdemethodeergsubjectiefomdatweuitonderzoekwetendatdocentendemoeilijkheidsgraadvantoetsenmoeilijkkunneninschatten.Bijmoeilijketoetsenzaltoepassingvandezemethodedanookvaaktotaanpassingvanhetpercentagegezaktenleiden.

9.2.2 Methode van AngoffDemeestgebruiktemethodevoordebepalingvandecesuurdiegebaseerdisopdebeoordelingvanitemsisdemethodediegenoemdisnaardeAmerikaansetoetsdeskundigeAngoff.Uitdeverschillendevariantendiedezemethodekent,hebbenwehiereenkeuzegemaakt.

DemethodevanAngoffbestaatuitdevolgendestappen:

1 Deitemswordenbeoordeelddooreenpanelvanpersonendieovervoldoendevakinhoudelijkedeskundigheidbeschikkenenbekendzijnmetdeleerlingendiedetoetsmaken.

2 Debeoordelaarswordtgevraagdomvanelkitemaandetegevenhoeleerlingendienaarhunmeningovernetvoldoendekennisenvaardighedenbeschikkenomeenvoldoendetebehalenopdetoetsopelkitemzullenscoren.Bedoeldeleerlingenwordenookwelgrensleerlingenofzesjesleerlingengenoemd.Concreetwordtaandebeoordelaarshetvolgendeoordeelgevraagd:‘Watdenktuwatdegemiddeldescoreopdititemzalzijnals100zesjesleerlingendititembeantwoorden?’

3 Vaneenbeoordelaarwordendeoordelenvanalleitemsopgeteld.Desomvandezeoordelenisdevoorgesteldecesuurvandezebeoordelaar.Indieneraanzienlijkeverschillenzijntussendevoorgesteldecesurenvandebeoordelaars,wordendeverschillenbesprokenenwordendeitemsherbeoordeeld.Indienerdannogbehoorlijkeverschillentussendecesurenzijn,wordendeitemsopnieuwbesprokenenherbeoordeeld.

4 Indiendeverschillentussendevoorgesteldecesurenvandeverschillendebeoordelaarsalsacceptabelbeschouwdworden,wordthetgemiddeldevandeverschillendecesurenalscesuurvoorgesteldaandegenendieeindverantwoordelijkzijnvoorhetvaststellenvandecesuur.Indiendeverschillentussendevoorgesteldecesurenvandeverschillendebeoordelaarsredelijkgrootblijven,kanmenbijvoldoendebeoordelaarshetgemiddeldevandevoorgesteldecesurenberekenennaweglatingvanextremecesuren.Indeliteratuurishetadviesomvoortoetsenwaarmeebelangrijkebeslissingenoverleerlingengenomenwordenminstensachtbeoordelaarsinteschakelen.

Page 150: Toetsen op School

150 Cito | Toetsen op School < Inhoud Index >

Inonderstaandetabelhetvoorbeeldvaneenbeoordelingvanvijfitemsdoordriebeoordelaars.

Beoordelaars

Item Maximum score 1 2 3 Gemiddelde

1 1 0,30 0,30 0,25 0,28

2 1 1 0,50 1 0,83

3 1 0,50 0,30 0,5 0,43

4 1 0,50 0,50 0,5 0,50

5 2 0,70 0,80 0,90 0,80

Cesuur 3,00 2,40 3,15 2,85

Indekolom‘maximumscore’zienwedatopvieritems1scorepuntbehaaldkanwordenenopeenitem2scorepunten.Degemiddeldescoreopitem1is0,28watbetekentdatdedriebeoordelaarsverwachtendat100zesjesleerlingenopitem1eengemiddeldescorevan0,28zullenbehalen.Wezienookdatdevoorgesteldecesuurvandetweedebeoordelaarnogalafwijktvandevoorgesteldecesurenvandetweeanderebeoordelaars.Hetgemiddeldevandedoordebeoordelaarsvoorgesteldecesurenis2,85,datwilzeggendateenleerling2,85=3scorepuntenvandeintotaal6scorepuntenmoetbehalenomtekunnenslagenvoordezetoets.HetvoordeelvandemethodevanAngoffisdatdemethodeeenvoudiguitgevoerdkanworden.Hetnadeelisdatbeoordelaarsnietvertrouwdzullenzijnmetdeoordelendievanhengevraagdwordenendatdieoordelendaarommoeilijktemakenzijn.Voortoepassingvandezemethodeishetechtervanessentieelbelangdatbeoordelaarshetzelfdedenkenoverwateenzesjes-leerlingweetenkan.Datkanbereiktwordendoordebeoordelaarseersttelatenoefenenmeteenpaarvragenenhunoordelengezamenlijktebespreken.Indienmogelijkmoetmendebeoordelaarsookinformatiegevenoverdemoeilijkheidsgraadvandeitems,overdetoetsscoresdiedoordedoelgroepbehaaldzijnenoverhetaantalleerlingendatbijverschillendecesurenzalzakken.Voorbepaaldetoetsenzoudekwaliteitvandeoordelenookverbeterdkunnenwordenalsdebeoordelaarsookzelfdetoetsenzoudenmaken.

9.2.3 Methode van contrasterende groepenDemethodevancontrasterendegroepengaatuitvandeveronderstellingdatleerlingendieeentoetsgaanmaken,verdeeldkunnenwordenintweeofmeercontrasterendegroepenopbasisvanbeoordelingenvanhunkennisenvaardigheden.Tweecontrasterendegroepenzijnbijvoorbeelddeleerlingendievolgenshundocentenvooreentoetszullenslagenendeleerlingendievooreentoetszullenzakken,zonderdatdedocentenwetenwathuntoetsscoreszijn.

Bijdezemethodewordendeoordelenvandedocentenoverwelkeleerlingenzullenslagenenwelkezullenzakkenvergelekenmetdetoetsscoresdiedeleerlingenbehaaldhebben.Alscesuurvoordetoetskomtinaanmerkingdetoetsscorediedeminstemisclassificatiesoplevert.

Demethodevancontrasterendegroepenheeftalsvoordeeldatbeoordelaarsofdocentengewendzijnaanhetgevenvandeoordelendievanhenverlangdworden.Eennadeelisdatdocentenkunnenverschilleninhunwijzevanbeoordelenvandeleerlingen.

Hiernalichtenwedemethodetoeaandehandvaneentoetsvan50itemsdiedoor 400leerlingengemaaktis.Volgensdedocentenzoudenopdezetoets88leerlingenmoetenzakkenendus312leerlingenmoetenslagen.Degemiddeldetoetsscorevandeleerlingen dievolgenshundocentenzoudenmoetenzakkenwas16,78envandeleerlingendie zoudenmoetenslagen34,24.Gegevendezetoetsscoreszoueenacceptabelecesuurhet

Page 151: Toetsen op School

151 Het beoordelen van toetsscores < Inhoud Index >

gemiddeldevandezetweegemiddeldenkunnenzijnwateencesuurzougevenvan (16,78+34,24)/2=25,51.

Onderstaandetabelbevatdescoreverdelingenvandeleerlingendiegezaktengeslaagdzijn. Indezetabelwordendeaantallenleerlingenmetlagescores(totenmetdescore20)endeaantallenleerlingenmethogescores(vanafdescore28)nietvermeldomdatweerbijditvoorbeeldvanuitgaandatdecesuurnietlagerdandescore20ofhogerdandescore28is. Voordescores21totenmet27wordendeaantallenleerlingendiedezescoresbehaaldhebbenwelvermeld.

Score Gezakt Geslaagd

0–20 63 9

21 5 2

22 1 2

23 1 6

24 0 8

25 4 14

26 1 16

27 4 8

28–50 9 247

Totaal 88 312

Bovenstaandetabellaatziendatverschillendecesureninaanmerkingkomenmaardevraagiswelkecesuurdevoorkeurverdient.Steldatwealscesuurdescore24kiezen.Indetabelzienwedatbijdezecesuur(4+1+4+9=)18leerlingenvoordetoetszoudenmoetenslagenterwijlzevolgensdeoordelenvandocentenzoudenmoetenzakken.Bijdezecesuurzoudenvolgensdeoordelenvandedocenten(9+2+2+6=)19leerlingenmoetenslagenterwijlzevolgensdetoetszoudenmoetzakken.Bijeencesuurvan24hebbenwedus(18+19=)37misclassificatieswatgelijkisaan9,3%vande400leerlingen.

Opdevraagwelkecesuurdevoorkeurverdient,ishetantwoorddiecesuurdiehetaantalmisclassificatiesminimaliseert.Onderstaandetabelbevatderesultatenvoorvijfcesuren.Indetabelstaat‘–’voorgezakten‘+’voorgeslaagd.Gegevendepercentagesmisclassificatiesbijdeverschillendecesuren,verdienteencesuurvan22of23devoorkeur.

Cesuur = 21 Cesuur = 22 Cesuur = 23 Cesuur = 24 Cesuur = 25

– + – + – + – + – +

Onder cesuur 63 9 68 11 69 13 70 19 70 27

Cesuur of hoger 25 303 20 301 19 299 18 293 18 285

Totaal 88 312 88 312 88 312 88 312 88 312

% misclassificaties 8,5% 7,8% 8,0% 9,3% 11,3%

Bovenstaandetabellaatziendatwemetverschillendesoortenmisclassificatiestemakenhebben.Alsjedecesuurverhoogt,zullenleerlingendiehaddenmoetenzakkenminderkanshebbenteslagen.Leerlingendiehaddenmoetenslagen,hebbenechtermeerkanstezakken. Alsjedecesuurverlaagt,zullenleerlingendiehaddenmoetenslagenminderkanshebbentezakken.Leerlingendiehaddenmoetenzakken,hebbenechtermeerkansteslagen.Jekuntdeenesoortmisclassificatieverminderendoordecesuurteverlagenmaardoordattedoen

Page 152: Toetsen op School

152 Cito | Toetsen op School < Inhoud Index >

verhoogjedeanderesoortmisclassificatie.Eenoverwegingbijhetbepalenvancesurenzoudanookkunnenzijndatjedeenesoortmisclassificatieergervindtdandeanderesoort,bijvoorbeeldtenonrechtezakkenopdetoetsvindjeergerdantenonrechteslagen,enhoeveelergerdanwel.

Indienmenoverweegtdemethodevancontrasterendegroepentoetepassen,moetentweezakennietvergetenworden.Indeeersteplaatsmoetendesteekproevenvanvoldoendeomvangzijn.Inhetvoorbeeldwashetaantalgezakteleerlingenvan88leerlingenzeerbescheidenwaardoordeuitkomstenindetabelstatistischinstabielzijn.Indetweedeplaatskunnenervraagtekensbijdeoordelenvandocentengezetworden.Omvoldoendeleerlingentehebben,zullenleerlingenafkomstigzijnvanklassenofanderegroepenmetverschillendedocenten.Oordelenvandocentenkunnenechterverschillenomdatdeenedocentmilderofstrengerisdandeanderedocenten/ofomdatdeenedocentbetereofslechtereleerlingenheeftdandeanderedocent.

Develemethodendiedeafgelopenjarenontwikkeldzijnomstandaardenofcesurentebepalen,hebbenallevoor-ennadelen.Deuitvoerbaarheidvandemethodezalvaakdoorslaggevendzijnbijdekeuzevooreenmethode.Zozalmenindeonderwijspraktijkvaakoverweinigdocentenendusoverkleinesteekproevenvanleerlingenbeschikken.IndatgevalzoumenkunnenoverwegenomzoweldecesuurtebepalenmetdemethodevanAngoffalsmetdemethodevancontrasterendegroepenomtezienofdetweecesurennietteveelvanelkaarverschillen.

9.3 Van toetsscores naar cijfers

InhetNederlandseonderwijsishetgebruikelijkomaantoetsscorescijferstoetekennen.Daarvoorisindeeersteplaatsnodigdatvooreentoetseencesuurbepaaldis.Driemethodenvoorhetbepalenvaneencesuurhebbenweinvoorgaandeparagraafbesproken.Isdecesuureenmaalvastgestelddanzijnerverschillendemethodenomaantoetsscorescijferstoetekennen.Demeestvoorkomendemethodenendeoverwegingendieaandiemethodentengrondslagliggenwordenhiernabesproken.Voorafgaandaandiebesprekingwordteerstkortingegaanopdebetekenisenhetgebruikvancijfers.

9.3.1 Betekenis en gebruik van cijfersDeNederlandsecijferschaalkentalslaagstecijferhetcijfer1enalshoogstecijferhetcijfer10.Decijferschaalvan1totenmet10werdinhetjaar1870officieelingevoerdvoordeeindexamensvandeHogereBurgerscholen(vergelijkbaarmethuidigehavoenvwo).Sindseenwetswijzigingin1929hebbendecijfersdevolgendebetekenis:

Cijfer Betekenis

10 uitmuntend9 zeergoed8 goed7 ruimvoldoende6 voldoende5 onvoldoende4 sterkonvoldoende3 zeersterkonvoldoende2 slecht1 zeerslecht

Page 153: Toetsen op School

153 Het beoordelen van toetsscores < Inhoud Index >

BehalveinNederlandwordtdecijferschaalvan1totenmet10ookinBelgiëgebruiktomdeprestatiesvanleerlingentebeoordelen.Inanderelandengebruiktmenechteranderecijfer-schalen.IndeVerenigdeStatenenAngelsaksischelandengebruiktmenletters.IndeVerenigdeStatengebruiktmenveelaldelettersA,B,C,D,EofFwaarbijAvooruitmuntendstaat,Cvoorvoldoende,DvooronvoldoendeenEofFvoorsterkonvoldoende.InFrankrijklopendecijfersvan1toten20eninRuslandvan1totenmet5.InDuitslandlooptdecijferschaalvan6(slecht),via4(voldoende)naar1(zeergoed).InDuitslandhaaljeechtereerdereen1danbijonseen10.HetDuitsecijfer1iswaarschijnlijkhetbestetevergelijkenmetonscijfer9.

Inhoofdstuk1hebbenwevierdoelenvantoetsenonderscheiden:toetsenvoorhetbeoordelenvanleerlingen,toetsenvoorhetbeoordelenvanhetonderwijsleerproces,toetsenvoorhetbeoordelenvangroepenleerlingenenscholen,entoetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijs.Cijfersspeleneenbelangrijkerolbijhetbeoordelenvanleerlingen. Cijferswordengebruiktbijhetselecteren,classificeren,plaatsenencertificerenvanleerlingen.Hoewelcijfersookgebruiktwordenbijhetbeoordelenvanhetonderwijsleerproces,zijnleerlingenbijdezetoetsenmeergebaatbijhetgevenvangoedefeedbackenfeedforward. Uitonderzoekblijktdathetgevenvancijfersvooralzwakkeleerlingendemotiveert.Voorhetgebruikvanexamencijfersvoorhetbeoordelenvanscholenverwijzenwenaarhoofdstuk1waarwehetonderzoeknaardekwaliteitvanscholenvandeInspectievanhetOnderwijsbespraken.Bijtoetsenvoorhetbeoordelenvande(internationale)kwaliteitwordtgeengebruikgemaaktvancijferszoalshierbedoeld.

9.3.2 Lineaire omzetting van toetsscores in cijfersDe lineaireomzettingvantoetsscoresincijfersgaatuitvaneenlineairverbandtussentoetsscoresencijfers.Deformuleschrijvenweals:

C = AS + B

IndezeformulestaatCvoorhetcijfer,SvoordetoetsscoreenA en Bvoordeteberekenenconstanten.Deconstantenleggenwevastdoorvoortweeverschillendescoresdebijbehorendecijferstekiezenof,watophetzelfdeneerkomt,bijtweecijfersdebijbehorendescorestekiezen.Eengebruikelijkekeuzeishetcijfer5,5dathetlaagstevoldoendecijfervoorstelt.Welkelaagstetoetsscorehetlaagstevoldoendecijfer5,5oplevert,isdecesuurdiewevoorstellenalsSV. Hetcijfer10ishethoogstecijferenhetisgebruikelijkomvoorhetcijfer10dehoogstetoetsscoretenemen.DezehoogstetoetsscorenoemenweS10.WekunnennudeconstantenA en Buitbovenstaandeformulealsvolgtberekenen:

10 = AS10 + B

5,5 = ASV + B

Doordetweedevergelijkingvandeeersteaftetrekken,eliminerenwedeconstanteBenvindenwedeoplossingvoorA:

A= 4,5/(S10 – SV)

AlsweAweten,kunnenwedoorsubstitutieBmetbehulpvandeeerstevergelijkingvinden:

B = 10 – AS10

WenemenalsvoorbeelddetoetsscorevanJanopdehavo-toetsEngels2009(ziehoofdstuk3).DemaximumscoreopdezetoetsisS10=49endelaagstevoldoendescoreofcesuuris SV=28.

Page 154: Toetsen op School

154 Cito | Toetsen op School < Inhoud Index >

DitbetekentdatAgelijkisaan0,214enBgelijkisaan–0,5.Janheefteentoetsscorevan42watgelijkstaataanC=0,214x42–0,5=8,5.

IndetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk9,vindtmeneencomputer-programmamettoelichting,getiteldomzetscores.exe,waarmeementoetsscoresincijferskanomzetten.Hetprogrammageeftvoordrieverschillendeomzettingenzoweleentabeleneengrafiekvanscoresmetbijbehorendecijfers.Indienbijdehavo-toetsEngels2009gekozenwasvooreenlineaireomzettingzienweindetabelengrafiekdatmetdescore42eencijfervan8,5correspondeert,dateenscorevan7hetcijfer1,0eneenscorevan2zelfseennietbestaandnegatiefcijferoplevert.Inhoofdstuk3zagenweechterdatJanhetcijfer8,1gekregenheeft. Datkomtomdatbijdecentraleexamensvoortgezetonderwijs,zieparagraaf9.3.4,deomzettingvantoetsscoresincijfersopeenanderemanierdanviaeenlineaireomzettingplaatsvindt.

9.3.3 Lineaire omzetting met knik van toetsscores in cijfersBijdelineaireomzettingvantoetsscoresincijferszalhetvaakvoorkomendateentoetsscorevan0nietgelijkisaanhetcijfer1,0,maarbijvoorbeeldhet(nietbestaande)cijfer–0,5ofhetcijfer2,6.Datlaatstekomtomdatdeomzettingbepaaldwordtdoordetweescoresdiebijdecijfers5,5en10gekozenzijn.Wanneermenechtertevredenismetdescoresbijdecijfers5,5en10maaraandescore0hetcijfer1wilgeven,dankanmendelineaireomzettingmetkniktoepassen.Daarbijblijftdelineaireomzettingtussendecijfers5,5en10hetzelfdeenvindtereenapartelineaireomzettingplaatstussendecijfers1en5,5.Hetgevolgisdatereenknikontstaatbijhetcijfer5,5.Indienbijdehavo-toetsEngels2009gekozenwasvooreenlineaireomzettingmetknikzienweindetabelengrafiekdatmetdescore42eencijfervan8,5correspondeertenmeteenscorevan0hetcijfer1,0.

9.3.4 De omzetting van toetsscores in cijfers bij de centrale examens voortgezet onderwijsDeomzettingvantoetsscoresincijfersdiebijdecentraleexamensvoortgezetonderwijsgebruiktwordt,isdezogehetenCvE-methode.Demethodegebruiktdevolgendeformule:

C = (9/L)S + N

IndezeformulestaatCvoorcijfer,L (L=lengtevandetoets)voordemaximumscore,Svoordetoetsscore en Nvoordenormeringsterm.Denormeringstermiseengetaldatmeestaltussen 0,0en+2,0ligtendatdoorhetCollegevoorExamens(CvE),www.cve.nl,vastgesteldwordtinrelatietotdemoeilijkheidsgraadvandetoets.Indiendenormeringstermongelijkisaan1,0,danzijndebegrenzingenzodanigdatdenulscoregelijkisaanhetcijfer1endemaximumscoregelijkisaanhetcijfer10.Voormeerinformatieoverdetechnischeachtergrondvande CvE-methode,ziePDF9.1 en PDF9.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk9.

HiervoorzagenwedatJanmeteentoetsscorevan42eneencesuurvan28bijeenlineaireomzettinghetcijfer8,5kreeg.Inhoofdstuk3zagenwedatdenormeringstermvoordehavo-toetsEngels2009gelijkwasaan0,4.DoordenormeringstermkrijgtJanvolgensbovenstaandeformulehetcijferC=(9/49)42+0,4=8,1. 9.3.5 Het aantal cijfersInparagraaf9.3.1zagenwedatverschillendelandenverschillendecijferschalengebruiken. ZogebruiktmeninDuitslandeencijferschaalmet6cijferswaarbijhetcijfer6hetlaagstecijferenhetcijfer1hethoogstecijferis.InNederlandgebruikenwedecijferschaal1totenmet10. IndienwealleengehelecijfersrapporterendanzoudenwekunnendenkendatweinNederland

Page 155: Toetsen op School

155 Het beoordelen van toetsscores < Inhoud Index >

bijnatweekeerzopreciesbeoordelenalsinDuitslandenalsweopeendecimaalnauwkeurigrapporterenzoudenwezelfsbijna20keerzopreciesmeten.Isdatlaatsteechterwelzo? Inhoofdstuk3zagenwedattoetsscoresencijfersvaaknietergpreciesgemetenworden. Ditbetekentdatgegevendeonbetrouwbaarheidvandetoets,eencijferschaalmet10cijfers (1,…,10)eentegrotenauwkeurigheidsuggereert.Vooreencijferschaalmet91cijfers (1,0,…,10,0)geldtditnatuurlijknoginsterkeremate.Aangeziencijfersnietsandersdangeordendecategorieënzijn,geldthetvoorgaandeookvoorandereonderscheidingenofbeoordelingen.ZogebruikthetCitoVolgsysteemprimaironderwijsvijfcategorieënomleerlingenteonderscheidenengebruiktmeninhetmiddelbaarberoeps-onderwijsvaakalleendecategorieënonvoldoendeenvoldoendeomdeprestatiesvanleerlingenopeenproevevanbekwaamheidtebeoordelen.Watisnueenbelangrijkekeuzevoorhetaantalteonderscheidencategorieën?Eenbelangrijkeregelis:‘Maaknietmeercategorieëndanjegebruikt’.Datwilzeggendatalseralleenbeslotenwordtofiemandzaktofslaagt,danzijntweecategorieëngenoeg.Wanneerjeooknogwiltaangevenofiemandeenechtgoedeprestatieheeftgeleverd,hebbenweaandriecategorieëngenoeg.Nuishetnatuurlijkaltijdzodatweinformatieweggooienalswemindercategorieënnemendanertoetsscoreszijn.Stelwehebbeneentoetsvan40itemsmetdriecategorieën:categorie1krijgjevoor20scorepuntenofminder,categorie2vanaf21totenmet30score-puntenencategorie3vanaf31scorepunten.Alservooreenleerlingcategorie2wordtgerapporteerddanweetjenietofdieleerlingbijvoorbeeldscore21of30heeft.Jemagerechterwelvanuitgaandatiemandmetscore30overhetalgemeendichterbijcategorie3zitdaniemandmetscore21.Voorhetgebruikvansommigetoetsen,bijvoorbeeldhetCitoVolgsysteemprimaironderwijs,zouhetinformatiefkunnenzijnomtewetenhoegrootdekansisdateenleerlinginiedervandecategorieënzit.Vooriemandmetscore21zoumendanbijvoorbeeld45%,53%,2%kunnenrapporterenwatbetekentdatdeleerlingmet45%kanstotcategorie1behoort,met53%kanstotcategorie2enmaar2%kansheeftomtotcategorie3tebehoren.Dezeleerlingwordtdanuiteindelijktotcategorie2gerekendmaardeinformatiedaterookeengrotekansisdatdeleerlingtotcategorie1behoort,isdannietverlorengegaan.

9.4 Het scoren van meerkeuzevragen

Indezeparagraafbesprekenwetweegangbaremanierenommeerkeuzevragentescoren:decorrectievoorradenenhetwegenvan(meerkeuze)vragen.

9.4.1 Correctie voor radenBijeenmeerkeuzevraagmetvieralternatievenheefteenleerlingaltijd25%kansomhetgoedeantwoordtekiezen.Alseenleerlingdriefoutealternatievenheeftgekozen,neemtmenaandatdeleerlingopbasisvantoevalookvoorgemiddeldééngoedalternatiefheeftgekozen.Hetaantalitemsdatdeleerlingnietkonoplossenisdaneigenlijk4/3groterdanhetaantalfoutbeantwoordeitems.UitgaandevanvoorgaandeargumentatiewordtdevoorradengecorrigeerdetoetsscoreSCvooreenleerlingdieFitemsfoutheeftbeantwoordopeentoetsmetMitems,gegevendoor:

SC = M – (4F)/3

Steldateenleerling15itemsvaneentoetsbestaandeuit60itemsmetvieralternatieven goedbeantwoordtdanisvolgensvoorgaandeformuleSC=60–(4x45)/3=0.Haddetoetsuit60itemsmetdriealternatievenbestaandanwasdevoorradengecorrigeerdescorenegatiefgeweest,namelijkSC=60–(3x45)/2=–7,5.

Page 156: Toetsen op School

156 Cito | Toetsen op School < Inhoud Index >

InhetalgemeenisvooreentoetsmetAalternatievendevoorradengecorrigeerdescoregelijkaan:

SC = M – (AF)/(A–1)

Volgensdezeformulewordtbijcorrectievoorraden–1/(A–1)punteninminderinggebracht, datwilduszeggen1scorepuntingevalvaneentweekeuzevraag,1/2scorepuntbijeendrie-keuzevraag,1/3scorepuntbijeenvierkeuzevraag,1/4scorepuntbijeenvijfkeuzevraag, 1/5scorepuntbijeenzeskeuzevraag,etc.

Indiendeitemsuiteentoetsverschillendeaantallenalternatievenhebben,ishetnietmogelijkomopbasisvanderuwetoetsscoredegecorrigeerdescoreteberekenen.Hebbenwebijvoorbeeldeentoetsbestaandeuitvijfitemsmetrespectievelijk2,4,5,6,3alternatieven,danheefteenleerlingmetdeitemscores01100eenanderegecorrigeerdescoredaneenleerlingmetdeitemscores10001terwijlbeideleerlingeneentoetsscoregelijkaan2hebben.Deleerlingmetdeitemscores01100heeftdescore–1+1+1–1/5–1/2=0,3terwijldeleerlingmetdeitemscores10001descore1–1/3–1/4–1/5+1=1,2heeft.

Correctievoorradeniseigenlijkeenverkeerdebenamingomdatdietenonrechtesuggereert datdegecorrigeerdescoredescoreisdiemenzoubehalenalsernietgeradenwerd.Hetiseenmisvattingalszoudecorrectievoorradenhetvoordeelvaneenhogerescoredoorgelukkig teradenelimineren.Eenleerlingdieheelveelgelukheeft,heeftdaaraltijdvoordeelbij. Decorrectievoorradenkanleidentoteenconservatieveantwoordstrategiebijleerlingenwaardoorzeveelantwoordenoverslaan.Indatgevalmetenwemetdetoetsnaastdevaardigheiddiewebeogentemetenookeenanderevaardigheidendattastdevaliditeitvandetoetsaan.Uitonderzoekblijkttrouwensdatleerlingendieitemsoverslaan,hogerdanverwachtopdeovergeslagenitemsgescoordzoudenhebben.Ditbetekentdatweleerlingenmoetenadviserenomaltijdteantwoorden.

Wanneerwedecorrectievoorradentoepassen,zaldetoetseenlagerebetrouwbaarheidhebbendaninhetgevalvandegebruikelijkemaniervanscorenwaarbijwedeitemsdiegoedbeantwoordzijndescore1geven.Datdeeerstemaniervanscorentoteenlageretoets-betrouwbaarheidleidtdandetweedemaniervanscoren,heeftalsoorzaakdatdoordeeerstemaniervanscorendevariantievandegeobserveerdescores,enookvandewarescores,kleinerwordt.Bovendienmagverwachtwordendatookdefoutenvariantiedoordeeerstemaniervanscorenzaltoenemenomdatsommigeleerlingenmeerradenbijitemswaarvanzenietzekerwetenwathetgoedeantwoordisterwijlandereleerlingeneerdergeneigdzijnomgeenantwoordtegeven.

Eenvariantopdecorrectievoorradenisdatvooralleitemsdiefoutwordenbeantwoord 1scorepuntinminderinggebrachtwordt.Indatgevalisdescoringsregeldateengoedbeantwoorditem1scorepuntoplevert,eennietbeantwoorditem0scorepunteneneenfoutbeantwoord–1scorepunt.Bijdezescoringsregelwordthetfoutbeantwoordenvaneenmeerkeuzeitem,behalvehettweekeuzeitem,dusveelstrengerbestraftdanbijdecorrectievoorraden.Wathetgevolgvandezescoringsregelopdebetrouwbaarheidvaneentoetsis,blijktuiteenonderzoekbij1750studentendie193meerkeuzevragenbeantwoordhebben. Alswedeitemsvoorgoedeantwoordenmet1scorenendeoverigemet0,danisdebetrouwbaarheidgelijkaan0,96.Passenwedescoringsregel1,0,–1toedanzaktdebetrouwbaarheidnaar0,84.Bijditgroteaantalitemsiseenverschilinbetrouwbaarheidvan0,12zeergroot.Gegevenwathiervooroverdecorrectievoorradenopgemerktis,isonsadviesdanookomdecorrectievoorradenniettoetepassen.

Page 157: Toetsen op School

157 Het beoordelen van toetsscores < Inhoud Index >

9.4.2 Het wegen van de itemscoresWegingisweliswaarnietbeperkttotmeerkeuzevragen,maarwebehandelenhethiertoch. Deargumentatieisooktoepasbaaropalletypenvragen.Meestalwordende0–1itemscoreseenvoudigopgeteldomdetoetsscoreteverkrijgen.Somsmeentmenechterdateenmoeilijkevraageenhogerescoreverdientdaneengemakkelijkevraag.Wegeveneeneenvoudigvoorbeeld.Steldatweeentoetshebbenvantweeitems,ééngemakkelijkenéénmoeilijkitem.Steldat,indiengoedbeantwoord,wehetgemakkelijkeitemmet1scorepunthonorerenenhetmoeilijkeitemmet4scorepunten.Behalveallesgoedenallesfout,diebeidemaaréénantwoordpatroonkennen,zijnertweeantwoordpatronenwaarinprecieséénantwoordgoedenéénantwoordfoutisbeantwoord.Datzijndeantwoordpatronen01en10.Alsheteersteitemhetgemakkelijkeenhettweedeitemhetmoeilijkeitemis,dankrijgtscorepatroon01descore4enscorepatroon10descore1.Daarentegenkrijgenbijongewogenscoringbeideantwoordpatronendescore1.Ishetverdedigbaardateenleerlingdiehetgemakkelijkeitemfoutmaakt4maalhogerwordtgewaardeerd?Deleerlingheeftweliswaarhetmoeilijkeitemgoed,maarzo’ngemakkelijkitemfoutmaken?Devraagstellenishembeantwoorden.Hetisnietteverdedigen.Ditisdebelangrijksteredenomwegingopbasisvanmoeilijkheidachterwegetelaten.Detweederedenisdatwegingvaaknietveeluitmaakt.Decorrelatietussendeongewogenengewogenscoresisveelalhogerdan0,96.Diezeerhogecorrelatiebetekentdatleerlingendiedehoogsteofdelaagstetoetsscoresopdetoetsmetdeongewogenitemshebbenookdehoogsteofdelaagstescoresopdetoetsmetdegewogenitemshebben.Ditbetekentdatinhetgevalvanrelatiefnormerenhetwegenvanitemsgeenzinheeft.Inhetgevalvanabsoluutnormerenkanhetechtervoorkomendatsommigeleerlingendiezakkenbijrelatiefnormerengeslaagdzoudenzijnbijabsoluutnormerenenomgekeerd.Datlaatsteisechtergeenredenomeenleerlingdievooralmoeilijkeitemsgoedheeftenveelgemakkelijkeitemsfouthetvoordeelvanwegingtegunnenboveneenleerlingdievooralgemakkelijkeitemsgoedheeftenmoeilijkeitemsfout.Gegevenvoorgaandeargumentenradenwijhetwegenvanvragenopbasisvanmoeilijkheids-graadaf.

Page 158: Toetsen op School

158 Cito | Toetsen op School < Inhoud Index >

Page 159: Toetsen op School

10 De kw

aliteit van toetsen en examens

10 De kwaliteit van toetsen en examens

Page 160: Toetsen op School

160 Cito | Toetsen op School < Inhoud Index >

10 Dekwaliteitvantoetsenen examens

Piet Sanders en Bas Hemker

Indithoofdstukoverhetbeoordelenvandekwaliteitvantoetsenenexamensbehandelenwetweebeoordelingssystemen.Heteerstebeoordelingssysteemishet‘Beoordelingssysteemvoorde kwaliteitvantests’datdoordeCommissieTestaangelegenhedenNederland(COTAN)gebruiktwordtompsychologischetestsenstudietoetsentebeoordelendiedooruitgeverijenenanderebedrijvenopdemarktgebrachtworden.Inhetvervolgvandithoofdstukwordendetermen‘test’en‘toets’doorelkaargebruikt.Hettweedebeoordelingssysteembetreftde‘Regelingstandaarden examenkwaliteitmbo2012’waarmeedoordeInspectievanhetOnderwijsdeexamensvanhetmiddelbaarberoepsonderwijs(mbo)beoordeeldworden.

Erzijntweeredenenomaandachttebestedenaanbeoordelingssystemenvantoetsenenexamens.Indeeersteplaatskunnendebeoordelingenvandezesystemendegebruikerhelpenbijhetbeoordelenenselecterenvantestsentoetsendievangoedekwaliteitzijn.Bijdedoorverwijzingvanleerlingennaarhetleerwegondersteunendonderwijs(LWOO)enhetpraktijkonderwijs(PrO)schrijftdeoverheidzelfsvoordatalleentoetsengebruiktmogenwordendieopdoordeCOTANonderscheidencriteriavoldoendebeoordeeldzijn,zie www.toetswijzer.nl>Toetsspecials>InstrumentenindicatiestellingLWOOenPrO.Indetweedeplaatskunnendezebeoordelingssystemenhelpenbijhetconstruerenvantoetsendievoldoenaandeeisendiedoorderdenaanhetgebruikvantestsentoetsengesteldworden.VoorhetmbogeldtbijvoorbeelddatopleidingenhunexamenlicentiekunnenkwijtrakenindiendeexamensvanonvoldoendekwaliteitzijnvolgensdestandaardenvoorexamenkwaliteitdiedeInspectiehanteert.

WebeginnendithoofdstukmethetCOTAN-beoordelingssysteemvoordekwaliteitvantests. DezevencriteriavanhetbeoordelingssysteemeneenvoorbeeldvaneenCOTAN-beoordelingwordengepresenteerdentoegelicht.Daarnawordendedriestandaardenvoordebeoordelingvandeexamenkwaliteitinhetmbogepresenteerd.Tenslottewordtingegaanopdebetekenisvanbeoordelingssystemenvoordetoetspraktijk.

10.1 COTAN Beoordelingssysteem voor de kwaliteit van tests

HetdoelvandeCOTAN,eencommissievanhetNederlandsInstituutvanPsychologen(NIP),ishetbevorderenvandekwaliteitvantestsentestgebruikinNederlandentestgebruikersteinformerenoverdestandvanzakenoptestgebied.VooruitgebreideinformatieoverdeCOTANziewww.psynip.nl/tests_cotan.html.DeCOTANbeoordeelttestsentoetsensinds1969metbehulpvaneenbeoordelingssysteemdatindeloopderjarensteedsverderontwikkeldis.In2009isdelaatsteversievanhetbeoordelingssysteemgetiteld‘COTANBeoordelingssysteemvoordekwaliteitvantests’verschenenmeteenherzienedrukin2010.

Page 161: Toetsen op School

161 De kwaliteit van toetsen en examens < Inhoud Index >

DeCOTANbeoordeeltdekwaliteitvantestsopbasisvanzevencriteria:1 Uitgangspuntenvandetestconstructie2 Kwaliteitvanhettestmateriaal3 Kwaliteitvandehandleiding4 Normen5 Betrouwbaarheid6 Begripsvaliditeit7 Criteriumvaliditeit

Toetsenwordenbeoordeelddoortweedeskundigebeoordelaarsdiedebeoordelingenonafhankelijkvanelkaarverrichten.Ingevalvandiscrepantieswordendiedooreenonafhankelijkecoördinatormetdebeoordelaarsbesproken.Indiennodigschakeltdecoördinatoreenderdedeskundigein.Nadatdeeindbeoordelingnaardeauteur(s)vandetestgestuurdis,kandezebinneneenmaandopdebeoordelingreagerenwaarnadeCOTANdeeindbeoordelingalofnietaanpast.Dedefinitieveeindbeoordelingenvantoetsenwordenopgeslagenineendatabasediemenkanraadplegendooreenabonnementtenemen,zie www.cotandocumentatie.nlenhoofdstuk5voormeerinformatie.Vanveeltoetsendieinhetonderwijsgebruiktworden,kanmendebeoordelingenookvindenopwww.toetswijzer.nl > Toetsgids.

HiernawordendezevenkwaliteitscriteriavandeCOTANgepresenteerdenbesproken. Depresentatiebestaatuiteennagenoegletterlijkeweergavevandebelangrijkstecriteriauithetbeoordelingssysteem.Delezerdiekenniswilnemenvanhetvolledigebeoordelingssysteemverwijzenwenaarwww.psynip.nl/tests_cotan.html>COTANBeoordeling>Beoordelings-systeem.DebesprekingbestaatuithetgevenvanverwijzingennaaranderehoofdstukkenuitditboekentoelichtingenbijdeCOTAN-criteria.

1 Uitgangspunten van de testconstructieBijditcriteriumwordendrievragengesteld:

1.1 (Basisvraag)Iseraangegevenwathetgebruiksdoelisvandetest? a Iseraangegevenwelkeconstruct(en)detestbeoogttemeten? b Iseraangegevenwatdedoelgroep(en)is(zijn)vandetest? c Iseraangegevenwatdefunctieisvandetest? 1.2 Isdeherkomstvanhetconstructie-ideebeschrevenen/ofwordendetemeten

constructengedefinieerd? 1.3 Wordtderelevantievandetestinhoudvoordetemetenconstruct(en)aannemelijk

gemaakt?

Inhetbeoordelingssysteemkrijgtdebeoordelaarbijelkevraagaanwijzingenvoordebeoordeling.Bijvraag1.1amoetdebeoordelaarnagaanofhetduidelijkiswelkeconstructendetestbeoogttemeten.Voorbeeldenvanconstructenzijnintelligentie,leesvaardigheid,prestatiemotivatieofADHD.Zievoorhetvoorgaandeookhoofdstuk4,Devaliditeitvantoetsscores,waargesprokenwordtoverdeinterpretatievantoetsscores.Vraag1.1bspreektvoorzichterwijlvraag1.1cuitgebreidaandeordeisgeweestinhoofdstuk1,Hetdoelvantoetsen.Vandevierdoelendieindathoofdstukonderscheidenworden,heefthetCOTAN-beoordelingssysteembetrekkingoptoetsendietotdoelhebbenpersonenofleerlingentebeoordelen.

Page 162: Toetsen op School

162 Cito | Toetsen op School < Inhoud Index >

Bijvraag1.2moetdebeoordelaarnagaanofdetestaansluitbijeenbestaandetheorieoverbijvoorbeeldleesvaardigheidofintelligentieenofdietheorievoldoendebeschrevenis.Bijvraag1.3moetdebeoordelaarnagaanofereenzodanigeomschrijvingvanhetitemdomeinbeschikbaarisdatduidelijkisofeenwillekeurigitemuitdetestwelofniettotdetestbehoort.

De relevantievandeinhoudvaneentoetsbetreftdeinhoudsvaliditeitvaneentoets. Inhoofdstuk4,Devaliditeitvantoetsscores,wordtditonderwerpbehandeld.Inde‘Regelingstandaardenexamenkwaliteitmbo2012’komtditaspectvantoetsenterugbijindicator1.2,dekkingvanhetkwalificatiedossier.

HoedeCOTAN-criteriagescoord/beoordeeldworden,lichtenwehiertoevoorcriterium1. Alle(sub)vragenwordendooreenbeoordelaaralsonvoldoende(1scorepunt),voldoende (2scorepunten)engoed(3scorepunten)beoordeeld.Vraag1.1iseenbasisvraagwatbetekentdatalseenvandesubvragen,1.1a,1.1bof1.1c,alsonvoldoendebeoordeeldis,criterium1alsonvoldoendebeoordeeldwordtendatmenderestvandevragenvanditcriteriumkanoverslaan.Indienditlaatsteniethetgevalis,gebeurtdevaststellingvanheteindoordeelvoorcriterium1opbasisvanhetaantalscorepuntenopde(sub)vragendieresulteertineenonvoldoende,voldoendeofgoedebeoordelingvanditcriterium.Zoisheteindoordeelvoorcriterium1‘goed’alsdesomvandebeoordelingenopdesubvragenvanvraag1.1,8of9scorepuntenbedraagtenalsopdevragen1.2en1.3minstens2scorepuntentoegekendzijn.Heteindoordeelvoorcriterium1is‘voldoende’alsdesomvandebeoordelingenopdesubvragenvanvraag1.1,6of7scorepuntenbedraagt,aangeenvandesubvragenvan1.1,1scorepunttoegekendisenalsopdevragen1.2en1.3minstens2scorepuntentoegekendzijn. Isinhetlaatstegevalaaneenvandevragen1.2of1.3,1scorepunttoegekenddanisheteindoordeel‘onvoldoende’.WatbetreftdebeoordelingenscoringvandeanderecriteriaverwijzenwedelezernaardeCOTAN-publicatievanhetbeoordelingssysteemopdewebsitevanCOTAN.

2 Kwaliteit van het testmateriaalBijdebeoordelingvanditcriteriumwordtonderscheidgemaakttussentestsdieschriftelijkofmetbehulpvandecomputerwordenafgenomen.Bijditcriteriumwordenvoorbeideafnamewijzendriebasisvragengesteld:

2.1 Zijndetestopgavengestandaardiseerd? 2.2 a Isersprakevaneenobjectiefscoringssysteem?en/of b Alsdescoringdoorobservatorengebeurt,isdanhetbeoordelings-ofobservatie-

systeemvolledigenduidelijk? 2.3 Zijndeitemsvrijvanracistische,etnocentrische,seksistischeenvoorbepaalde

bevolkingsgroepenkwetsendeinhoud?

Bijvraag2.1moetdebeoordelaarnagaanofdeitems/opdrachtenwatbetreftvorm,inhoudenvolgordevooriedereenhetzelfdezijn.Standaardiserenisbelangrijkalsmendetoetsscoresvanverschillendepersonen/leerlingenwilinterpreterenenvergelijken.De(on)mogelijkhedenomtestandaardiserenverschillennogalpertoetsvorm.Toetsenbestaandeuitmeerkeuzevragenzijneenvoudigertestandaardiserendantoetsenbestaandeuitopenvragenendiezijnweereenvoudigertestandaardiserendantoetsenbestaandeuitpraktischeopdrachten.Bijvraag2.2amoetdebeoordelaarnagaanofdescoresdieaanallemogelijkeantwoordenvanpersonenwordentoegekendbijvoorbaatzodanigvastliggen,datelketestleider/docent,afgezienvanadministratievefoutendiebijdescoringgemaaktkunnenworden,totdezelfdescorezalkomen.

Page 163: Toetsen op School

163 De kwaliteit van toetsen en examens < Inhoud Index >

Bijvraag2.2bmoetdebeoordelaarnagaanofderichtlijnenvoordebeoordeling/scoring,waarondermodelantwoorden,modelgedragingen,schaalankersendergelijke,deobjectiviteitvandebeoordelingzogoedmogelijkwaarborgen.Vooreentoelichtingbijvraag2.3verwijzenwenaardepublicatievanK.Bügelen P.F.Sandersgetiteld‘Richtlijnenvoordeontwikkelingvanonpartijdigetoetsen’,diemengratiskandownloadenopdewebsitevanCito,www.cito.nl>Onderzoekenwetenschap>Psychometrie>Richtlijnenontwikkelingtoetsen.

Behalvededriebasisvragenwordenbijcriterium2voorbeideafnamewijzen,schriftelijkencomputer,nogtwaalfanderevragengesteld.Hetbetreftvragennaardekwaliteitvandeinstructievoordegeteste,decorrecteformuleringvandeitems,dekwaliteitvanhettest-materiaal,etc.Voormeerinformatiehieroververwijzenwenaardehoofdstukken6,7en8.

3 Kwaliteit van de handleidingBijditcriteriumwordtgevraagdnaardevolledigheidvandeinformatiediedehandleidingbiedtvoordegebruiker.Hierbijgaathetenerzijdsompraktischeaanwijzingenvoordeafname,scoringeninterpretatie(gebruikershandleiding)enanderzijdsominformatieoveronderzoekdatmetdetestisverricht(wetenschappelijkeoftechnischeverantwoording).Beidesoorteninformatiezijnvoordegebruikervanbelangomtekunnenbeoordelenwelkeconclusieseraaneentestscorekunnenwordenverbonden.Bijditcriteriumwordendevolgendevragengesteld:

3.1 (Basisvraag)Isereenhandleidingbeschikbaar? 3.2 Zijndeaanwijzingenvoordetestleidervolledigenduidelijk? 3.3 Wordterinformatiegegevenoverdegebruiksmogelijkhedenenbeperkingenvande

test? 3.4 Wordtindehandleidingeensamenvattingvandeonderzoeksresultatengegeven? 3.5 Wordtmetbehulpvanvoorbeeldenaangegevenhoetestscoreskunnenworden

geïnterpreteerd? 3.6 Wordtergewezenopinformatiediebijdeinterpretatievanbelangkunnenzijn? 3.7 Wordtdematevandeskundigheidvermelddievereistisvoorafnameen

interpretatievandetest?

Bijvraag3.1moetdebeoordelaarnagaanofereenhandleidingis.Indienergeenhandleidingis,kanmenderestvandevragenvanditcriteriumoverslaan.Bijvraag3.2moetdebeoordelaarnagaanofdeaanwijzingenvoordetestleiderzodanigzijndatdeafnamegestandaardiseerdplaatsvindt.Ermoetzoveelmogelijkletterlijkzijnvoorgeschrevenwatdetestleiderwelennietmagzeggenenwelkehandelingendetestleidermoetverrichten.Ookmoetvoorgeschrevenwordenhoedetestleideropvragenmoetingaan (erkunnenbijvoorbeeldstandaardtekstenwordengegevenvoorantwoordenopveelvoorkomendevragen),welkematevanondersteuningmagwordengebodenenwelkehulpmiddelendegetestemaggebruiken.Bijvraag3.3moetdebeoordelaarnagaanofdehandleidingvolledig,nauwkeurigenduidelijkisoverdegebruiksmogelijkhedenenbeperkingenvandetest.Hetmoetvoordetestgebruikerduidelijkzijnwelkeconstructenmetbehulpvandetestwordengemeten,voorwelkedoelgroepdetoetsbedoeldisenwathetdoelvandetoetsis.Verdermoetendebeperkingenvandetestzijnbeschreven.Iserbijvoorbeeldbijclassificatiebeslissingeninhetonderwijsaangegevendatdebeslissingnietopeenenkeletoetsmagwordengebaseerd?Wijstmenbijhetgebruikvanvoortgangstoetsenopderelatietussendetoetsscoreenhetverdereonderwijsleerproces? Aanvoorgaandetweevragenisinhoofdstuk3,Debetrouwbaarheidvantoetsscores,uitgebreid

Page 164: Toetsen op School

164 Cito | Toetsen op School < Inhoud Index >

aandachtbesteed.Bijvraag3.4moetdebeoordelaarnagaanofdesamenvattingvanderesultatenvannormerings-,betrouwbaarheids-envaliditeitsonderzoekzodanigisdateengebruikervandetestzicheenoordeelkanvormenofdetestvoorzijndoeleindengeschiktisendevereistekwaliteitheeft.Hetantwoordopdezevraagzalafhankelijkzijnvandeexpertisedieeengebruikerheeftofdievaneengebruikerverwachtmagworden.Deafgelopenjareniseenaanvanggemaaktmethetopleidenencertificerenvanpersonendiebijconstrueren,beoordelenenafnemenvantoetsenbetrokkenzijn.Diverseorganisatiesbiedenopleidingenaanvoortoetsconstructeur,toetsvaststellerenassessor.Bijvraag3.5moetdebeoordelaarnagaanofvoorbeeldengegevenwordenvanhoedetoetsscorewelenhoenietgeïnterpreteerdmagworden.Eenvoorbeeldvandenauwkeurigheidvantoetsscoresencijfershebbenweinhoofdstuk3bijdebesprekingvandestandaard-meetfoutgepresenteerd.Bijvraag3.6moetdebeoordelaarnagaanoferbijvoorbeeldinformatiegegevenwordtoverdemogelijkeinvloedvanachtergrondvariabelenen(test)ervaringopdescoresofdataangegevenwordtwelkeanderevariabelenaanbijvoorbeelddevoorspellingvandeEindtoets Basisonderwijsbijdragen.Inhetlaatstegevalzijndeoordelenvandocentenenvanouderseenbelangrijkebronvaninformatie.Bijvraag3.7moetdebeoordelaarnagaanoverwelkematevandeskundigheiddegebruikerdienttebeschikken.Welkeprofessionalszijngezienhunopleidingenwerkervaringgeschikt?Welkekennisenvaardighedenzijnvoordeafnameeninterpretatievandetestnoodzakelijk? ZowordteendocentwelgeschiktgeachtomdescorebehaaldopdeEindtoets te interpreteren maarnietdescorebehaaldopeenintelligentietest.

4 NormenBijditcriteriumwordeneersttweealgemenebasisvragengesteld:

4.1 Wordenernormenverstrekt? 4.2 Zijndenormenactueel?

Indiendebeoordelaarbijvraag4.1constateertdatergeennormenbeschikbaarzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Bijvraag4.2moetdebeoordelaarnagaanofdenormennogactueelzijn.HetstandpuntvandeCOTANisdatnormennatwintigjaarnietmeerbruikbaarzijnendusnietvoldoenaanditcriterium.

Nadetweealgemenebasisvragenvolgener(basis)vragenafhankelijkvanofersprakeisvannormgerichte,domeingerichteofcriteriumgerichteinterpretatievandescores.Voorinformatieover‘normen’verwijzenwenaarhoofdstuk9,Hetbeoordelenvantoetsscores,waaruitgebreidingegaanwordtophetopstelleneninterpreterenvannorm-encijferschalen.

Bijnormgerichteinterpretatiewordtdetestscorevaneenpersoonvergelekenmetdetestscoresvananderepersonen.Dittypenormenwordtookrelatievenormengenoemd.Indienersprakeisvannormgerichteinterpretatiewordendevolgendevragengesteld:

Page 165: Toetsen op School

165 De kwaliteit van toetsen en examens < Inhoud Index >

4.3 (Basisvraag)Watisdekwaliteitvandeverstrektenormgroepen? a Zijndenormgroepengrootgenoeg? b Zijndenormgroepenrepresentatief? 4.4 Wordendebetekenisendebeperkingenvandenormschaalduidelijkgemaaktvoor

degebruikerenishettypenormschaalinovereenstemmingmethetdoelvandetest? 4.5 Wordenergemiddelden,standaardafwijkingenengegevensoverdescoreverdeling

vermeld? 4.6 Wordenergegevensverstrektovermogelijkeverschillentussensubgroepen

(bijvoorbeeldallochtonen-autochtonen,mannen-vrouwen)? 4.7 Wordenergegevensverstrektoverdenauwkeurigheidvandemetingendedaarbij

behorendeintervallen? a standaardmeetfout b standaardschattingsfout c testinformatiefunctie

Bijvraag4.3aheeftdeCOTANdevolgendebeoordelingsregelsopgesteld:• Bijtestsvoorbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldpersoneelsselectie,

verwijzingnaarspeciaalonderwijsofcertificering)wordteennormgroepvan400ofmeerpersonenalsgoed,eengroepvan300ofmeertot400personenalsvoldoendeeneengroepvanminderdan300personenalsonvoldoendebeoordeeld.

• Bijtestsvoorrelatiefminderbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldvoortgangscontrole)wordteennormgroepvan300ofmeerpersonenalsgoed,eengroepvan200ofmeertot300personenalsvoldoendeeneengroepvanminderdan200personenalsonvoldoendebeoordeeld.

Voorwatbijvraag4.3bverstaanwordtonderderepresentativiteitvannormgroepenwordtdelezerverwezennaarhoofdstuk9,Hetbeoordelenvantoetsscores.

Bijvraag4.4moetdebeoordelaarnagaanofdegebruiktenormschaalinovereenstemmingismethetdoelvandetest.Hetisbijvoorbeeldnietzinvoleenpercentielschaaltegebruikenalsdeminimumscoreopeentest0endemaximumscore20bedraagt.Ookmoetdebeoordelaarbijvoorbeeldnagaandatwanneerleeftijds-ofleerjaarnormenverstrektworden,ergeensprakeisvaneentebreedleeftijds-ofleerjaarintervalwaardoordeprestatiesaanhetbeginvanhetintervalwordenonderschatenaanheteindoverschat.Watbetreftvraag4.7wordtdelezervooreentoelichtingbij4.7averwezennaarhoofdstuk3, De betrouwbaarheidvantoetsscores.Indathoofdstukwordendebegrippenstandaardschattingsfoutentestinformatiefunctieechterniettoegelicht.

Bijdomeingerichteinterpretatiewordtdetestscorevaneenpersoonvergelekenmeteenofmeerstandaarden,cesurenofgrensscores.Destandaardenwordenopdeeenofanderewijzedoorbeoordelaarsbepaald.Dittypenormenwordtookabsolutenormengenoemd.Indienersprakeisvandomeingerichteinterpretatiewordendevolgendevragengesteld:

4.8 (Basisvraag)Iservoldoendeovereenstemmingtussendebeoordelaars? 4.9 Zijndeproceduresopgrondwaarvandegrensscoreszijnbepaaldcorrect? 4.10 Zijndebeoordelaarsnaarbehorengeselecteerdengetraind?

Page 166: Toetsen op School

166 Cito | Toetsen op School < Inhoud Index >

Bijvraag4.8moetdebeoordelaarnagaanofdeovereenstemmingtussendeexpertsofbeoordelaarsvoldoendehoogisomdestandaardtekunnenlegitimeren.Bijvraag4.9moetdebeoordelaarnagaanofdegevolgdestappenenbeslissingeninovereenstemmingzijnmetdegebruiktestandaardbepalingsmethode.Bijvraag4.10moetdebeoordelaarnagaanwelkeproceduregevolgdisbijdeselectievandeexpertsenofdeexpertsgetraindzijninhettoepassenvandestandaardbepalingsmethode. Bijcriteriumgerichteinterpretatiewordtdestandaard,cesuurofgrensscoreaanonderzoeks-gegevensontleend.Bijdezewijzevannormerenmoetenernaastdegegevensopdetestookgegevensoverhetcriteriumzijnverzameld.Zokanbijvoorbeeldbijhettoekennenvanlicentiesofdiploma’sdegrensscoreofcesuurbepaaldwordendoornategaanbijwelketestscoredegunstigsteverhoudingbestaattussendeelnemersdieindepraktijksuccesvolenonsuccesvolblijkentezijn.Indienersprakeisvancriteriumgerichteinterpretatiewordendevolgendevragengesteld:

4.11 (Basisvraag)Rechtvaardigendeonderzoeksresultatenhetgebruikvangrensscores? 4.12 Isdeonderzoeksgroepinovereenstemmingmethetbedoeldegebruik? 4.13 Isdeonderzoeksgroepgrootgenoeg?

Bijvraag4.11moetdebeoordelaarnagaanofdetestauteurvoldoendebewijslevertvoordebruikbaarheidvandegekozengrensscore.Bijvraag4.12moetdebeoordelaarnagaanofhetonderzoekwaarindegrensscorebepaaldis,betrekkingheeftopdepopulatiewaarvoordetestgebruiktis.Bijvraag4.13heeftdeCOTANdevolgendebeslissingsregelopgesteld.Ervanuitgaanddatgrensscoresalleenwordenbepaaldinsituatieswaarinhetgaatombelangrijkebeslissingen opindividueelniveau(zievraag4.3a),wordteenonderzoeksgroepbestaandeuitminstens 300personenalsgoed,eengroepbestaandeuitminstens200personenalsvoldoendeeneenonderzoeksgroepbestaandeuitminderdan200personenalsonvoldoendebeoordeeld.Voortoelichtingbijvraag4.3bwordtdelezerverwezennaarhoofdstuk9,Hetbeoordelenvantoetsscores,waaruitgebreidingegaanwordtopderepresentativiteitvannormgroepen.

5 BetrouwbaarheidBijditcriteriumwordendrie(sub)vragengesteld:

5.1 (Basisvraag)Wordenergegevensoverdebetrouwbaarheidverstrekt? 5.2 Zijnderesultatenvoldoende,geletophetbeoogdetypebeslissingendatmetbehulp

vandetestwordtgenomen? 5.3 Watisdekwaliteitvanhetonderzoeknaardebetrouwbaarheid?

Bijvraag5.1moetdebeoordelaarnagaanoferinformatieoverdebetrouwbaarheidvandetestscoresverstrektis.Indienergeeninformatiebeschikbaaris,kanmenderestvandevragenvanditcriteriumoverslaan.

Bijvraag5.2heeftdeCOTANdevolgendebeoordelingsregelsopgesteld:• Bijtestsvoorbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldhetzakkenof

slagenvanleerlingen,doorverwijzingnaarspeciaalonderwijs)wordteenbetrouwbaarheidvan0,90ofhogeralsgoed,van0,80ofhogerenkleinerdan0,90alsvoldoendeenkleinerdan0,80alsonvoldoendebeoordeeld.

Page 167: Toetsen op School

167 De kwaliteit van toetsen en examens < Inhoud Index >

• Bijtestsvoorminderbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldvoortgangscontrole)wordteenbetrouwbaarheidvan0,80ofhogeralsgoed,van0,70ofhogerenkleinerdan0,80alsvoldoendeenkleinerdan0,70alsonvoldoendebeoordeeld.

• Bijtestsvooronderzoekopgroepsniveau(bijvoorbeeldklimaatindeklas)wordteenbetrouwbaarheidvan0,70ofhogeralsgoed,van0,60ofhogerenkleinerdan0,70alsvoldoendeenkleinerdan0,60alsonvoldoendebeoordeeld.

Hoofdstuk3vanditboekgaatuitgebreidinophetgebruikvandebetrouwbaarheidscoëfficiëntenanderematenomdebetrouwbaarheidvaneentoetsofeenaantaltoetsensamentekwanti-ficeren.Dezematenzijndestandaardmeetfoutenhetpercentagemisclassificatiesbijeenenkeletoetsofvaneenexamenbestaandeuitmeerderetoetsenzoalseenhavo-examen.Hoewelallebedoeldematenmetelkaarsamenhangen,wordteenpleidooivoorhetgebruikvandieanderematennaastofinplaatsvandebetrouwbaarheidscoëfficiëntgehouden.Voorhetbeoordelenvaneenexamen,zoalshetvwo-examendatuitmeerderetoetsenbestaat,ishetCOTAN-beoordelingssysteemechternietontwikkeldenkandaarvoordusooknietgebruiktworden.

De beoordeling van validiteit volgens de COTANVoorafgaandeaandepresentatievandecriteriadieCOTANhanteertbijdebeoordelingvandevaliditeitvaneentoets,dientopgemerkttewordendaterindetestliteratuurverschillendeopvattingenovervaliditeitbestaan.Volgensdeopvattinginhoofdstuk4,Devaliditeitvantoets-scores,heeftvaliditeitbetrekkingopdeinterpretatieenhetgebruikvantoetsscoresenbestaathet validerenvantoetsscoresuitbewijzendiedeinterpretatieenhetgebruikondersteunen.DeCOTANgaatuitvandeklassiekedriedelingvanvaliditeit:inhoudsvaliditeit,begripsvaliditeitencriteriumvaliditeit.Vandezedriewordtvaliditeitsinformatiediebetrekkingheeftopderelevantievandeinhoudvaneentest(inhoudsvaliditeit)enopdebetekenisvaneentestscore(begrips-validiteit)vooralletypentestsvanbelanggeacht,ongeachthetdoelvandetoets.Ditgeldtechternietvoorinformatieoverdevoorspellendewaardevantestscores(criteriumvaliditeit):voortestsdiegeenvoorspellendepretentiehebben,isdittypeinformatienietvereist.DedriesoortenvaliditeitdiedeCOTANonderscheidt,komenookinhoofdstuk4aandeorde.InhoudsvaliditeitwordtdoordeCOTANechteropgevatalsonderdeelvanhettestontwikkelings-procesendusvancriterium1endanmetnamecriterium1.3.Decriteriabegripsvaliditeitencriteriumvaliditeitwordenhiernabesproken.

6 BegripsvaliditeitBijditcriteriumwordendevolgendevragengesteld:

6.1 (Basisvraag)Wordenergegevensoverdebegripsvaliditeitverstrekt? 6.2 Makenderesultatenvoldoendeaannemelijkdathetbegripzoalsbedoeld,wordt

gemeten? 6.3 a Zijndeproceduresopbasiswaarvandebegripsvaliditeitsgegevenszijnberekend

correct? b Komendesteekproevendieinhetbegripsvalideringsonderzoekzijngebruikt,

overeenmetgroepenwaarvoordetestisbedoeld? c Watisdekwaliteitvandeanderematendieinhetbegripsvalideringsonderzoek

zijngebruikt? d Isdekwaliteitvanhetonderzoek,zoalsbeoordeeldindevragen6.3atotenmet

6.3c,zodanigdatdebeoordelingvandebegripsvaliditeitinvraag6.2,kan wordenbevestigd?

Page 168: Toetsen op School

168 Cito | Toetsen op School < Inhoud Index >

Indiendebeoordelaarbijvraag6.1constateertdatergeengegevensoverdebegripsvaliditeitverstrektzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Voortoelichtingbijvraag6.2wordtdelezerverwezennaarhoofdstuk4,Devaliditeitvantoetsscores,metnamedeparagrafendieoverdeverschillendesoortenbewijzengaan.Bijvraag6.3atotenmet6.3dmoetdebeoordelaarnagaanofhetonderzoeknaardebegripsvaliditeitgoeduitgevoerdis(6.3aen6.3b)endatdetoetsenofanderemeetinstrumentendieinhetonderzoekgebruiktzijn,voldoendebetrouwbaarzijn(6.3c).

7 CriteriumvaliditeitBijditcriteriumwordendevolgendevragengesteld:

7.1 (Basisvraag)Wordenergegevensverstrektoverhetverbandtest-criterium? 7.2 Zijnderesultatenvoldoendegeletophettypebeslissingendatmetdetestgenomen

moetworden? 7.3 a Zijndeproceduresopgrondwaarvandecriteriumvaliditeitsgegevenszijnberekend

correct? b Zijndesteekproevenopgrondwaarvandecriteriumvaliditeitsgegevenszijn

berekendinovereenstemmingmethetbeoogdetestgebruik? c Watisdekwaliteitvandecriteriummaten? d Isdekwaliteitvanhetonderzoek,zoalsbeoordeeldindevragen7.3atotenmet

7.3c,zodanigdatdebeoordelingvandecriteriumvaliditeitinvraag7.2,kanwordenbevestigd?

Indiendebeoordelaarbijvraag7.1constateertdatergeengegevensoverdecriteriumvaliditeitverstrektzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Zoalshiervoorreedsopgemerktwerd,isdecriteriumvaliditeitnietvoorelketestrelevant.Voortoelichtingbijvraag7.2wordtdelezerverwezennaarhoofdstuk4,Devaliditeitvantoetsscores,metnamenaardeparagraafwaardevoorspellendewaardeofcriteriumvaliditeitvandeEindtoets Basisonderwijsbesprokenwordt.Bijvraag7.3atotenmet7.3dmoetdebeoordelaarnagaanofhetonderzoeknaardecriterium-validiteitgoeduitgevoerdis(7.3aen7.3b)endatdetoetsenofanderemeetinstrumentendieinhetonderzoekalscriteriumgebruiktworden,voldoendebetrouwbaarzijn(7.3c). 10.1.1 Voorbeeld van een COTAN-beoordelingCOTAN-beoordelingenvaneengrootaantaltoetsenstaaninToetsgidsopdewebsiteToetswijzerdiedoorCitobeheerdwordt,ziewww.toetswijzer.nl>Toetsgids.HieronderstaateendownloadvandeSON-R51/2-17uitToetsgids.DetoetsbeoordelinginformeertdepotentiëlegebruikeroververschillendeaspectenvandetoetseneindigtmetdeCOTAN-beoordelingopdezevenbeoordelingscriteria.Opbasisvandezeinformatiekandepotentiëlegebruikerbeslissenofdetoetsalofnietgeschiktisvoorhetdoelwaarvoordetoetsingezetgaatworden.Isdiebeslissingpositiefdankandepotentiëlegebruikerverdereinformatieinwinnenbijdeuitgevervandetest.

SON-R 5 1/2-17

OmschrijvingDeSON-R(Snijders-OomenNiet-verbaleIntelligentietest)iseenalgemeentoepasbareintelligentietestvoorkinderenvan51/2tot17jaarwaarbijhetgebruikvangesprokenofgeschreventaalnietnoodzakelijkis.DeSON-R51/2-17kanookalsverkorteversiewordenafgenomen.

Page 169: Toetsen op School

169 De kwaliteit van toetsen en examens < Inhoud Index >

Informatie en bestellenUitgever Boomtestuitgevers[Info][Site][Meervan...]Jaarvanuitgave 2003

Inhoud en gebruikDeSON-Risgeschiktvoorkinderenmet:eenniet-Nederlandseachtergrond;taal-,spraak-engehoorproblemen;autistischestoornissen;eenontwikkelingsachterstandenleerproblemen;eenverstandelijkehandicap.DeSON-Rbestaatuit7subtestsvanelk20-30items:• Abstractredeneren:subtestsCategorieën,Analogieën• Concreetredeneren:subtestsSituaties,Stripverhalen• Ruimtelijkinzicht:subtestsMozaïeken,Patronen• Perceptie:subtestZoekplatenSON-Rwordtindividueelafgenomen,afnameduur:ca.90minuten.InhetcomputerprogrammavanSON-RiseencorrectievoorhetFlynn-effect(verouderingvandenormen)ingebouwd.Deverkorteversiebestaatuit4subtests:abstractredeneren(Categorieën,Analogieën);concreetredeneren(Situaties);ruimtelijkinzicht(Mozaïeken).

DoelgroepKinderenvan5,5tot17jaar.

MeetpretentieIntelligentieniveau.

Doel• Vaststellenvanhetintelligentieniveau.• DeSON-R51/5-17kangebruiktwordenbijindicatiestellingvoorleerwegondersteunend

onderwijs(LWOO)enpraktijkonderwijs(PrO).Bijtaalproblemen(achterstanden)enallochtoneleerlingendieonvoldoendeNederlandsspreken.

VoorbeelditemErisgeenvoorbeelditemvandezetoets.

OpmerkingNaastdeSON-R51/2-17isookdeSON-R21/2-7beschikbaar.

KernpublicatieSnijders-OomenNiet-verbaleIntelligentietest(SON-R51/2-17)/Snijders,TellegenenLaros.Amsterdam:Boomtestuitgevers.

LiteratuurPublicatiesopwww.testresearch.nl.

Weblinks • InformatieoverSON-R51/2-17opdewebsitevanBoomtestuitgevers• InformatieoverSON-RopdewebsiteTests&Test-research

Page 170: Toetsen op School

170 Cito | Toetsen op School < Inhoud Index >

COTAN-beoordeling

Criteria Beoordeling

UTC Uitgangspuntenbijdetestconstructie[Toelichting] Goed

KTM Kwaliteitvanhettestmateriaal[Toelichting] Goed

KHL Kwaliteitvandehandleiding[Toelichting] Goed

NRM Normen[Toelichting] Goed

BTR Betrouwbaarheid[Toelichting] Goed

BVA Begripsvaliditeit[Toelichting] Goed

CVA Criteriumvaliditeit[Toelichting] Goed

10.2 Regeling standaarden examenkwaliteit mbo 2012

Deexamensvanberoepsopleidingenmoetenvoldoenaanlandelijkestandaardenvoordekwaliteitvanexamens,alsbedoeldinartikel7.4.4vandeWeteducatieenberoepsonderwijs(WEB).Deonderwijsinstellingdientzelftebewakendatdekwaliteitvandedoorhaarverzorgdeberoepsopleidingenvoldoetaandestandaarden.Waarnodigdientdeinstellingdekwaliteittijdigteverbeteren.Daarnaastdientdeinstellingjaarlijkspubliekeverantwoordingafteleggenoverdeuitkomstenvandezelfevaluatievandematewaarindeexamensaandestandaardenvoldoen(opgrondvanartikel1.3.6vandeWEB).HetexternetoezichtopdekwaliteitvandeexamensinhetmbowordtuitgeoefenddoordeInspectievanhetOnderwijs.AandehandvandestandaardenendedaarvandeeluitmakendenormeringbeoordeeltdeInspectieofdeexamenkwaliteitvaneenopleidingonvoldoendeofvoldoendeis.Dekwaliteitvandeexamenswordtbeoordeeldaandehandvandriestandaarden,ziehttp://wetten.overheid.nl/BWBR0030427.Perstandaardzijnmeerdereindicatorenopgenomen.Bijelkeindicatoriseenportretgevoegd.Hieronderwordendedriestandaardengepresenteerd.Depresentatiebestaatuiteenletterlijkeweergavevandestandaardenmetbijbehorendeindicatorenenportretten.Delezerdienietbekendismetdetermenkwalificatiedossier,kerntaken en werkprocessendieindeportrettengebruiktworden,verwijzenwenaardebegrippenlijstopdewebsitevandeMBORaad,www.mboraad.nl>Hetmbo>Begrippenlijst.

Standaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen

Indicator 1.1. Onderscheid tussen ontwikkelgerichte toetsen en examineringPortret–Deinstellingheefteenduidelijkonderscheidgemaakttussendeopleiding–endaarinopgenomenontwikkelgerichtetoetsen–endeexaminering.Dezeovergangisgemarkeerd.Deexamencommissieheeftgeëxpliciteerdopgrondvanwelkexamenenoverigeeisenhetdiplomawordtverstrekt.Destudentenwetenwelkebeoordelingmeeteltvoorhetbehalenvanhetdiploma.

Page 171: Toetsen op School

171 De kwaliteit van toetsen en examens < Inhoud Index >

Indicator 1.2. Dekking van het kwalificatiedossierPortret–Bijdeinrichtingvankwalificerendeexamensissprakevanvolledigheidenpassendecomplexiteit,omdeberoepsuitoefeningophetvereistebeheersingsniveauzoalsomschreveninhetkwalificatiedossierteexamineren.Ditbetekentdat:• vooropleidingengerichtopdeberoepsgerichtekwalificatiestructuurdekwalificatie-eisen

zijnopgenomenindeexamens,waarbijmeerdandriekwartvandewerkprocessenperkerntaak–deessentievanhetberoepinbegrepen–wordtgeëxamineerd;hierbijzijndeinhoud en toetsvormzodanigafgestemdopdevereisten,datkennis,vaardighedenenhoudingineengoedebalanspassendwordenbeoordeeld;

• vooreindtermgerichteopleidingendevereistenzijnopgenomenindeexamens,waarbijmeerdandriekwartvandeeindtermenperdeelkwalificatie–deessentievanhetberoepinbegrepen–wordtgeëxamineerd;hierbijzijndeinhoudentoetsvormzodanigafgestemdopdevereistendatdezepassendwordenbeoordeeld;

• wettelijkeberoepsvereisten–indienvantoepassing–volledigzijngeëxamineerdmetexamensdiequainhoudentoetsvormpassendzijn;

• deexameninstrumentendegeneriekekwalificatievereistenvoortalenenrekenenzodanigafdekkendatrechtwordtgedaanaanhetCEF-niveaudanwelhetreferentieniveau.

Indicator 1.3. CesuurPortret–Eriseenverantwoordeproceduregevolgdvoorhetbepalenvandecesuur,zowelvoorexamenonderdelenalsvoorhetexamenalsgeheel.Decesuurvanhetexameninstrumentariumligtophetniveauwaaropdestudentvoldoetaandevereisten.Decesuuriszodanigopgestelddatdebeoordeling(endaarmeedewaarderingvandekennis,vaardighedenenhoudingvandestudent)intotaalnietlageruitpaktdanvoordevakbekwaamheidvoorhetberoepenvoordegeneriekeeisenvoortaalenrekenennoodzakelijkis.Erissprakevaneenevenwichtige,nietoneigenlijkepuntentoekenningdierechtdoetaanhetbelangvaneindtermen,ofkerntakenenwerkprocessen.Erissprakevaneenwegingvandeexamenopdrachten/-toetsenonderlingdiegeenafbreukdoetaandegenoemdecesuur.

Indicator 1.4. BeoordelingswijzePortret–Hetexameninstrumentariumisvoorzienvaneenbeoordelingsvoorschriftdateenzoobjectiefmogelijkebeoordelingwaarborgt.Ditbetekentdat:• hetbeoordelingsvoorschriftisvoorzienvanrichtlijnendieleidentoteenonafhankelijke

beoordeling;• deprestatie-indicatoren(ofvergelijkbarebeoordelingscriteria)herleidbaarinhet

beoordelingsvoorschriftzijnopgenomeneneencorrectantwoordmodelofbeoordelingsschemabeschikbaaris;

• debeoordelaareruitkanopmakenwelkeeindwaarderinggegevenmoetworden;• debeoordelaardegegevenwaarderingenconformhetbeoordelingsvoorschriftherleidbaar

kanonderbouwen.Uitdebeoordelingsrichtlijnenblijktdatdebeoordelingplaatsvindtophetniveauvandeeindtermenvandedeelkwalificatiesofkerntakenenwerkprocessen.Debeoordelingwordtgebaseerdopdeprestatie-indicatoren(ofvergelijkbarebeoordelingscriteria)uithetkwalificatie-dossier.Alseenexamen(onderdeel)nietbehaaldwordt,wordtophetniveauvandeprestatie-indicator(ofvergelijkbarebeoordelingscriteria)verantwoordwatdeoorzaakdaarvanis.

Indicator 1.5. TransparantiePortret–Allebetrokkenenhebbeneenhelderbeeldvanhoehetexameneruitzietenhoehetwordtuitgevoerdenbeoordeeld.Studentenenbeoordelaarszijngeïnformeerdoverdebeoordelingscriteriaendewijzewaarophetexamenzalplaatsvindenenoverdebeoordeling.Hetexameninstrumentariumisvoorzienvanafnameconditiesenaanwijzingenvoordebeoordelaarsendestudentenvoordeuitvoeringvanhetexamen.

Page 172: Toetsen op School

172 Cito | Toetsen op School < Inhoud Index >

Standaard 2: De examenprocessen van afname en beoordeling zijn deugdelijk

Indicator 2.1. Authentieke afname Portret–Hetexamenbevattenminsteactiviteitendiedestudentalsbeginnendberoeps-beoefenaarinhettoekomstigeberoepuitvoert,afgestemdophetkwalificatiedossier (ofeindtermendocument).Dewerkomstandighedenendesocialecontexttijdensdebeoordelingvanhetexamenkomenzoveelmogelijkovereenmetdieinhettoekomstigeberoep;onderdelenvanhetexamenvindenindereëleberoepspraktijkplaats.Hetberoepenveldisbetrokkenbijdeexamineringenbeoordeeltdeafnameenbeoordelingalsrealistisch.

Indicator 2.2. BetrouwbaarheidPortret–Deafnameenbeoordelingzijndeugdelijkenverlopenzoalsbeoogd.Ingelijkegevallenwordtgelijkbeoordeeld.Debeoordelingiszoobjectiefmogelijk.Voorzieningendiezijngetroffenomdattebereikenwordenadequaattoegepast.Examenopdrachten,afnameconditiesenbeoordelingenzijnvoorallestudentenzodanigopgezetentoegepastdatgeenafbreukwordtgedaanaandebetrouwbaarheidvandeuitkomstenvandeexamenopdrachtofhetexamenprogrammaalsgeheelnochaanhetniveaudaarvan.Erissprakevaneendeskundigebeoordelingvanstudentengerichtophetvakinhoudelijkcorrectbeoordelenvandevereistekennis,houdingenvaardighedenvandestudent.

Standaard 3: De diplomering is deugdelijk

Indicator 3.1. Besluitvorming diplomerenPortret–Deexamencommissiebesluitopbasisvandeexamenresultatenvandestudent,afgezettegendeexameneisenuithetkwalificatiedossier(ofeindtermendocument)enhetExamenbesluit,tothetverlenenvanvrijstellingenvoordelenvanhetexamenentothetverstrekkenvandiploma’sen(indienvantoepassing)vancertificaten.Deexamencommissieneemtdeugdelijkebesluitenopgrondvandeoordelenopdeexamenonderdelenenlegtopbasisvanregistratievandebesluitvormingverantwoordingaf.

Indicator 3.2. Verantwoordelijkheid examencommissiePortret–Deexamencommissievergewistzichmetgepastegrondigheidenfrequentievandekwaliteitvanhetexameninstrumentarium,deafname,debeoordeling,debesluitvormingbetreffendedediplomeringenvandedeskundigheidvandebijdeexamineringbetrokkenpersonen.Omvasttestellenofdebeoordelingadequaatverloopt,wordtgebruikgemaaktvanbijvoorbeeldresultatenanalyses,deelnemerevaluatiesengegeven(steekproefsgewijze)dubbelebeoordelingen.Deexamencommissielegtvastwanneerbeoordelingsresultatenwordenaangepastentotwelkeverbeteractiesdezecorrectiesleidenofhebbengeleid.Deexamencommissieanalyseertwatmogelijkeoorzakenzijnalsdebeoordelingennietnaarwensverlopen.

10.2.1 Beoordeling van de examenkwaliteitDeexamenkwaliteitvaneenopleidingvindtineersteinstantieophetniveauvandestandaardenendeindicatorenplaats.Opbasisdaarvanwordteenoordeeloverdeexamenkwaliteitvaneenopleidinggegeven.

Perstandaardenperindicatorwordteenoordeeluitgesprokenopeentweepuntsschaal(onvoldoende–voldoende).Perindicatoriseenbeschrijvinggegevenvanhetoordeel‘voldoende’.Diebeschrijvingisopgenomenindeportrettendiehetreferentiekadervoordebeoordelingvormen.Deaangetroffensituatievoldoetinvoldoendemateaandebetreffendeindicatoralsdesituatieoverhetgeheelgenomenovereenkomtmetdeinhoudvandeportretten.

Page 173: Toetsen op School

173 De kwaliteit van toetsen en examens < Inhoud Index >

Voordeexamenkwaliteitvaneenopleidingwordteenoordeeluitgesprokenopeenvierpuntsschaal(goed–voldoende–onvoldoende–slecht):• Goed:aanallestandaardenisvoldaan(perstandaardisaanalleindicatorenvoldaan);de

elementeninhetportretwordenopuitstekendewijzeuitgevoerd.• Voldoende:aanallestandaardenisvoldaan(perstandaardisaanalleindicatorenvoldaan);

erwordtvoorhetgrootstedeelaandeomschrijvingindeportrettenvoldaan,waaronderdemeestessentiëleonderdelen.

• Onvoldoende:aanéénstandaardisnietvoldaan.• Slecht:aantweeofdriestandaardenisnietvoldaan.

Alsdeexamenkwaliteitvaneenopleidingnietaandestandaardenvoldoet,kandeMinisterdeinstellinghetrechtopdeexamineringvoordedesbetreffendeopleidingontnemen.

10.3 Beoordelingssystemen en de toetspraktijk

Beoordelingssystemenhebbeneenbelangrijkebijdragegeleverdaandeverbeteringvandekwaliteitvantoetsenenexamens.Diekwaliteitsimpulsisvooreengrootdeelteverklarendoordeconsequentiesdietoetsenenexamensvoordemakersengebruikersvantoetsenhebben.

Beoordelingssystemenlijkennuvooralgebruikttewordennadatdetoetsontwikkeldenafgenomenis.DecriteriavaneenbeoordelingssysteemzoalsdatvandeCOTANzoudenechterveelmeeralsrichtsnoerbijdeontwikkelingvantoetsengebruiktmoetenworden.DechecklistdiehetbeoordelingssysteemvandeCOTANkenmerkt,leentzichdaarmomenteelbetervoordan het beoordelingssysteemvandeInspectie.

Voorzoweltoetsenmeteendomeingerichteinterpretatiealsdembo-examensgeldtdathetbepalenvandecesuureenvandebelangrijkstebeslissingenvoorleerlingenis.InhetbeoordelingssysteemvandeCOTANwordtwelverwezennaarproceduresvoorstandaard-bepalingmaarwordtnietsgezegdoverwelkeproceduresvoorwelkesituatieshetmeestgeschiktzijn.Hetisjammerdaterweinigbekendisoverwelkevandeveleproceduresvoorstandaardbepalingfeitelijkgebruiktwordenenwatdeervaringenmetdieprocedureszijn. InhetbeoordelingssysteemvandeInspectiewordenvoordebepalingvandecesuurgeenoperationelehandreikingengegeven.Nochindeomschrijvingvanhetcriteriumnochindevoorbeeldenwordtmeldinggemaaktvanhetgebruikvanproceduresvoorhetbepalenvandestandaardofdecesuur.Dezeprocedureszoudenechterkunnenhelpenbijhetbeterbepalenvanwatonderdebeheersingvankerntakenenwerkprocessenverstaanwordtenofallekerntakenenwerkprocesseninderdaadbeheerstmoetenwordenomtekunnenslagenvooreenproevevanbekwaamheid.

DebeoordelingssystemenvandeCOTANendeInspectieverschillenindewaarderingvanempirischeinformatiebijhetbeoordelenvandekwaliteitvanexamens.Zowordtbijhetportretvanindicator2.2,betrouwbaarheid,geenaandachtbesteedaandebetrouwbaarheidvantoetsscores.Hoewelhetvoorbepaaldembo-examensnietaltijdmakkelijkofmogelijkzalzijnomvoorhetbepalenvandebetrouwbaarheiddebenodigdetoetsscoresteverzamelen,betekentditnietdatditvooralleexamensgeldt.Zonderinformatieoverdebetrouwbaarheidvantoetsscoresishetechternietgoedmogelijkomdekwaliteitvanexamenstekunnenbeoordelen.

InhetbeoordelingssysteemvandeInspectiezienwedataandeexamencommissieeencrucialeroltoebedachtwordtbijhetbewakenvandeexamenkwaliteitvanopleidingeninhetmbo.Inhethboenwospelenexamencommissiesookeensteedsbelangrijkerrol.Omdierolgoedte

Page 174: Toetsen op School

174 Cito | Toetsen op School < Inhoud Index >

kunnenvervullen,dienenledenvanexamencommissiesovervoldoendedeskundigheidophetgebiedvantoetsenenexaminerentebeschikken.

HetbeoordelingssysteemvandeCOTANenhetbeoordelingssysteemvandeInspectierichtenzichbeideoptoetsenals‘product’maarnietoptoetsenals‘activiteit’.Alseentoetsbijvoorbeeldandersafgenomenwordtdandatdebedoelingis,zalookeentoetsdieopallecriteriaofstandaardenalsgoedbeoordeeldisondeugdelijkebeoordelingenvanleerlingenopleveren. Datlaatstekanvoorkomenalserbijdeafname,descoringofdeinterpretatievandetoetsfoutengemaaktworden.Insommigegevallenkanditzelfstotrechtszakenleiden.Zowerdeenkandidaatdieniettevredenwasoverhetgegevenoordeelopzijnherexameneconomieophetvmbodoorderechterinhetgelijkgesteldomdatderechteroordeeldedatdebeoordelingvandeantwoordendoordedocentonzorgvuldigwasgeweest.Ditpleitervooromonderzoektedoennaarhettoetsenals‘activiteit’.Mogelijkdatderesultatenvandergelijkonderzoekaanleidingzijnomookaantoetsenals‘activiteit’aandachttebestedeninbeoordelingssystemenvoordekwaliteitvantoetsen.

Page 175: Toetsen op School

Geraadpleegde literatuur

Geraadpleegde literatuur

Page 176: Toetsen op School

176 Cito | Toetsen op School < Inhoud Index >

Geraadpleegdeliteratuur

Anderson,L.W.,&Krathwohl,D.(Eds.)(2001).A taxonomy for learning, teaching and assessing: revision of Bloom’s taxonomy of educational objectives.NewYork:Longman.

Atherton,J.S.(2005).Learning and Teaching: SOLO taxonomy. Onlinevia:www.learningandteaching.info/learning/solo.htm

Arter,J.(1998).Improving classroom assessment: a toolkit for professional developers (Toolkit98). Portland,OR:NorthwestRegionalEducationalLaboratory.

Arter,J.,&McTighe,J.(2001).Scoring rubrics in the classroom: Using performance criteria for assessing and improving student performance.ThousandOaks,CA:CorwinPressInc.

Baron,J.B.,&Wolf,D.P.(1996). Performance-based student assessment: challenges and possibilities.Chicago:UniversityofChicago.

Berkel,H.van,&Bax,A.(2006).Toetsen in het hoger onderwijs.Houten:BohnStafleuvanLoghum.

Bloom,B.S.(1975).Taxonomy of educational objectives: Handbook 1: Cognitive domain. NewYork:DavidMcKayCo.

Bruyne,H.C.D.de(1983). Evalueren in de klas.Amsterdam:VanGoorZonen.

Bügel,K.,&Sanders,P.F.(1998).Richtlijnen voor de ontwikkeling van onpartijdige toetsen. Arnhem:Cito.Onlinevia:http://www.cito.nl/Onderzoek%20en%20wetenschap/psychometrie/richtlijnen_onpartijdige_toetsen.aspx

Chamberlain,L.(2000).Making a difference with student assessment: Creation and use of rubrics. Columbus,Ohio:MarketingEducationResourceCenter.

Cito(1998).Toetstechnische begrippenlijst.Arnhem:Cito.Onlinevia:http://www.cito.nl/Onderzoek%20en%20wetenschap/kenniscentrum/begrippenlijst.aspx

Cizek,G.J.,&Bunch,M.B.(2007).Standard setting: A guide to establishing and evaluating performance standards on tests.ThousandOaks:SagePublications.

COLO(2009).Landelijke Kwalificaties MBO Dierenhouderij. Onlinevia:www.kwalificatiesmbo.nl> Dossiers

CouncilofEurope(2009).Manual for relating language examinations to the Common European Framework of Reference for languages.

CouncilofEurope(2009).Reference supplement to the manual for relating language examinations to the CEFR.

Page 177: Toetsen op School

177 Geraadpleegde literatuur < Inhoud Index >

Dekker,J.,&Sanders,P.(2008). Kwaliteit van beoordeling in de praktijk.Ede:KenniscentrumHandel.Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/kwaliteit_beoordeling_praktijk.pdf

Drenth,P.J.D.,&Sijtsma,K.(2006).Testtheorie: Inleiding in de theorie van de psychologische test en zijn toepassingen.Houten:BohnStafleuvanLoghum.

Eggen,T.J.H.M.,&Sanders,P.F.(1993).Psychometrie in de praktijk.Arnhem:Cito. Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/Psychometrie.pdf

Evers,A.,Lucassen,W.,Meijer,R.,&Sijtsma,K.(2010).COTAN Beoordelingssysteem voor de kwaliteit van tests.Amsterdam:NIP/COTAN. Onlinevia:http://www.psynip.nl/website-openbaar-documenten-nip-algemeen/beoordelingssysteem.pdf

ExpertgroepDoorlopendeLeerlijnenTaalenRekenen(2008).Over de drempels met taal en rekenen: hoofdrapport. Enschede:ExpertgroepDoorlopendeLeerlijnenTaalenRekenen.Onlinevia:http://www.taalenrekenen.nl/referentiekader/rel_doc/referentiekader/

Foster,M.,&Masters,G.(1996).Performance assessment resource kit: doing outcomes, planning observations, judging & recording, estimating achievement, reporting.Melbourne:AustralianCouncilforEducationalResearch.

Gallavan,N.P.(2009).Developing performance-based assessments grades 6-12.ThousandOaks,CA:CorwinPress.

Groot,A.D.de,&Naerssen,R.F.van(1969).Studietoetsen.DenHaag:Mouton.

Gulikers,J.(2006).Authenticity is in the eye of the beholder: Beliefs and perceptions of authentic assessment and the influence on student learning.Academischproefschrift.Heerlen: OpenUniversiteit.

Harlen,W.(2007).Assessment of learning.London:Sage.

Herman,J.L.,Aschbacher,P.R.,&Winters,L.(1992). A practical guide to alternative assessment. Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.

Hibbard,K.M.(1996).A teacher’s guide to performance-based learning and assessment. Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.

Hibbard,M.,Wagenen,L.van,&Lewbel,S.(1996). Performance-based learning and assessment: a teacher’s guide. Alexandria:AssociationforSupervisionandCurriculumDevelopment.

Hoogenboom,J.,&Ribot,C.(1993).Praktijktoetsen: constructie en beoordeling van praktische opdrachten. Arnhem:Cito.

Johnson,B.(1996). The performance assessment handbook volume 1: Portfolios & socratic seminars. Princeton,NJ:EyeOnEducation.

Johnson,B.(1996).The performance assessment handbook volume 2: Performance & exhibitions. Princeton,NJ:EyeOnEducation.

Kane,M.T.(1992).Anargument-basedapproachtovalidity. Psychological Bulletin, 112,527-535.

Page 178: Toetsen op School

178 Cito | Toetsen op School < Inhoud Index >

Kane,M.T.(2004).Certificationtestingasanillustrationofargument-basedvalidation.Measurement 2,135-170.

Kane,M.T.(2006).Validation.InR.Brennan(Ed.),Educational Measurement 4th edition (pp.17-64).Westport,CT:AmericanCouncilonEducationandPraegerPublishers.

Krathwohl,D.R.,Bloom,B.S.,&Masia,B.B.(1964).Taxonomy of educational objectives: Handbook II: Affective domain.NewYork:DavidMcKayCo.

Kroft,M.vander,&Sinkeldam,R.(1998).Handleiding praktische opdrachten tweede fase havo/vwo.Arnhem:Cito.

Kuhlemeier,H.,&Erkens,T.(2009).Beoordelingsschalenincompetentiegerichteexaminering:Andereschalen,andereoordelen?Examens, 2,9-12.

Kuhlemeier,H.,&Kremers,E.(2013).De praktijk van de eerste en tweede correctie: samenvatting van onderzoek naar het functioneren van het SCE.Arnhem:Cito.Onlinevia:http://www.cito.nl/~/media/cito_nl/Files/Voortgezet%20onderwijs/centrale_examens/cito_praktijk_eerste_en_tweede_correctie.ashx

Mager,R.F.(1974).Leerdoelen formuleren. Hoe doe je dat?Groningen:Wolters-Noordhoff.

McDaniel,M.A.,Morgeson,F.P.,Finnegan,E.B.,CampionM.A.,&Braverman,E.P.(2001).Predictingjobperformanceusingsituationaljudgmenttests:aclarificationoftheliterature.Journal of Applied Psychology, 86,730-740.

Mehrens,W.A.(1988).Consequencesofassessment:whatistheevidence?Education Policy Analysis Archives, 13,6,1-39.Onlinevia:http://epaa.asu.edu/epaa/v6n13.html

Mertler,C.A.(2001).Designingscoringrubricsforyourclassroom.Practical Assessment, Research & Evaluation, 7,25.Onlinevia:http://PAREonline.net/getvn.asp?v=7&n=25

Messick,S.(1989).Validity.InR.Linn(Ed.),Educational measurement 3rd edition (pp.13-103).NewYork:AmericanCouncilonEducationandMacmillan.

Messick,S.(1996).Validityinperformanceassessments.InG.W.Phillips(ed.), Technical issues in large-scale performance assessments.WashingtonDC:NationalCenterforEducationStatistics.

Meuffels,B.(1993).Cijfersencijferschalen.Spiegel, 11,1,49-69.

Meuffels,B.(1994).De verguisde beoordelaar.Amsterdam:ThesisPublishers.

Millman,J.,&Greene,J.(1993).Thespecificationanddevelopmentoftestsofachievementandability.InR.L.Linn(Ed.),Educational measurement 3rd edition (pp.335-366).Phoenix,AZ: OryxPress.

MinisterievanOnderwijs,CultuurenWetenschap(1998). Kerndoelen basisvorming 1998-2003. DenHaag:MinisterievanOCW.

MinisterievanOnderwijs,CultuurenWetenschap(2006).Kerndoelen primair onderwijs. DenHaag:MinisterievanOCW.

Page 179: Toetsen op School

179 Geraadpleegde literatuur < Inhoud Index >

MinisterievanOnderwijs,CultuurenWetenschap(2011).Regeling standaarden examenkwaliteit mbo 2012.Onlinevia:http://wetten.overheid.nl/BWBR0030427/

Mislevy,R.J.,&Haertel,G.(2006).Implicationsofevidence-centereddesignforeducationaltesting.Educational Measurement: Issues and Practice, 25(4),6-20.

Mislevy,R.J.(2007).Validitybydesign.Educational Researcher, 36(8),463-469.

Moelands,H.(2002).Toetsconstructieproces in acht stappen.Onlinevia:http://toetswijzer.kennisnet.nl/html/toetsconstructie/home.htm

Moskal,B.(2000).Scoringrubrics:What,whenandhow?Practical Assessment, Research & Evaluation, 7,3.Onlinevia:http://pareonline.net/getvn.asp?v=7&n=3

Moskal,B.(2003).Recommendationsfordevelopingclassroomperformanceassessmentsandscoringrubrics. Practical Assessment, Research & Evaluation, 8,4.Onlinevia:http://pareonline.net/getvn.asp?v=8&n=14

Moskal,B.,&Leydens,J.(2000).Scoringrubricdevelopment:Validityandreliability. Practical Assessment, Research & Evaluation, 7,10.Onlinevia:http://pareonline.net/getvn.asp?v=7&n=10

Onderbouw-VO(2006).Karakteristieken en kerndoelen voor de onderbouw.Zwolle: Onderbouw-VO.

Palm,O.(2008).Performanceassessmentandauthenticassessment:Aconceptualanalysis oftheliterature.Practical Assessment, Research & Evaluation, 13,4.Onlinevia:http://pareonline.net/pdf/v13n4.pdf

Nitko,A.J.,&Brookhart,S.M.(2007).Educational Assessment of Students(5th Edition).UpperSaddleRiver,NJ:PrenticeHall.

Popham,W.(1997).What’swrong–andwhat’sright–withrubrics.Educational Leadership, 55,2.

Popham,W.J.(2007).Classroom assessment: What teachers need to know (5th edition). NeedhamHeights,MA:Allyn&Bacon.

Porter,A.C.,&Smithson,J.L.(2002).Alignment of Assessments, Standards and Instruction. Using Curriculum Indicator Data.PaperpresentedattheannualmeetingoftheNCME.

Rijn,P.van,Béguin,A.,&Verstralen,H.(2009).Slagenofzakken?Denauwkeurigheidvanexamenuitslageninhetvoortgezetonderwijs.Pedagogische Studiën, 3,185-195.

Roelofs,E.C.,&Sanders,P.F.(2007).Towardsaframeworkforassessingteachercompetence.European Journal for Vocational Training, 40(1),123-139.

Roelofs,E.C.,&Sanders,P.F.(2003).Beoordelingvandocentcompetenties.InM.Mulder, R.Wesselink,H.Biemans,H.Nieuwenhuis,&R.Poell(eds),Bevoegd, maar ook bekwaam? (pp.277-299).Groningen:Wolters-Noordhoff.

Page 180: Toetsen op School

180 Cito | Toetsen op School < Inhoud Index >

Roelofs,E.C.,&Vissers,J.A.M.M.(2007).Toetsspecificaties theoretische deeltoetsen WRM-examen.Arnhem/Amersfoort:DHV/Cito.

Roelofs,E.C.,&Vissers,J.A.M.M.(2008).Brondocument WRM-examen: 4. Uitvoeren van lessen. Arnhem/Amersfoort:DHV/Cito.

Roelofs.E.C.,&Straetmans,G.J.J.M.(2006).Assessment in actie: Competentiebeoordeling in opleiding en beroep.Arnhem:Cito.

Schotten,J.G.M.,&Robroek,W.C.L.(1997).Verantwoord meten in het gezondheidszorgonderwijs: Handboek voor beoordeling van leerresultaten.Houten:BohnStafleuVanLoghum.

SLO(2007).Concretisering van de kerndoelen Nederlands.Enschede:SLO.

Stiggins,R.J.(1987).Designanddevelopmentofperformanceassessments.Educational Measurement: Issues and Practices, 6,33-41.

Stiggins,R.J.(1994).Student-centered classroom assessment. NewYork,NJ:MacmillanPublishingCompany.

Straetmans,G.J.J.M.,&Sanders,P.F.(2001).Beoordelen van competenties van docenten.(EPS-brochurereeksnr.5).Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/EPSbrochure5_Beoordelen.pdf

Taggart,G.L.,Phifer,S.J.,Nixon,J.A.,&Wood,M.(1998).Rubrics: A handbook for construction and use.Lancaster,PA:TechnomicPublishingCompany.

Tierney,R.,&Simon,M.(2004).What’sstillwrongwithrubrics:focusingontheconsistencyofperformancecriteriaacrossscalelevels.Practical Assessment, Research & Evaluation, 9,2. Onlinevia:http://PAREonline.net/getvn.asp?v=9&n=2

Vissers,J.A.M.M.,Nägele,R.C.,&Roelofs,E.C.(2006).Herziening WRM: Een model voorcompetentiegericht examineren.Amersfoort:DHV.

Wiggins,G.(1998).Educative assessment: Designing assessments to inform and improve student performance.SanFrancisco,CA:Jossey-BassPublishers.

Wiggins,G.,&McTighe,J.(2005).Understanding by design.Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.

Wools,S.,Eggen,T.J.H.M.,&Sanders,P.F.(2010).Evaluationofvalidityandvalidationbymeansoftheargument-basedapproach.CADMO, 8,63-82.

Wools,S.,Sanders,P.F.,Eggen,T.J.H.M.,Baartman,L.K.J.,&Roelofs,E.C.(2011).Evaluatievaneenbeoordelingssysteemvoordekwaliteitvancompetentie-assessments.PedagogischeStudiën, 1,23-40.

Zieky,M.J.,Perie.M.,&LivingstonS.A.(2008).Cutscores: A manual for setting standards ofperformance on educational and occupational tests.Princeton:EducationalTestingService.

Dewebsiteszijngeraadpleegdop11december2013.

Page 181: Toetsen op School

Index

Index

Page 182: Toetsen op School

182 Cito|ToetsenopSchool < Inhoud

IndexAabsolutebeoordeling63absolutenorm148,165absolutenormering146,148,157adaptieftoetsen80ADHD90afbeeldingbijeenvraag110,120,121,124affectievevaardigheden33,35afleidervaneenmeerkeuzevraag98–100, 105–108afnameconditie29,66,171,172alfa53,54,57,75algemenecompetenties32,33alternatiefvaneenmeerkeuzevraag 98–110,127,155,156analyseren34,35,72,112,129analytischebeoordeling29,135,138–140analytischebeoordelingsschaal138–140Angoff149,150,152anker135,141,142antwoordinstructie117antwoordmodel64,133,171antwoordrestrictie116,120antwoordsleutel98–100,104,133antwoordstrategie156antwoordtijd114aselectesteekproef147assessmentforlearning20assessmentoflearning18assessor64,164authenticiteitvaneentoetsoftaak27,42, 45,75,127,129,133,172authentiektoetsen75A-VISION92

Bbasiskwalificatie26,30begripsvaliditeit161,167–168beheersingsstandaard148beoordelaarsbetrouwbaarheid62–64beoordelaarseffect121–123beoordelaarsinstructie64beoordelaarsovereenstemming63,64,121beoordelingscriterium128,130,133–135, 138,142,168,171beoordelingsmiddel133,134beoordelingsportfolio127beoordelingsregel165,166beoordelingsschaal126,130,133,134–143

beoordelingsschema64,171beoordelingsvoorschrift129,171beroepspraktijk32,75,126,127,131,172beroepstaak39beslissingstabel60,61betoogvraag113betrouwbaarheid45,74,75,82,99,116, 121,122,134,135,137,155,156,161,164, 166–167,172,173betrouwbaarheidsbewijs74–75betrouwbaarheidscoëfficiënt50,53,54,56, 66,167betrouwbaarheidsinterval57–59betrouwbaarheidvantoetsscores50–67, 74–75,82,163,165,166,173BohnStafleuVanLoghum92Boomtestuitgevers89,92BPV(beroepspraktijkvorming)18BritishEducationIndex(BEI)94

CCAT(computergestuurdeadaptieve toets)80CBR(CentraalBureauRijvaardigheids- bewijzen)127CEFR(ERK)22,171centraalexamen19,59,61centraalexamencijfer19centraletendentie121certificerenvanleerlingen16,18–20,46, 153certificering19,64,164,165cesuur56,59,60,64,146–155,166,171, 173checklist123,133,134chronologischeleeftijd147cijfer19,22,55–67,121,130,139,140,146, 152–157,164cijferschaal141,152–155CitoIntelligentietest17Citotoets(EindtoetsBasisonderwijs)17,22, 70,71,73,76–79,87,164,168CitoVolgsysteemprimairenspeciaal onderwijs20,22,36,155CitoVolgsysteemvoortgezetonderwijs17, 18,21,23civieleffect18,19classificatiebeslissing17,163classificerenvanleerlingen16,17,153

Page 183: Toetsen op School

183 Index < Inhoud

cognitieveprocessen72cognitievevaardigheden33–38,112CollegevoorExamens(CvE)87,154colloquiumdoctum19,20combinatievraag100,103commissie-examen63CommissieTestaangelegenhedenNederland (COTAN)88,89,90,160–170,173–174compensatorischeuitslagregel61,62competence-basedtest126competenthandelen27,32,33,37competentiegerichttoetsen126competenties20,32,33,126,131,134,138complementaireuitslagregel61complexevaardigheden127,129,132,140complexiteitsbewijs72complexiteitvantaken34,40,42,72,140, 171conceptuelekennis34confidenceinterval57conjunctieveuitslagregel61,62consequentieelbewijs76construct161,163contaminatie-effect122contrasterendegroepstandaardbepaling 150–152COOL23correctievoorraden155–156correctievoorschrift50,64,121,123,133correlatie73,157correlatiecoëfficiënt73,74COTAN-beoordelingssysteem160–170, 173–174criteriumgerichteinterpretatie164,166criteriumvaliditeit161,167,168Cronbach’salfa53,54,75cumulatievescoreverdeling146,147CvE-methode154

Ddecentraleselectie16decielschaal147descriptievebeoordelingsschaal141–142diagnostischetoets21,22,106DIALANG22dichotoomitem53,55didactischevisie28diplomacijfer19diplomering172directevraag104,105,107docentbekwaamheid86,87doelspecificatie131

doelvantoetsen16–24,161domeinbeschrijving24domeingerichteinterpretatie165,173doorstroomonderzoek79Drempelonderzoek(678Onderwijs Advisering)92dubbeleontkenningineenvraag108,110, 124

Eechoineenvraag105EducationResourcesInformationCenter (ERIC)93efficiëntievaneengeslotenvraag99einddoelen21,26,30–31eindtermen26,171,172EindtoetsBasisonderwijs(Citotoets)17,22, 70,71,73,76–79,87,164,168ERK(CEFR)22,171error52Europeestaalportfolio127evaluatie24,70,131,134,140evalueren33–36,112,129EVC(ErkenningvanVerworvenCompeten- ties)20examenangst51examenbesluit172examencommissie47,170–174exameneis30,172exameninstrumentarium170–172examenkwaliteit160–174examenlicentie160examinering86–87,170–174externcriterium73–74externestructuurbewijs73–74,79,82extrapoleerbaarheidsbewijs75

Ffeedback21,22,88,99,130,134,137,138, 140,153feedforward22,153feitenkennis34,112,128,131formatievetoets20,46,67,122functionelestelopdracht129,130

Ggebruikershandleiding163gebruiksdoelvaneentoetsoftest161gedragsdoel31gemiddelde(toets)score23,51,52,55–64, 147–151generiekebeoordelingsschaal135–138

Page 184: Toetsen op School

184 Cito|ToetsenopSchool < Inhoud

geobserveerdetoetsscore50–56geslotenvraag48,98–110,112,114,115gewogenloting16GoogleBooks94GoogleScholar94grensscore165,166

Hhalo-effect122handelingsdimensie33,34hands-offtoetsen42,43havo-toetsEngels200950–60,65,146–147, 153–154herkansing60,62,67herordeningsvraag100,102,103hogere-ordeprocessenofvaardigheden34, 40,46,47,112,127holistischebeoordeling29,135,138–140holistischebeoordelingsschaal138–140homogeniteittoets54hoogbegaafd147,148horn-effect122

Iidentificatievraag118indelingsschemamenselijkpresteren27, 33–38,47in-enaanvulvraag113informatiegedeeltevaneenvraag117inhoudsbewijs71–72,79,82inhoudsvaliditeit162,167InspectievanhetOnderwijs19,21,23,24, 153,160,170,173–174intelligentiequotiënt147intelligentietest17,147,164,168interactievevaardigheden35interbeoordelaarsovereenstemming121interneconsistentie54interne-consistentiemethode53internestructuurbewijs73interpretatievandetoets71,163,164,174interpretatievantoetsscores54,67,70–71, 73,77–83,161,167intrabeoordelaarsovereenstemming121intuïtievemethodestandaardbepaling149IQ147,148itembias120

Kkennisdimensie33,34kennishandeling34,72,73,82,109Kennisnet87,89

kerndoelen24,26,30,31kerndoelenbasisonderwijs24,30kerntaken170–173klassieketesttheorie50–56KoninklijkeBibliotheek(KB)94kort-antwoordvraag66,81,100,113,118kortetoets65KR2053kritischesituatie37kwalificatiedossier162,170,171,172kwalificatiestructuur171kwalificerendefunctie18,19,171kwaliteitvanhetonderwijs16,22–24,153kwaliteitvantoetsenenexamens42,65, 66,67,88,89,131,134,160–174kwartielschaal147

Llagereordeprocessenofvaardigheden34, 46,47lang-antwoordvraag66,113,114,118,119langetoets65leerlinggewicht22,23leerlingrapport77–79leerlingvolgsysteem20,46leeropbrengst23,24leerstofdomein71,72,77leervordering17,70,71,77,79leerwegondersteunendonderwijs18,87, 160lerarenopleiding24,54,80,87lineaireomzettingmetknik154lineaireomzettingscores153–154

Mmatchingvraag103meerkeuzevraag45,50,66,76,81,98,99, 126,127,148,155–157,162meetfout51–66,74Mensa147metacognitievekennis34metacognitievevaardigheden128,130mildheidbeoordelaar51,63,121,123,152MinisterievanOCW23,24,26misclassificatie50,59–62,65,75,150–152, 167modelantwoord115–117,123,163modelgedraging163multiplechoicevraag98

Page 185: Toetsen op School

185 Index < Inhoud

Nnauwkeurigheidmeting65,155,165NederlandsJeugdinstituut(NJi)90Nederlands-VlaamseAccreditatieorganisatie (NVAO)19negatieveformuleringvaneenvraag104normaalverdeeld56,60,147normaleverdeling56normatievebeoordelingsschaal141normen89,146,148,161,164–166normering146–152,157,166,170normeringsonderzoek146,164normeringsterm55,154normgerichteinterpretatie164normgroep146–148,165–166normschaal147,165normverschuiving121,122numerusfixus16

Oobjectiefscoringssysteem162objectievebeoordeling63,126,128,133, 134,137,163objectiviteitvaneengeslotenvraag109observatie-instrument87observatieschema134onderwijsbegeleidingsdienst91onderwijsleerproces16,20,127,132,153, 163Onderwijsraad18onderwijstype18,26,74onderzoeksvaardigheden127onterechtgeslaagd62onterechtgezakt62opdrachtspecifiekebeoordelingsschaal 135–138openvraag50,99,112–124,126,133,137, 162openvraag-ofprobleemstelling126,129, 137opgavenbank81opstelvraag114

PPabo-student75,76,80,81,82Pearson92peilingonderzoek23–24percentiel147percentielschaal147,165percentielscore77–78performancetest126PeriodiekPeilingonderzoek(PPON)23–24

PIRLS24PISA24plaatsenvanleerlingen16,18,46,153polytoomitem53,55poppetjesgrafiek78populatie52,55,166positieveformuleringvaneenvraag104, 107positievemeetfout51PPON23–24praktijkonderwijs17,87,160praktijksituatie32,33,140praktijktoets48,87,126–143praktischeopdracht19,87,162praktischhandelen126,128prestatieniveau134,135,140,141,142prestatiestandaard38,40,41,42,82,148probability57procedurelekennis34,131,138procesmatigprestatiemodel36productievevaardigheden35productschaal142,143professionelebasis37profielscore80ProgrammavanToetsingenAfsluiting(PTA) 19,46psychologischetest160psychomotorischevaardigheden33,35p-waarde55P’-waarde55

Rraadkans100,155–157reactievevaardigheden35referentieniveau24,171rekenen17–24,28,36,40,46,76–78, 80–82,171relatievebeoordeling63relatievenorm146,148,164relatievenormering146–148,157relevantievraag/testinhoud72,109,124, 161,162,167reliability53,57remediëring21,130,132,141reproductie35,40,99,118reproductievevaardigheden35rubriek(rubric)138,141,142

Ssamenwerkingleerlingen33,128,130, 132,133schaalanker163

Page 186: Toetsen op School

186 Cito|ToetsenopSchool < Inhoud

schaalpunt134,135,140–143schoolbegeleidingsinstituut24,91schoolexamen19,59,61,63schoolexamencijfer19,61schoolrapport22,23schooltoets88–92scoreschaal65,66scoringsregel156scoringsvoorschrift64,146selecterenvanleerlingen16,148,153sequentie-effect121,122signifischeffect122simulatie42sociaal-emotioneledomein23sociaal-etnischeachtergrond23SON-R51/2-17168–170Spearman-Brownformule65,66specificiteitvaneenvraag108spreidingvanscores52staatsexamen63stamvaneenmeerkeuzevraag98–110standaardafwijking52,55,56,58,147,148, 165standaardbepaling148–152,166,173standaarddeviatie52standaardenmboexamens160,162, 170–174standaardiseren162,163standaardmeetfout50,55,56–59,65,66, 75,164,165,167standaardscore17,77–79standaardtypemeerkeuzevraag100steekproef53,55,147stellingvraag101stelopdracht129–130StichtingExamenkamer19strengheidbeoordelaar51,121,123,152studietoets160summatievetoets18,19,20,30,46,106, 122synthetiseren112

Ttaaksituatie27,32–44taal17,18,20,22,39,40,46,73,76–78,171taalgebruikineentoets105,107–108,112, 115,120,124taxonomiemenselijkpresteren27,31, 33–38technischeverantwoording163terechtgeslaagd59–62terechtgezakt59–62

testconstructie161–162testinhoud161testleider162,163testmateriaal161,162–163testotheek91TIMSS24toepassen28,31,34–37,72,112,127,130toetsangst51toetsbareleerdoelen26,27,31–41,47toetsbetrouwbaarheid58,64,67,156toetsconstructeur26,33,38,79,107,115, 120,164toetsconstructie26–27,47,93toetsconstructieproces87toetsenvanhetleren18toetsenvoorhetleren20,67Toetsgids88,90,161,168toetsinhoud26–48,71,132,162,167toetsmatrijs46,47,72,77,79,82toetsopgave26,27,31,41,46toetsplan27,30,44–46,83toetsscore50–67,70–83,122,146–157, 161–168,173toetsspecificatie31,48,132–133toetsstimulus27,42,43toetstaak26,27,40,42–47toetsterm95toetsvorm26,27,44–48,130,131,162,171Toetswijzer86–88,90,93,168traditionelestelopdracht129,130traditioneletoetsvorm12truescore52try-outvaneentoets134tussendoelen21,26,30–31

Uuitslagregel61–62uitstroomeis170

Vvaardighedenschema27,31,33–38,47vakdidactiek28vakdomein27,36vakspecifiekindelingsschema36valideren70–71,76–83,167validiteitsbewijs71–76validiteitsonderzoek164validiteitvantoetsscores45,55,70–83,89, 156,161,162,167–168variantie52–54,66,156VerenigingHogescholen80vernieuwendetoetsvorm12

Page 187: Toetsen op School

187 Index < Inhoud

verstandelijkeleeftijd147visieopleren27–29visieoptoetsen29voorbeeldopgave24voortgangscontrole130,131,132,141, 165,167vraagformulering104–108,117–120,124, 163vraaggedeeltevaneenvraag117vraagmetmeerdantweeuitspraken 99,100–102,155vraagmettweeuitspraken100–101

Wwaar/onwaarvraag99,100,101,103warescore51–61,64,156websiteToetswijzer86–88,90,93,168weggevertje108wegingvanitemscores157werkproces133,170,171,173Wikipedia50,56,73,147Wikiwijsleermiddelenplein91WISCAT-pabo76,80–82WorldCat95

Zzak/slaagbeslissing60,62,131zak/slaaggrens81,82,122zelfevaluatie127,128,130,134,170zelfreflectie128,130zesjesleerling149,150

Page 188: Toetsen op School

CitoCorporate

CitoAmsterdamseweg13Postbus10346801MGArnhemT(026)3521111F(026)3521356www.cito.nl

Klantenservice T(026)[email protected]

Fotografie:RonSteemers

Toetsen op School Piet Sanders (redactie)