Toetsen op School

Cito | Corporate

Piet Sanders (redactie)

Toetsen op School

Toetsen op SchoolPiet Sanders (redactie)

Cito | Arnhem

Cito | Toetsen op School < Inhoud Index >

•ToetsenopSchooliseenuitgavevanCito•Coördinatiegegevensverzameling:PietSanders•Auteurs:PietSanders,ErikRoelofs,JacquelineVisser,SaskiaWools,ErnaMeijer,JoséNoijons,TomErkens,HansKuhlemeier,HuubVerstralen,BasHemker

•Assistentieproductie:PatriciaGillet•Opmaak:Serviceunit,MMS•Fotoomslag:RonSteemers

©StichtingCitoInstituutvoorToetsontwikkelingArnhem(2011)|Herzieneversie(2013)DepublicatieToetsenopSchoolmagmeteenbronvermeldinggebruiktwordenvooreducatievedoeleindenmitsStichtingCitoInstituutvoorToetsontwikkelinghiervanvoorafopdehoogteisgesteld.Ditkandoormedium,oplageendoelgroepviae-maildoortegevenaan toetswijzer@cito.nl.StichtingCitoInstituutvoorToetsontwikkelingArnhemheeftgetrachtallerechthebbendenteachterhalen.Indieniemandmeentalsrechthebbendeinaanmerkingtekomen,kanhijofzijzichtotCitowenden.

Voorwoord < Inhoud Index >

Voorwoord

Iedermensheeftzozijneigengevoelensbijtoetsen.Jehebterherinneringenaan.Hetexamenvormdeeenritueleafsluitingvaneenperiodeinjeleven.Jedenktterugaandespanningvooraf,maarookaandeontladingachteraf,alsjeeengoedescorekreeg.Sommigenzieneentoetsalseenkansomzichtebewijzen.Anderenvoelenweerstandtegenmanierenommensenmeetbaartemaken.Docentenkunnentoetsenzienalseennoodzakelijkkwaad,ofjuistalseenkansomhunonderwijsteverbeteren.

Watookallemaaldegevoelensmogenzijn,objectiefbeschouwdvormenschooltoetseneenessentieelenonmisbaaronderdeelvanhetonderwijssysteem.Hetleerproceskanalleendangoedensuccesvolwordeningerichtalsereendegelijkevaluatieprocesaanisgekoppeld.Datisnoodzakelijkomdevorderingenvanindividueleleerlingentevolgen–maarminstensevenbelangrijkomdedocent,deschoolendemethodeteevalueren.Toetsenzijnbovendiennodigomhetonderwijssysteemvaneenlandtepeilenentevergelijkenmetanderelanden.

Hetbedenkenenmakenvantoetsenwordtnogaleensonderschat.Erisveelkennisenvakmanschapvoornodigomgoedevragenenantwoordentemaken,omgoedetoetsensamentestellenénomzekertewetendattoetsenvoldoendevalideenbetrouwbaarzijn.Depersoondieeentoetshanteert,moetookzekerwetenhoedezegoedeneerlijkwordtgebruikt,zodatiedereleerlingdezelfdekansenheeft.Hetgaateruiteindelijkomdatgoedeeneerlijkebeslissingenwordengenomenoverdeleerlingen.

Kortom,eeniederdiebijhetschoolevaluatieprocesbetrokkenis,moetovereenminimalekennisenvaardigheidvantoetsenbeschikken.Tijdensdeopleidingwordtmeestalweinigaandachtbesteedaantoetsdeskundigheid,enweinigenzullenzichzelfdetijdgunnenomnaasthetwerkalsdocentdezekennisbijelkaartezoekenenzicheigentemaken.Enzelfsvoorwieovereendegelijketoetsdeskundigheidbeschikt,ishetbijhoudenenopfrissenervaneennuttigezaak.Wantwattoetsenbetreftbenje–zowetenwijbijCito–nooituitgeleerd.

Citoiseenzelfstandignot-for-profit-bedrijf.Financieelresultaatisvooronsgeendoelmaar eenmiddel.Eenmiddelomonzemissievangoedeneerlijktoetsentekunnenvoortzetten. Alleresultaatwordtopnieuwgeïnvesteerdinverbeteringeninnovatievanonzetoetsen,enindekennisdaarvan.Wijtrachtenzoveelmogelijkterugtegevenaanhetonderwijs:deexamens,deresultatenvanonderzoekenveeltoetsgegevenswordenopenbaargemaakt.EnmeteenboekalsToetsenopSchoolwillenwijgraageenbijdrageleverenaaneenbeteronderwijs.Gewoon,omdatwijdatbelangrijkvinden.Ikwensuveelaangenameennuttigemomententoebijhetlezenvanonsboek!

MartenRoorda

VoorzitterRaadvanBestuur

Cito|ToetsenopSchool < Inhoud Index >6

7 Inhoud Index >

Inhoud

Inleiding 11

1 Het doel van toetsen 15

1.1 Toetsenvoorhetbeoordelenvanleerlingen 161.1.1 Hetselecterenvanleerlingen 161.1.2 Hetclassificerenvanleerlingen 161.1.3 Hetplaatsenvanleerlingen 181.1.4 Hetcertificerenvanleerlingen 181.2 Toetsenvoorhetbeoordelenvanhetonderwijsleerproces 201.3 Toetsenvoorhetbeoordelenvangroepenleerlingenenscholen 221.4 Toetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijs 23

2 De inhoud van toetsen 25

2.1 Visieoplerenentoetsen 272.1.1 Visieopleren 272.1.2 Visieoptoetsenenbeoordelen 292.2 Eenprogrammavaneinddoelenentussendoelen 302.3 Uitwerkingtottoetsbareleerdoelen 312.3.1 Specificerenvantoetsinhouden:driebenaderingen 322.3.2 Indelingsschema’s 332.3.3 Toetsbareleerdoelenopstellen 382.4 Bepalenvantoetstaken 422.5 Opstellenvaneentoetsplan 442.6 Samenstellenvanafzonderlijketoetsen 46

3 De betrouwbaarheid van toetsscores 49

3.1 Betrouwbaarheidvantoetsscores 503.1.1 Schattingvandebetrouwbaarheidvantoetsscores 533.1.2 Interpretatievandebetrouwbaarheidvantoetsscores 543.1.3 Havo-toetsEngels2009 553.2 Standaardmeetfout 563.3 Misclassificatiesbijééntoets 593.4 Misclassificatiesbijmeerderetoetsen 613.5 Betrouwbaarheidvanbeoordelingendoorbeoordelaars 623.6 Hoewordentoetsscoresbetrouwbaarder? 653.7 Betrouwbaarheidvantoetsscoresendedagelijksetoetspraktijk 67

4 De validiteit van toetsscores 69

4.1 Watisvaliditeit? 704.1.1 Interpretatieengebruikvantoetsscores 704.2 Validiteitsbewijzen 714.2.1 Inhoudsbewijzen 71

8 Cito|ToetsenopSchool Index >

4.2.2 Complexiteitsbewijzen 724.2.3 Internestructuurbewijzen 734.2.4 Externestructuurbewijzen 734.2.5 Betrouwbaarheidsbewijzen 744.2.6 Extrapoleerbaarheidsbewijzen 754.2.7 Consequentiëlebewijzen 764.3 Validerenindepraktijk 764.3.1 EindtoetsBasisonderwijs 764.3.2 WISCAT-pabo–AdaptieveRekentoetsvoorPabo-studenten 804.4 Validiteitvantoetsscoresindedagelijksetoetspraktijk 82

5 Informatie over toetsen en examineren 85

5.1 Toetswijzer,gidsopinternetvoortoetsingenexaminering 865.2 Informatieoverschooltoetsen 885.3 Literatuurovertoetsing 93

6 Het construeren van gesloten vragen 97

6.1 Watiseengeslotenvraag? 986.2 Voordelenennadelenvangeslotenvragen 996.3 Soortengeslotenvragen 1006.4 Deconstructievangeslotenvragen 1046.5 Taalgebruik 1076.6 Eisenvoorgeslotenvragen 108

7 Het construeren van open vragen 111

7.1 Soortenopenvragen 1127.2 Voordelenvanopenvragen 1147.3 Nadelenvanopenvragen 1157.4 Constructieregelsvooropenvragen 1157.5 Verschillenbijdebeoordelingvanopenvragen 1217.5.1 Verschillentussenbeoordelaars 1217.5.2 Oplossingenvoorbeoordelaarseffecten 1227.5.3 Correctievoorschrift 1237.6 Checklist 123

8 Het construeren van praktijktoetsen 125

8.1 Watiseenpraktijktoets? 1268.1.1 Kenmerkenvaneenpraktijktoets 1268.1.2 Voorbeeldvaneenpraktijktoets 1298.1.3 Wanneereenpraktijktoets? 1308.2 Hetontwikkelenvaneenpraktijktoets 1318.2.1 Watiseengoedepraktijktoets? 1318.2.2 Hoeontwikkeljeeenpraktijktoets? 1318.3 Hetontwikkelenvaneenbeoordelingsschaal 1348.3.1 Watiseenbeoordelingsschaal? 1348.3.2 Hetontwikkelenvaneenbeoordelingsschaal 135

9 Inhoud Index >

9 Het beoordelen van toetsscores 145

9.1 Relatiefnormeren 1469.2 Absoluutnormeren 1489.2.1 Intuïtievemethode 1499.2.2 MethodevanAngoff 1499.2.3 Methodevancontrasterendegroepen 1509.3 Vantoetsscoresnaarcijfers 1529.3.1 Betekenisengebruikvancijfers 1529.3.2 Lineaireomzettingvantoetsscoresincijfers 1539.3.3 Lineaireomzettingmetknikvantoetsscoresincijfers 1549.3.4 Deomzettingvantoetsscoresincijfersbijdecentraleexamensvoortgezetonderwijs 1549.3.5 Hetaantalcijfers 1549.4 Hetscorenvanmeerkeuzevragen 1559.4.1 Correctievoorraden 1559.4.2 Hetwegenvandeitemscores 157

10 De kwaliteit van toetsen en examens 159

10.1 COTANBeoordelingssysteemvoordekwaliteitvantests 16010.1.1 VoorbeeldvaneenCOTAN-beoordeling 16810.2 Regelingstandaardenexamenkwaliteitmbo2012 17010.2.1 Beoordelingvandeexamenkwaliteit 17210.3 Beoordelingssystemenendetoetspraktijk 173

Geraadpleegde literatuur 175

Index 181

10 Cito | Toetsen op School Index >

Inleiding

12 Cito | Toetsen op School < Inhoud Index >

Inleiding

Waar gaat Toetsen op School over?ToetsenopSchoolgaatoverdeontwikkeling,hetgebruikendekwaliteitvantoetsen.InToetsenopSchoolwordentoetsenbeschouwdalsinstrumentendiegebruiktwordenomdeprestatiesvanleerlingen,docenten,scholenenonderwijssystementebeoordelenenopbasisdaarvanbeslissingentenemen.

Toetsenzijnerinvelegedaantenoftoetsvormendiewelonderscheidenwordenintraditioneleenvernieuwendetoetsvormen.Voorbeeldenvantraditioneletoetsvormenzijn:mondelingeoverhoringen;schriftelijkeproefwerken,toetsenofexamensmetmeerkeuzevragenen/ofopenvragen;stage-enscriptiebeoordeling.Voorbeeldenvanvernieuwendetoetsvormenzijn:praktijktoetsenzoalsproevenvanbekwaamheidensimulaties;portfolio;360gradenfeedback;zelfbeoordeling(self-assessment),beoordelingdoormedestudenten(peer-assessment)enbeoordelingdoorstudentendocentsamen(co-assessment).Vernieuwendetoetsvormengaanveelalgepaardmetvernieuwendeonderwijsvormendiehetresultaatzijnvaneenbepaaldevisieoplerenendoceren.ToetsenopSchoolbevatgeenuitputtendebesprekingvantraditioneleenvernieuwendetoetsvormenmaarrichtzichopdetoetsvormendiehetmeestgebruiktwordeninhetprimaironderwijs,voortgezetonderwijsenmiddelbaarberoepsonderwijs.

Voor wie is dit boek?ToetsenopSchoolisindeeersteplaatsbedoeldvoorstudentenvanlerarenopleidingenenisinsamenspraakmetopleidersvanlerarenopleidingenontwikkeld.Daarnaastkunnenookdocentendieindepraktijkwerkzaamzijnerhunvoordeelmeedoen.Aangezientoekomstigedocentenopgeleidwordenvoorverschillendeonderwijssectorenofdaarwerkzaaminzullenzijn,zijneralsaanvullingopToetsenopSchoolpublicatiesbeschikbaarvoorrespectievelijkhetprimaironderwijs,voortgezetonderwijs,middelbaarberoepsonderwijsenhogeronderwijs.

Waarom dit boek?Uitonderzoekblijktdateendocenteenvierdetoteenderdevandebeschikbarelestijdbesteedtaanactiviteitenzoals:hetstellenvanvragenaanleerlingen;opdrachtengeven,beoordelenenbespreken;hetafnemenenbeoordelenvanmondelingeenschriftelijketoetsen.Dezeactiviteiten,dieweinditboekmetdeterm‘toetsen’aanduiden,blijkeninopleidingenvanonderwijsgevendenrelatiefweinigaandachttekrijgen.Diegeringeaandachtstaatinschrilcontrastmetdebelangrijkeinvloeddietoetsenopleerlingenhebben.Beslissingendieopbasisvantoetsengenomenworden,bepalennaarwatvoorschoolleerlingenkunnen,hoelanghunopleidingduurtenwatvoorberoepzijlaterkunnenuitoefenen.Deresultatendieoptoetsenbehaaldworden,hebbenechternietalleenconsequentiesvoorleerlingenmaarookvoordocenten,scholenenhetonderwijs.Toetsenwordensteedsmeergebruiktomdeprestatiesvandocenten,scholenenonderwijssystementebeoordelen.

HetdoelvanToetsenopSchooliseenbijdrageteleverenaanhetvergrotenvandedeskundigheidvandocentenophetgebiedvantoetsen.

13 Inleiding < Inhoud Index >

Wat moeten docenten weten en kunnen op het gebied van toetsen?Weomschrijvenhierondervijfaspectenvandedeskundigheidvandocentenophetgebiedvantoetsen,metverwijzingnaardebetreffendehoofdstukkeninToetsenopSchool.

1 Docenten moeten weten dat toetsen verschillende doelen hebben Debelangrijkstebeslissingbijhetkiezenofontwikkelenvaneentoetsishetbepalenvanhet

doelvandetoets.Afhankelijkvanhetdoelvandetoetszalnamelijkeenanderetoetsgeselecteerdofontwikkeldmoetenworden.Inhoofdstuk1wordenopbasisvanhetdoelvandetoetsviersoortentoetsenonderscheidendierespectievelijkhetbeoordelenvanleerlingen,hetonderwijsleerproces,groepenleerlingenen/ofscholenendekwaliteitvanhetonderwijstotdoelhebben.

2 Docenten moeten toetsen kunnen ontwikkelen Naastdetoetsendiescholenverplichtzijnomaftenemen,zoalsexamens,zullenscholen

ookzelftoetsenontwikkelenengebruiken.Dehoofdstukken2,6,7en8gaanoverhetontwikkelenvantoetsen.Hetgebruikvandetoetsmatrijsbijdeontwikkelingvantoetsenwordtinhoofdstuk2gepresenteerd,terwijldehoofdstukken6,7en8hetconstruerenvangeslotenvragen,openvragenenpraktijktoetsenbehandelen.

3 Docenten moeten weten waar ze informatie over toetsen kunnen vinden Doorhetinternetiszeerveelinformatieovertoetsenontslotenenbeschikbaargekomen.

Inhoofdstuk5wordteengroteverscheidenheidaaninformatiebronnenbesprokendiegeraadpleegdkunnenwordenommeertewetentekomenoverzakenzoalswaarmentoetsenkanvindenenaanschaffen,dekwaliteitvandietoetsenenhetconstruerenvantoetsen.

4 Docenten moeten toetsresultaten kunnen beoordelen en interpreteren Hetgevenvancijfersisdemeestvoorkomendemanieromresultatenofscoresoptoetsente

beoordelen.Inhoofdstuk9wordennaasthetgevenvancijfersookanderemanierenvanhetbeoordelenvantoetsresultatenbehandeld.Ookwordtingegaanophoe,afhankelijkvandemaniervanbeoordelen,detoetsresultatengeïnterpreteerdmoetenworden.

5 Docenten moeten de kwaliteit van toetsen en examens kunnen beoordelen Omtoetsenverantwoordtekunnengebruiken,dienendezeaanbepaaldeeisentevoldoen.

Indehoofdstukken3en4wordtingegaanopdetweebelangrijksteeisenwaaraantoetsenmoetenvoldoen:betrouwbaarheidenvaliditeit.Betrouwbaarheidgaatoverhetvertrouwenindescoresbehaaldopeentoets.Validiteitgaatoverdebetekenisenhetgebruikvandescoresopeentoets.Daarnaastmoetentoetsenenexamensnogaanandereeisendanbetrouwbaarheidenvaliditeitvoldoen.Inhoofdstuk10wordendezeeisenaandehandvantweebeoordelingssystemenvoordebeoordelingvantoetsenenexamensgepresenteerd.

Toetsen op School op internetDezepublicatieeneentoetsspecialmetaanvullendeinformatiebijdepublicatiesvanToetsenopSchoolzijnonlinebeschikbaar.Gavoormeerinformatienaarwww.toetsenopschool.nl.

et doel van toetsen

1 Het doel van toetsen

1 Hetdoelvantoetsen Piet Sanders

Indithoofdstukbesprekenwetoetsendievoorvierverschillendedoelengebruiktworden. Webeginnendebesprekingmettoetsendietotdoelhebbenleerlingentebeoordelen,datwilzeggenleerlingenteselecteren,classificeren,plaatsenencertificeren.Daarnabesprekenwetoetsendietotdoelhebbenhetverloopvanhetonderwijsleerprocestebeoordelen.Toetsendietotdoelhebbendeonderwijsprestatiesvangroepenleerlingenenscholentebeoordelen,wordendaarnabesproken.Tenslottebesprekenwetoetsendietotdoelhebbendekwaliteitvanhetonderwijs,bijvoorbeelddekwaliteitvanhetbasisonderwijsofhetvoortgezetonderwijs,tebeoordelen.

1.1 Toetsen voor het beoordelen van leerlingen

Toetsendietotdoelhebbenleerlingentebeoordelen,kunnenonderscheidenwordenintoetsenwaarmeeweleerlingenkunnen:• selecteren• classificeren• plaatsen• certificeren Hiernazullenweelkecategorietoetsenmeteenofmeervoorbeeldentoelichten.

1.1.1 Het selecteren van leerlingenWesprekenvanselectiealsnietalleleerlingendiezichvooreenopleidingofonderwijs-programmaaanmeldenookwordentoegelaten.

Hetvoorbeeldvoorhetselecterenvanleerlingenontlenenweaandetoelatingvanstudententothethogeronderwijs.InNederlandgeldtdat,afhankelijkvanhetvakkenpakketofprofiel,eenhavoofvwo-diplomarechtgeeftoptoelatingtotdemeesteopleidingenofstudierichtingeninhethogeronderwijs.Bijdemeesteopleidingenofstudierichtingeniserdusgeensprakevanselectie.Datrechtopautomatischetoelatinggeldtechternietvoorstudierichtingenmeteennumerusfixus(Latijn:vastgesteldaantal)zoalsGeneeskunde.BijdezestudierichtingeniserwelsprakevanselectiewatinhetgevalvandeopleidingGeneeskundevaneenbepaaldeuniversiteitbetekentdatstudentendieeengemiddeldvwo-eindexamencijfervanachtofhogerhebbenautomatischtoegelatenworden,eenaantalstudentenopbasisvaneentoelatings-procedurevandeuniversiteit,dezogenaamdedecentraleselectie,toegelatenwordenendatderesterendeopleidingsplaatsenviaeencentralegewogenlotingtoegewezenworden.Eenredenvoorhetselecterenvanstudentendoormiddelvaneennumerusfixusisdateronvoldoendedocentenen/ofopleidingsfaciliteitenzijnomallestudentenaantenemendiedeopleidingwillenvolgen.Eenandereredenkanzijndatmenverwachtdateronvoldoendewerkisvoorafgestudeerden.

1.1.2 Het classificeren van leerlingenWesprekenvanclassificerenalsleerlingenafhankelijkvanderesultatenopeentoetsverschillendeonderwijsprogramma’svolgendietotverschillendediploma’sofcertificatenleiden.

17 Het doel van toetsen < Inhoud Index >

VoorkindereninNederlandvindtdeeerstebelangrijkeclassificatiebeslissingplaatsaanheteindvanhetbasisonderwijs.Nadebasisschoolgaanalleleerlingennaarhetvoortgezetonderwijsdatvieropleidingenkent,hetpraktijkonderwijs,hetvmbo(lwoo,basisberoeps-gerichteleerweg,kaderberoepsgerichteleerweg,gemengdeleerweg,theoretischeleerweg), dehavoenhetvwo(atheneum,gymnasium).Wanneereenkindaangemeldwordtbijeenschoolvoorvoortgezetonderwijs,dandientdatvolgensdewetgepaardtegaanmeteenadviesoverhettevolgentypeonderwijs.Eendergelijkadvieskomttotstandopbasisvan:• dewensenenideeënvandeoudersenhetkind;• deinschattingvandebasisschool;• hetresultaatopeenonafhankelijketestoftoets.

Hetspreektvanzelfdatdewensenenideeënvandeoudersenhetkindeenbelangrijkerolspelenbijdekeuzevanhetvervolgonderwijs.Hetgaatimmersomeenkeuzediebeslissendkanzijnvoordetoekomstvanhetkind.Deouderskunneninformatiegevenoverhuninschattingvandecapaciteitenvanhetkindenhetkindzelfkanaangevenhoegemotiveerdhetisvooreenbepaaldekeuze.Deinschattingvandebasisschoolzalvooreengrootgedeeltegebaseerdzijnopderesultatenbehaaldoplandelijketoetsenvoorverschillendeschoolvakkendiebijverschillendetoetsleveranciersbeschikbaarzijn(ziehoofdstuk5),toetsendiebijhetlesmateriaalhoren,toetsendiedeschoolzelfontwikkeldheeftenopobservatiesvandeleerling.

Deonafhankelijketoetsdieopheteindvanhetbasisonderwijshetmeestgebruiktwordtvoorhet classificerenvanleerlingen,isdeEindtoetsBasisonderwijs,ookwelbekendalsdeCitotoets,ziewww.citotoets.nl.HetdoelvandeEindtoetsBasisonderwijsishetgevenvanonafhankelijkeinformatieaandeleerling,deoudersennatuurlijkdeleerkrachtbijhetkiezenvanhetbestpassendetypeonderwijsvoordeleerling.DeEindtoetsBasisonderwijswaarvanjaarlijkseennieuweversieverschijnt,bestaatuittwaalftaken.DetakenbevattenopgavenophetgebiedvanTaal(100opgaven),Rekenen-Wiskunde(60opgaven),Studievaardigheden(40opgaven)enWereldoriëntatie(90opgaven).Taal,Rekenen-WiskundeenStudievaardighedenzijnverplichteonderdelenterwijlWereldoriëntatieeenfacultatiefonderdeelis.OpbasisvanhettotaalaantalgoedopdeonderdelenTaal,Rekenen-WiskundeenStudievaardighedenwordteenstandaard-scoreberekend.Delaagstestandaardscorediebehaaldkanwordenis501endehoogstmogelijkestandaardscoreis550.Dedooreenleerlingbehaaldestandaardscorevormtdebasisvoorhetadviesvoorhetbestpassendetypevoortgezetonderwijs.

HoeweldemeestekinderenopdeEindtoetsconformhuncapaciteitenpresteren,komterbijsommigeleerlingenminderuitdanerinzit,bijvoorbeelddooreengebrekaanmotivatieomteleren.Omnategaanofereenverschilistussencapaciteitenenleervorderingen–tussen kennenenkunnen–kandeCitoIntelligentietestafgenomenworden,ziewww.citotoets.nl > Intelligentietest.Dezetestdoetvooraleenberoepopverbalevermogens,redeneervermogenenruimtelijkinzicht.Hoewelookintelligentietestsalsonafhankelijketestgebruiktkunnenworden,kandeCitoIntelligentietestalleenincombinatiemetdeEindtoetsBasisonderwijsafgenomenworden.IndiendescoreopdeCitoIntelligentietestendestandaardscoreopdeEindtoetsovereenstemmen,kanhetschooladviesgevolgdwordendatopbasisvandestandaardscoreopdeEindtoetsgegevenis.Indienzenietovereenstemmen,kanhetnodigzijnomnaderonderzoektedoenomtoteengoedadviestekomeneneenpedagoogofpsycholoogteraadplegen.

Indeonderbouwvanhetvoortgezetonderwijsisersprakevanhetclassificerenvanleerlingenalsdeleerlingenmoetenkiezenvooreenleerweginhetvmbo,dehavoofhetvwo.EentoetsdieondersteuningbiedtbijdiekeuzeishetCitoVolgsysteemvoortgezetonderwijs,ziewww.cito.nl >Voortgezetonderwijs>CitoVolgsysteem.HetCitoVolgsysteemisgerichtopleerlingenindeeerstedrieleerjarenvanhetvoortgezetonderwijs.Omaantesluitenbijdevaardigheidvande

leerlingenendusrechttedoenaanhetniveauverschiltussendeleerlingenzijnervoorelkafnamemoment(tweeafnamemomenteninheteerstejaar,éénafnamemomentinhettweedejaareneenafnamemomentinhetderdejaar)drietoetsversiesbeschikbaar.Eéntoetsversievoorvmbo-leerlingenophetniveaubasisberoepsgerichteleerwegenleerwegondersteunendonderwijs,éénvoordeoverigevmbo-niveaus:kaderberoepsgerichtengemengdeentheoretischeleerwegenéénvoorhavo/vwo-niveau.MetdetoetsenvanhetCitoVolgsysteemkanhetniveauvanleerlingenopdezogenaamdekernvaardighedenbepaaldwordenengedurendemeerdereleerjarengevolgdworden.Dekernvaardighedenzijn:leesvaardigheidenwoordenschatNederlands,taalverzorging,leesvaardigheidenwoordenschatEngels,enrekenen-wiskunde.Devergelijkingvanprestatiesopmeerdere,opeenvolgendemeetmomentengeeftinzichtindegroei,stilstandofachteruitgangvandevaardighedenvanleerlingen.Dedoorleerlingenbehaalderesultatenopdetoetsenkunnengebruiktwordenvoorhetbepalenvandeleerwegofhetonderwijstypedathetbestebijdeleerlingenpast.DaartoeleverendeVolgsysteem-rapportagesinformatiewaarmeedeprestatiesvanleerlingenvergelekenkunnenwordenmetdievanleerlingenvanhetzelfdeonderwijstype,maarookmetdievanleerlingendieineenhogeroflageronderwijstypegeplaatstzijn.Omtoteenmeerverantwoordekeuzevoorhetvervolgonderwijstekomen,kunnenderesultatenbehaaldopdetoetsenvanhetCito Volgsysteemvoortgezetonderwijshetbestegecombineerdwordenmetgegevenszoalseenbeoordelingvandestudiehouding,dewensenvanoudersenoptoetsengebaseerderapportcijfers.

1.1.3 Het plaatsen van leerlingenWesprekenvanhetplaatsenvanleerlingenalsleerlingenafhankelijkvanderesultatenopeentoetsverschillendeonderwijsprogramma’svolgenmaardatdieverschillendeprogramma’sweltothetzelfdediplomaofcertificaatleiden.

Eenvoorbeeldvanhetplaatsenvanleerlingenzijndetweeleerwegeninhetmiddelbaarberoepsonderwijs:deberoepsopleidendeleerweg(BOL)endeberoepsbegeleidendeleerweg(BBL).MetBOLziteenstudentvijfdagenindeweekopschoolendoetpraktijkervaringopmetstages.BijeenBOL-opleidingbestaatminimaal20%enmaximaal60%uitberoepspraktijk-vorming.StudentendieeenBBL-opleidingvolgen,werkenmeteenarbeidsovereenkomstineenleerbedrijfengaanmeestalééndagindeweeknaarschoolvoordetheoretischeonderbouwing.EenBBL-opleidingbestaatvoorminimaal60%uitberoepspraktijkvorming.InhetgevalvandekeuzetussendeBOLendeBBLishetniethetresultaatopeenspecifieketoetsmaarishetdezelfbeoordelingvandestudentdiedekeuzebepaalt.Bijdiezelfbeoordelingkunnenresultatenopeerderafgelegdetoetsenzoalsbijvoorbeeldeenberoepskeuzetestmogelijkeenrolspelen.InhetalgemeenzullenstudentendiemeerinteressevoortheoretischevakkenhebbenennognietineenregulierewerksituatiewillenmeedraaienvoorBOLkiezen.DaarentegenzullenstudentendiemeerpraktijkgerichtzijneneenwerkplekineenbedrijfambiërenvoorBBLkiezen.

1.1.4 Het certificeren van leerlingenWesprekenvanhetcertificerenvanleerlingenalsafhankelijkvanderesultatenopeentoetsbeslistwordtofleerlingeneenonderwijsprogrammaalofnietmetsuccesafgeslotenhebben.

Toetsendieeen(deelvaneen)onderwijsprogrammaafsluiten,wordenookwelsummatievetoetsenof‘toetsenvanhetleren’(Engels:assessmentoflearning)genoemd.Debekendsteafsluitendetoetsenzijnexamens.DeOnderwijsraad,www.onderwijsraad.nl,gebruiktdetermexamensvoorelkevormvanafsluitendeoftussentijdsevormvantoetsingvoorhetvaststellenvanleerresultatenmetenigcivieleffect.Vandevelefunctiesdieaanexamenstoegedichtworden,beschouwtdeOnderwijsraaddekwalificerendefunctievanexamensalsdebelangrijkstefunctievanexamens.Bijdekwalificerendefunctiegaathetmetnameomhet

vaststellenvanheteindniveauvaneenstudentaanheteindvaneenschoolperiode.Aandiekwalificerendefunctieontlenenexamenshuncivieleffect,datwilzeggendatdeexamenserkendwordendoordemaatschappij,dearbeidsmarkt,devervolgopleidingenofdeoverheidendataanhetslagenvoorexamensrechtenontleendkunnenworden.Zoalshetbehalenvanhetrijbewijshetrechtgeeftomeenautotebesturen,zogeefthetbehalenvanhetvwo-diplomahetrechtomeenuniversitaireopleidingtevolgen.

Deexamensinhetvoortgezetonderwijszijndeexamensdiebijiedereenbekendzijn.Voordezeexamenszijnerlandelijkeexamenprogramma’sdieeisenstellenaandeinhoudenbeoordeling,ziewww.examenblad.nl.Demeestevakkenbestaanuiteencentraalexameneneenschool-examen.Inhetcentraalexamenvaneenbepaaldvakmoetenalleexamenkandidatendezelfdevragenbeantwoordenofopdrachtenuitvoerendiedoordeeigendocentvandekandidateneneendocentvaneenandereschoolbeoordeeldworden.Debeoordelingvanhetcentraalexamenresulteertineencentraalexamencijferwaarbijhetlaagstecijfergelijkisaan1,0enhethoogstecijfergelijkisaan10,0.Voorhetschoolexamenvaneenbepaaldvakstaatinhetexamen-programmaaangegevenwelkeonderwerpengetoetstmoetenwordenenwelkeonderwerpengetoetstmogenworden.IneendooreenschooloptestellenProgrammavanToetsingenAfsluiting(PTA)beschrijfteenschooldeinhoudvanhetschoolexamen.HetPTAheeftnietalleenalsfunctieomallebetrokkenenbijhetschoolexamenteinformerenoverdeinhoudenderegelsvoordetoetsingvanhetschoolexamenmaarhetisookeenverantwoordingvandeschoolaandeInspectie.Hetschoolexamenbestaatmeestaluitschriftelijkeen/ofmondelingetoetsen,praktischeopdrachten,handelingsdelen(verplichteopdrachten)enprofiel/sectorwerkstukken.Deverschillendeonderdelenvanhetschoolexamenwordendoordeeigendocent(en)beoordeeldenopbasisvandiebeoordelingenwordthetschoolexamencijferbepaald.Decijfersbehaaldophetcentraalexamenenhetschoolexamenbepalenhetdiplomacijfer.Voorvakkendienietmeteencentraalexamenwordenafgesloten,geldtdathetcijferophetschoolexamenookhetdiplomacijferis.

Hetvoorbeeldvandeexamensvoortgezetonderwijslaatziendatwehiertemakenhebbenmettweesummatievetoetsen,namelijkhetcentraalexamenenhetschoolexamen.Hetverschiltussendetweetoetsenisdathetcentraalexamenineenkorteperiodewordtafgenomenenvooralleleerlingengelijkis.Daarentegenwordthetschoolexamenopgebouwdindehelebovenbouwendeschoolbepaaltgrotendeelszelfdeinhoudvanhetschoolexamen.Ditbetekentdatschoolexamensvanverschillendescholennietidentiekzullenzijnendatdaardoorookdebetekenisvandeschoolexamencijferskanverschillen.

Watbetreftdeverantwoordelijkheidvoorexamensbestaanergroteverschillentussendeverschillendeonderwijssectoren.InhetvoortgezetonderwijsisdeschoolverantwoordelijkvoorhetschoolexamenterwijlvoorhetcentraalexamendeministervanOnderwijs,CultuurenWetenschapverantwoordelijkis.Inhetmiddelbaarberoepsonderwijsenhethogeronderwijszijndeonderwijsinstellingenzelfverantwoordelijkvoordeexamens.ExterntoezichtopdeexamensinhetvoortgezetonderwijsenmiddelbaarberoepsonderwijsvindtplaatsdoordeInspectievanhetOnderwijs,www.onderwijsinspectie.nl,eninhethogeronderwijsdoordeNederlands-VlaamseAccreditatieorganisatie,www.nvao.net.DaarnaastwordtookdoordeStichtingExamenkamer,www.examenkamer.nl,toezichtopexamensuitgeoefend.

Hoeweleenhavoofvwo-diplomahetrechtgeeftomhogeronderwijstevolgen,iseendergelijkdiplomanietpersenodigomtoegelatentewordentothethogeronderwijs.Toelatingkannamelijkookverkregenwordenviacertificeringopbasisvaneencolloquiumdoctum(Latijn:geleerdesamenspraak)wat,afhankelijkvandestudiediemenwilvolgen,uiteenmondelingen/ofschriftelijkonderzoeknaardegeschiktheidvandetoekomstigestudentbestaat.Hoewelhetcolloquiumdoctumeenhavo-ofvwo-examenvervangt,ishetalleengeldigvooréén

specifiekestudieaandieuniversiteitwaarhettoelatingsonderzoekheeftplaatsgevonden.Bovendienmoetmenmeestalminstens21jaaroudzijnomzichviaeencolloquiumdoctumtekunnencertificeren.DelaatstejarenishetookmogelijkdatmensenzichkunnenlatencertificerenviaeenEVC-procedure,www.lerenenwerken.nl>Ervaringscertificaat.EVCstaatvoorErkenningvanVerworvenCompetenties.ViaeenEVC-procedurekunnenmensenkennisenervaringofficieellatenerkennenenvastlatenleggenineenervaringscertificaat.

1.2 Toetsen voor het beoordelen van het onderwijsleerproces

Indevorigepararaafhebbenwevoorbeeldenvansummatievetoetsenuitverschillendeonderwijssectorenbesproken.Indezeparagraafgaathetovertoetsenvoorhetbeoordelenvanhetonderwijsleerproces.Dezetoetsenhebbentotdoeldedocentteinformerenoverhetverloopvanhetleerprocesbijdeleerlingenenopbasisvandieinformatiehetonderwijsaanindividueleofgroepenleerlingeneventueelaantepassen.Dezetoetsenwordenookwelaangeduidalsformatievetoetsenof‘toetsenvoorhetleren’(Engels:assessmentforlearning).Voorbeeldenenkenmerkenvandezetoetsenbesprekenwehierna.

Toetsenvoorhetbeoordelenvanhetonderwijsleerprocesmakenveelalonderdeeluitvaneenleerlingvolgsysteem.Inhetbasisonderwijsishetmeestgebruikteleerlingvolgsysteemhet CitoVolgsysteemprimaironderwijsdattoetsenvoordegroepen1totenmet8bevat,zie www.cito.nl>Primairenspeciaalonderwijs>CitoVolgsysteemprimairenspeciaalonderwijs.Detoetsenwordenmeestaltweekeerperschooljaarafgenomenengevendusinformatieoverdevoortgangvanleerlingenovereenlangereperiode.Deleerlingenvangroep1en2makenvooraltoetsenvoortaalenordenen(voorbereidendrekenen)terwijlhetmerendeelvandeleerlingenvangroep3totenmet8toetsenvoorspelling,rekenen/wiskundeentechnischenbegrijpendlezenmaakt.Ooktoetsenophetgebiedvanwoordenschat,luisteren,Engels,sociaal-emotioneelfunctioneren,interesseenstudievaardighedenmakendeeluitvanhetleerling-volgsysteem.

Hetdoelvaneenleerlingvolgsysteemisnategaanofdeschoolzijndoelstellingenhaalttenaanzienvanindividueleleerlingen,groepenleerlingenofdeschoolalsgeheel.Voorindividueleleerlingendoethetleerlingvolgsysteemdatdoorhetgevenvaninformatieover:

1 Deontwikkelingvandeleerlingtenopzichtevanhetvoorgaandetoetsmomentofdevoorgaandetoetsmomenten.Detoetsengevendanantwoordopvragenals:

• Isdematevanvooruitgangvandeleerlingindeafgelopenperiodetevergelijkenmetdematevanvooruitganginvoorafgaandeperiodes?

• Vertoontdeontwikkelingvandeleerlingnogsteedseenopgaandelijnofstagnerendevorderingen?

2 Deontwikkelingvaneenleerlinginvergelijkingmetleeftijds-ofgroepsgenoten.Detoetsengevendanantwoordopvragenals:

• Hoezijndevorderingeninvergelijkingmetdievanandereleerlingenuithetlandovereenlangereperiode?

• Wordteeneventueleachterstandtenopzichtevanandereleerlingensteedsgroterofloopteenleerlingdeachterstandin?

3 Devoortgangvanindividueleleerlingentenopzichtevande(tussen)doelendiemenwilrealiseren.Detoetsengevendanantwoordopvragenals:

• Bereiktdeleerling,alsdiezichindittempoblijftontwikkelen,degesteldetussendoelenofeinddoelen?

• Iswatdeleerlingpresteertinovereenstemmingmetwatjemagverwachten?

Afhankelijkvanhetantwoordopbovenstaandevragenzaldedocentbesluitenzijnonderwijsandersinterichtenvoorindividueleleerlingen,groepenleerlingenofdeklasalsgeheel.Ofeenaanpassingvanonderwijshetgewensteeffectheeft,kandedocentafleidenuitderesultatendiedeleerlingenopeenvolgendtoetsmomentbehalen.

InverbandmethetvoorgaandeishetonderzoekvandeInspectienaarhetprestatiegerichtwerkenvanbasisscholenvanbelang.VolgenshetOnderwijsverslag2008-2009vandeInspectiewerkteenkwartvandebasisscholenvoorrekenenenwiskundeprestatiegerichtofopbrengstgericht.Dezescholenstellenduidelijkedoelenvooralleleerlingen,analyserenproblemenvanleerlingendiededoelenniethalenenslagenervaakindieteverhelpendoorgoedeleerlingenzorg.Lerarenopscholendieprestatiegerichtwerken,hebbeninhunlessenduidelijkvoorogenwatzehunklasmoetenlerenenstemmenhunonderwijseffectiefafopdeverschillentussenleerlingen.Dezescholenkijkenjaarlijkskritischnaarhoeallegroepenleerlingenpresterenenverbeterenzichsnelalsprestatiestegenvallen.Opdezescholenpresterenleerlingenbeterdanopscholendieminderkritischkijkennaarwatzemethunleerlingenbereiken.DeInspectieconstateertookdatzwakkeenzeerzwakkescholendeoorzaakvanslechteprestatiesvaaknietbijzichzelfzoeken,maartenonrechtebijdeleerlingenleggen.DeInspectiepleitdanookvoordeinvoeringvanverplichtetoetsenopverschillendemomentenindeschoolloopbaanvanleerlingen.Datkanscholenhelpenomkritischnaarzichzelftekijkenenzichtevergelijkenmetanderescholen.

OokhetCitoVolgsysteemvoortgezetonderwijsdatweinparagraaf1.1.2besprokenhebben,heeftalstweededoelhetinkaartbrengenvanzwakkeensterkekantenvanleerlingentenbehoevevanbegeleidingen/ofremediëring.Alsblijktdateenleerlingopéénvandekernvaardighedenachterblijft,kandoordedocentgerichteactiewordenondernomen.

Hiervoormerktenweopdattoetsenuitleerlingvolgsystemenbetrekkinghebbenopleerinhoudendiegedurendeeenlangereperiodeonderwezenzijn.Datlaatstekanbetekenendathetenigetijd,enwellichttelang,kandurenvoordatstagnatiesinhetleerprocesvanleerlingengeconstateerdworden.Mettoetsendiebetrekkinghebbenopleerinhoudenvanéénofmeerderelessen,eenbepaaldonderwerpofhoofdstukishetmogelijkomveelsnellerinzichttekrijgeninhetleerprocesenhetonderwijseventueelaantepassenomhetleerprocestebevorderen.

Uitonderzoekblijktdatkenmerkenvantoetsendiehetleerprocesvanleerlingenbevorderentoetsenzijnwaarbijleerlingen:• opdrachtenenvragenvoorgelegdkrijgendieinzichtgeveninhunleerproces;• wetenwathetleerdoelisenwanneerditleerdoelbehaaldis;• effectievefeedbackontvangen;• gestimuleerdwordenheteigenleerprocesvormtegeven;• gestimuleerdwordenomtelerenvanandereleerlingen.

Toetsenmetbovengenoemdekenmerkenwordenookweldiagnostischetoetsengenoemd. Hetdoelvandezetoetsenishetidentificerenvandesterkeenzwakkepuntenvanindividueleleerlingenengroepenleerlingen.Opbasisvandieidentificatiekanhetonderwijsaangepastworden.Dewaardevaneendiagnostischetoetsstaatofvaltmetdekwaliteitvandefeedback.Effectievefeedbackbestaatnietalleenuithetduidelijkmakenvanwelkeleerinhoudende

leerlingnognietbeheerst(feedback)maarvooralookuitduidelijkmakenwatdeleerlingconcreetmoetgaandoenomdieleerinhoudenweltebeheersen(feedforward).Uitonderzoeknaarfeedbackindeonderwijspraktijkblijktechterdatfeedbackmeestalalleenbeperktblijfttothetgevenvaneencijfer.Bovendienblijktdathetgevenvaneencijfervooralzwakkeleerlingendemotiveert.Effectievefeedbackvereistdattoetsenopmeerderemomentenafgenomenwordenomdevorderingenvandeleerlingentekunnenblijvenvolgenenoptijdmaatregelentekunnennemenindienervertragingofachterstandoptreedt.Bijhetdiagnostischofformatiefgebruikvantoetsenzienwedatdescheidingtussenonderwijsentoetsingvervaagt.

EenvoorbeeldvaneendiagnostischetoetsisDIALANG,EuropeanSystemforDiagnosticLanguageAssessment,tevindenopdewebsitevanLancasterUniversity,ziewww.lancaster.ac.uk/researchenterprise/dialang/about.htm.DezeonlinediagnostischetaaltoetsisgeëntophetCommonEuropeanFrameworkofReference(CEFR)forLanguagesdatinNederlandbekendisonderdenaamEuropeesReferentiekader(ERK).Voorveertientalenzijndiagnostischetoetsenbeschikbaarvoorlezen,luisteren,schrijven,woordenschatengrammaticalestructuren.GebruikerskrijgenaanhetCEFRgekoppeldefeedbackbijhuntoetsprestatiesnaastadvieshoezijhunhuidigevaardigheidsniveaukunnenverhogen.

1.3 Toetsen voor het beoordelen van groepen leerlingen en scholen

Toetsendievoorhetbeoordelenvangroepenleerlingenenscholengebruiktworden,zijngewoonlijkdezelfdetoetsenalsdiegebruiktwordenvoorhetbeoordelenvanindividueleleerlingen.Deresultatendieindividueleleerlingenvaneenbepaaldegroepofschoolopeentoetsbehaaldhebben,wordendangebruiktominformatieoverdegroepofdeschooltegeven.Wepresenterenvijfvoorbeelden.

HetCitoVolgsysteemprimairenspeciaalonderwijsgeeftinformatieoverdevorderingenvandegroeptenopzichtevandelandelijkevergelijkingsgroepenvandeterealiserenonderwijsdoelen.Deresultatenopdetoetsengevendanantwoordopvragenals:• Isdematevanvooruitgangvandegroepindeafgelopenperiodetevergelijkenmetdemate

vanvooruitgangindedaaraanvoorafgaandeperiodes?• Vertoontdeontwikkelingvandegroepnogsteedseenopgaandelijnofstagnerende

vorderingen?

Deresultatenvanleerlingenvaneengroepkunnennatuurlijkookmetelkaarvergelekenworden.Deresultatenopdetoetsengevendanantwoordopvragenals:• Hoegrootzijndeverschilleninprestatiestussendeleerlingenvandegroep?• Welkeleerlingenpresterenongeveerhetzelfde?• Welkeleerlingenlijkenonvoldoendevanhetonderwijsgeprofiteerdtehebben?

HetCitoVolgsysteemprimairenspeciaalonderwijsgeeftookinformatieoverdekwaliteitvanhetonderwijsopschoolniveau.Deresultatenopdetoetsengevendanantwoordopvragenals:• Hoepresteertdeschoolopbijvoorbeeldrekenen?• Hoeontwikkelenderekenprestatieszich?• Hebbenmaatregelenomderekenprestatiesteverbetereneffectgehad?

De EindtoetsBasisonderwijs,www.citotoets.nl,biedtscholendemogelijkheidomzelfschoolrapportentemakenvanallemogelijkeselectiesvanleerlingenviadeportalvanCito.Behalvedescoresvandeleerlingenzijnookdeachtergrondgegevensvandeleerlingenopgeslagen,zoalsgeboortedatum,leerlinggewicht,e.d.

Drieverschillendeschoolrapportenzijnmogelijk:1 Inhet‘Schoolrapportzondercorrectie’wordendegemiddeldescoresvaneenschool

vergelekenmetdegemiddeldescoresvanalledeelnemendescholen.Hierbijwordtgeenrekeninggehoudenmetkenmerkenvandeschoolofleerlingen.

2 Het‘SchoolrapportcorrectieLG’geefteenvergelijkingvandeschoolgemiddeldenmetdatvanscholendie,geletopdesociaal-cultureleachtergrondvandeleerlingen,metdeschoolvergelijkbaarzijn.Daaromwordenin‘SchoolrapportcorrectieLG’degemiddeldescoresvandeschoolgecorrigeerdvoorhetpercentageleerlingenmeteenbepaaldleerlinggewicht(LG).

3 Het‘SchoolrapportcorrectieLGenBL’corrigeertdeprestatiesvandeschoolvoorzowelhetpercentageleerlingenmeteenbepaaldleerlinggewichtalsdevaardigheidvandeleerlingenopBegrijpendlezen(BL)alsindicatorvoordeintelligentievandeleerlingen.

OokhetCitoVolgsysteemvoortgezetonderwijsdatweinparagraaf1.1.2besprokenhebben,levertgroepsrapportagesdiedeschoolinstaatstellenomklassenen/ofleerjarentevergelijkenmeteenlandelijkgemiddelde.Ditgeeftinzichtinhoedeschoolpresteerttenopzichtevananderescholen.

De InspectievanhetOnderwijs,www.onderwijsinspectie.nl,beoordeeltdescholeninhetbasisonderwijszoweltijdensalsaanheteindevandeschoolperiode.HetoordeeloverderesultatenaanheteindevandeschoolperiodebaseertdeInspectieopderesultatendiedeleerlingenbehaaldhebbenoplandelijke(eind)toetsenvandeafgelopendrieschooljaren.Waarmogelijkzijnderesultatenvaneenschoolafgezettegenderesultatenvanscholenmetvergelijkbareleerlingen.HetoordeeloverderesultatengedurendedeschoolperiodebaseertdeInspectieopderesultatenvanlandelijketoetsenvoortechnischlezen(ingroep3en4),rekenenenwiskunde(ingroep4en6)enbegrijpendlezen(ingroep6).

COOL,www.cool5-18.nl,iseenonderzoekdatbedoeldisomdekwaliteitvanhetonderwijsenvanindividuelescholenteonderzoeken.Hetonderzoekrichtzichopdeleeftijdsgroepvan5tot18jaar.Descholendieaanhetonderzoekmeewerken,ontvangenalstegenprestatieeenschoolspecifiekerapportage.Daarinwordenpermeetjaarde(toets)resultatenvandeleerlingenvandeschoolvergelekenmetandereleerlingenenscholenuithetlandmeteenvergelijkbaresociaal-etnischeachtergrond.Scholenkunnendusderesultatenvanhungroepenleerlingenvergelijkenmetdelandelijkegemiddeldescoresvanvergelijkbaregroepenleerlingen.Ookkunnenscholen,aangenomendatzijaanmeermetingenmeedoen,vergelijkingenmakentussenmeetjarenendeontwikkelingenbijhunleerlingenvolgen.Inhetschoolrapportstaanookderesultatenophetsociaal-emotioneledomein(o.a.werkhouding,welbevinden,gedrag),verschillendeaspectenvanmotivatieenvanburgerschapscompetenties.

1.4 Toetsen voor het beoordelen van de kwaliteit van het onderwijs

HetgebruikvantoetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijsvindtzowelinNederlandalsinternationaalplaats.Hiernawordteerstingegaanophetpeilingonderzoekdatsinds1987naardekwaliteitvanhetbasisonderwijsinNederlandverrichtwordt.Daarnawordteenaantalinternationaleonderzoekenkortbesproken.

Wat is het doel van het zogenaamde Periodiek Peilingonderzoek van het Onderwijsniveau in Nederland (PPON)? Hetdoelvandeopdrachtgever,hetministerievanOnderwijs,CultuurenWetenschap,wasdathetPPON,http://ppon.cito.nl,zoumoetenleidentothetverkrijgenvaninzichtinhetleeraanbodendeleeropbrengstenvanhetbasisonderwijs.Hetpeilingonderzoekgeeftvooreengrootaantalvakkenuithetbasisonderwijsantwoordopdevolgendevragen:• Watproberenscholenhunleerlingenteleren?• Watstekenleerlingenvanhetonderwijsop?

• Welkewijzigingenvoltrekkenzichoverdejarenindeonderwijsresultaten?• Inhoeverrewordendekerndoelenbasisonderwijsgehaald?• Welkeverschillenzijnerindeleerresultatentussencategorieënleerlingen?

Aaniederpeilingonderzoekligteendomeinbeschrijving,eenbeschrijvingvanhetleergebiedaandehandvaneenlijstvanleer-envormingsdoelen,tengrondslag.Dezebeschrijvingisgebaseerdopdekerndoelenbasisonderwijs,analysesvanonderwijsmethodesenvak-inhoudelijkeenvakdidactischepublicaties.Uitgaandevandedomeinbeschrijvingwordtnietéénbreedsamengesteldetoetsmaareenreekstoetsenvoorverschillendeonderwerpenvaneenleergebiedontwikkeldenafgenomenbijeengrootaantalleerlingenvanbasisscholen.Zowordenvoorhetpeilingonderzoekrekenen/wiskundebijhetdomein‘getallenenbewerkingen’tienonderwerpengetoetst,bijhetdomein‘verhoudingen,breukenenprocenten’vieronderwerpenenbijhetdomein‘meten’achtonderwerpen.Mettoetsenvoorintotaal22onderwerpenkaneengedetailleerdebeschrijvinggegevenwordenvanwatleerlingenaanheteindevanhetbasisonderwijsvanrekenen/wiskundebeheersen.

Hoe worden de leeropbrengsten beschreven? IndePPON-rapportagesdieopdewebsitevermeldstaan,wordendevaardighedenvandeleerlingenaandehandvanvoorbeeldopgavenbeschreven.Devoorbeeldopgavenillustrerenwatleerlingenmetverschillendevaardighedengoed,matigofinonvoldoendematewetenofkunnen.Uitgaandevandekerndoelenbasisonderwijsgevendeskundigebeoordelaarsvervolgensaanwatnaarhunoordeelhetgewensteniveauvanvaardigheidis.Zijbepalenstandaardenvoorminimaleenvoldoendebeheersingdiefungerenalsreferentieniveaus.Destandaardenkrijgeninhoudelijkbetekenisdoordatzegerelateerdzijnaandevoorbeeldopgaven.Tenslottewordtonderzochthoedeleerresultatenvandeleerlingenzichindeloopdertijdontwikkelen.

Voor wie zijn de peilingresultaten bedoeld? HetPPON-peilingonderzoekiseenvormvansysteemevaluatiewaarbijhetobjectvanevaluatiedekwaliteitvanhetonderwijssysteemis.Deresultatenzijndanooknietbedoeldvoorhetbeoordelenvanleerlingenenscholenmaarombetrokkenenbijhetonderwijsteinformerenoverdestandvanzakenvanhetonderwijs.BelangrijkedoelgroepenvoorderesultatenvanhetpeilingonderzoekzijnonderanderehetministerievanOCW,deInspectievanhetOnderwijs,landelijkeenregionaleonderwijs-enschoolbegeleidingsinstituten,lerarenopleidingenvoorhetbasisonderwijs,lerarenbasisonderwijsenontwikkelaarsenuitgeversvanmethodenvoorhetbasisonderwijs.Alsderesultatennietvoldoenaandeverwachtingen,zijndezebetrokkenenopverschillendemaniereninstaatommaatregelentenemendietotbetereresultatenleiden.

Internationale onderzoeken VoorbeeldenvaninternationaleonderzoekennaardekwaliteitvanhetonderwijszijnPISA,PIRLS en TIMSS.PISA(ProgrammeforInternationalStudentAssessment)iseendriejaarlijkspeilingonderzoekwaarbijdekennisenvaardighedenvan15-jarigenuiteengrootaantallandenophetgebiedvanleesvaardigheid,wiskundigeennatuurwetenschappelijkegeletterdheidvergelekenworden,www.pisa.nl.PIRLS(ProgressinInternationalLiteracyStudy)betreftonderzoeknaardeleesvaardigheidvanleerlingenuitgroep6vanhetbasisonderwijsenTIMSS(TrendsinInternationalMathematicsandScienceStudy)betreftonderzoeknaardewiskundeennatuurkundevaardighedenvan17/18-jarigen,ziewww.pirls.com.Deresultatenopdezeonderzoekenkunnenvoorlandenaanleidingzijnhetonderwijsaantepassen.

2 De inhoud van toetsen

2 Deinhoudvantoetsen Erik Roelofs en Jacqueline Visser

Hetvaststellenvandeinhoudvaneentoetsiszo’nbeetjehethalvewerkvandeconstructievaneentoets.Hoekomtdat?Iseentoetsmakennieteenzaakvandeinhoudbepalenendanovergaantotdekeuzevandetoetsvorm?Jaennee.Ja,globaalgesprokenkomteerstdeinhoudvandetoetsendandevorm.Nee,wantinhoudelijkevragenspelenbijallestappenvantoetsconstructieeenrol,dusookbijhetbepalenvandetoetsvorm.Bijdeuitwerkingvandetoetsinhoudbliktdetoetsconstructeuralvooruitnaardeprestatiediehijvaneenleerlingbijtoetsopgavenwilzien.Enandersom,bijhetkiezenvantoetsvormenenopgavenmoetdeconstructeurnagaanofhijdaarmeedebedoeldeinhoudwelkantoetsen. Hetkomtookvoordateerdervastgesteldetoetsinhoudtijdenshetontwerpenvanopgavenwordtaangescherptomdatdanindepraktijkduidelijkwordtwatmeneigenlijkwiltoetsen.

Stappen van toetsconstructieIndithoofdstukbeschrijvenweindetailvijfstappenvantoetsconstructiediebepalendzijnvoordeinhoudvandetoets:1 Hoewordtbepaaldwatleerlingenaanheteindvaneenopleidingofopleidingsfasemoeten

kennen,kunnenenwillen,oftewelhoekomjetoteenglobaalprogrammavaneinddoelenentussendoelen?

2 Hoekomjevaneenglobaalprogrammavaneinddoelenentussendoelentottoetsbareleerdoelen?

3 Hoekunjetoetsbareleerdoelenomzettenintoetstakendiehetbedoeldegedragoproepenbijdeleerling?

4 Welketoetsvormpasthetbestbijdetetoetsenleerdoelen?5 Hoesteljeeentoetsinhoudelijkcorrectenevenwichtigsamen?

Eensystematischeuitwerkingvandetoetsinhoudzorgtervoordatwatinstap1wordtvastgelegdookfeitelijkaandeordekomtindetoets.Gebeurtditniet,danbestaathetrisicodateendeelvandegesteldeleerdoelenineenonderwijsprogrammanietindetoetsenaandeordekomt.

De eerste stap,deuitwerkingvaneenprogrammavaneinddoelenentussendoelen,gebeurtvaakopbeleidsniveau.Duidelijkmoetwordenwatleerlingenaanheteindvaneenopleidingstraject(basisonderwijs,voortgezetonderwijsenberoepsonderwijs)moetenkennen,kunnenenwillen.Daartoewordenradenofcommissiesinhetlevengeroependiedoelenformulerenineendemocratischprocesvanbijschavenenherformuleren.Daarbijwordendiversedeskundigenenbelanghebbendenbetrokken,zoalsvertegenwoordigersvanuithetministerie,vakdeskundigen,vertegenwoordigersvanonderwijsinstellingen,branche-organisaties(bijberoepsonderwijs),onderwijsgevendenenonderwijsadviesorganisaties. Ditprocesmondtuitin‘kerndoelen’,‘eindtermen’en‘basiskwalificaties’peronderwijstypeenonderwijsfase.

Omdatdeze‘doelen’nogtevaagzijnomertoetsenoptekunnenbaseren,iseentweede stap nodig:deuitwerkingvantoetsbareleerdoelen.Daarinwordtdeaardvandevereisteprestatieverderuitgewerkt.Tebeantwoordenvragenzijn:welkgedragwordtvandeleerlingenverwacht(mentaleprocessen,handelingen,vaardigheden)?Inwelkesituatiesmoetdeleerlingpresteren?Welkehulpmiddelenmageenleerlinggebruiken?Volgenswelkestandaardofnormzoueen

27 De inhoud van toetsen < Inhoud Index >

leerlingmoetenpresteren?Indelingsschema’s(taxonomieën)voormenselijkpresterenvormenhierbijeenhandighulpmiddelomdebeoogdedoelenbijstap1correctenevenwichtiguittewerkentoteenverzamelingtoetsbareleerdoelen.Webeschrijvenindelingsschema’svoorhetuitwerkenvanleerdoelendiebetrekkinghebbenoprespectievelijklosseelementenvaneenvakgebied(zoalshetuitvoerenvaneenstaartdeling)enopcompetenthandeleninechteleef-ofberoepssituaties(hetvoerenvaneenverkoopgesprek).

Zodradetetoetsenleerdoelenhelderzijn,ishetzaakdetehanterentoetstakenoftoetsopgaventekiezen(stap3),eenofmeertoetsvormentekiezen(stap4)endeuiteindelijketoets(en)samentestellen(stap5).Inpraktijkzalvaakeerststap4komen:deuitwerkingvaneenglobaaltoetsplanmetdaarineenoverzichtvantoetsendieopverschillendemomententijdensdeopleidingwordenvoorgelegdaandeleerlingen.Inzo’nplanstaateenmixvantehanterentoetsvormenvermeld.

Indithoofdstukbesprekenweechtereersthoeafzonderlijketoetstakenkunnenwordengekozenbijdetetoetsenleerdoelen,stap 3dus.Daarbijgaanweinopde‘anatomie’vaneentoetsopgaveendedaaruitvoortvloeiendeontwerpkeuzes.Aandeordekomenkeuzesbetreffendedeauthenticiteitofechtheidvandetaaksituatie,desoortentoetsstimuli(foto,film,materiaal,verkoopsituatie),destructureringvandetoetstaak(bijvoorbeeldwelofgeeneigenoplossingenkiezen,alofniettoestaanvanhulpmiddelen)endekenmerkenvandeverlangderespons(bijvoorbeeldeenverbalereactieofeenhandeling).Dezekeuzeszijnvanbelangbijdecorrectevertalingvanafzonderlijkeleerdoelennaarafzonderlijketoetstaken.Ogenschijnlijkkleineaanpassingeninbijvoorbeelddegebruiktetoetsstimulikunnenervoorzorgendathetgesteldeleerdoelnietoptimaalgetoetstkanworden.Gebruikvandia’sinplaatsvanfilmpjesleidtbijverkeerstoetsentoteenwezenlijkandereopgave.

Bijdeuitwerkingvanhettoetsplan(stap 4)gaatheteromtewaarborgendathettotaleprogrammavantetoetsenleerdoelenevenwichtigwordtgedektdooreenmixvantoetsvormen(bijvoorbeeldschriftelijketoetsen,essays,proevenvanbekwaamheid).Elketoetsvormisdaarbijeenverzamelingvantoetsopgavenmetsoortgelijkekenmerken.

Bijhetsamenstellenvanafzonderlijketoetsen(stap 5)ishetdebedoelingdatdebeoogdegroepenleerdoeleninhoudelijkcorrectenafdoendewordenvertegenwoordigdintoetsopgaven.Bijdezestapgaanweinophetgebruikvantoetsmatrijzenwaarinwordtaangegevenhoeveelopgavenineentoetsdienentewordenopgenomenovereenaspectvankennisofbekwaamheid,zoalsverwoordindeleerdoelen.Doorhetgebruikvantoetsmatrijzenwordtvoorkomendatonderdelentenonrechtenietwordengetoetstofdatandereonderdelenonevenredigveelaandachtkrijgen.

Dwarsdooraldezestappenheenspeeltdevisieoplerenentoetseneenrol.Verschillendevisiesleidentotverschillendetoetsen,zoalsweinparagraaf2.1zullenzien.

2.1 Visie op leren en toetsen

Watwewillentoetsenheefttemakenmetonzevisieoplerenentoetsenineenvakdomein.Dezevisieheeftconsequentiesvoordekeuzeswatbetrefttoetsconstructie.

2.1.1 Visie op lerenBijhetontwerpenvantoetsenspeeltdevisieoplereneenbelangrijkerol.Eenvandevragendaarbijisofbijlerendeaandachtvooraluitmoetgaannaarafzonderlijkekennis-ofvaardigheidselementenofjuistuitmoetgaannaargroteregehelen,betekenisvolletakenofcompletetaken.Datlaatstezienwebijvoorbeeldbijcompetentiegerichtleren.

Voorbeeldenvandeeerstebenaderingzijn:• hetverklankenvanletterstotwoorden;• hetmakenvanrechtezaagsnedenineenhoutenplank;• hettoepassenvangrammaticaregelsbijwerkwoordspelling;• hetbenoemenvanverschillendetypenbottenineenmenselijkearm;• hetidentificerenvanplaatsnamenopeen(blinde)landkaart.

Voorbeeldenvandetweedebenaderingzijn:• hetschrijvenvaneenbriefaanSinterklaas;• hetaanleggenvaneenelektrischeinstallatieineenschuur;• hetuitzettenvaneentoeristischefietsroute;• eenspreekbeurtgevenoverhetonderwerp‘kilometerheffing’.

Visiesoplerengaanmeestalgepaardmetvakdidactischevisiesdiemedebepalenwatenwanneerergedurendeeenonderwijsprogrammawordtonderwezenengetoetst.Zozaleenleerboek,werkboekofeducatievesoftwaredieeendocentgebruikt,gebaseerdzijnopeenvisieopleren.Intabel2.1staantweevakdidactischevisiesoprekenen-wiskundediegevolgenkunnenhebbenvoorwat,wanneerenhoegetoetstwordt.

Tabel 2.1: Twee vakdidactische visies op rekenen-wiskunde: mechanistische en contextrijke visie

Mechanistisch rekenen/wiskunde Contextrijk rekenen/wiskunde

Visie Bijrekenendientgestreefdtewordennaar

automatiseringvanbasisbewerkingenviahetfoutloos

gebruikvanrekentechnieken.

Getalbegripendenkeninmodellenmoeten

eerstaangelegdwordenvoordat

rekenprocedureswordenaangeleerdenverkort.

Didactiek Lerenvanvoorbeeldenenpreciesnadoenenvolgen

vanregels.

Zorgvuldigrekenenleidendtoteenjuisteuitkomst.

Stapsgewijsverkortenenabstraheren.

Schattendrekenen.

toetsen

Cijferen,gebruikvanalgoritmenzoalsdestaartdeling.

Rijtjeskalesommen.

Contextgebondenrekentaken.

Bijrekentoetsendiegemaaktzijnvanuiteenrealistischerekendidactischevisiezullenvaakvoorbeeldenuithetdagelijkslevenwordengebruikt.Onderinvloedvandezedidactischevisieisschattendrekenendoorgedrongentothettetoetsenrekenrepertoire.Eenopgavezoals ‘Hoeveelisongeveer19x19?’waarvandeuitkomstgeschatmoetworden,zalnietpassenbijeenformelerekendidactiekwaarbijleerlingendeuitkomstvan‘Hoeveelis19x19?’ cijferendmoetenuitrekenen.VooranderevoorbeeldenvandidactischevisiesziePDF2.1 in de toetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Bijhetverderuitwerkenvandetoetsinhoudishetessentieeldatdezeaansluitbijdevisieophetvakgebiedendevakdidactiek.Datlaatsteisbijvoorbeeldniethetgevalalsleerlingenonderwezenwordeninschattendrekenenmaardatzebijhetvanmakenvanrekenopgavengeenschattingenmaarexacteuitkomstenmoetengeven.

2.1.2 Visie op toetsen en beoordelenDeinhoudvaneentoetswordtnietalleenbeïnvloeddoordevisieoplerenmaarookdoordevisieoptoetsenenbeoordelen.Vandeverschillendevisiesoptoetsendieweinpublicatiesovertoetsenkunnentegenkomen,latenweintabel2.2zienwatdekenmerkenvantoetsenbijdezetweezeerverschillendevisieszijn.

Tabel 2.2: Kenmerken van toetsen bij twee verschillende visies op toetsen

Kenmerken Uiterste zienswijze 1 Uiterste zienswijze 2

Aanbiedingswijze Vooriedereenhetzelfde. Verschillendperkandidaat.

Aardvandeopgaven Losstaandeelementen.

Contextvrijetaken.

Productcentraal.

Samenhangendeelementen.

Takenincontext.

Procescentraal.

Afnamecondities Vooriedereenaltijdhetzelfde.

Opgavengeheim.

Permomentenkandidaatverschillend.

Opgavenopenbaar.

Afnamemoment Openkelevastemomenten.

Gescheidenvanleerproces.

Continu.

Verwevenmetleerproces.

Samenstelling Veelkorteopgaven. Enkelecomplexeopgaven.

Scoring Objectief.

Vastecorrecteantwoordenperopgave.

Automatischescoringprestaties.

Analytischebeoordeling.

Subjectief.

Meerdereoplossingenmogelijkperopgave.

Scoringvanprestatiesdoordomeinexpert.

Holistischebeoordeling.

Eenvoorbeeldvaneentoetsdieaansluitbijvisie1iseentoetswaarbijleerlingenEngelsidioomcorrectmoetenvertalendoorsteedsdejuistevertalinguitviervertalingentekiezen.Dezetoetskangescheidenvanhetleerprocesmetbehulpvandecomputerwordenafgenomenenautomatischwordengescoord.Detakenzijngeïsoleerdeidioomelementendielosvandegebruikscontextstaan.Erkunnenveelidioomelementen,metvastecorrecteantwoordenperopgave,wordengetoetst.Eenvoorbeeldvaneentoetsdieaansluitbijvisie2iseentoetswaaringekozenwordtvoorhetintegratieftoetsenvanidioom,grammaticaenhetgebruikvanschrijfstrategieën.Bijvoorbeeldeenopdrachtwaarbijeenleerlingermeteenmondelingedialoogvoormoetzorgendateenklachtbehandeldwordt.Zo’nopdrachtgeeftdeleerlingveelruimtebijdeuitvoering. Naastanalytischebeoordelingopobjectieftebeoordelendeelaspecten,bijvoorbeeldofdezinsbouwcorrectis,zalerooksprakezijnvaneenholistischebeoordelingdoorbeoordelaarsdiebijvoorbeeldbeoordelenofdeklachtovertuigendgepresenteerdis.

Hetisnietzodattoetsingvolgenseenvandetweeuiterstezienswijzenpersebeterisdandeander.Dekeuzevoordeeneofdeanderemaniervantoetsenzalonderandereafhangenvanhetdoelvandetoetsenwatwewillenmeten.Inveelgevallenzaleenmixvantoetsenvanbeidezienswijzenwenselijkzijn.

2.2 Een programma van einddoelen en tussendoelen

Uitgangspuntvoorhetuitwerkenvaneentoetsplanenafzonderlijketoetseniseenvastgesteldprogrammavaneinddoelenentussendoelen.Indeverschillendesectorenvanonsfunderendonderwijs(basisonderwijs,voortgezetonderwijs)enhetberoepsonderwijswordtuiteindelijktoegewerktnaareinddoelenwaarvoorverschillendetermeningebruikzijn:exameneisen(vmbo,havo,vwo),basiskwalificaties(middelbaarberoepsonderwijs),kerndoelen(basis-onderwijs,speciaalbasisonderwijs,speciaalonderwijs,basisvorming).Deleerwegnaardezeeinddoelenisopgesplitstineenaantalstappendatgekenmerktwordtdoorverschillendetussendoelenwaaropiniedergevalsummatievetoetsingplaatsvindt.Bijvoorbeeldaanheteindvaneenopleidingsfase,eentrimesterofeenleerjaar.Dezeeinddoelendienenweerverderuiteengelegdtewordenindoelenvoorbijvoorbeeldonderwijsmodules,blokken,instructie-eenhedenenuiteindelijklessen.Opelkvandieniveauskantoetsingplaatsvinden,summatiefofwelformatiefvanaard.

Examenprogramma’s,kerndoelen,enkwalificatie-eisenzijndoordeoverheidvastgelegd.Gestuurddooreenvisieopmens,maatschappijenwatvanuitstromendeleerlingenmagwordenverwacht,wordteenprogrammavan(algemene)doelengeformuleerd.Bijdetotstandkominghiervanwordendeskundigenopdevakgebieden,vertegenwoordigersvanbrancheorganisatiesenvertegenwoordigersuithetonderwijsveldgeraadpleegd.Inderegelbemoeitdeoverheidzichnietmetdevraaghoediedoelenbereiktdienenteworden,maarwelmetdevraagwatbereiktmoetworden.

Alsvoorbeeldvanhoekerndoelenmeestalgeformuleerdworden,hebbenweenkelekerndoelenvoorschrijfvaardigheidinhetbasisonderwijsenvoortgezetonderwijsgenomen.

Voorbeeld 1: Enkele kerndoelen voor schrijfvaardigheid in het basisonderwijs

4 Deleerlingenlereninformatieteachterhalenininformatieveeninstructieveteksten,waaronderschema’s,tabellenendigitalebronnen.

5 Deleerlingenlerennaarinhoudenvormtekstenteschrijvenmetverschillendefuncties,zoals:informeren,instrueren,overtuigenofplezierverschaffen.

Voorbeeld 2: Enkele kerndoelen voor schrijfvaardigheid in de eerste fase van het voortgezet onderwijs

17Deleerlingenkennenspecifiekekenmerkenvaneenaantaltekstsoortenenkunnendaarbijhetschrijvenrekeningmeehouden.Hetgaatdaarbijom:deadvertentie;debrief;hetformulier;hetverslag;hetwerkstuk.

18Deleerlingenkunnenzichvoorbereidenopeenschrijftaak. Hetgaatdaarbijom:brainstormen;eigenideeënengedachtenordenen;informatie

selecteren,ordenenenverwerken;dehoofdlijnenvandeteschrijventekstuitzetten.19Deleerlingenkunneneentekststructurerenmeteenindelingininleiding,kernstuken

slotendaarbijgebruikmakenvanalinea’sentussenkoppen.

Degeformuleerdedoelenuitbovenvermeldevoorbeeldenzijnnognietvoldoendeuitgewerktomtoetsenoptebaseren.Kijkendnaarkerndoelenvoorhetbasisonderwijsvaltallereerstopdatzeeenstrevenbelichamen(deleerlingenleren…)ennieteenprestatiedoorleerlingen

(leerlingenkunnen…).Vandekerndoelenvoordeeerstefasevanhetvoortgezetonderwijsvaltdirectopdatkerndoel17vooralalskennisdoelisgeformuleerdenkennisvantekstsoortenbetreft(kennenspecifiekekenmerkenvaneenaantaltekstsoorten),enminderalsvaardigheidsdoel(hetkunnenschrijvenvaneenadvertentie,eenbrief,etc.).Eentweedeobservatieisdatdedoelenindevoorbeeldentealgemeenzijngeformuleerdomerdirect toetsopgavenuittekunnenafleiden.Hoezietbijvoorbeeldeenteksteruitdiezogeschrevenisdatdeinhoudendevormervanovertuigen(voorbeeld1,kerndoel5)?Overwelkeonderwerpenmagdetekstgaan?Hoelangmoetzo’ntekstzijn?Watzijnpreciesdevorm-kenmerkenendeinhoudskenmerkenwaaraandetekstmoetvoldoen?Hoestellenwevastdateenleerlingdezetekstovertuigendschrijft?Eenderdeobservatieisdatindedoelenalleenheteindniveauisuitgewerkt,terwijlmenookoptussenmomentenwiltoetsen,omdatmendaarookbeslissingenwilnemen.Eenlaatsteobservatieisdateenpureopsommingvandoelennogweinigzegtoverdematevanaandachtdieaanelkkerndoelafzonderlijkmoetwordenbesteed.Evenminwordtduidelijkwelkeaspectenvanpresterenmogelijkonderdedoelenverscholenliggen(reproduceren,bedenken,toepassen,overtuigen,informeren),enopwelkeschrijfsituaties(zoalssoortenteksten)dedoelenbetrekkinghebben.

Vanafhetmomentdaterduidelijkheidisoverhetprogrammavaneinddoelenentussendoelen,moetdanooknagedachtwordenoverdeinhoudvantoetsenopdeverschillendemomenteninhetcurriculum.Vragendiedaarbijcentraalstaanzijn:welkeonderdelenvandeinhoudmoetenaandeordekomen?Hoewordtdetetoetsenleerinhoudgeordend?Inwelkeverhoudingenmoetenonderdelenaandeordekomen?Hoekunnenweallerelevanteaspectenvanpresterenopeenpassendemanierinkaartbrengen?Enbelangrijker,hoekunnenwedieverschillendeaspectentoetsen?

2.3 Uitwerking tot toetsbare leerdoelen

Inhetbasisonderwijsenvoortgezetonderwijsisindemethode(inclusiefdocenthandleiding,leerboeken,werkboeken)alveelvoorwerkverrichtalshetgaatomhetuiteenleggenvaneinddoelen,doelenperleerjaar,doelenperinstructie-eenheid,lesdoelenenzelfsdoelenperonderwijsleeractiviteit.Datisimmersnodigomconcretelesactiviteitentekunnenuitwerken.Ookstaaninveelmethodensuggestiesvoortoetsingvanhetgeleerdeineeninstructie-eenheidofzijnmethodegebondentoetsenbijgeleverd.

Tegelijkertijdzijndetebereikenleerdoelenveelalnietuitgewerktinconcretegedragsdoelen.Ookzijnervakgebiedenofsoortenvaardigheden,zoalsinhetmiddelbaarberoepsonderwijsvaakhetgevalis,waarslechtsglobaalaangegevenwordtwatleerlingenmoetenkennenenkunnen.Indatgevalzijndocentenopzichzelfaangewezen,alshetgaatomhetuitwerkenvantoetsbareleerdoelen.

Hettoetsbaarmakenvanleerdoelenvraagtomdeinvullingvantweevoorwaarden.Deeerstevoorwaardeisdatdeinhoudvandetoetsgespecificeerdis.Voorhetspecificerenvandeinhoudvandetoetswordeninparagraaf2.3.1driebenaderingenonderscheiden.Naspecificatievandetoetsinhoudisdetweedevoorwaardedatbepaaldiswelkeonderdelenvandeinhoudgetoetstwordenenwelkeprestatiesmenvandeleerlingenverwacht.Hiervoorwordenveelaltaxonomieënofindelingschema’sgebruiktwaarvanerinparagraaf2.3.2vijfbeschrevenworden.Zodraaandezetweevoorwaardenvoldaanis,kanmendetoetsbareleerdoelenopstellenzoalsbeschreveninparagraaf2.3.3.

2.3.1 Specificeren van toetsinhouden: drie benaderingenBijhetuitwerkenvanalgemeneleerdoelentotspecifiekeleerdoelenkunnenwedetetoetseninhoudopverschillendemanierenvoorstellen.Zoalsgeïllustreerdintabel2.3,kunnenwegerichtzijnophettoetsenvanlosseelementen(zoalsopgedeeldekennis,vaardigheden,attitudes),hettoetsenvancompetenthandeleninspecifiekepraktijksituaties(zoalsspreken ineenvreemdetaal)enhettoetsenvanalgemenecompetenties(zoalssamenwerken,onderhandelen).

Tabel 2.3: Drie benaderingen voor het specificeren van de inhoud van de toets

Wat toetsen? Karakterisering Voorbeeld uit schoolse context Voorbeeld uit leefwereld of

beroepscontext

Losseelementen

binneneenvak

Presteren op

afzonderlijke

elementenvaneen

vakgebied.

Tekststructuur doorzien: Deleerling

weethoetekstengestructureerd

kunnenzijnmetbehulpvan

alinea’s,tussenkoppenendoor

middelvaneenindelingin

inleiding,kernenslot.

De kandidaat kent de

verschillendelettertypesdie

gebruiktwordenbijhetopmaken

vanrubriekenvankrantX.

Competent

handelenin

specifieke

praktijksituaties

Prestatie in

authentieke

(beroeps)taken.

Informatie overdragen:Deleerling

kaninklas-ofschoolverbandeen

kortemonolooghoudenmetals

doelinformatiegeven.

Deleerlingkaningesprekmet

sprekersvandemoedertaalin

dagelijkseleefsituaties

informatiegevenoverdeeigen

persoonlijkeachtergrond.

Algemene

competenties

Prestaties in

gevarieerde

taaksituatieswaarin

eenalgemene

competentieingezet

moetworden.

Samenwerken:deleerlingkan

zodanigsamenwerkenmet

medeleerlingendatgezamenlijke

doelenwordenbereiktenieder

eenbijdrageheeftinde

totstandkomingvanderesultaten.

Deaanstaandeleraarisinstaat

samentewerkenmetcollega’sin

deplanningenuitvoeringvan

onderwijsonderdelen.

Aandeeerstebenadering,hettoetsenvangeïsoleerdeelementen(kennis,vaardigheden,attitudes),ligtdegedachtetengrondslagdatdeuitvoeringvancomplexetakendebeheersingvandesamenstellendeonderdelenvereist.Zowordtinhetvoorbeeldintabel2.3hetdoorzienvantekststructurenalsvoorwaardegezienomgoedgestructureerdetekstentelerenschrijven.Zokanookkennisoverlettertypes,alsvoorwaardeomhetvakvanopmakerteleren,afzonderlijkwordengetoetst.Bijdeeerstebenaderingisdegelijkenistussentaaksituatie en leef-ofwerksituatieveelalbeperkt.

Bijdetweedebenadering,competenthandeleninspecifiekepraktijksituaties,moetenleerlingenbijdeuitvoeringvandetakenkennisenvaardighedencombineren.Volgensdezebenaderingbestaatdetetoetseninhouduitclustersvansamenhangendeonderdelen.Deopdelingindeeltakenismindersterkdanbijtoetsingvanlosseelementen.Ditisbijvoorbeeldhetgevalbijeenpresentatieovereenonderwerpmetalsdoelinformatietegeven.Doordekeuzevanpraktijksituatiesisdeafstandtotdewerkelijkheidgering.Degrenzenvanhetschoollokaalenhetschoolvakwordendoorbroken.Ditlaatstezienweinhetberoepsonderwijswaartoetsingindeberoepspraktijkplaatsvindt.

Inhetbasisonderwijsenvoortgezetonderwijszijnpraktijksituatiesvaakenigszinskunstmatig(eenkortemonolooghoudenineennagespeeldesituatie)omdetoetspraktischuitvoerbaartehouden.

Indederdebenadering,hettoetsenvanalgemenecompetenties,gaathetomgeneriekevaardighedenencompetenties(samenwerken,onderhandelen,onderzoekdoen)diedeleerlingeningevarieerdesituatiesmoetenverwerven.Zezijnnietspecifiekvooréénvakgebiedofberoepsdomein,maarwelvanbelangvoordeontwikkelingvandeleerling.Denkdaarbijaanhetvermogenommetanderensamentewerken,teonderhandelenofhetverrichtenvan(eenvoudig)onderzoek.

Indepraktijkishetmogelijkomhettoetsenvanafzonderlijkeelementenuiteenvakgebiedtecombinerenmethettoetsenvancompetenthandeleninpraktijksituaties.Eenvoorbeeldvanafzonderlijkekenniselementendiegetoetstwordenineenbetekenisvollecontextiseenrekenopgavediegenomenisuithetdagelijkseleven(ineenverhaal-ofcasusvorm).

2.3.2 Indelingsschema’sOmuiteindelijktoetsbareleerdoelentekunnenformuleren,moetbepaaldwordenwelkeprestatiesenonderdelendaarvanpreciesmoetenwordengetoetst.Toetsconstructeursgebruikendaartoevaaktaxonomieënofindelingsschema’sdieaspectenvanmenselijkpresterenbeschrijven.Webeschrijvenvijfindelingsschema’s,waarvanerdrievooralpassenbijhettoetsenvanlossekennis,vaardighedenenattitudes,entweediebetrekkinghebbenoptoetsingvancompetenthandelenenalgemenecompetenties.

Het indelingsschema van Anderson en BloomIndelingsschema’sbevattenmeestaldimensies,waarmeebeoogdeprestatiesnaderkunnenwordengeclassificeerd.HetmeestbekendeclassificatieschemaisdatvanBenjaminBloom. Deeersteversieervanisrecentelijkvernieuwdwaardoorhetmeerbeantwoordtaanhedendaagseeisenvantoetsontwikkelaars(zietabel2.4).Hetclassificatieschemaisvooralbedoeldvoorhetindelenvancognitieveprestaties.IndezelfdeperiodewaarinBloomsschemaverscheen,werdenookschema’svooraffectieveprestatiesenpsychomotorischeprestatiesgepubliceerd.Zievoordezeschema’sPDF2.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Tabel 2.4: Het indelingsschema van Anderson en Bloom (2001)

Handelingsdimensie

Kennisdimensie Oproepen Begrijpen Toepassen Analyseren Evalueren Creëren

Feitenkennis

Conceptuelekennis

Procedurelekennis

Metacognitievekennis

a* b c d e f

*a,b,c,etc.verwijzennaarvoorbeeldenindetekst

Inhetschemawordentweedimensiesmetelkaargecombineerd,dekennisdimensie en de handelingsdimensie.

De kennisdimensieomvatvierniveaus.Heteerstedaarvanbetreftfeitenkennis.Ditbetreftkennisvanbasiselementen,zoalsterminologie(deelementenvanhetperiodieksysteem,delettersvanhetalfabet),detailsengebeurtenissen(in1986wasereenkernrampinTsjernobyl), dieeenleerlingnodigheeftombekendterakenmeteenvakgebiedofomdedaarinvoorkomendeproblementekunnendoorzienofoptelossen.Hettweedekennisniveaubetreftconceptuele kennisofbegripskennis:hetgaathieromkennisoverelementendieonderdeeluitmakenvaneengroterestructuurenhunonderlingerelaties.Voorbeeldendaarvanzijnabstractebegrippenals‘democratie’metalhaarkenmerkenenrelatiesmetanderebegrippenzoals‘stemrecht’.Ofconcretebegrippenzoals‘dieren’,metalsondergeschiktebegrippen‘vissen’en‘vogels’,hunkenmerkenenderelatiesdaartussen.Kennisvanallerhandeprincipes,wetmatighedenenrelatiestussenbegrippenhorenooktotconceptuelekennis,zoalsoorzaak-gevolg(waterverdamptalshetwordtverwarmd)enmiddel-doel-relaties(omtebepalenwieerindevolksvertegenwoordigingkomt,wordterlandelijkgestemd).Hetderdekennisniveaubehelstprocedurele kennis.Ditbetreftkennisoverhoeietstedoen,zoalsmethodenvanonderzoek(westarteneenonderzoekdoorgaansmeteenprobleemstelling,daarnaonderzoeksvragen,enz.),algoritmen(welkestappenzetjebijhetmakenvaneenstaartdeling?)entechnieken(hoeslijpjeeenbeitel?).Hetlaatstekennisniveaubetreftmetacognitieve kennis,hetbewustzijnvandeeigenkennis,heteigendenkenendesturingvanditdenken.Eenleerlingmaaktbijvoorbeeldeenplanningvoorhetmakenvaneenwerkstuk(eenverwarmingsinstallatie,eengeschrevenwerkstuk)engaattussentijdsnaofdeactiviteitenvolgensplanverlopen,ofenwaarhijmoetbijsturen,ofhetproductinwordingaandegesteldeeisenvoldoetenwaarhijhulpvananderenmoetinroepenofbronnenmoetraadplegen.

DetweededimensieinhetindelingsschemavanAndersonenBloomisdehandelingsdimensie.Dezebeschrijfthetcognitieveniveauofdegevraagde‘kennishandeling’waaropdeleerlingmoetpresteren.Hetniveauvankennishandelingenlooptincomplexiteitopvanhetlagereordeniveau‘oproepen’tothetmeestcomplexeniveauvan‘creëren’.

Wanneerwedezeskennisniveausvandehandelingsdimensiecombinerenmetdevierniveausvandekennisdimensie,danwordendaarmeedecellenvanhetschemaingevuld.Ditgeeftvoorhetkennisniveauconceptuele kennishetvolgenderesultaat.

a Oproepen:herkennen(uiteenreeksgegevenbegrippenhetnaderomschrevenbegripherkennen),benoemenvanbegrippen(Hoenoemtmenhetverschijnseldat…?Wijzendopeenlegendavaneenkaarteenantwoordlatengevenopdevraag:‘Watisdit?’).

b Begrijpen:interpreterenvaneenverband,illustreren,classificerenvanindividuenondereendiersoort,samenvatten(bijvoorbeeldvanuitvoorbeeldenmetbehulpvanéénoverkoepelendbegrip),vergelijken(vantweestaatsvormen),verklaren(waaromeenkurkblijftdrijvenophetwatereneensteenniet),voorspellen(watgebeurteralsmenkoudwaterineenpanmetheetvetgiet).

c Toepassen:gebruikenenuitvoerenvaneenregel,principeofwetmatigheidineennieuwetaaksituatie(bijvoorbeeldhetkiezenvandemeestzonzekerevakantiebestemmingmetbehulpvanklimaatkaartenindewereldatlas).

d Analyseren:onderscheiden(indelenvanwaargenomengebeurtenissennaarbijvoorbeeldtijdgeestenfunctie),organiseren(hetmakenvaneenindelingvooreenopstel),uiteenleggeninonderdelen(bijvoorbeeldeenorganogrammakenopgrondvaninformatievaneenbedrijf).

e Evalueren:waarderen(opgrondvaneenwaarderingssysteemsterkeenzwakkepuntenvaneenwerkwijzeofbenaderingbijelkaarzetten),beoordelen(tegenelkaarafwegenvanplus-enminpuntenenkomentoteenwaarderendeuitspraak),concluderen(doorcombinatievan

bevindingenenwaarnemingeneenalgemeneuitspraakdoen).f Creëren:plannen(hetmakenvaneenplanvanaanpakopbasisvaneerdergeleerdeprincipes

eneeninschattingvaneentaaksituatie),produceren,ontwerpen(ietsnieuwsmakenopgrondvaneenaantalgeleerdeprincipes),uitvinden(hetbedenkenvaneenorigineleoplossingvaneenprobleemdienognooitiemandandershadbedacht),hypothetiseren(opgrondvaneentheorieeennieuwexperimentbedenkenwaarvoormeneenhypotheseopstelt).

Het vaardighedenschema van RomiszowskiRomiszowskiheefteeninvloedrijketaxonomievoorvaardighedenontwikkeld.Daarinonderscheidthijcognitieve,psychomotorische,affectieveeninteractievevaardigheden.Inhetsysteemwordtverdereenonderscheidgemaakttussenreproductieveenproductievevaardigheden.

Tabel 2.5: Het vaardighedenschema van Romiszowski

Reproductieve vaardigheden Productieve vaardigheden

Cognitieve

vaardigheden

Eenbekendeproceduretoepassenopeen

bekendecategorieproblemen:aantallenop

elkaardelen;despellingregelstoepassenbijhet

schrijvenvaneenzin.

Onbekendeproblemenoplossen,eennieuwe

procedureuitvinden,eentheoretischestelling

bewijzen,eeneigentekstschrijvenovereen

onderwerp.

Psychomotorische

vaardigheden

Sensomotorischevaardigheden;herhaalbareof

geautomatiseerdeactieszoals:typen,koppelen-

schakelen,hardlopen.

Strategischevaardigheden;vakmanschap,

zoals:paginaontwerp,voetballen,eenveilige

routerijden.

Reactieve

vaardigheden

Aangeleerdegewoontenenattitudes,zoals:

aandachtbestedenaan,reagerenop,waarderen

Persoonlijke(zelf)controlevaardigheden,

zoals:emotiesbedwingen,zelfbeheersing,

uitstelvanbehoeftebevrediging.

Interactieve

vaardigheden

Socialegewoontes:aangeleerdereacties,goede

manieren,plezierigetoon.

Interpersoonlijkevaardigheden:overreding,

communicatievevaardigheden,discussiëren.

Reproductieve vaardighedenbetreffenrepeterendeactiviteitendiemetweinigofgeenplanninggepaardgaan.Hetgaatmeestalomstandaardproceduresofregelmatigvoorkomende(geautomatiseerde)handelingen.Integenstellingtotreproductievevaardighedendoenproductieve vaardighedeneenberoepopdecreativiteitenplanningsvaardighedenvandelerende.Zegaangepaardmet(complexe)processendiebewustendeelsonbewustverlopen.Delerendemoetdegeleerdeinformatiespontaantoepasseninnieuwesituaties,waarvoorhijnieuweoplossingenmoetbedenken.Cognitieve vaardighedenverwijzennaarintellectuelevaardighedenzoalsanalyseren,hoofd-enbijzakenonderscheiden,schematiseren,beslissen,voorspellen,evalueren,verklaren,probleemoplossen.Bijpsychomotorische vaardigheden(zoalshetbedienenvaneenvoertuig)issprakevansamenwerkingtussenhoofd(waarnemenenervarenvantijdinderuimte)enlichaam(handelingenuitvoeren).Reactieve vaardighedenverwijzennaargevoelens,attitudes,waarden;kortomhetreagerenopanderenenopgebeurtenissen.Interactieve vaardighedentenslottebetreffenvaardighedenwaarbijdebetrekkingtussenmensencentraalstaat,zoalshetvermogentotcommunicerenensamenwerken.

Vakspecifieke indelingsschema’sDetaxonomieënvanAndersonenBloomenRomiszowskizijnnietontwikkeldvooreenbepaaldvakdomein,maarzijnbreedtoepasbaar.Daarnaastbestaanerookvakspecifiekeindelings-schema’swaarinverschillendetypencognitieveoperatieswordenuitgewerktindecontext vaneenvak.Zozijnervoorlezen,rekenenenmodernevreemdetalenvakspecifiekeindelingsschema’smeteenvakspecifieketerminologie.EenvoorbeeldhiervanishetindelingsschemavoorderekentoetsenvanhetCitoVolgsysteemprimaironderwijsdatisopgenomeninPDF2.3indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Procesmatige prestatiemodellenBijprocesmatigeprestatiemodellenwordthetpresterenopeenvakofdomeinvoorgesteldalseensamenhangendgeheelvandeelprocessendiedeelsgelijktijdigendeelsvolgtijdelijkwordendoorlopen.Presterenbetekentdatmenzoweldeafzonderlijkedeelprocessenalsdegeheleketenvandeelprocessenmoetkunnendoorlopen.Alserééndeelprocesnietcorrectdoorlopenwordt,isdetotaleuitvoeringinadequaat.Ditbetekentdaterleerdoelenzijndieinfeitedeketenvanalledeelprocessenomvatten.Indetetoetsenleerdoelenvoorautorijdenvindenweeengoedvoorbeeldvanhetgebruikvaneenprocesmatigprestatiemodel.

Hetuitvoerenvaneenverkeersopgave,tedefiniërenalshetuitvoerenvaneenspecifiekegedragskeuzeineenverkeerssituatie,zoalshetinvoegenopeenautosnelweg,wordtdaarbijopgevatalseenhandelingscyclusmetdevolgendeprocessen:waarnemen,voorspellen,evalueren,beslissen.Waarnemenheeftbetrekkingophetzieneninterpreterenvan(steedsveranderende)informatieindeverkeerssituatie(weg,weer,anderverkeer,eigengedragendatvananderen)endefactorendievanbelangzijnomdeverkeersopgaveoptelossen.Hierbijisdoelbewustkijkenvanbelang.Voorspellenheeftbetrekkingophetvoorspellenvanwatergegevendewaargenomensituatiezal/kangebeurenmetbetrekkingtotheteigengedrag,hetgedragvanandereverkeersdeelnemersendeverkeerssituatie.Bijhetevaluerengaathetomhetinschatteninhoeverredebelangenvanveiligheid,doorstroming,milieuensociaalrijgedragingevaarkomenalsdegemaaktevoorspellingenuitkomen.Bijzowelvoorspellenalsevaluerenstaathetcombinerenenintegrerenvanwaargenomeninformatiecentraal.Diewaargenomeninformatiedienttewordenvergelekenmeteerderinhetgeheugenopgeslageninformatie.Dieligtinhetgevalvanautorijdenvaakopgeslageninherkendescenario’sdietijdenshetopdoenvanrijervaringontstaan.Ervarenbestuurdershebbenbijhetautorijdenbovendiendebeschikkingoverhandelingsscripts:eensoortgeautomatiseerdhandelingsprogrammadatrazendsnelbeschikbaarkomtzodraeensituatiewordtherkend.Hetbeslissenisindiegevalleninhogemategeautomatiseerd.Leerling-bestuurdersmoetenbeslissingenvaaknogbewustnemen.Zevallendaarbijterugophetcorrectenverantwoorduitvoerenvandedeelprocessen.Overigens,alssituatiesergingewikkeldworden,zullenzelfservarenbestuurdersterugvallenopdeelprocessen(Watbetekentdezesituatie?Welkeregelsgeldenhier?Watgebeurteralsiknu…?).Inderijopleidingzienwedateenleerwegwordtuitgestippeldwaarbijleerlingenintoenemendematecomplexereverkeersopgavenlerenoplossen(zoalslinksafslaanopeendrukkemeervoudigekruisingmetdaaroptrams,fietsersdiedoorroodrijden,etc.).Tijdenshetaanlereniseraandachtvoordedeelprocessen(waarnemen,voorspellen,etc.),waardeuitvoeringvandeverkeersopgavealspaakkanlopen.Daaromzienwedatinsystematischerijopleidingenzowelleerdoelenwordenonderscheidendiedegehelehandelingscyclusbehelzenalsdoelendieopéénenkeltaakprocesbetrekkinghebben.Vooreenuitgewerktvoorbeeldmetbetrekkingtotdeverkeersopgave‘invoegenopautosnelwegen’ziePDF2.4indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Een model voor competent handelenBijprestereninberoepssituatieswordtvandeleerlingvaakgevraagdomcompetenttehandelen.RoelofsenSandershebbeneenmodelvancompetenthandelenontwikkelddatgebruiktwordtvoorverschillendetoetsenenexamensinhetberoepsonderwijs.Infiguur2.1zijnallecomponentenendesamenhangenertussensamengevat.

Figuur 2.1: Model van competent handelen (Roelofs & Sanders, 2007)

Hetstartpuntomtebepalenofeen(aankomend)beroepsbeoefenaarmeerofmindercompetenthandelt,iseenverzamelingberoepstaken in kritische situaties.Ineenkritische situatiewordtdekandidaatminofmeergedwongenomadequaathandelentelatenzien,opstraffevanernstigenegatievegevolgenvoordebetrokkenen.Daarmeemaaktdesituatiehetonderscheidtussenkandidatendiemeerenminderbekwaamhandelen.Hierbijpasteenanalogiemetskiën:alsergeenbergenzijnen/ofalsergeensneeuwis,dankaneenaspirant-skiërnietlatenziendathijkanskiën.Alseralleenmaarflauwehellingenzijn,dankanergeengoedonderscheidgemaaktwordentussenmatigeengoedeskiërs.Bovendienzijnervoldoendesituatiesnodigomuitsprakentekunnendoenovercompetentieineentaakdomein.Hieronderwordendeonderdelenvanfiguur2.1nadertoegelicht.

Competenthandelende(aankomend)beroepsbeoefenarenkunnenhunhandelenverantwoordenmetbehulpvangeaccepteerdeprofessioneleprincipes.Voorbeeldenhiervaninhetdocentenberoepzijn:leerlingenlerenhetbestineenpositiefenondersteunendgroepsklimaat;voorkenniskanhetaanlerenvannieuwekennisenvaardighedensomsindewegstaan,zodatleerlingenhunbestaandeopvattingenvaakmoetenherstructureren.

Deverantwoordingvanheteigenhandelenstoeltbijvoorkeuropeenpersoonlijkeprofessionele basismetelementenals:• kennis,zoalsbijdocentenhunkennisoverhoeleerlingenlerenlezen,ofoverbegrippenen

wettenindenatuurkunde;• eenontwikkeldrepertoireaanvaardigheden,zoalshetkunnentoepassenvandidactische

werkvormeneninstructiestrategieën,zelfeenaantelerentechniekkunnendemonstreren;• opvattingen en voorkeuren,diemedegestoeldkunnenzijnopberoepsnormen,bijvoorbeeld

bijtandartsenofverpleegkundigen‘hetbevorderenvanhetwelbevindenvancliëntendient

1 Professionele basis • Kennis • Vaardigheden • Opvattingen • Persoonlijke

eigenschappen

3 Handelen

2 Inschatten, afwegen en beslissen

4 Gevolgen

beroepstakenin

kritische situaties

alsuitgangpunttewordengenomenbijeenbehandeling’;• persoonlijke eigenschappen,zoalsgeduld,introversie-extraversie.

Eenbekwameberoepsbeoefenaarkaneentaaksituatieinschatteneneenprofessioneleafwegingmakenoverhoehijgaathandelen.Eenvoorbeeldvanzo’nafwegingdooreen(aankomend)docentkanzijn:‘Geefikbijdebegeleidingvaneengroepsamenwerkendestudententipszodatikmisvattingenuitdewereldkanhelpen?’Of‘Laatikdegroepmetrustomhenzelftelatenontdekkenenuitzoekenofenwaarzevakmatiggezienmisvattingenhuldigen?’

Hetdaadwerkelijkehandelenvan(aankomend)beroepsbeoefenarenzalvaakbijnagelijktijdigofafwisselendmethetprocesvaninschatten,afwegenenbeslissenplaatsvinden.Hetgaatbijhethandelenomhetpassendinzettenvaneenprofessioneelrepertoireaanhandelingen.Bijdocentengaatdatbijvoorbeeldomhetmakenvaneenlesplanning,ontwerpenvanopdrachten,organiserenvandeonderwijsleersituatie,verzorgenvaninstructie,voerenvanouder-gesprekken.Dezebredecategorieënkunnenverderuitgewerktwordeninspecifiekeactiviteitenzoalsvragenstellenenfeedbackgeven.

Delaatstecomponentvanhetmodelbetreftdegevolgen.Slaagtdekandidaaterinombijdeuitvoeringvantakenpositievegevolgenteweegtebrengen?Voorbeeldenvanpositievegevolgenvanhethandelenvandocentenzijn:betrokkenwerkendeleerlingen,leerlingendiezichingroepsverbandnieuwebegrippenoftechniekeneigenmaken.Watwepositievegevolgennoemen,hangtmedeafvandevisieophetberoep.Hetismogelijkdateenresultaatindeenevisiealspositieverwordtgeziendanindeanderevisie.VooreenuitgewerktvoorbeeldvanditmodelziePDF2.5indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Allebeschrevenindelingsschema’sdrageneraanbijdattoetsbareleerdoelenkunnenwordengeformuleerddievariërennaarinhoudenniveauvancognitief,affectief,psychomotorischofinteractiefpresteren.

2.3.3 Toetsbare leerdoelen opstellenZodraduidelijkisopwelkedomeinengepresteerdgaatwordenenwelkindelingsschemadaarvoorhetbestkanwordengebruikt,kunnendealgemenedoelenwordenuitgewerkttottoetsbareleerdoelen.Deverzamelingenvanleerdoelenwerkenalseenkompasvoordetoetsconstructeur.Inhetoverzichtvandeleerdoelenwordtduidelijkwatmenwiltoetsen.

Wileenleerdoeltoetsbaarzijn,danzalhetmoetenvoldoenaaneenaantalkenmerken.Formeeluitgedruktzieteenleerdoeleralsvolgtuit:deleerlinginstadiumAingroepBvanonderwijssoortCvertoontgedrag P in situatiesQ,onderconditiesR,waarbijhulpmiddelen S wordengehanteerd,volgensprestatiestandaardT.

Webesprekenhiernaallecursiefgedruktecomponentenvaneentoetsbaarleerdoel.

De leerling.Hetgaatbijdeformuleringvaneenleerdoelaltijdomeenleerlingofcursistdiezichineenbepaaldefasevaneenopleidingbevindt.

Gedrag.Devraagishier:watmoetdeleerlingkunnentonen,beheersenofweten?Hetgaatomobserveerbaar,aantoonbaargedrag.Gebruikmakendvandewerkwoordenindeindelingsschema’skanmenaangevenwatvandeleerlingwordtverwacht.Uitdrukkingenals‘herkennen’,‘classificeren’en‘plannen’worden

gebruiktinhetformulerenvantoetsbareleerdoelen.Dewerkwoordengevenaanwatdeleerlingmoetkunnentonennaafloopvaneenles,eenlessenreeksofeenopleidingsfase.Hetkomtnogaleensvoordatdezewerkwoordenofweltealgemeenofweltespecifiekzijngekozen.Intabel2.6zijnvoorbeeldenopgenomenvanwerkwoordenwaarvanwordtaangenomendatzeachtereenvolgensvoldoendespecifiek,tespecifiekoftealgemeenvanaardzijn.

Tabel 2.6: Minder en meer geschikte werkwoorden bij het formuleren van toetsbare doelen

Te algemene werkwoorden

Bestuderen

Genereren

Afleiden

Interpreteren

Observeren

Testen

Gebruiken

Toepassen

Reageren

Voldoende specifieke werkwoorden

Sorterenopalfabetischevolgorde

Kiezen

Tellen

Beschrijven

Tekenen

Verklaren

Opsommen

Ineigenwoordennavertellen

Groeperen

Ordenen

Te specifieke werkwoorden

Omcirkelen

Aanvinken

Eenlijntrekkentussen

Eencirkelzettenom

Eenkruisjezettenbij

Onderstrepen

Dezelfdekleurgevenals

Deeersteletteropschrijven

Eenkaderzettenom

Degebruiktewerkwoordenzijnaltijdverbondenmeteeninhouduiteenvakgebied,eenberoepstaakofeenalgemenekwaliteit,zoalshetverzorgenvandieren,hetuitvoerenvaneenrijtaak,hetverrichtenvanonderzoek,hetschrijvenvanovertuigendeteksten,enz.

Situaties.Devraagishier:inwelkesituatiesmoetdeleerlingpresteren?Omdatprestatiessterksituatieafhankelijkkunnenzijn,ishetvanbelanguittewerkenwelketaaksituatiesweaanleerlingenwillenvoorleggen.Ofhetnugaatompresterenbinneneenschoolvakofbinneneenberoepscontext,duidelijkmoetzijninwelketaaksituatiesditmoetgebeuren.Omietstekunnenzeggenoverwateenleerlingkan,dientmeninhetleerdoelaantegeveninwelketaaksituatieshetgedraggetoondmoetworden.

Zowordenbijhettoetsenvandoeleninhettaalonderwijsvaakverschillendesoortentekstenonderscheidenwaarinhetdoelgedragmoetwordengetoond.NeemalsvoorbeeldhetluisterennaargesprokenEngelsetekstenmethetdoeldetekstineigenwoordennatevertellen.Ditgerichtluisterenkanbijvoorbeeldgebeurenbijhetnavertellenvanverhalen,betogen,dialogen,enmonologen.Detebeluisterentekstkanbovendienafkomstigzijnuiteenauthentiekedagelijksesituatie(bijvoorbeeldeenopnamevaneennieuwsuitzending),vaneennagespeeldesituatiedieverwijstnaardewerkelijkheid,ofdoordeleraarwordenvoorgelezen.Hetisnietvanzelfsprekenddatleerlingendieerinslageneenvoorgelezentekstineigenwoordennatevertellenditookkunnennahetbeluisterenvaneenauthentiekenieuwsuitzending.Hetisdusvanbelangindedoelstellingaantegeveninwelkesituatiesdeleerlingdienttepresteren.Andersgezegd,daarmeewordendegrenzenvanhetsituatiedomeinwaarbinneneenleerling

moetpresterenbepaald.

Condities.Devraagishier:onderwelkeomstandighedenmoetdeleerlingpresteren?Deomstandighedenwaaronderleerlingenmoetenpresteren,deprestatiecondities,hangensterksamenmetdetekiezentaaksituaties,maarvallenernietmeesamen.Deuitwerkingvandeprestatieconditiesindetetoetsenleerdoelendientervooraltoeomvariatietekunnenaanbrengenindegewenstemoeilijkheidsgraadvaneentoetstaak.Indeleerdoelenmoetduidelijkwordenonderwelkeomstandighedeneenleerlinghetgevraagdegedragmoetkunnentonen.BijhettoetsenvandoelenvoorbijvoorbeeldhetbegrijpendlezenvanEngelstaligetekstenwordentekstengebruiktdievariëreninmoeilijkheidsgraadvanwegehunlengte,hetgebruikvancomplexezinsconstructies,enalofnietbekendebegrippen.Ditallesomerzekervantezijndatleerlingendebetekenisvantekstenlerendoorgronden,ookalzijndezesomsmoeilijkgeschreven.Doordeprestatieconditiestevermeldenwordtduidelijkbinnenwelkegrenzenvantaakcomplexiteitleerlingengeachtwordentepresteren.

Hulpmiddelen.Devraagishier:welkehulpmiddelenmag/moetdeleerlinginzettenbijhetuitvoerenvanhetgevraagdegedrag?Hetkanzijndathulpmiddelenjuistnietgewenstzijn,wanneerwebijvoorbeeldverlangendatleerlingenkennisdirectparaathebbenofwanneereenbewerking‘uithethoofd’moetwordengedaan,zoalsbijhoofdrekenenofschattendrekenen.Inanderegevallenishetgebruikvanhulpmiddelenjuistnodigomeenhogereordevaardigheidtetonen,zoalshetgebruikenvaneenspreadsheetomingewikkelderekenbewerkingenteorganiseren.Inhetlaatstegevalteltnietdeparatekennisofdefoutlozebewerkingmaardehogereordevaardigheidomeengeschiktspreadsheetoptezetten.Anderevoorbeeldenvanhulpmiddelenzijneenatlas,eenroutenavigator,eenstukgereedschap.Eendoelstellingverandertinhoudelijksterkwanneerhulpmiddelenwelofjuistnietwordenopgenomen.Neemalsvoorbeeldeendoelstellingwaarinhetoplossenvaneencontextrijknatuurkundigprobleemcentraalstaat.Wanneergeenformule-informatiemagwordengeraadpleegd,wordteenzwaarberoepgedaanopreproductievanformulekennis.Leerlingendiedezekennisnietparaathebben,zullenhetprobleemnietadequaatkunnenoplossen,terwijlzedatmogelijkwelhaddengekundalsdeformulesbeschikbaarwarengeweest.Wanneerdiereproductievandeformuleessentieelwordtgeacht,moetdatindegesteldetoetsdoelenvoorafduidelijkwordengemaakt.Dedocentmoetindatgevalkunnenverantwoordenwaaromparateformulekennisnoodzakelijkis.Gaathetdenatuurkundeleraareromdatzijnleerlingenhetprobleemjuistkunnenplaatsendanisparateformulekennisnietnoodzakelijk.

Prestatiestandaard.Centraalstaanhierdevragen:hoegoedmoetietswordenbeheerst? Welkecriteriageldenvoorde(goede)uitvoering?Wanneerisdedocenttevredenoverhetgetoondegedragofdegedemonstreerdekennis?Wanneerniet?Hetlaatsteonderdeeldateenleerdoeltoetsbaarmaakt,betreftdeprestatiestandaard waartegenhetgedragvandeleerlingwordtafgemeten.Zokaneenleerdoeloverhetschrijvenvantekstenindeeigenmoedertaalinformatiebevattenoverdekwaliteitvandegeschreventekst(hetproduct),zoalsdematevangestructureerdheid,degebruikteinterpunctieendeovertuigingskracht.Ookzouhierbijdeaanpakomtekomentoteengeschreventeksteentetoetsenleerdoelkunnenvormen,zoalshetaantalgehanteerdeinformatiebronnen(zoalsobservaties,gesprekken,tijdschriftartikelen),dekwaliteitwaarmeedekernvandeinformatieisgeorganiseerdineenschema,enz.

Bijhetspecificerenvandeprestatiestandaardinhetleerdoelhelpthetomtebedenkenwatdegevolgenvanadequatetaakuitvoeringzoudenmoetenzijn.Diewenselijkegevolgenkunnenvervolgensalselementenvandeprestatiestandaardwordenvermeld.Ditisvooralaandeordebijtalvan(praktische)vaardighedenzoalsuittevoereninleef-enwerksituaties.Bijvoorbeeld

bijspreekvaardigheidindeEngelsetaaliseenwerkelijkgevolgdatdesprekerietsgedaankrijgtvandeander.Deautomobilistlostverkeersopgavenzoopdatzevooranderengeenhinderofgevaaropleveren.Deleerlingbaktfritesdiedekoperlekkervindt.

Watwemethetvoorgaandewillenbenadrukkenisdathetuitwerkenvantoetsbareleerdoelengeenwoordenspelis,maareennoodzakelijkevoorbereidingvoorhetuitwerkenvantoetsenentoetsopgaven.

Hieronderzijn,geletopdebovengenoemdekenmerken,enkelevoorbeeldenvanmeerenminderadequaatgeformuleerdeleerdoelenweergegeven.Wemerkenerbijopdatookdeverbeterdeformuleringennogverderkunnenwordengespecificeerd.

Voorbeeld 1Te specifiek:deleerlingkaneenkruisjezettenopeenafbeeldingteraanduidingvandecorrectemeetkundigevorm(cirkel,driehoek,rechthoek,vierkant,ellips).Beter:deleerlingkaneenafbeeldingvaneengeometrischevorm(cirkel,driehoek,rechthoek,vierkant,ellips)identificerenalsdenaamvandezevormwordtgenoemd.

Voorbeeld 2Geen situatie genoemd:derijinstructeurordentdeaantelerenrijtakenvaneenvoudignaarcomplex.Beter:derijinstructeurordentdeaantelerenrijtakeninhetkadervaneenregulierrijlesprogrammavaneenvoudignaarcomplex.Metprestatieconditie:inhetkadervaneenregulierrijlesprogrammamaaktderijinstructeur,afhankelijkvandebeginsituatievandeleerling,eenbijdeleerlingpassendeordeninginaantelerenrijtakenvaneenvoudignaarcomplex.

Voorbeeld 3Gedrag te algemeen:deleerlingbaseertzijnconclusiesopbevindingenuitzijnonderzoek.Beter:ineendiscussieparagraafvaneenonderzoeksverslagonderbouwtdeleerlingzijnonderzoeksconclusiesmetempirischebevindingenuithetverrichteonderzoek.

Voorbeeld 4Prestatiestandaard te vaag:deaspirantbestuurdervoegtopjuistewijzeinopdoorgaandewegenenautosnelwegen.Beter:deaspirantbestuurdervoegtopeenzodanigewijzeinopdoorgaandewegenenautosnelwegendatandereverkeersdeelnemersniethoevenintehoudenofuittewijken.

2.4 Bepalen van toetstaken

Eenvolgendestapindeuitwerkingvandetoetsinhoudisdekeuzevantoetstaken.Hoebeterdetoetstakenaansluitenbijdeleerdoelen,destebeterisdekwaliteitvandeuiteindelijketoets.Meteentoetstaakbedoelenweéénopgavewaarinminstenséénleerdoelwordtgetoetst.

Omnategaanofeentoetstaaktoetstwatinhetleerdoelstaatvermeld,moetenwedusantwoordkunnengevenopdevragen:• Noodzaaktdetoetstaakdeleerlingomhetbedoeldegedragtetonen?• Komtdeindetoetstaakaangebodentaaksituatieovereenmetdebeoogdetaaksituaties?• Komenindetoetstaakdebedoeldeprestatieconditiesnaarvoren?• Krijgtdeleerlingindetoetstaakdekanstevoldoenaandebedoeldeprestatiestandaard?

Wateentoetstaakfeitelijktoetst,hangtafvandekenmerkenvandietoetstaak.Kleineveranderingenintoetstakenkunnendanookgrotegevolgenhebbenvoorwatgetoetstwordt.Daaromzettenwedebelangrijkstekenmerkenvantoetstakenopeenrij.Weonderscheidenzeshoofdkenmerken.

1 Authenticiteit2 Kritiekefactoren3 Soortenstimuli4 Taakstructurering5 Responskenmerken6 Gevolgenvantaakuitvoering

AuthenticiteitHeteerstekenmerkbetreftdeauthenticiteitvandetaaksituatiediekanuiteenlopenvanonveranderdecht,gereduceerdecht,gesimuleerd,hands-offtotformeel.Onveranderd echte taaksituatieswordengebruiktvoorhetbeoordelenvanprestatiesinreëlewerksituaties.Kenmerkendvoordezetaaksituatiesisdatzewordenuitgevoerdindecomplexeonveranderdewerk-ofleefsituatie.Indiereëlesituatiedienenzichmeestalmeerdereproblementegelijkertijdaan.Erkunnenredenenzijnomkandidatentoetstakenvoorteleggenwaarbijsprakeisvaneengereduceerd echte taaksituatie.Indezesituatieisdeomvangvandetaaksituatiebeperkter. Degevolgenvangoedeofzwakkeuitvoeringzijnnogsteedsmerkbaarvoordeuitvoerendezelf,deontvangers,anderenofobjecten.Verschillendestorendebronnenkunnenechterwordenuitgeschakeld.Bijvoorbeeldhetvoerenvantelefoongesprekkenineenrustigeruimteinplaatsvanineenruimtewaaranderenpratenenbinnenlopen.Dereductieheeftbetrekkingopdeomvangvandesocialecontextwaaringewerktwordt.Tegelijkertijdmoetbeseftwordendatdemoeilijkheidgraadvandetoetstaakhierdoorook(ongewenst)kanverminderen.Bijgesimuleerde taaksituatiesmoeteenkandidaatpresterendooreentaakuittevoerenondernagebootsteomstandigheden.Inditsoorttaaksituatieswordenaspectenvandenatuurlijkewerk-ofleefsituatievereenvoudigd,gemanipuleerdofzelfsweggelaten.Vaakbestaatdemogelijkheiddesituatie‘stiltezetten’,zoalsineenrijsimulatorofbijeenrollenspelmetacteurs.Vergelekenmetechtetaaksituatiesishetaantalgelijktijdigegebeurtenissenkleiner,ookalzijndesimulatieszeerintelligentopgezetofgeprogrammeerd.Bijhands-off taaksituatiesissprakevanbeschreven,geïllustreerdeofgefilmdetaaksituatiesdiezichnietinhethier-en-nuvoordoen.Deleerlinghandeltnietindesituatiezelf.Erzijndanookgeendirectegevolgenvanhethandelenomdatergeensprakeisvanrechtstreekseinteractie.Tevenswordtdecomplexiteituitdewerkelijkheidgereduceerdtotdevoordetaakessentiëleinformatie.Bijhands-offtaaksituatiesissprakevaneenrelatieopafstandmetsituatiesuitde

werkelijkheid:detakenzijningebedineengebruikscontext.Voorbeeldenvanhands-offtaaksituatieszijn:contextrijkerekensommen,waarbijeenleerlinguiteendenkbeeldigesituatiederekenopgavemoetherkennenenoplossenofhetluisterennaareenopgenomenradio-uitzendingindeklasenhetbeantwoordenvanvragendaarover.Totslotonderscheidenweformele taaksituaties,waarineenrelatiemeteenleef-ofwerksituatieontbreekt.Toetstakeninformeletaaksituatieskunnennietteminafhankelijkvandedoelstellingzeergoedwordeningezet.Denkaanhettechnischlezenvanwoordenenzinnendatindeeerstejarenvanhetbasisonderwijsgeautomatiseerdensneldienttegaanverlopen.Anderevoorbeeldenzijninvuloefeningenwaaringrammaticaregelswordengeoefendofhetuitwerkenvanspecifiekeformulesineenrekenblad.

Kritieke factorenHettweedekenmerkvandetoetstaak,dekritiekefactorenindetaaksituatie,wordtsterkbepaalddoordeindetoetsdoelenvastgesteldeprestatiecondities.Alshettoetsdoeldaaromvraagt,moeteninbijvoorbeeldeentoetstaakvoorrijvaardigheidverschillendeprestatie-conditiesvertegenwoordigdzijn,zoalsuiteenlopendewegtypen,verschillendeaantallenverkeersdeelnemers,variërendeweersomstandigheden.

Soorten stimuliHetderdekenmerkbetreftdetegebruikensoortenstimuliindetoetstaak.Destimulivormenhetconcretetoetsmateriaalwaarindeopdrachtvervatligt.Hethangtsterkvanhettetoetsenleerdoelafwelkestimulimoetenwordengekozen.Alseentetoetsendoelindecriterium-situatieeendynamischesituatievraagt,zoalshetopmerkenvanveranderingenindeverkeers-situatie,danvolstaateentoetstaakmeteenfotoniet,maarmoetminimaaleenfilmpjegebruiktworden.Eentoetstaakalshetbenoemenvanverschillendetypenbottenengewrichtenvanhetmenselijklichaamkanmetbehulpvanfoto’sof3Dmodellen,maarmoetsomsaandehand vaneenechtepersoon,wanneerhetbenoemenbijvoorbeeldgaatinhetkadervanhetdiagnosticerenvaneengewrichtsblessure.Hetkiezenvandepassendestimuliiscruciaal,omdathetgebruikervanmedebepaaltwaterfeitelijkgetoetstwordt.Alsdemeestgewenstetoetsstimulinietbeschikbaarzijnofbijvoorbeeldteduur,dankaneengevolgzijndatbepaaldeleerdoelennietgetoetstkunnenworden.

TaakstructureringHetvierdekenmerkvaneentoetstaak,taakstructurering,endedaarmeeinverbandstaandekenmerkenvanderesponsendeaardvandegevolgenvandetaakuitvoering,ishetmeestcomplexekenmerkvaneentoetstaak.HiernawordenelfaspectenvanditkenmerkgenoemdwaarvaneenschematischoverzichttevindenisinPDF2.6indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.InPDF2.7wordendekenmerkentoegelichtaandehandvantweevoorbeelden.

• Duur:hoelangmoeteentaakdurenomhetindedoelstellinggevraagdetekunnenaantonen:kortetaken,uittevoerenbinnenéénlesuur,langetermijntaken,dieenkelewekentoteenhalfjaarinbeslagkunnennemenoftussenvormen?

• Opgeroepen/spontaan:moethetindedoelstellinggevraagdewordenaangetoondintakenopaanvraagofintakendieineennatuurlijkesituatieoptreden?

• Structurering probleemdefinitie:welkestructuurindeprobleemdefinitiemoetgegevenwordengezienhetgevraagdeindedoelstelling:eenongestructureerde,matigofsterkgestructureerdeprobleemdefinitie?Bijtoetstakenmeteenongestructureerdeprobleem-definitiemoetdeleerlinghetprobleemeerstzelfinkaartbrengenalvorenshetoptelossen.

• Taakinstructies:inwelkematemoetentaakinstructieswordengegevenopdathetindedoelstellinggevraagdewordtgemeten?Moetenveelofweinigaanwijzingenworden

gegevenwatbetreftdetevolgenwerkwijze,hetmateriaalgebruik,hetgereedschapgebruik,hethulpmiddelengebruikendeaardvandegewensteoplossing?

• Alternatieve werkwijzen:vereisthetindedoelstellinggevraagdeéénvastewerkwijzeofzijnermeerderemogelijkewerkwijzen?

• Alternatieve oplossingen/producten:vereisthetindedoelstellinggevraagdeéénspecifiekecorrecteoplossingofproductofzijnmeerderecorrecteoplossingen/productenmogelijk?

• Groepsprestaties:verwijsthetgevraagdeindedoelstellingnaareentoetstaakwaarinkandidatenindividueelwerken,ingroepenofcombinatiesdaarvan?

• Interactiviteit:vereisthetindedoelstellinggevraagdedathethandelenvandekandidaatleidttotveranderingindetaaksituatie?

• Materiaalgebruik:vereisthetindedoelstellinggevraagdebepaaldetegebruiken/bewerkenmaterialen(bijvoorbeeldpapier,klei,voer,hout)ofjuistniet?

• Gereedschappen:vereisthetindedoelstellinggevraagdealofniethetgebruikvaninstrumenten(meters,potlood,pen,messen,rekenmachine,computer),machinesofvoertuigen?

• Strategische hulpmiddelen:vereisthetindedoelstellinggevraagdehetalofnietgebruikenvanstrategischehulpmiddelen(bijvoorbeeld:atlas,woordenboek,tabellenboek,stappenplan,internetbronnenzoalswikipedia,gebruikershandleiding,routenavigator).

ResponskenmerkenHetvijfdekenmerkvantoetstakenbetreftdegevraagderespons.Allereerstbetreftditderesponsmodaliteit.Devraaghierbijiswelkemodaliteithetbestpastbijhetindedoelstellinggevraagde:moetdekandidaatverbaal(schriftelijk-mondeling),non-verbaal,symbolisch,performaal(grafisch,fysiek,beeldend)presterenindetoetstaak?Daarnaastkanderesponsstructuurvandetoetstaakvariëren.Issprakevaneenopenofeengeslotenrespons(bijvoorbeeldantwoordoptiesbijmeerkeuze-opgavenoftekiezenmeervoudigerespons).Eenvolgendaspectbetreftderesponstijd:vereistdetoetstaakdateronmiddellijkeenactie/antwoordkomt?Isdetoetstijdbeperkt?Totslotiserdevereiste mate van verfijning:hoeverfijnddientderesponstezijngezienhetindedoelstellinggevraagde.Daarbijvalttedenkenaandelengte(bijvoorbeeldeenkortantwoord,eenkortessay,eenlangessay,eenverslag),degevraagdematevannauwkeurigheidinrespons(bijvoorbeeldeenglobaalofexactantwoord),deeisvanvaktaal.

Gevolgen van taakuitvoeringHetlaatstekenmerkvandetoetstaakbetreftdegevolgenvantaakuitvoering:inhoeverrehebbendevolgensdedoelstellinguittevoerentakenwelofgeendirectegevolgenvoordeuitvoerendezelf,ontvangers,anderenofobjecten?Ookwanneerdekenmerkenvantoetstakenwordengevarieerd,heeftdatgevolgenvoorwatfeitelijkgemetenwordt.Hetisdanookzaaktezorgenvoorgelijkvormigheidtussenhettetoetsenleerdoelendetoetstaak.HetschematischoverzichtinPDF2.6kandaarbijhelpen.

2.5 Opstellen van een toetsplan

Nadatdedoelenvandetoetszijnuitgewerkt,kanhettoetsplanwordenopgesteld.Daarinstaatwelketoetsvormenwanneergebruiktgaanwordenvoorsummatieveofformatievedoeleinden.Hettoetsplansteltdocenteninstaatregelmatigterugkoppelingtegevenaandeleerlingenenhunonderwijsaantepassenaanwatdeleerlingennodighebben.Bovendienkrijgenleerlingenmaarookoudersduidelijkheidoverwatdeschoolbelangrijkachtomteleren.

Bijdeuitwerkingvanhettoetsplanstaandevolgendevragencentraal:• Metwelketoetsvormenwordendeverschillendeleerdoelengemeten?

• Hoewordentoetsengespreidoverdetijd?• Welkgewichtkrijgendeverschillendetoetsvormenbijdebeoordelingvanleerlingen?

Bijhetopstellenvaneentoetsplanishetzaakeenevenwichttevindeninhetgebruikvanverschillendetoetsvormen.Omwelkeinhoudvaneentoetshetookgaat,aangeradenwordtomgebruiktemakenvaneenevenwichtigemixvantoetsvormen.Eenevenwichtigemixvantoetsvormenzorgtervoordatpotentieelzwakkekantenvandeenetoetsvormgecompenseerdwordendoordepotentieelsterkekantenvandeandere.‘Sterk’en‘zwak’hebbenbetrekkingopde betrouwbaarheidenvaliditeitvandeverschillendetoetsvormen.Zozaleentoetsbestaandeuit meerkeuzevragenmeestalbetrouwbaarderzijndaneenproevevanbekwaamheidterwijldezelaatstetoetsvormveelauthentiekeris.

Zoalsinparagraaf2.4werdbetoogd,ishetverstandigstiltestaanbijdegewenstetypentoetstakenvoordatmendefinitiefvooreenbepaaldetoetsvormkiest.Hetkanheelverhelderendzijnombijdevaststellingvantoetsvormeneersteenaantalprototypischeopgaventeontwikkelendiemenindegewenstetoetsvormengaatgebruiken.Daarbijstaatdevraagcentraalofdegesteldeleerdoelenmetdebeoogdetoetstakenkunnenwordengetoetst.Veelhangtdanafvandekenmerkenvandeopgaven.Vervolgenskanalofnietbeslotenwordenomdoortegaanmeteentoetsvorm.

Eenvoorbeeldvaneentoetsprogrammavooraspirantrijinstructeursstaatinfiguur2.2.Hierinstaandevierverschillendetoetsvormendieafgenomenwordenomdekennisbasisendecompetentievanaspirantrijinstructeursvasttestellen.Indefiguurzienwedat‘verantwoordrijdenalseerstebestuurder’doormiddelvaneencasustoetseneenpraktijkritbeoordeeldwordtterwijlhet‘verwoordenvandetaakprocessen’alleendoormiddelvandepraktijkritbeoordeeldwordt.Voormeerinformatieoverdetoetsvormenendetoetstakendieindetoetsengebruiktworden,verwijzenwenaarVissers,NägeleenRoelofs(2006).

Competentiedomeinen Kennisbasis Beroepstaken

Casustoets Situatie-

beoordelings-

Praktijkrit Proeven van

bekwaamheid/

videodossiers

Cluster 1 Competent in verkeersdeelname

1.1 Verantwoordrijdenalseerstebestuurder

1.2 Verwoordenvandetaakprocessen

1.3 Voertuigbeheersingalstweedebestuurder

Cluster 2 Competent in voorbereiden van lessen

2.1 Lesplanningopmaatmaken

2.2 Uitwerkenvanrijvaardigheidsdidactiek

2.3 Organiseren

Cluster 3 Competent in uitvoeren van lessen

3.1 Instructiegeven

3.2 Coachenvanhetleerproces

Cluster 4 Competent in evalueren en bijstellen

4.1 Beoordelenvanrijvorderingen

4.2 Reflectieenbijstellingeigenhandelen

Figuur 2.2: Toetsplan voor aspirant rijinstructeurs (Vissers, Nägele & Roelofs, 2006)

Deplanningvandeverschillendetoetsvormenkanzichuitstrekkenoververschillendetijdseenheden:eenschooljaar,eentrimester,eeninstructie-eenheidofeenles.Ineentoetsplankunnenenkelemalenperschooljaarlandelijketoetsenwordenopgenomenomdealgemenevoortgangvanleerlingentetoetsenentrendstesignaleren(bijvoorbeeldeenopgelopenachterstand),leerlingenteplaatsenofhenadviestegeven.Opscholenvoorprimaironderwijswordtinditverbandveelgebruikgemaaktvaneenleerlingvolgsysteemwaarintoetsenzijnopgenomenvoortaal(technischlezen,begrijpendlezen,spellen),rekenen(zoalsgetallen,bewerkingen,breuken,meten)ofstudievaardigheden.Inhetvorigehoofdstukzagenwedaterookvoorhetvoortgezetonderwijsenhetberoepsonderwijstoetsenbeschikbaarzijnwaarmeelerarendestudievoortgangvanhunleerlingenkunnennagaanenwaarmeeleerlingenbeterekeuzesvoorvervolgonderwijskunnenmaken.

Eengrootdeelvaneentoetsplanbehelstdeplanningvansummatievetoetsenwaarmeenagegaanwordtof(detussen)doelenbereiktzijn.Dezetoetsenkunneneeninstructie-eenheid,eentrimesterofeenschooljaarbetreffen.Aandehandvandezetoetsenwordenleerlingenbeoordeeld,wordtbeslotenhenaldanniettebevorderenoftecertificeren.InscholenvoorvoortgezetonderwijszienwedatdegeplandetoetsenwordensamengevatineenzogehetenProgrammavanToetsingenAfsluiting(PTA).Hetgaathiermeestalomzelfontwikkeldetoetsen,maarookcommercieelverkrijgbaretoetsenkunnenonderdeelvormenvaneenPTA. VooreenvoorbeeldvaneenPTAziePDF2.8indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.

Bijdeplanningvaneentoetsplanmogenformatievetoetsennatuurlijknietontbreken.Zoalsweinhoofdstuk1reedsopmerkten,gevenderesultatenopformatievetoetseninzichtinsterkeenzwakkepuntenvandeleerlingenondersteunenhetnemenvandidactischemaatregelenopvrijkortetermijn.

Indepraktijkkomthetnogaleensvoordatmentoetsendiemeteenformatiefoogmerkwerdenafgenomenlatertochlaatmeetellenbijeeneindbeoordeling.Omdezepraktijktevoorkomen,moetineentoetsplanstaanwelketoetsenwelenwelketoetsennietgebruiktzullenwordenbijhetvaststellenvaneeneindbeoordeling.

2.6 Samenstellen van afzonderlijke toetsen

Delaatstevoorbereidendestapvoordeeigenlijkeconstructievantoetsopgavenishetmakenvaneenblauwdrukvoordesamenstellingvandetoets(en).

Omervoortezorgendateentoetseenrepresentatieveafspiegelingisvanwatgetoetstmoetworden,dientmendevolgendevragentebeantwoorden:• Welkgewichtkrijgendeverschillendeleerdoelenindetoets?• Hoebereikenweeengoededekkingvandoelenenonderwerpen?• Hoebereikenweeengoededekkingvanzowellagerealshogereordeprocessen?• Hoebereikenweeengoededekkingvanbeoogdetoepassingssituaties?• Hoebereikenwedatdeprestatieookechtvandeleerlingzelfis?

Demeestevandezevragenkunnenmetbehulpvaneentoetsmatrijsbeantwoordworden. Webeschrijvenditaandehandvaneenvoorbeeld.Tabel2.7toonteenvoorbeeldvaneenbeknoptetoetsmatrijs,zoalsdieisgehanteerdbijdeconstructievantheorie-examensvoorkandidaat-rijinstructeurs.Hettetoetsendomein,theorievanderijtaak,isvoorafgaandhieraanuiteengelegdineenbeschrijvingvanderijtaakvolgensmodernegedragswetenschappelijke

modellenophetterreinvanrijvaardigheid.Ditresulteerdeineenonderscheidinhoofdtaken(hierafgebeeldindelinkerkolom)endeeltaken,kwaliteitscriteriawaaropdeadequaatheidvandetaakuitvoeringdiendetewordenbeoordeeldendeaardvanhettebevragentaakproces.

Tabel 2.7: Toetsmatrijs examenthema ‘Theorie van de rijtaak’: aantal waarneem- en voorspel/evalueeropgaven (VE) en aantal handelingskeuzeopgaven (H) per hoofdrijtaak (aangepast naar Roelofs & Vissers, 2007)

Kwaliteitscriteria van autorijden

Veiligheid Doorstroming Milieu Sociaal rijgedrag Totaal

VE H VE H VE H VE H

Voorbereidenenafsluiten

vanverkeersdeelname

2 0 2 0 1 0 0 0 5

Stromen 4 2 4 1 1 1 1 1 15

Kruisen 7 3 5 1 0 0 3 1 20

Zijdelingsverplaatsen 7 3 3 1 1 1 3 1 20

Totaal 20 8 14 3 3 2 7 3 60

Ineenbijeenkomstmetvertegenwoordigersvaneenexamenopgavencommissieisbepaaldwelkgewichtiederecombinatievankwaliteitscriteriaentaakprocessenenerzijdsenrijtakenanderzijdszoumoetenkrijgen.Veiligheidwerdhierbijbeschouwdalshetbelangrijkstecriterium,gevolgddoorachtereenvolgensdoorstroming(vlotrijden),sociaalrijgedragenmilieusparendrijden.Bijdetaakuitvoeringwerden‘kruisen’en‘zijdelingsverplaatsen’alsmeestcrucialerijtakenvandetotalerijtaakbeschouwd,omdatdaarbijdemeesteontmoetingenmetanderenplaatshebben.Uitgaandevaneenaantalvan60opgavenzijnnahetverkrijgenvanconsensusdeaantallenteontwikkelenopgavenverdeeldoverdecellen.Indetabelzienwedathetgrotetoegekendegewichtaanveiligheidzichtbaarterugtezienisinhetaantalvan28itemsdatbesteedmoetwordenaanditonderdeel.Ookzienwedatvoorderijtaak‘Voorbereidenenafsluitenvanverkeersdeelname’geenhandelingskeuzeopgavenwordenontwikkeld.Meerinhetalgemeenzijnermeervoorspel-enevalueeropgavengeconstrueerddanhandelingskeuzeopgaven.Ookditiseengevolgvaneenkeuzevandeexamenopgavencommissie.

Hoewelditvoorbeeldisgenomenuitdecontextvanprofessioneletoetsconstructie,geldendehiervoorgenoemdevragenookvoortoetsendieindeschoolpraktijkgebruiktworden,zoalseenschriftelijkeoverhoring,eenproefwerkofeenoptegevenwerkstuk.Hetgebruikvaneentoetsmatrijsvoorkomtdatonevenredigveelofjuistteweinigaandachtbesteedwordtaanbepaaldeleerdoelenofdatdetoetseenzijdiggerichtisoplagereofjuisthogereordedenkprocessen.

Tot slotTerugkerendnaardeopzetvandithoofdstukkunnenweconstaterendatdebelangrijkstestappenvandebepalingvantoetsinhoudzijnbeschreven.Wezijnindetailingegaanopindelingsschema’somprestatiesvanleerlingensystematischuittewerken,zodatdaaroptoetsbareleerdoelenkunnenwordengebaseerd.Aandeordekwamenvervolgensdeelementendieineentoetsbaarleerdoelthuishoren.Daarnaiseenmethodiekbeschrevenomtebepalenhoeeentoetstaakeruitzoumoetenzien,wilhetbeoogdeleerlinggedragdaarmeeopgeroepenworden.Totslotisingegaanopdeplanningvantoetsvormenendesamenstellingvanafzonderlijketoetsen,omdewat-vraagvantoetsingverdergestaltetegeven.

Indehoofdstukken6,7en8komenenkeleveelgebruiktetoetsvormenaandeorde(zoalstoetsenmetopenengeslotenvragenenpraktijktoetsen),waarbijmetnameinhoofdstuk8allestappenvantoetsspecificatienogeensderevuepasseren.Ookdanzalblijkendatinhoudelijkeafstemmingtussendetezettenstappeneenbelangrijkevoorwaardeisvoorkwalitatiefgoedetoetsen.

3 De betrouw

baarheid van toetsscores

3 De betrouwbaarheid van toetsscores

3 Debetrouwbaarheidvan toetsscores

Piet Sanders

De betrouwbaarheidvantoetsscoresishetonderwerpvandithoofdstuk.Watindetheorieovertoetsendieaangeduidwordtmetklassieketesttheorieonderdebetrouwbaarheidvantoetsscoresverstaanwordtenhoediebetrouwbaarheidmeteenbetrouwbaarheidscoëfficiëntgekwantificeerdkanworden,wordtinparagraaf1uiteengezet.Hoemetbehulpvandestandaardmeetfoutdebetrouwbaarheidvanindividueletoetsscoresbepaaldkanworden,wordtinparagraaf2behandeld.Devraaghoedebetrouwbaarheidvantoetsscoresgekwantificeerdkanwordenintermenvanmisclassificaties,datwilzeggentenonrechtegezakteofgeslaagdeleerlingen,staatcentraalinparagraaf3.Dezelfdevraagkomtinparagraaf4aandeordeingevalersprakeisvanmeerderetoetsenzoalsbijeenhavo-examen.Opwatdeinvloedvanbeoordelaarsisopdebetrouwbaarheidvantoetsscores,wordtinparagraaf5ingegaan.Hoedebetrouwbaarheidvantoetsscoresverhoogdkanworden,komtinparagraaf6aandeorde. Tenslottewordeninparagraaf7adviezengegevenvoordedagelijksetoetspraktijk.Vooreengoedbegripvandithoofdstukisenigekennisvaneenbeperktaantalstatistischebegrippengewenst.Voorzoverdiebegrippennietindetekstuitgelegdworden,verwijzenwenaarWikipedia,GoogleofdeToetstechnischeBegrippenlijstvanCito,tevindenopwww.cito.nl > Onderzoekenwetenschap>Kenniscentrum>ToetstechnischeBegrippenlijst.

3.1 Betrouwbaarheid van toetsscores

Ondertoetsscoresverstaanwedescoresdieleerlingenopeentoetskunnenbehalen.Alsvoorbeeldvaneentoetsnemenwedehavo-toetsEngels2009dieeenvandetoetsenvanhethavo-examen2009was.OpdewebsitevanCitozijndeexamengegevensvandelaatstedriejaarbeschikbaar.Daaromverwijzenwevoordeteksten,devragenenhetcorrectievoorschriftvandehavo-toetsEngels2009naarwww.alleexamens.nl>HAVO>Engels:2009–Tijdvak1. Dehavo-toetsEngelsuit2009bestaatuit43vragenwaarvan34meerkeuzevragenen9open vragen.Opdevragenkunnen1of2scorepuntenbehaaldwordenenintotaalkunnen49scorepuntenbehaaldworden.Inplaatsvandetermenvragen,opdrachten,takenofonderdelenwordtindithoofdstukendeanderehoofdstukkenookweldegenerieketerm‘items’gebruikt.

Opdehavo-toetsEngels2009kunnendusminimaal0scorepuntenenmaximaal49score-puntenbehaaldworden.VerondersteldateenleerlinggenaamdJan42scorepuntenbehaalt.Die42scorepuntennoemenwezijngeobserveerdetoetsscore.AlswedezetoetseentweedekeerbijJanzoudenafnemendanishetnietwaarschijnlijkdathijopnieuw42scorepuntenzoubehalen.Dehavo-toetsEngelsofeenanderetoetseenaantalkerenafnemen,kannatuurlijknooitinwerkelijkheidplaatsvinden.Hetiseengedachte-experimentomeenbelangrijkbegripteintroduceren,namelijkdatvaneenverdelingvanmogelijkegeobserveerdescoresvaneenleerling.Elkeleerlingdiedehavo-toetsEngelsaflegt,heeftzo’nverdelingdiewezoudenkunnenaanduidenalsde‘privéverdeling’vandieleerling.Alswedehavo-toetsEngelseengrootaantalkeren,bijvoorbeeld1000keer,bijJanhaddenkunnenafnemen,danzoudatindevolgendeprivéverdelingvanJangeresulteerdkunnenhebben:100keer36scorepunten,200keer38score-punten,400keer40scorepunten,200keer42scorepuntenen100keer44scorepunten.

51 De betrouwbaarheid van toetsscores < Inhoud Index >

De gemiddeldetoetsscorevandie1000geobserveerdetoetsscoresdefiniërenwealsdewarescorevanJanendieisgelijkaan40scorepunten.

Omdatdetoetsmaaréénkeerbijdezelfdeleerlingafgenomenwordt,wordtdegeobserveerdescorevandieleerlingalseentoevalligetrekkinguitdeprivéverdelingvandieleerlingbeschouwd.InhetgevalvanJanhaddenwebijvoorbeeldookdescore36,38,40,42of44kunnentrekken.Degeobserveerdescorevandeleerlingkangelijk,groterofkleinerzijndandienswarescore.Hetverschiltussendegeobserveerdescoreendewarescorewordtdemeetfoutgenoemd.Isdegeobserveerdescoregroterdandewarescore,danisdemeetfoutpositief.IngevalvaneenpositievemeetfoutbehaaltJaneenscorediegroterisdanwathijgemiddeldgenomenopdezetoetszoubehalen.Isdegeobserveerdescorekleinerdandewarescoredanisersprakevaneennegatievemeetfout.

Demeetfoutheeftbetrekkingopalleswatdegeobserveerdetoetsscorevaneenleerlingdoetverschillenvanzijnofhaarwarescore.Meetfoutenkunnenveroorzaaktwordendoorzakendietemakenhebbenmetdeleerling.Hetkanzijndattoevalligopdedagdatdetoetsafgenomenwordtdeleerlingzichnietlekkervoelt,slechtgeslapenheeft,nietgemotiveerdis,mindergeconcentreerdisofpechofgelukheeftbijhetbeantwoordenvanbepaaldeitems.Toets-ofexamenangstwordtvaaktenonrechteookwelalsmeetfoutaangeduidmaartoetsangstmoetalseeneigenschapvandeleerlingbeschouwdwordendietotonderpresterenleidtopalletoetsendiebijdeleerlingafgenomenworden.Meetfoutenkunnenookveroorzaaktwordendoorzakendiemetdetoetstemakenhebben.Indiendetoetsdoorbeoordelaarsbeoordeeldengescoordwordt,ishetmogelijkdatdetoetsvansommigeleerlingendooreenmildebeoordelaarendievanandereleerlingendooreenstrengebeoordelaarbeoordeeldwordt. Tenslottekunnenmeetfoutenveroorzaaktwordendooromstandighedenwaaronderdetoetswordtafgenomen.Juistopdedagdatdetoetsafgenomenwordt,iserbijvoorbeeldietsmismetdeverlichting,isersprakevangeluidsoverlast,isdeexamenzaaltekoudoftewarmenisereensurveillantbijwiehetmogelijkisomaftekijken.

Dehavo-toetsEngelseengrootaantalkerenbijJanafnemen,heeftzoweleentheoretischalseenpraktischbezwaar.HettheoretischbezwaarisdatJanzichdeitemszalherinnerenendeantwoordentewetenkankomenindetijdtussenverschillendeafnamenwaardoorzijnwarescoreperafnamezalverschillen.HetpraktischebezwaarisnatuurlijkdatweJannietvelemalendehavo-toetsEngelskunnenlatenafleggen.DetweebezwarenimplicerendatwedewarescorevanJannietkennenenooknietdewarescorevanandereleerlingendiedetoetsmaken.Enomdatwedewarescorenietkennen,kennenweookdemeetfoutniet.Wezittendusmeteenonoplosbaarprobleem.Hetenigedatwekennenisdegeobserveerdescoreendieissamengestelduiteenwarescoreeneenmeetfout.Wekunnenditprobleemformulerenmeteeneenvoudigewiskundigevergelijking.Steldatwevandaagdehavo-toetsEngelsbijJanafnemen.WestellendescoredieJangaatbehalenvoormetdehoofdletterX,enomduidelijktemakendathetomdegeobserveerdescorevanJangaat,plakkenwezijnnaamendedagalseenindexaanhetscoresymboolvast: ,Jan vandaagX .VolgensdeklassieketesttheorieheeftJanookeenwarescoreopdetoets.DezewarescoreiseenvastgetaldatwekunnenopvattenalseenvasteeigenschapvanJan.Alssymboolvoordezewarescoregebruikenwedekleine(Griekse)lettertauenwestellendewarescorevanJanvoorals Janτ .Maarerkomtookeenmeetfoutvoordieweaanduidenmet ,Jan vandaagE endiewenietkennen.Indeklassieketesttheoriewordtdegeobserveerdescoregedefinieerdalsdesomvandewarescoreendemeetfoutenditwordtweergegevenmetdevolgendevergelijking:

τ= +Jan,vandaag Jan Jan,vandaagX E (1)

Dezevergelijkinglaatziendatwemeteenonoplosbaarprobleemtemakenhebben.Hetenigewatwenadeafnamevandetoetskennen,isdegeobserveerdescore,endieisdesomvantweegroothedendiewenietkennen.Wehebbenduséénvergelijkingmettweeonbekendenendiekunnenwenieteenduidigoplossen.

HetvoorgaandeisnietalleenvantoepassingopJanmaaropiedereleerlinguitdepopulatieleerlingenvoorwiedehavo-toetsEngels2009bedoeldis.Vandaardatwevooriedereleerlinguitdepopulatiedevergelijkingvandeklassieketesttheoriekunnenopschrijvenals:

= +X T E (2)

Volgensformule(2)isdegeobserveerdescorevaniedereleerlinguitdepopulatiedesomvandewarescorevandieleerlingendemeetfoutdiewemakenophetmomentvandetoetsafname.Informule(2)staathetsymboolTvoorhetEngelse‘truescore’ofwarescoreenishetsymboolEdeafkortingvanhetEngelse‘error’datinhetNederlandsmeestalaangeduidwordtmetmeetfout.

Voordatwedeformulevandebetrouwbaarheidvantoetsscorespresenteren,dienenweeerstdebegrippen‘variantie’en‘standaardafwijking’of‘standaarddeviatie’teintroduceren. Devariantieenstandaardafwijkingvandetoetsscoresdieleerlingenopeentoetsbehaaldhebben,kunneninvijfstappenberekendworden:1 Berekendegemiddeldetoetsscore.2 Trekvandetoetsscorevanelkeleerlingdegemiddeldetoetsscoreaf.Ditresulteertin

negatieveenpositieveverschillen.3 Kwadrateerdieverschillenentelzeop.4 Deeldeuitkomstvanstap3doorhetaantalleerlingen.Dezeuitkomstgeeftdevariantie.5 Neemdevierkantswortelvandevariantieendieuitkomstisdestandaardafwijking.

Destandaardafwijkingiseenveelgebruiktemaatvoordeverdelingofspreidingvanscores.Dezemaatheeftalsvoordeeldatzeuitgedruktwordtindezelfdeeenheidalsdescores.Eenanderemaatvoordespreidingvanscoresishetkwadraatvandestandaardafwijkingofdevariantie.Hoeweldezemaatalsnadeelheeftdatzenietuitgedruktwordtindezelfdeeenheidalsdescores,hebbenvariantiesinsommigegevallenwelalseigenschapdatzeopeenzinvollemanierbijelkaarkunnenwordenopgeteld.Datisookhetgevalindeklassieketesttheoriewaardevariantievandegeobserveerdescoresgelijkisaandesomvandevariantievandewarescoresplusdevariantievandemeetfouten.Alsformulewordtditgeschrevenals:

= +Var( ) Var( ) Var( )X T E (3)

Hetbelangrijkstebegripuitdeklassieketesttheorieisdebetrouwbaarheidvandetoetsscores.Dieheeftdirecttemakenmetformule(3):devariantievandegeobserveerdescoreskanopgedeeldwordenintweedelen,enwatwewillenisdathetdeeldattoeteschrijvenisaandemeetfoutrelatiefkleinis,waardoorhetgedeeltedatdevariantievandewarescoresuitdruktrelatiefgrootwordt.

DeformulevoordebetrouwbaarheidvandetoetsscoresXisgedefinieerdals:

ρ = =+

Var( ) Var( )Var( ) Var( ) Var( )

T TX T E (4)

Informule(4)staathetsymbool ρ (ρ staatvoordeGriekseletterrho)voordebetrouwbaarheidvandetoetsscores.DeEngelsetermvoorbetrouwbaarheidis‘reliability’.Uitformule(3)valtonmiddellijkafteleidendatVar(X)evengrootisalsofgroterisdanVar(T).Ditbetekentdatdenoemerindebreukvanformule(4)evengrootofgroterisdandetellerenditbetekentdatdebetrouwbaarheidnietgroterkanzijndan1.Omdatvariantiesnietnegatiefkunnenzijnendeverhoudingtussenvariantiesdusookniet,kanookdebetrouwbaarheidnietnegatiefzijn,waaruitweervolgtdatdebetrouwbaarheideengetalistussen0en1.

Formule(4)iseenzogenaamdedefinitieformule.Deformuledruktpreciesuitwatmenindeklassieketesttheoriebedoeltmetbetrouwbaarheidmaarzekannietgebruiktwordenomdebetrouwbaarheidvantoetsscoresteberekenen.Deformulebevatnamelijkeengrootheid,Var(T),diewenietkunnenberekenenomdatwedewarescoresvandeleerlingennietkennen.Gelukkigzijnermethodenontwikkeldwaarmeewedebetrouwbaarheidkunnenschattenzonderdewarescoresvandeleerlingentekennen.Demeestbekendemethode,deinterne-consistentiemethode,besprekenwehierna.

Tenslotteishetvanbelanghieroptemerkendatweindithoofdstuksomskortheidshalveover‘betrouwbaarheid’sprekenterwijlweover‘betrouwbaarheidvantoetsscores’zoudenmoetenspreken.Toetsenkunnennamelijknietbetrouwbaarofonbetrouwbaarzijnmaartoetsscoreswel.

3.1.1 Schatting van de betrouwbaarheid van toetsscoresDeinterne-consistentiemethodevoorhetschattenvandebetrouwbaarheidvantoetsscoresheeftzijnpopulariteitvooraltedankenaanhetfeitdatdemethodetegemoetkomtaanwatindepraktijkgebruikelijkis,namelijkdatdetoetsmaaréénkeerbijeensteekproefvanleerlingenwordtafgenomen.Bijdezemethodevormendeopdeitemsbehaaldescoresdebasisvoordeschattingvandebetrouwbaarheid.Debekendsteschattingvandebetrouwbaarheidvantoets-scores,veelalaangeduidmetbetrouwbaarheidscoëfficiënt,isCronbach’salfadiegedefinieerdisals:

α = − −

∑ Var( )1

1 Var( )

k X (5)

Informule(5)wordthetaantalitemsindetoetsvoorgesteldmetk.Indehavo-toetsEngelsisk gelijkaan43,hetaantalitemsindetoets.Tussendevierkantehakenstaateenbreuk;denoemervandebreukisdevariantievandegeobserveerdetoetsscoresX.OmdetelleruitterekenenmoetenwevanelkitemdevariantievandegeobserveerdeitemscoresXiberekenenenoptellen(hetsymboolsigmastaatvooroptellen).Indehavo-toetsEngelsisdatdusdesomvandevariantiesvan43items,namelijkdevariantievanitemi=1,itemi=2,item i=3,totenmetitemi=43.Aangezienformule(5)geenonbekendegroothedenbevat,kunnenwealfauitrekenen.Cronbach’salfakanvoortoetsenbestaandeuitdichotomeen/ofpolytomeitemsgebruiktworden.Indiendetoetsalleenuitdichotomeitemsbestaat,isCronbach’salfagelijkaandebetrouwbaarheidscoëfficiëntdiealsdeKR20bekendstaat.

3.1.2 Interpretatie van de betrouwbaarheid van toetsscoresDebetrouwbaarheidkunnenweinterpreterenalseenproportieofalseenpercentagedoordeproportiemet100tevermenigvuldigen.Volgensdeformulesinvoorgaandeparagraafbetekenteenbetrouwbaarheidvan0,90dateenproportievan0,90of90%vandevariantievandegeobserveerdescorestoegeschrevenkanwordenaanverschillentussendewarescoresvanleerlingenen0,10of10%aanmeetfouten.Eenhogebetrouwbaarheidbetekentdusdatverschilleningeobserveerdetoetsscoresvanleerlingenvooraltemakenhebbenmetverschillenindewarescoresvanleerlingen.Eenhogebetrouwbaarheidimpliceertdatwedewarescorevaneenleerlingbeterkunnenvoorspellen(zieparagraaf3.2).Eenhogebetrouwbaarheidimpliceertookdat–wanneerwebijdezelfdeleerlingentweevergelijkbare(parallelle)toetsenzoudenafnemen,bijvoorbeelddehavo-toetsenEngels2009vanheteersteentweedetijdvak–leerlingenmeteenhogetoetsscoreopdetoetsvanheteerstetijdvaknaarverwachtingookeenhogeretoetsscoreopdetoetsvanhettweedetijdvakzullenbehalen,terwijlleerlingenmeteenlagetoetsscoreopdetoetsvanheteerstetijdvakookeenlageretoetsscoreopdetoetsvanhettweedetijdvakzullenbehalen.

Watacceptabelewaardenvoordebetrouwbaarheidvaneentoetszijn,hangtafwaarvoordetoetsgebruiktwordt.Indienmeteentoetsbelangrijkebeslissingenoverindividueleleerlingengenomenworden,wordteenbetrouwbaarheidvanminstens0,90alswenselijkbeschouwd.Indieneentoetsechtergebruiktwordtomdeprestatiesvangroepenleerlingen–bijvoorbeeldklassenofscholen–tebeschrijvenoftevergelijken,wordtalsvuistregeleenbetrouwbaarheidvan0,70alsacceptabelbeschouwd.Ziehieroverookhoofdstuk10.

AangezienCronbach’salfanogsteedsdepopulairstebetrouwbaarheidscoëfficiëntis,ishetbelangrijkomtweekanttekeningenbijhetgebruikvandezecoëfficiëntteplaatsen.De eerstekanttekeningisdatbewezenkanwordendatalfaeenondergrensvandebetrouwbaarheidis.Ditbetekentdatalsdetoetseenalfavan0,70heeft,menzekerweetdatdebetrouwbaarheidvandetoetsgelijkisaanofgroterisdan0,70,maarmenweetnietofdebetrouwbaarheidnu0,70is,of0,80ofzelfsgelijkaan1is.Alsmeneenhogealfavindt,bijvoorbeeld0,95,danisdatgeengrootprobleem,maaralsalfalaagis,bijvoorbeeld0,30,danzoudebetrouwbaarheidweleensgroterkunnenzijn.Erzijncoëfficiëntenontwikkelddievooralbijtoetsenmeteengeringaantalitemsinhogereondergrenzenresulteren.Infeiteisdebetrouwbaarheiddiebijdehavo-toetsEngelsgerapporteerdwordt(zieparagraaf3.1.3)nietcoëfficiëntalfamaardehoogstmogelijkeondergrensvandebetrouwbaarheid.Detweedekanttekeningbetreftdeinterpretatievancoëfficiëntalfaalsmaatvoordeinterne consistentie ofhomogeniteitvaneentoets.Metbeidetermenwordtbedoelddatalfazouaangeveninwelkematedeitemsvaneentoets‘hetzelfde’zoudenmetenongeachtwat‘hetzelfde’ookzoumogenzijn.Hetfeitechterdatalfaookeenhogewaardekanhebbenterwijldetoetsuitheterogeneitemsbestaat,datwilzeggenitemsdieniet‘hetzelfde’meten,bewijstdatdieinterpretatieonjuistis.

Alswedehavo-toetsEngels2009zoudenafnemenbijstudentendieEngelsstuderenaaneenuniversitairelerarenopleidingzaldebetrouwbaarheidvandehavo-toetsnaarverwachtinglagerzijndanbijdehavisten.DeredenvoordezelagerebetrouwbaarheidisdatdewarescoresvandestudentenEngelsminderzullenverschillendandewarescoresvandehavisten.Terwijldewarevariantiesvandetweegroepenveelzullenverschillen,zullendevariantiesvandemeetfoutenweinigverschillenomdatverwachtmagwordendatdevariantievandemeetfoutennietafhankelijkisvandegroepenleerlingenwaarbijdetoetsafgenomenwordt.Ditbetekentvolgensformule(4)datdebetrouwbaarheidvandetoetsdieafgenomenisbijdehavistengroterzalzijndandezelfdetoetsafgenomenbijdestudentenEngels.ZekerwetendoenwehetechternietwantdaarvoorzoudenwedetoetsdaadwerkelijkbijdestudentenEngelsmoetenafnemen.

Hiervoormerktenweopdateenhogerebetrouwbaarheidimpliceertdatwedewarescorevaneenleerlingbeterkunnenvoorspellen.Alsdiewarescoreookbetrekkingheeftopwaarwegeïnteresseerdinzijn,bijvoorbeeldhoedeschriftelijkebeheersingvanhetEngelsvanhavistennavijfjaaronderwijsis,danheeftdetoetsookeenhogevaliditeit.Validiteitishetonderwerpvanhoofdstuk4.

3.1.3 Havo-toets Engels 2009Eenaantalbegrippendathiervoorbesprokenis,lichtenwetoeaandehandvandehavo-toetsEngels2009.Daarnaastwordtookeenaantalanderebegrippentoegelicht.InonderstaandetabelstaandegegevensdieontleendzijnaanhetExamenverslag2009,ganaarwww.cito.nl > Voortgezetonderwijs>Centraleexamens>Examenverslagen>Oudeverslagen:2009,Resultatenperexamen,Applicatie(Excel),Toevoegen,OpleidingstypeHAVO,HAVOCSEEngels.

Havo Engels 2009 tijdvak 1totaalaantalvo-kandidaten 47648steekproefgrootte 2353aantalitems 43p’-waardetotalesteekproef 0,64maximumscore 49gemiddeldescore 31,4normeringsterm 0,4gemiddeldcijfer 6,2percentageonvoldoendes 28standaardafwijking 6,7betrouwbaarheid 0,83standaardmeetfout 2,8

Indetabelkunnenwelezendatdehavo-toetsEngelsbijeenpopulatievan47648leerlingenafgenomenis.Degegevensindetabelzijngebaseerdopeensteekproefvan2353leerlingen.

Detoetsbestaatuit43itemswaaropeenmaximumscorevan49scorepuntenbehaaldkanworden.

Hetgemiddeldeaantalscorepuntendatopdezetoetsbehaaldwerd,wasgelijkaan31,4score-punten.Hetgemiddeldeisberekenddoordescoresvande2353leerlingenoptetellenentedelendoor2353.

De P’-waardetotalesteekproefwordtberekenddoordegemiddeldescoretedelendoordemaximumscore.DeP’-waardeiseenindicatievandemoeilijkheidsgraadvanhetexamenendaarmeeookvandegemiddeldemoeilijkheidsgraadvandeafzonderlijkeitems.Binnendeklassieketesttheoriewordtdemoeilijkheidvaneenitemgedefinieerdalszijnp-waarde.Bijeenbinairofdichotoomitem,datwilzeggeneenitemwaaropalleeneenscorevannuloféénkanwordenbehaald,isdep-waardedeproportiepersonendathetitemcorrectbeantwoordt.Bijpolytomeitems,datwilzeggenitemswaaropmeerdanéénscorepuntbehaaldkanworden,isdep-waardegedefinieerdalsdegemiddeldescorebehaaldopdatitemgedeelddoordemaximumscoredieopdatitembehaaldkanworden.Degemiddeldemoeilijkheidsgraadvandehavo-toetsEngelswas0,64.

Opdehavo-toetsEngelswerdeengemiddeldcijfervan6,2behaald.Hoedecijfersopdezetoetsbepaaldwerden,plusderolvandenormeringstermdaarbij,kanmennalezeninhoofdstuk9.Hetgemiddeldecijferisberekenddoordecijfersvan2353leerlingenoptetellenentedelendoor2353.

De cesuur,datwilzeggenhetaantalscorepuntenwaaraanhetlaagstevoldoendecijfer5,5toegekendwordt,staatnietindetabelvermeld.Decesuurvoordehavo-toetsEngels2009wasgelijkaan28scorepunten,watlagerisdandegemiddeldescoreopdetoetsdie,zoalswehiervoorzagen,gelijkwasaan31,4scorepunten.

De standaardafwijkingvandehavo-toetsisgelijkaan6,7scorepunt.Hoedestandaardafwijkinginvijfstappenberekendwordt,hebbenwebeschreveninparagraaf3.1.Destandaardafwijkingiseenhandigemaatomdeverdelingvandetoetsscorestebeschrijven.Indiendegeobserveerdescoresvaneentoetseennormaleverdelinghebbenofnormaalverdeeldzijn(zieo.a.Wikipedia,http://nl.wikipedia.org/wiki/Normale_verdeling),danbevindt:• 68%vandescoreszichtussenéénstandaardafwijkingbovenenéénstandaardafwijking

benedendegemiddeldescore;• 90%vandescoreszichtussen1,645standaardafwijkingbovenen1,645standaardafwijking

benedendegemiddeldescore;• 95%vandescoreszichtussen1,96,zegtwee,standaardafwijkingenbovenenbenedende

gemiddeldescore;• 99%vandescoreszichtussen2,58standaardafwijkingenbovenen2,58standaard-

afwijkingenbenedendegemiddeldescore.

Indiendescoresopdehavo-toetsEngelsnormaalverdeeldgeweestzoudenzijn,danzoubij eenstandaardafwijkingvan6,7scorepunt68%vandescoreszichtussende38,1scorepunten(31,4+6,7),afgerond38scorepunten,en24,7scorepunten(31,4–6,7),afgerond25score-punten,bevondenhebben.Omdatdefrequentieverdelinglaatziendatdescoresnietperfectnormaalverdeeldzijn,isditbijdehavo-toetsEngelsechterongeveer62%.

De betrouwbaarheidscoëfficiëntvandehavo-toetsEngelsisgelijkaan0,83.Decoëfficiëntkunnenwegebruikenomdebetrouwbaarheidvanverschillendetoetsentevergelijken. Dievergelijkingisalleenzinvolalsopdeverschillendetoetsenhetzelfdeaantalscorepuntenbehaaldkanworden.Ondanksdatopdehavo-toetsDuits2009tweescorepuntenminderbehaaldkondenworden,kunnenweechterwelzeggendatdehavo-toetsEngels2009betrouwbaarderwasdandehavo-toetsDuits2009dieeenbetrouwbaarheidscoëfficiëntvan0,74had.

Destandaardmeetfoutvandehavo-toetsEngels2009isgelijkaan2,8scorepunt.Hoewedestandaardmeetfoutkunnengebruikenbijhetbepalenvandebetrouwbaarheidvanindividueletoetsscoresbehandelenweindevolgendeparagraaf.

3.2 Standaardmeetfout

Metdebetrouwbaarheidscoëfficiëntishetnietmogelijkdebetrouwbaarheidvandetoetsscoresvanindividueleleerlingentebepalen.Metdestandaardmeetfout,symbolischvoorgesteldalsSE(X)enhettweedebelangrijkstebegripuitdeklassieketesttheorie,kandatwel.Destandaard-meetfoutisdestandaardafwijkingvandemeetfoutenvandetoetsscoresvandeleerlingenbijwiedetoetsisafgenomen.Deformulevoordestandaardmeetfoutisgedefinieerdals:

ρ= −SE( ) SD( ) 1X X (6)

waarbijSD(X)destandaardafwijkingvandegeobserveerdescoresisvandeleerlingendiedetoetsgemaakthebben.Uitformule(6)blijktdatereenbelangrijkerelatietussendestandaardmeetfoutendebetrouwbaarheidbestaat.Alsdebetrouwbaarheidvaneentoetsgelijkisaan0danisdestandaardmeetfoutgelijkaandestandaardafwijkingvandetoetsscores.

Alsdebetrouwbaarheidgelijkisaan1danisdestandaardmeetfoutgelijkaan0.Alsdebetrouwbaarheidinformule6, ρ ,geschatismetalfadanbevatdeformulegeenonbekendegroothedenenkandestandaardmeetfoutberekendworden.

Erbestaatookeenvuistregelomdestandaardmeetfoutteschatten.Hetblijktdatbijeenniettemoeilijketoets,datwilzeggeneentoetswaarbijdegemiddeldetoetsscoreongeveer50%vandemaximumscoreis,eenredelijkeschattingvandestandaardmeetfoutverkregenkanwordendoordevierkantswortelvandemaximumscoretevermenigvuldigenmethetgetal0,45.Indiendetoetsmoeilijk(er)is,moetmeneenhogergetaldan0,45nemenenalsdetoetsmakkelijk(er)iseenlagergetaldan0,45.Degemiddeldescorevandehavo-toetsEngelsis64%vandemaximumscorevan49scorepunten.Toepassingvandevuistregelgeefteenschattingvandestandaardmeetfoutvanongeveer7x0,40=2,8watgelijkisaandestandaardmeetfoutuitvoorgaandetabel.Dezevuistregelzougebruiktkunnenwordenindienwedoorbijvoorbeeldervaringzoudenwetenhoemoeilijkdetoetsongeveerzalzijn.Voorafgaandeaandeafnamevandetoetszoumendanovereenschattingvandestandaardmeetfoutbeschikkenenopbasisdaarvankunnenbepalenofmendebetrouwbaarheidvandeindividueletoetsscoresalofnietvoldoendevindt.Inhetlaatstegevalzoumendankunnenbesluitendetoetsuitmeeritemstelatenbestaan.

HetgebruikvandestandaardmeetfoutlichtenwetoeaandehandvanJandieopdehavo-toetsEngels42vandeintotaal49mogelijkescorepuntenbehaaldewathemhetcijfervan8,1opleverde.DestandaardmeetfoutgeeftonsdemogelijkheidomtweevragenoverdescorepuntenenhetcijfervanJantebeantwoorden.

De eerste vraag is: Wat is de ware score van Jan op de havo-toets Engels 2009?

HiervoorconstateerdenwedatJaneenscorevan42opdetoetsbehaaldemaardatalswedetoets1000keerbijJanhaddenkunnenafnemenhijnietiederekeereenscorevan42behaaldzouhebben,maarsomseenhogerescoredan42ensomseenlagerescoredan42.Omdatwedetoetsgeen1000keerkunnenafnemen,constateerdenwehiervoorookdatwedewarescorevanJanofeenandereleerlingnooitzullenweten.Doorgebruiktemakenvandestatistiekkunnenweechterweleenzogenaamdbetrouwbaarheidsintervalopstellenwaarbinnendewarescorezoukunnenliggen.LetweldatdetermbetrouwbaarheidsintervaldeEngelsevertalingvan‘confidenceinterval’isenniethetzelfdeisalsdebetrouwbaarheidvantoetsscoreswatzoalsweeerderalopmerktendeEngelsevertalingvan‘reliability’is.

OmeenbetrouwbaarheidsintervalvoordewarescorevanJantekunnenopstellen,dienenwedekanstespecificerendathetbetrouwbaarheidsintervaldewarescorebevat.Inonderstaandeformulevoorhetbetrouwbaarheidsinterval,formule(7),hebbenwediekansop90%gesteld.

τ− × ≤ ≤ + × =Jan Jan JanP( 1,645 SE( ) 1,645 SE( )) 0,90X X X X (7)

Tussendehakeninformule(7)staatdatdewarescorevanJangroterofgelijkisaandegeobserveerdescorevanJanminus1,645maaldestandaardmeetfoutofdatdewarescorevanJankleinerofgelijkisaandegeobserveerdescorevanJanplus1,645maaldestandaardmeetfout.TussenhakenwordtdushetbetrouwbaarheidsintervalvoordewarescorevanJangegeven.Voordehakeninformule(7)staatP,watdeafkortingvandeEngelsetermvoor‘probability’is,enwatinhetNederlandskansbetekent.Formule(7)moetenwelezenalsdatwanneerwedetoetseengrootaantalkerenbijJanzoudenafnemeneniederekeerhetbetrouwbaarheids-intervaluitrekenen,in90%vandiekerenzijnwarescorebinnenhetberekendeintervalzalliggenenin10%vandiekerenerbuiten.DatlaatstezalhetgevalzijnalsJanbijvoorbeeldeenkeereenhelelagescoreofeenkeereenhelehogescoreopdetoetsbehaalt.

Meteenstandaardmeetfoutvan2,8scorepuntvoordehavo-toetsEngelseneengeobserveerdescorevanJanvan42scorepunten,ishet90%-betrouwbaarheidsintervalvoordewarescorevanJangelijkaan:

( )τ× ≤ ≤ + × =JanP 42 – 1,645 2,8 42 1,645 2,8

( )τ≤ ≤ =JanP 37,4 46,6 0,90

Het90%-betrouwbaarheidsintervalvandewarescorevanJanheeftalsgrenzen37,4en46,6watbetekentdatallewaardenindatintervalalsschattingenvoordewarescorevanJaninaanmerkingzoudenkunnenkomen.Hoeweldieschattingenmetverschillendeschattings-methodenverkregenkunnenworden,beperkenweonshiertottweeschattingsmethoden. Deeersteschattingsmethodebestaathieruitdatmendegeobserveerdescorealsschattingvandewarescoreneemt.Bijdetweedeschattingsmethodehoudtmennaastdegeobserveerdescoreookrekeningmetdebetrouwbaarheidvandetoetsendegemiddeldescoreopdetoets. InhetgevalvanJankomtdatneerop:31,4+rhox(42–31,4)wateenschattingoplevertvan31,4+0,83x10,6=40,2scorepunten.Inhetgevalvaneenhogebetrouwbaarheidvandetoetszullendetweeschattingenweinigverschilleneninhetgevalvaneenperfectetoetsbetrouwbaarheidzijnzeuiteraardidentiek.

WekunnenhetvoorgaandeooktoepassenophetcijfervanJandat8,1is.IndeapplicatievanCitolezenwebijGrafiekendatdestandaardafwijkingvandecijfersvandehavo-toetsEngelsgelijkisaan1,2.Gegevendatdebetrouwbaarheidvandetoets0,83is,isdestandaardmeetfoutvandecijfersvolgensformule(6)gelijkaan0,49enishet90%-betrouwbaarheidsintervalgelijkaan:

( )τ− × ≤ ≤ + × =JanP 8,1 1,645 0,49 8,1 1,645 0,49

( )τ≤ ≤ =JanP 7,30 8,90 0,90

Weziendatondankseenredelijkhogebetrouwbaarheidvan0,83,het90%-betrouwbaarheids-intervalvanhetwarecijfervanJanalsgrenzen7,30en8,90heeft.

Hetismogelijkomvooreenkleinerofgroterbetrouwbaarheidsintervaltekiezenwaarbinnendewarescoreofhetwarecijferzichbevindt.Indienwevooreen68%-betrouwbaarheidsintervalkiezendanmoetenweinformule(7)1,645vervangendoor1,endoor1,96of2,58alswevoorrespectievelijkeen95%-of99%-betrouwbaarheidsintervalkiezen.Weziendusdathetbetrouwbaarheidsintervalbrederwordtalswezekerderuitsprakenwillendoen.

De tweede vraag is: Is het ware cijfer van Jan hoger dan dat van Angela?

Angelaheeftopdehavo-toetsEngelshetcijfer6,3behaald.Het90%-betrouwbaarheidsintervalvanhetwarecijfervanAngelais5,5–7,10.OmdatdebetrouwbaarheidsintervallenvanJanenAngelaelkaarnietoverlappen,mogenweconcluderendathetwarecijfervanJanhogerisdandatvanAngela.HadAngelaechterhetcijfer6,8behaalddanhaddenwedieconclusienietkunnentrekkenomdathetbetrouwbaarheidsintervalvanAngeladangelijkisaan6,0–7,6endatintervaloverlaptmethetintervalvanJan.

Voorgaandevoorbeeldenlatenziendatbijtoetsenmeteenbetrouwbaarheidvan0,83,maarookbijtoetsenmeteenhogerebetrouwbaarheid,debetrouwbaarheidsintervallenvanscoresencijfersnietgeringzijn.Ditbetekentdatdegeobserveerdescoresofcijfersnogalonbetrouwbareschattingenvandewarescoreofhetwarecijferzijn.Watbetekentditvoordepraktijkvanhetbeoordelenvanleerlingen?Deeersteconclusieisdatdebetrouwbaarheidvaneentoetszeerhoogzalmoetenzijnalswebelangrijkebeslissingenoverleerlingenopbasisvaneenenkeletoetsnemen.Inparagraaf3.6zullenwelatenziendatverlengingvandetoetsdemeesteffectievemanierisomdebetrouwbaarheidvaneentoetsteverhogen.Detweedeconclusieisdatwebelangrijkebeslissingenoverleerlingennietmoetenbaserenopeenenkeletoetsmaardatweookresultatenopanderetoetsenenmogelijkanderegegevensoverdeleerlingbijdebeoordelingmoetenbetrekken.Datlaatstegebeurtbijvoorbeeldinhetvoortgezetonderwijswaarbijdemeestevakkenzoweleencentraalexamenalseenschoolexamenafgenomenwordt.

Totnutoezijnweerimplicietvanuitgegaandatdestandaardmeetfoutvooralleleerlingengelijkis.Dezeaannameisintegenspraakmetwatweindeeersteparagraafoverdeprivéverdelingvanelkeleerlingopmerkten.Inwerkelijkheidzaldestandaardmeetfoutvanleerlingendieeenhogeofeenlagetoetsscoreopdetoetshebben,kleinerzijndandestandaardmeetfoutvanleerlingendieeenscoreronddegemiddeldetoetsscorehebben.Hetzalookzonderbewijstebegrijpenzijndatwevanleerlingendieopdehavo-toetsEngels47vandemogelijke 49scorepuntenbehalenheelzekerwetendatwatzeopdetoetsgevraagdwordtheelgoedbeheersen.Enzowetenweookvanleerlingendieslechts2scorepuntenbehalenheelzekerdatzenietbeheersenwatopdetoetsgevraagdwordt.Watgeldtvoordescoresgeldtookvoordecijfers.

3.3 Misclassificaties bij één toets

Eenvandebelangrijkstebeslissingendiemettoetsengenomenwordt,betrefthetslagenofzakkenvanleerlingen.Hetzouwenselijkzijndathetaantalterechtebeslissingendatmetdetoetsgenomenwordt,datwilzeggenhetaantalleerlingendatterechtgeslaagdengezaktis, zogrootmogelijkis.Inhetgevaldebetrouwbaarheidgelijkisaan1,wetenwedatdegeobserveerdescoresvandeleerlingengelijkzijnaanhunwarescoresenwetenwedusookdatdeleerlingendiegeslaagdzijnterechtgeslaagdzijnendatdeleerlingendiegezaktzijnterecht gezaktzijn.Inhetgevalvaneenbetrouwbaarheidlagerdan1,kunnenleerlingenmetverschillendegeobserveerdescoresechterdezelfdewarescorehebbenenkunnenleerlingenmetverschillendewarescoresdezelfdegeobserveerdescorehebben.Hoewelwedandusnietwetenwelkeleerlingenterechtgeslaagdofgezaktzijn,kunnenweechterweleenschattingmakenvanhetaantalleerlingendatterechtgeslaagdofgezaktis.

Verondersteldatwedehavo-toetsEngels2009alleenzoudengebruikenomtebepalenwelkeleerlingenzoudenmoetenslagenenwelkeleerlingenzoudenmoetenzakken.Devraagisdanhoebetrouwbaardiebeslissingenmetdehavo-toetsEngelsgenomenkunnenworden.Inhetgevalvandehavo-toetsEngelswasdecesuur,datwilzeggendelaagstescorewaareenvoldoendecijferaantoegekendwordt,detoetsscore28waarhetcijfer5,5aantoegekendwerd.Hetfeitdatdehavo-toetsEngelseenbetrouwbaarheidvan0,83had,betekentdaterleerlingenzijndieopbasisvanhungeobserveerdescoreeenonvoldoendecijferkrijgenterwijlzeopbasisvandewarescoresdiezehaddenkunnenhebbeneenvoldoendecijferhaddenkunnenkrijgen.Inditgevalhebbendeleerlingendiehetbetrefttenonrechteeenonvoldoendecijfergekregen.Hetomgekeerde,leerlingendieopbasisvanhungeobserveerdescoreeenvoldoendecijferkrijgenterwijlzewarescoreszoudenkunnenhebbenwaarmeezeeenonvoldoendecijfer

haddenkunnenkrijgen,komtookvoor.Inditgevalhebbendeleerlingendiehetbetrefttenonrechteeenvoldoendecijfergekregen.Leerlingendietenonrechteeenonvoldoendecijferkrijgenoftenonrechteeenvoldoendecijferkrijgen,noemenwemisclassificaties.Bijredelijkbetrouwbaretoetsenzijnhetvooraldeleerlingendieeenscoreronddecesuurhebbendietenonrechteeenvoldoendeofonvoldoendecijferkrijgen.

Hetismogelijkomgegevendebetrouwbaarheidendecesuurvaneentoetsendeaannamedatdetoetsscoresvandeleerlingennormaalverdeeldzijn,eenschattingtemakenvanhetaantalterechteentenonrechtegezakteengeslaagdeleerlingen.Wanneerzoweldewarealsdegeobserveerdescorestotdezelfdeuitslagleiden,terechtonvoldoendedanwelterechtvoldoende,isersprakevanjuisteclassificaties.Wanneerdewareengeobserveerdescorestotverschillendeuitslagenleiden,isersprakevanmisclassificaties.

Vandehavo-toetsEngels2009meteenbetrouwbaarheidvan0,83eneentoetsscorevan28alscesuur,staandepercentagesleerlingenmeteenterechtonvoldoendecijfer,eenterechtvoldoendecijferendepercentagesmisclassificatiesinonderstaandebeslissingstabel. Dezetabelkanverkregenwordendoordetoetsmetbehulpvaneencomputerprogrammateanalyseren.

Ware score T Ware score T

onvoldoende voldoende

Geobserveerde score X onvoldoende terechtonvoldoende22,2% misclassificatie5,6%

Geobserveerde score X voldoende misclassificatie6% terechtvoldoende66,2%

Detabellaatziendatuitgaandevandegeobserveerdescores27,8%(22,2%+5,6%)vandeleerlingeneenonvoldoendeheeften72,2%(66,2%+6%)eenvoldoende.Hetpercentagemisclassificatiesisgelijkaan11,6%(5,6%+6%)watneerkomtop273vandeintotaal2353leerlingen.Bijhetbeantwoordenvandevraagofmetdehavo-toetsEngels2009betrouwbarezak/slaagbeslissingenkunnenwordengenomen,moetenwewelbedenkendatvooraldeleerlingenmeteentenonrechteonvoldoendebenadeeldzijn.Dezeleerlingen,intotaal6%vandeleerlingen,kunnenechterbijeenherkansingbewijzendatzeweleenvoldoendeverdienen.

Erzijntweefactorendiehetaantalmisclassificatiesbeïnvloeden.Deeerstefactorisdebetrouwbaarheidvandetoets.Hoelagerdebetrouwbaarheidvandetoetshoegroterhetaantalmisclassificaties.Detweedefactorisdehoogtevandecesuur.Indiendecesuurerglaagis,zullenerveelleerlingenslagenmaarzullenerrelatiefveelleerlingentenonrechteslagen. Ditlaatsteisenigszinshetgevalinbovenstaandvoorbeeldwaardecesuurvan28scorepuntenlagerisdandegemiddeldescorevan31,4scorepunten.Indiendecesuurerghoogis,zullenerveelleerlingenzakkenmaarzullenerrelatiefveelleerlingentenonrechtezakken.

Debesprekingvandehavo-toetsbeperktezichtotmisclassificatiesinhetgevalvanzak/slaag-beslissingen.Wezoudenechterookvoorallecijferskunnennagaanofleerlingenterechtoftenonrechtehetcijferhebbendathentoegekendis.Ookvoortoetsenwaarleerlingenopbasisvanhunscoresingedeeldwordeningroepenofcategorieën,kannagegaanwordenofleerlingenterechtoftenonrechteaaneenbepaaldegroepofcategorietoegewezenzijn.

3.4 Misclassificaties bij meerdere toetsen

Indevorigeparagraafwerdmetbehulpvaneenbeslissingstabelgedemonstreerdhoeinhetgevalvaneenenkeletoetsmisclassificatiesgekwantificeerdkunnenworden.Indezeparagraaflatenwezienhoemisclassificatiesgekwantificeerdkunnenwordenindienersprakeisvanmeerderetoetsen.Ditishetgevalbijexamensdiemeestaluittoetsenvoorverschillendevakkenbestaan.Opdietoetsenkunjeeenvoldoendeofonvoldoendecijferbehalenmaarjezaktofslaagtnietvooreenenkeletoets.Inhetvoortgezetonderwijskunjewelzakkenofslagenvoorhetvmbo-,havo-ofvwo-examen.Zakkenenslagenvooreenexamengebeurtopbasisvanuitslagregels.Driesoortenuitslagregelskunnenonderscheidenworden:1 Conjunctieveuitslagregels–opalletoetsenmoeteenvoldoendecijferbehaaldworden.2 Complementaireuitslagregels–nietopalletoetsenmoeteenvoldoendecijferbehaald

worden.3 Compensatorischeuitslagregels–onvoldoendecijfersopsommigetoetsenkunnen

gecompenseerdwordenmetvoldoendecijfersopanderetoetsen.

Uitslagregelswordenhiernavergelekenmetbetrekkingtothetpercentagegezakteleerlingenenhetpercentagemisclassificaties.Misclassificatiesingevalvaneenexamenmethetzelfdeprofiellichtenwetoemetonderstaandebeslissingstabel.Debeslissingstabelvooreenexameniseenvariantopdebeslissingstabelvaneenenkeletoets.Degeobserveerdeuitkomstisnuechternietééntoetsscoreofcijfermaareenuitslagophetgeheleexamen,namelijkgezaktofgeslaagd.Inhetvoortgezetonderwijswordtdeexamenuitslagbepaalddoordeuitslagregeltoetepassenopdeexamenresultatenvanzowelschoolexamenalscentraalexamenvanallevakkendiedeexaminandusheeftgedaan.

Ware scores op toetsen Ware scores op toetsen

onvoldoende voldoende

Examenuitslag gezakt juisteclassificatie misclassificatie

Examenuitslag geslaagd misclassificatie juisteclassificatie

Onzebesprekinghierbeperkenwetotdevergelijkingvandrieuitslagregelsvoorhetvwo-examen.Hetvwo-examenkendetotmethetschooljaar2008-2009devolgendeuitslagregel.Omteslagenvoorhetexamenmochteenleerlingmaximaalééneindcijfervierenééneindcijfervijfhalen,metmaximaaléénonvoldoendeopdevakkenvanhetgekozenprofiel.Metingangvanhetschooljaar2009-2010werddezeoudeuitslagregelvervangendooreennieuweuitslagregel.Hoeweldeeisvanmaximaaléénonvoldoendeopdeprofielvakkenkwamtevervallen,mochthetgemiddeldeeindcijfernietlagerdan6,0zijnalseenleerlingalscijferopeenoftweevandetoetsenéénvier,tweevijven,oféénvierenéénvijfhad.Deoudeuitslagregelvoorhetvwo-exameniszowelcompensatorischalscomplementair. Deregeliscompensatorischomdatdecijfersvanhetschoolexamenencentraalexamenpervakwordengemiddeld.Deregeliscomplementairomdateengeringaantalonvoldoendecijfersophetexamentoegestaanis.Denieuweuitslagregelvoorhetvwo-examenisookcompensatorischenwelindezindatonvoldoendesvoorbepaaldevakkengecompenseerdkunnenwordenmetruimevoldoendesopanderevakken.

Naastdezeoudeennieuweuitslagregelzijnookdeeffectenvananderevoorstellenvooruitslagregelsonderzocht.Eenvandievoorstellen,dederdeuitslagregel,bestonduitdeoudeuitslagregelpluseenvoldoendeophetcentraaleindexamenvoordetoetsenvandevakkenNederlands,Engelsenwiskunde.

Watbetekenendezedrieuitslagregelsvoordepercentagesgezakteleerlingenenmisclassificaties?Voorhetbeantwoordenvandezevraagwerdgebruikgemaaktvandeexamengegevensvandedrieexamenjaren2004-2006.Onderstaandetabelgeeftderesultaten.

Percentage gezakten Percentage misclassificaties

Oudeuitslagregel 6,4 6,0

Nieuweuitslagregel 6,2 5,2

Derdeuitslagregel 46,2 17,7

Detabellaatziendatverschillendeuitslagregelstotgroteverschilleninpercentagesgezakteleerlingenenmisclassificatieskunnenleiden.Vooraldederdeuitslagregelleidttoteenzeerhoogpercentagegezakteleerlingenenmededaardoortoteenhoogpercentagemisclassificaties.DederdeuitslagregelisconjunctiefindezindateenvoldoendecijferopdetoetsenvoordevakkenNederlands,Engelsenwiskundeverlangdwordt.Compensatorischeuitslagregelshebbenmeestaldevoorkeurbovenconjunctieveuitslagregelsomdatbijdetoepassingvanconjunctieveuitslagregelsleerlingendoorpechofeenanderemeetfouttenonrechteeenonvoldoendecijferkunnenhalenopeenvandetoetsenendaardoortenonrechtekunnenzakken.Menzouookkunnenzeggendaterbijdetoepassingvanconjunctieveuitslagregelstenonrechtevanwordtuitgegaandattoetseneenzeerhogebetrouwbaarheidhebben.

Hetpercentagemisclassificatieskanmengebruikenvoorhetbeantwoordenvandevraagofmenmetexamensbetrouwbarezak/slaagbeslissingenoverleerlingenkannemen.Inbovenstaandetabelzienwedatbijdeoudeendenieuweuitslagregelhetpercentagemisclassificatiesnietmeerdan6%isendaarbijdientopgemerkttewordendatpercentagesmisclassificatieszowelleerlingenbevattendietenonrechtegeslaagdalstenonrechtegezaktzijn.Datlaatstewordtmeestalkwalijkergevondendanheteerste.

Bijexamensheeftnaastdegehanteerdeuitslagregelookdebetrouwbaarheidvandeindividueletoetseneeneffectophetaantalmisclassificaties.Meerbetrouwbaretoetsendoenhetaantalmisclassificatiesdalen.Bijdeexamensinhetvoortgezetonderwijshebbenwemetredelijkbetrouwbaretoetsentemaken.Vooreenoverzichtganaarwww.cito.nl>Voortgezetonderwijs>Centraleexamens>Examenverslagen.

Bijexamenshebbengezakteleerlingendemogelijkheidomvakkenteherkansen.Diemogelijkheidleidttoteenlagerpercentagegezakteleerlingen.Watechterheteffectisophetpercentagemisclassificatiesisonduidelijkomdatzoweltenonrechtealsterechtgezakteleerlingenherkansen.Leerlingendietenonrechtegezaktzijnenalsnogslagen,doenhetaantalmisclassificatiesdalen.Hetomgekeerdegeldtechtervoordeleerlingendieterechtgezaktwaren.Alszijnaherkansingalsnogslagendoetdathetaantalmisclassificatiesstijgen.Wewetenechterniethoeveelterechtenonterechtgezakteleerlingenherkansenendaardoorwetenweooknietwatheteffectvaneenherkansingisophetpercentagemisclassificaties.Eenherkansingleidtweltoteendalingvanhetpercentageonterechtgezakteleerlingenentoteenstijgingvanhetpercentageonterechtgeslaagdeleerlingen.

3.5 Betrouwbaarheid van beoordelingen door beoordelaars

Demeestetoetsenbestaanuitvragenen/ofopdrachtendieleerlingenmoetenbeantwoordenen/ofuitvoeren.Deantwoordenopdevragenofdeuitvoeringvandeopdrachtenwordendoor

beoordelaarsbeoordeeld.Bijdiebeoordelingkanzowelhetaantalbeoordelaarsalsde (on)afhankelijkheidvandebeoordelaarsverschillen.Eenveelvoorkomendeafhankelijkebeoordelingssituatieisdesituatiewaarbijdedocentdeenigebeoordelaarisvandeleerlingendiezijofhijonderwezenheeft.Erzijnechterookbeoordelingssituatieswaarbijersprakeisvanmeerdereonafhankelijkebeoordelaarsdiedeleerlingennietkennen.Eenvoorbeeldinhetvoortgezetonderwijsishetstaatsexamenwaar,inplaatsvanhetschoolexamen,eencommissie-examendoortweeonafhankelijkebeoordelaarsafgenomenenbeoordeeldwordt.

Debeoordelingdieeenleerlingvoordebeantwoordingvaneenvraagofdeuitvoeringvaneenopdrachtontvangt,zoualleenbepaaldmoetenwordendoordekwaliteitvandebeantwoordingofdeuitvoering.Datbetekentookdathetnietzoumogenuitmakendoorwiedeleerlingbeoordeeldwordt.Indienerbijdebeoordelingengeenverschillenzoudenbestaantussendeoordelenvanverschillendebeoordelaarskunnenwesprekenvanobjectievebeoordeling.Objectievebeoordelingisechtereenideaaldatbijnagenoeggeenenkelebeoordelingssituatiegerealiseerdzalworden.Indienbeoordelaarsaanhetzelfdeantwoordopeenvraagofdezelfdeuitvoeringvaneenopdrachtverschillendebeoordelingengeven,veroorzaaktdateenmeetfoutdiedebetrouwbaarheidvandetoetsscoresnegatiefzalbeïnvloeden.Hoegrootdieinvloedis,hangtafvandematewaarindebeoordelingenverschillen.Voorhetkwantificerenvanverschillentussenbeoordelaarswordentweematengebruikt:beoordelaarsbetrouwbaarheidenbeoordelaarsovereenstemming.Deberekeningvandezematenisgelijkaandeberekeningvandebetrouwbaarheidvaneentoets,datwilzeggendatdebeoordelaarsnuderolvanitemsvervullen,enbeidehebbenookeenondergrensvan0eneenbovengrensvan1.Detwee matenwordentoegelichtmetbehulpvanonderstaandetweevoorbeeldendieindepraktijkzeldenzullenvoorkomenmaarweldeverschillentussendetweematenduidelijkmaken. Devoorbeeldenbetreffendebeoordelingenvantweebeoordelaarsvandeuitvoeringvaneenopdrachtdoorvijfleerlingen.

Voorbeeld 1: beoordelaar Voorbeeld 2: beoordelaar

1 2 3 4

Leerling

1 1 3 1 1

2 2 4 2 2

3 3 5 3 3

4 4 6 4 4

5 5 7 5 5

Gemiddeldebeoordeling 3 5 3 3

Invoorbeeld1zienwedatbeoordelaar1enbeoordelaar2iedereleerlingverschillendbeoordelen.Wezienechterookdatersprakeisvaneensystematischverschilindebeoordelingenvanbeoordelaar1enbeoordelaar2.Beoordelaar2geeftelkestudent2score-puntenmeerdanbeoordelaar1.Hoeweldeabsolutebeoordelingenvanbeoordelaar1enbeoordelaar2dus2scorepuntenverschillen,zijnhunrelatievebeoordelingenaanelkaargelijk.Beidebeoordelaarsbeoordelendeuitvoeringvandeopdrachtdoorleerling5alsdebeste,leerling4alsdeopeennadebesteenleerling1alsdeslechtste.Inbeoordelingssituatieszoalsinvoorbeeld1hebbenwetemakenmeteenperfectebeoordelaarsbetrouwbaarheiddiegelijkisaan1.Ondankseenperfectebeoordelaarsbetrouwbaarheidmaakthetvoordeleerlingenechterweldegelijkuitdoorwiezebeoordeeldworden.Indienersprakezouzijnvanslechtséénbeoordelaarheeftvooreenleerlingbeoordelingdoorbeoordelaar2duidelijkdevoorkeuromdatbeoordelaar2,gegevenzijngemiddeldebeoordeling,eenmilderebeoordelaarisdanbeoordelaar1.Ookwanneerdevijfleerlingendoorbeoordelaar1enbeoordelaar2beoordeeldwordenenhunoordelengemiddeldofgesommeerdworden,kanhetuitmakendatde

beoordelaarssystematischtweescorepuntenverschillen.Indieneenexamenalleenuitdezeopdrachtzoubestaanendecesuurligtbij4scorepunten,dankrijgtleerling2eenonvoldoendebeoordelingvanbeoordelaar1,eenvoldoendebeoordelingvanbeoordelaar2ofeenonvoldoendegemiddeldebeoordelingvanbeoordelaar1en2.Voorbeeld1laatziendatdestudentenondankseenperfectebeoordelaarsbetrouwbaarheidongelijkebeoordelingenkunnenkrijgen.Hoewelsystematischeverschillenzeldenzullenvoorkomen,komenverschillentussenbeoordelaarsveelvuldigvoor.

Invoorbeeld2zienwedatbeoordelaar3enbeoordelaar4ookvindendatdeuitvoeringvandeopdrachtdoorleerling5debeste,endeuitvoeringdoorleerling1deslechtsteis.Indatopzichtzijndebeoordelingeninvoorbeeld2gelijkaandieinvoorbeeld1.Invoorbeeld2zijnechterookdeindividuelebeoordelingenvandeleerlingendoordetweebeoordelaarsidentiek.Invoorbeeld2hebbenwetemakenmetzoweleenperfectebetrouwbaarheidalseenperfectebeoordelaars-overeenstemming.Invoorbeeld2maakthetvoordeleerlingennietuitofzeeenbeoordelingvanbeoordelaar3,beoordelaar4ofeengemiddeldebeoordelingvanbeoordelaar3en4krijgen.Voorbeeld2laatziendatleerlingenalleenbijeenperfectebeoordelaarsovereenstemminggelijkebeoordelingenkrijgen.

Watlerendezetweevoorbeeldenonsoverbeoordelaarsenbeoordelen?1 Dat we moeten streven naar een hoge beoordelaarsovereenstemmming.

Eénvandemanierenvoorhetrealiserenvaneenhogeovereenstemmingisdoorbijdebeoordelinggebruiktemakenvaneencorrectievoorschriftdatuiteenantwoordmodelofbeoordelingsschema,scoringsvoorschrifteneenbeoordelaarsinstructiebestaat(ziedehoofdstukken6,7en8).Eenanderemanierisdoortrainingencertificeringvanbeoordelaarsofassessoren.

2 Dat we antwoordmodellen of beoordelingsschema’s voor vragen en opdrachten moeten ontwikkelen die tot een hoge beoordelaarsovereenstemming tussen beoordelaars leiden. Datlaatstezaluitonderzoekmoetenblijken.

3 Dat we beoordelaarsbetrouwbaarheid of beoordelaarsovereenstemming niet moeten interpreteren als de betrouwbaarheid van een toets. Eenhogebeoordelaarsovereenstemmingiseennoodzakelijkemaargeenvoldoendevoorwaardevoorhetrealiserenvaneenhogetoetsbetrouwbaarheid.Debelangrijkstefactorvoorhetrealiserenvaneenhogetoetsbetrouwbaarheidishetaantalvragenofopdrachtendatweeenleerlinglatenbeantwoordenofuitvoeren.Dewarescorevaneenleerlingkanmetveelopdrachtenveelbetrouwbaardergeschatwordendanmetweinigopdrachten.Verschillentussenbeoordelaarszullendoorhetlatenuitvoerenvanmeerdereopdrachtenookminderinvloedhebbenopdescoreofhetcijferdatdeleerlingkrijgtdanwanneerslechtséénopdrachtafgenomenwordt.

4 Dat we leerlingen door twee of liever nog meer onafhankelijke beoordelaars zouden moeten laten beoordelen. Indepraktijkechterzalzelfsdeinzetvantweeonafhankelijkebeoordelaarsvaaknietmogelijkzijn.Somswordtdooréénonafhankelijkeenéénafhankelijkebeoordelaarbeoordeeld,ziedeexamensinhetvoortgezetonderwijs,ensomswordtdoormaarslechtséénonafhankelijkeoféénafhankelijkebeoordelaarbeoordeeld.Verwachtmagwordendatdeinzetvanéénonafhankelijkeoféénafhankelijkebeoordelaardebetrouwbaarheidvaneentoetsnegatieverzalbeïnvloedendandeinzetvanmeerdereonafhankelijkebeoordelaars.Ofdieinvloedverwaarloosbaarofgrootis,kanechteralleenviaonderzoekvastgesteldworden.WatbetreftdeexamensinhetvoortgezetonderwijskunnenweinditverbandverwijzennaarhetCito-rapport‘Depraktijkvandeeersteentweedecorrectie’(2013)waarinKuhlemeierenKremersverslagdoenvanonderzoeknaarhetfunctionerenvanhetCSE.Zoalshiervoorreedsopgemerktwerd,kunnengoedecorrectievoorschriften,getraindebeoordelaarsenhetafnemenvanveelitemservoorzorgendateentoetsvoldoendebetrouwbaaris.

3.6 Hoe worden toetsscores betrouwbaarder?

Debetrouwbaarheidvantoetsscores,destandaardmeetfout,hetaantalmisclassificatiesbijééntoetsenmeerderetoetsenendematevanovereenstemmingtussenbeoordelaarswordendooreendrietalmetelkaarsamenhangendefactorenbeïnvloed:dekenmerkenvandetoets,deconditieswaaronderdetoetswordtafgenomenendesamenstellingvandegroepleerlingenwaarbijdetoetswordtafgenomen.

ToetskenmerkenKenmerkenvandetoetsbetreffendelengtevandetoets,devormvandevragenendekwaliteitvandeitems.

Lengte van de toetsLangetoetsenzullenbijnaaltijdbetrouwbaarderetoetsscoresopleverendankortetoetsen. Deverklaringhiervoorisdatiederetoetsuiteenverzamelingitemsbestaatenalsdieverzamelingtekleinis,speeltdespecifiekekeuzevandeitemseentegroterolbijhetbepalenvandescoresdiedeleerlingenkrijgen.DerelatietussenbetrouwbaarheidendelengtevandetoetswordtuitgedruktdoordeSpearman-Brownformule:

ρρρ

+ − ×(1)( )

1 ( 1) (1)fff

Indeformulestaathetsymbool ρ voordebetrouwbaarheidvandetoets.Deletterfstaatvoordefactorwaarmeedetoetsverlengdwordtwaarbijfeenwillekeurigpositiefgetalis.WelichtendetoepassingvandeSpearman-Brownformulemettweevoorbeeldentoe.Heteerstevoorbeeldbetrefteentoetsdie24itemsbevateneenbetrouwbaarheidvan0,63heeft.Watwordtdebetrouwbaarheidvandetoetsalswedetoetsanderhalfkeerzolangmakenzodatweeentoetsmet36itemskrijgen?Metf=1,5geefttoepassingvandeSpearman-Brownformulevoorhomogenetoetsverlengingeenbetrouwbaarheidvan:

ρ ×= =

+ − ×1,5 0,63(1,5) 0,72

1 (1,5 1) 0,63

ToepassingvandeSpearman-Brownformulelaatziendathettoevoegenvan10itemsaaneentoetsvan30itemsmeerbetrouwbaarheidswinstoplevertdanhettoevoegenvan10itemsaaneentoetsvan50items.Meestalheefthetverlengenvaneentoetszinalsdetoetsuitrelatiefweinigitemsbestaatenalsdebetrouwbaarheidvandetoetsniettelaagis.Eenvoorbeeldvandatlaatsteiseentoetsvan15itemsmeteenbetrouwbaarheidvan0,40.Dietoetszoumet 75itemsverlengdmoetenwordenomeenbetrouwbaarheidvan0,80terealiseren.

Letweldatdoordetoetsteverlengennietalleendebetrouwbaarheidmaarookdestandaard-meetfoutgroterwordt.Zokanbewezenwordendatwanneerwedetoetsvierkeerzolangmaken,bijvoorbeeld64itemsinplaatsvan16items,destandaardmeetfouttweekeerzogrootwordt.Dateenhogerebetrouwbaarheidgepaardgaatmeteengroterestandaardmeetfoutlijktmetelkaarintegenspraak.Ondankseengroterestandaardmeetfoutneemtdenauwkeurigheidvandemetingechtertoeomdateentweemaalzogrotestandaardmeetfoutgebruiktwordtomtoetsscorestevergelijkenopeenviermaalzolangescoreschaal.Toetsscoresvanverschillendeleerlingenkunnenwebetrouwbaardervergelijkenopeenschaalvan64scorepuntendanopeenschaalvan16scorepunten.

ToepassingvandeSpearman-Brownformulelaatookziendatintheorieelketoetsscoreperfectbetrouwbaargemetenkanworden.Wanneerdehavo-toetsEngels2009nietuit43itemsmaar

uit430itemszoubestaan,zoudenwedewaretoetsscoreofhetwarecijfervandeleerlingenveelnauwkeurigerkunnenbepalen.

Hettweedevoorbeeldbetrefthetkortermakenvandetoets.Watwordtdebetrouwbaarheidvandetoetsalswedetoetsvan24itemsinkortentot18items?Metf=0,75geefttoepassingvandeSpearman-Brownformuleeenbetrouwbaarheidvan:

ρ ×= =

+ − ×0,75 0,63(0,75) 0,56

1 (0,75 1) 0,63

Wathiervoorbijhetverlengenvandetoetsopgemerktwerdoverderelatietusseneenhogerebetrouwbaarheideneengroterestandaardmeetfout,geldtookvoorhetverkortenvandetoets.

VraagvormToetsendieuitobjectiefscoorbarevragenbestaan,zoalsmeerkeuzevragenenkort-antwoordvragen,zullenmeestalbetrouwbaarderetoetsscoresopleverendantoetsenbestaandeuitlang-antwoordvragenwaarvandeantwoordendoorbeoordelaarsgescoordmoetenworden. Tweeverklaringenhiervoorzijndatbijgelijketoetstijdmeermeerkeuzevragenenkort-antwoordvragendanlang-antwoordvragenafgenomenkunnenwordenendatverschillendebeoordelingenvanbeoordelaarsbijlang-antwoordvragenbijdragenaandemeetfout. Bijtoetsenmetlang-antwoordvragenkaneengeringeraantalvragenechterwelgecompenseerdwordendoorvragenmetveelscorepuntenwaardoordescoreschaalgroterwordtwaardoorhetweermogelijkisomleerlingenbetrouwbaardertevergelijken.

Kwaliteit van de itemsItemsdietemoeilijkoftemakkelijkzijnvoorleerlingenzullenmeestalweinigbijdragenaandebetrouwbaarheidvandetoetsscores.Daarentegenwordtdebetrouwbaarheidverhoogddooritemsvaneengemiddeldemoeilijkheidsgraadenitemsdiegoedtussendeslechteenbetereleerlingenkunnenonderscheiden.

AfnameconditiesInparagraaf3.1merktenwereedsopdatindienfysiekeafnamecondities–zoalsdeverlichting,hetgeluidendetemperatuurvanexamenzalen–(opverschillendetijdstippen)verschillen,ditmeetfoutentotgevolgkanhebbenendebetrouwbaarheiddusnegatiefkanbeïnvloeden. Datgeldtookvoordeinstructiesdieervoormoetenzorgendatalleleerlingendezelfdekansenhebbenomdevragengoedtebeantwoorden.Ditbetekentbijvoorbeelddataanleerlingenverteldmoetwordendatzeallemeerkeuzevragenmoetenbeantwoordenendusnooitmeerkeuzevragenmoetenoverslaan.

Samenstelling van de groep leerlingenDegroottevandebetrouwbaarheidscoëfficiëntisafhankelijkvandewareverschilleninwatdetoetsmeetbijdegroepleerlingenwaarbijdetoetswordtafgenomen.Ditbetekentdatdebetrouwbaarheidlagerzalzijnbijeengroepleerlingenwaardewareverschillenkleinzijndanbijeengroepleerlingenwaardewareverschillengrootzijn.Bijdelaatstegroepisdeverhoudingtussendevariantiesvanwareengeobserveerdescoresgroterdanbijdeeerstegroep(zieookparagraaf3.1.2).Watwelkanvoorkomenisdatdeverschillentussendeleerlingenzeergeringzijnendatdaardoordebetrouwbaarheidvandetoetslaagis.Alsdiegeringeverschillenhetgevolgzijnvanzeergoedonderwijs,zouhetechteronjuistzijnomaaneenlagebetrouwbaarheiddeconclusieteverbindendatdetoetsonbruikbaarofongeschiktzouzijn.

3.7 Betrouwbaarheid van toetsscores en de dagelijkse toetspraktijk

Indeparagrafenhiervoorisdebetrouwbaarheidvantoetsscoresvanuitverschillendegezichtspuntenbesproken.Opbasisvanonderanderediebesprekingensluitenwedithoofdstukafmetadviezenvoordedagelijksetoetspraktijk.

1 Toetsenenbeoordelingenvanbeoordelaarszijnfeilbaremetingenvandeprestatiesvanleerlingen.Metdiefeilbaarheiddientmenrekeningtehoudenbijdeinterpretatie en het gebruikvandegeobserveerdescoresdiehetresultaatzijnvandietoetsenofbeoordelingen.

2 Indienmenmaaréénenkeletoetsgebruiktvoorhetnemenvanbelangrijkebeslissingenoverleerlingendanmoetdietoetseenhogebetrouwbaarheidhebben.Debestegarantievooreenhogetoetsbetrouwbaarheidiseentoetsdieveelitemsvandejuistekwaliteitbevat.

3 Ookbijtoetsenmeteenhogebetrouwbaarheidzalvooreenaantalleerlingendebeslissingvaneenonvoldoendecijferofzakkenopdetoetseenfoutebeslissingzijn.Omhetaantaltenonrechtegezakteleerlingenzokleinmogelijktelatenzijn,moetmenruimhartigzijnmethetgevenvanherkansingen.

4 Gegevendatdemeestetoetsengeenhogebetrouwbaarhedenhebben,kanmenvoorhetnemenvanbelangrijkebeslissingenoverleerlingennietvolstaanmethetafnemenvaneenenkeletoetsmaarzalmenmeerderetoetsenmoetenafnemen.

5 Indienverschillendetoetsenmeteenredelijkebetrouwbaarheidtotvergelijkbarebeslissingenoverleerlingenleiden,kunnenwevertrouwenhebbenindebeslissingen.Indiendebeslissingenvanverschillendetoetsenelkaarechtertegenspreken,moetenwevoorzichtigzijnmethetnemenvanbeslissingen.

6 Ooktoetsenvoorhetlerenofformatievetoetsenmoetenvoldoendebetrouwbaarzijnomdatonbetrouwbaretoetsentotonbetrouwbarebeslissingenoverdevoortgangvanhetonderwijsleiden.

4 De validiteit van toetsscores

4 Devaliditeitvantoetsscores Saskia Wools

Waaromvindenstudentenhetoneerlijkwanneererinhettentamenalleenvragenoverhetlaatstehoofdstukzijnopgenomen?Kunnenwemetbehulpvaneenbepaalderekentoetsuitsprakendoenoverrekenvaardigheidénruimtelijkinzicht?Klopthetadviesdatweleerlingenuitgroep8gevenoverhetvervolgonderwijs?Ditzijnallemaalvragendietemakenhebbenmetdevaliditeitvantoetsscores.

Dithoofdstukoverdevaliditeitvantoetsscoresbestaatuitdriedelen.Heteerstedeelgaatoverwatvaliditeitisenhoevaliditeitaangetoondkanworden.Welkebewijzengeschiktzijnomvaliditeitaantetonenwordtindeeltweebesproken,terwijlindeeldriedetheorieuitdetweevoorgaandedelenaandehandvantweepraktijkvoorbeeldenwordttoegelicht.

4.1 Wat is validiteit?

Validiteitgaatoverdeinterpretatieenhetgebruikvantoetsscores.DenkbijvoorbeeldaaneenluistertoetsFrans.HetisdebedoelingdatdescoresopdezetoetsietszeggenoverdeluistervaardigheidFransvandeleerlingendiedetoetsmaken.Weinterpreterendescoreopdetoetsdusalseenmaatvoorluistervaardigheid.Vervolgensgebruikenwedescoreomtebeslissenofeenleerlingvoldoendeluistervaardigisomnaardevolgendeklasovertegaan.Andersgezegdgaathetbijvaliditeitdusomdevraagofdetoetsscoresdeinformatiebiedenwaarinwegeïnteresseerdzijnenofopbasisvandezescoresdegewenstebeslissingengenomenkunnenworden.

Validiteitisafhankelijkvanhetdoelvaneentoetsendaaromishetmogelijkdateentoetsvoorhetenedoelvalideisenvooreenanderdoelniet.Denkbijvoorbeeldaaneentoetsdiedoorleerlingengemaaktwordtterafsluitingvaneencursusendiedaarnaastookgebruiktwordtomhetfunctionerenvandedocentteevalueren.Dezetoetsdientdustweedoelenenomerzekervantezijndatwedetoetsscoresvoorbeidedoelenkunnengebruiken,zullenwedevaliditeitvoorbeidedoelenmoetenaantonen.

Voorhetaantonenvandevaliditeitvantoetsscoreskunnenverschillendebewijzengebruiktworden.Gezamenlijklatendezebewijzenziendatdetoetsscoresmeerofmindergeschiktzijnvooreenbepaaldeinterpretatieofeenbepaaldgebruik.Hetverzamelen,combinerenenpresenterenvandezebewijzennoemenwevalideren.

4.1.1 Interpretatie en gebruik van toetsscoresBijhetvaliderenvantoetsscoresmakenweeenonderscheidtussendeinterpretatievantoetsscores(welkebetekenisheefteenscore?)enhetgebruikvantoetsscores(welkebeslissingenneemikopgrondvandetoetsscores?).

Deinterpretatievantoetsscoresisalleenvalidewanneererbewijzenbeschikbaarzijndiedezeinterpretatieondersteunen.DenkbijvoorbeeldaandeEindtoetsBasisonderwijs,ookwelCitotoetsgenoemd,waarmeevolgensdemakersvandetoetsleervorderingengemetenworden.Ditbetekentdatdetoetsscoregeïnterpreteerdkanwordenalseenmaatvoorwatde

71 De validiteit van toetsscores < Inhoud Index >

leerlingenopdebasisschoolgeleerdhebben.Eenbeschrijvingvandeinhoudvandetoetskanalsbewijsvoorhetvaliderenvandezeinterpretatiegelden.

NaastdeinterpretatievandetoetsscoreskaninhetgevalvandeEindtoetsBasisonderwijsookhetgebruikvandescoresgevalideerdworden.DescoresvandeEindtoetsBasisonderwijswordengebruiktomleerlingenteadviserenoverhetbestpassendeschooltypenadebasisschool.Datdetoetsscoresgeschiktzijnvoorditgebruikmoetdusaangetoondworden.Onderzoekwaaruitblijktdatleerlingennaeenaantaljarennogsteedsophetgeadviseerdeschooltypezitten,kanalsbewijsdienenvoorhetgebruikvandeEindtoetsBasisonderwijs.DeEindtoetsBasisonderwijskannatuurlijkalleenalsadviesinstrumentgebruiktwordenalsweerzekervanzijndatdetoetsleervorderingenmeet.Daarommoetenzoweldeinterpretatiealshetgebruikvandetoetsscoresgevalideerdworden.Eenvalideinterpretatievandetoetsscoresisnamelijkeenvoorwaardevooreenvalidegebruik.InhetgevalvandeEindtoetsBasisonderwijszaldanookeerstaangetoondmoetenwordendatdetoetsscoresleervorderingenuitdrukken.Wanneerdeinterpretatievandetoetsnietkanwordengevalideerd,kanookhetgebruikvandetoetsnietgevalideerdworden.

Voorhetvaliderenvaneentoetszijnbewijzennodigdiezowelkwalitatiefalskwantitatiefvanaardkunnenzijn.Indevolgendeparagraafwordenverschillendecategorieënvaliditeits-bewijzenonderscheiden.Wekunnendevaliditeitvaneentoetshetbesteaantonendoorbewijzenuitverschillendecategorieënteverzamelen.Hetisnietnoodzakelijkombewijzenuitallecategorieënteverzamelenomdathetaantalenhetsoortbewijzenvooralafhankelijkisvandeinterpretatieenhetgebruikvandetoetsscores.

Tenslottewillenweopmerkendatweindithoofdstukkortheidshalvesomsoverdevaliditeitvaneentoetssprekenterwijlweoverdevaliditeitvantoetsscoreszoudenmoetenspreken.Toetsenzelfkunnennamelijknietvalidezijnmaardetoetsscoreswel.

4.2 Validiteitsbewijzen

Hiervoorhebbenwealuitgelegddatdevaliditeitvantoetsscoresbewezenmoetworden.Indezeparagraafbesprekenwezevencategorieënvanvaliditeitsbewijzen.

4.2.1 InhoudsbewijzenBijdeconstructievaneentoetswordenkeuzesgemaakttenaanzienvandeonderwerpenofonderdelenuitdeleerstofdieindetoetsopgenomenworden.Dezekeuzesbepalenvooreengrootdeelofdeinhoudvaneentoetsrepresentatiefisvoorhetleerstofdomeinofdevaardigheidwaaroveruitsprakengedaanmoetenworden.Alswebijvoorbeelduitsprakenwillendoenoverdebeheersingvandeleerstofuiteenbepaaldhoofdstukvaneenboek,stellenwenietalleenvragenoverdeeerstetweepagina’sofoverwatindeconclusiestaat.Inhoudsbewijzenlatenziendatdeitemsdieindetoetsopgenomenzijn,representatiefzijnvoorhetleerstofdomeinofdevaardigheidwaaroverweuitsprakenwillendoen.Figuur4.1bevatdriescenario’sdiederepresentativiteitvaneentoetsovertopografiepresenteren.DezetopografietoetswordtafgenomenomnategaaninhoeverredeleerlingendetopografievanNederlandkennen.InheteerstescenarioisteziendaterslechtseengedeeltevanhetleerstofdomeingedektwordtomdatalleenplaatseninGelderland(aangeduidmetzwartebolletjes)bevraagdworden.InhettweedescenariowordtjuistteveelvanhetleerstofdomeingevraagdomdatnietalleenkennisvandetopografievanNederlandmaarookvanEuropabevraagdwordt.InhetderdescenarioisersprakevaneenrepresentatievedomeindekkingvanhetleerstofdomeinomdatplaatsenuitgeheelNederlandbevraagdworden.

Figuur 4.1: Drie scenario’s voor de domeindekking van een topografietoets

Eeninhoudsbewijsvoordetopografietoetsisdetoetsmatrijswaarinaangegevenwordthoedeitemsoverdeverschillendeonderdelenvanhetleerstofdomeinverdeeldzijn.Hiermeekanaangetoondwordendatallebelangrijkeonderdelenuithetdomeinindetoetsbevraagdworden.Eenanderinhoudsbewijsvoordetopografietoetszijnbijvoorbeeldoordelenvandocentenaardrijkskundeoverderepresentativiteitenrelevantievandeitemsuitdetoets.

Inhoudsbewijzenzijnkwalitatiefvanaardenmoetengebaseerdzijnopanalysesvaninhoudelijkdeskundigen.

Waarom vinden studenten het oneerlijk wanneer er in het tentamen alleen vragen over het laatste hoofdstuk opgenomen zijn?

Alserineententamenalleenvragenoverhetlaatstehoofdstukopgenomenzijn,betekentditdatderepresentativiteitvanhettentamennietgoedis.Ofandersgezegd,dedomeindekkingvandezetoetsisonvoldoendeaangetoond.Studentenzullenhierdoorhetgevoelkrijgendatzijmaareenkleindeelvanhetgeleerdekunnendemonstreren.Voorhetdoenvaneerlijkeuitsprakenoverdevaardigheidvanstudentenishetbelangrijkdatoveralleonderdelenvandebehandeldeleerstofvragengesteldworden.Hetisnietnoodzakelijkdatoveralleonderdelenevenveelvragengesteldwordenomdathetaantalvragenookafhangtvanhetbelangvanhetdeelonderwerp.

4.2.2 ComplexiteitsbewijzenEentoetsmoetnietalleenhetleerstofdomeindekkenintermenvaninhoudmaarookintermenvankennishandelingendiedeleerlingenmoetenbeheersenomeentaakgoedtekunnenuitvoeren.Leerlingenmoetenbijvoorbeelddeleerstofkunnenoproepen,toepassen en analyserenenhetisvanbelangdatdiekennishandelingenindetoetsaandeordekomen. Opdezemanierkunnenweervoorzorgendatdecomplexiteitvandetakenindetoetshetzelfdeisalsdecomplexiteitvandetakeninhetleerstofdomein.Complexiteitsbewijzenlatendusziendatdecomplexiteitvandecognitieveprocessendietijdensdetoetsverlangdwordenvergelijkbaarzijnmetdecomplexiteitvancognitieveprocessendienodigzijnindetetoetsenvaardigheid.Omaantetonendatdetakenindetoetsoverdejuistecomplexiteitbeschikkenisopdeeersteplaatseenbeschrijvingvandevaardigheidwaarbijdekennishandelingeneenrolspelenvereist.Daarnaastmoetbewezenwordendatdeleerlingenbedoeldekennishandelingendaadwerkelijkgebruikenbijhetoplossenvandetaak.Eénvandemanierenomditaantetonenisdoormiddelvan‘hardop-denk’-protocollenwaarbijaanleerlingengevraagdwordtombijhetmakenvande

toetshardoptedenken.Doorditaanmeerdereleerlingentevragen,kannagegaanwordenofdebedoeldekennishandelingengebruiktworden.

Complexiteitsbewijzenzijnkwalitatiefvanaardenmoetengebaseerdzijnopanalysesvaninhoudelijkdeskundigen.

4.2.3 Interne structuur bewijzenMetdeinternestructuurvaneentoetsbedoelenwederelatietussende(scoresopde)vragenonderlingentussende(scoresopde)vragenende(scoresopde)completetoets.Steldatwedekennisvanwerkwoordspellingwillentoetsenwaarbijweervanuitgaandatwerkwoordspellingéénvaardigheidisendatallevragenindetoetseropgerichtzijnomdezevaardigheidtemeten.Alsdatlaatstehetgevalis,zaldesamenhangtussendevragenerggrootzijn.Dematevansamenhangtussen(descoresop)devragenkunnenwekwantitatiefbepalendoordecorrelatietussen(descoresop)devragenteberekenen.Voorwatcorrelatieisenhoedieberekendkanworden,verwijzenwenaar http://nl.wikipedia.org/wiki/Correlatie.

Hetisoverigensookmogelijkdatweeenaantaltoetsengebruikenomnietéénmaarmeerderevaardighedentemeten.DenkbijvoorbeeldaandeEindtoetsBasisonderwijs.DezetoetsbevatopgavenophetgebiedvanTaal,Rekenen-Wiskunde,StudievaardighedenenWereldoriëntatie.Uitonderzoeknaardeinternestructuurvandezetoetsblijktdatdesamenhangtussende(scoresopde)itemsvanhetzelfdeonderdeelhoogis,terwijldesamenhangtussende(scoresopde)itemsvanverschillendeonderdelenminderhoogis. HetvoorgaandeisereenbewijsvandatmetdeEindtoetsBasisonderwijsnietéénmaarmeerderevaardighedengemetenworden.Hetisoverigensnietaltijdnoodzakelijkomverschillendevaardighedeninapartetoetsonderdelenteverwerkendieopverschillendemomentenwordenafgenomen.

Internestructuurbewijzenzijnzowelkwantitatiefalskwalitatiefvanaard.Enerzijdswordendestructurenweergegevendoorcorrelatiecoëfficiënten,anderzijdsishetvanbelangomvoorhetbestaanofontbrekenvansamenhangtussenscoresopdeitemsvandezelfdeenverschillendeonderdelenplausibeleinhoudelijkeverklaringentegeven.

Kunnen we met behulp van een bepaalde rekentoets uitspraken doen over rekenvaardigheid én over ruimtelijk inzicht?

Wanneerwemetééntoetstweevaardighedenwillenbeoordelen,zullenwemoetenonderzoekenoferindeinternestructuurvandetoetsscoreseentweedelingtevindenis.Alsweeentweedelingvinden,kunnenwenagaanofdezeovereenkomtmetdeverwachtetweedelinginbijvoorbeeldrekenvaardigheidenruimtelijkinzicht.Eenbewijsvoordezetweedelingisdatdeitems‘rekenvaardigheid’meermetelkaarsamenhangendanmetdeitems‘ruimtelijkeordening’.

4.2.4 Externe structuur bewijzen Metdeexternestructuurvaneentoetsbedoelenwedesamenhangtussendescoresvanleerlingenopeenbepaaldetoetsenhunscoresopanderetoetsenofbijvoorbeelddeoordelenvandocenten.Detoetsscoreopeenanderetoetsofhetoordeelvaneendocentwordtookweleen externcriteriumgenoemd.Welkexterncriteriumofwelkeexternecriteriajekuntgebruikenomdevaliditeitvandetoetsscoresaantetonen,isafhankelijkvandeinterpretatie en hetgebruikvandetoetsscores.Zoisbijdeontwikkelingvaneenkortscreeningsinstrumentvoorhetsignalerenvantaal-

achterstandbijkleutersonderzochtofdeuitkomstenvanditinstrumentverschillendofgelijkzijnaandeuitkomstenvaneenuitgebreid,meerdaagsonderzoekvoorhetsignalerenvantaalachterstand.Wanneerdeuitkomstenvanhetkorteinstrumentenhetexternecriterium(d.w.z.hetmeerdaagseonderzoek)overeenkomen,bewijstditdathetkorteinstrumentookkanwordeningezetomtaalachterstandenbijkleuterstesignaleren.Hetisookmogelijkomdetoetsscoresvandeleerlingentevergelijkenmethetoordeelvandedocent.Opbasisscholenwordtbijvoorbeeldweleensgetoetsthoedesocialeverhoudingenindeklasliggen.Omdevaliditeitvandezetoetsscoresteonderzoeken,wordtookaandocentengevraagdomopbasisvanhunervaringendesocialeverhoudingentebeschrijven.Dezebeschrijvingkandanalsexterncriteriumvoordetoetsdienen.Totnutoehebbenwevoorbeeldenbesprokenwaarindesamenhangtussendetoetsscoreenhetexterncriteriumgrootzoumoetenzijn,maarhetisookmogelijkdatdesamenhangmeteenexterncriteriumgeringzoumoetenzijn.Zokunnenweonderzoekenofdescoresopeenrekenvaardigheidstoetssamenhangenmetdescoresopeenexterncriterium,bijvoorbeelddescoresopeenleesvaardigheidstoets.Wanneerwedanvindendatdesamenhangtussendezetweetoetsengeringis,danhebbenweaannemelijkgemaaktdatderekenvaardigheidstoetsrekenvaardigheidennietleesvaardigheidmeet.

Externestructuurbewijzenzijnzowelkwalitatiefalskwantitatiefvanaard.Enerzijdswordendestructurenweergegevendoorcorrelatiecoëfficiënten,anderzijdsishetvanbelangomvoorhetbestaanofontbrekenvansamenhangtussendescoreseneenexterncriteriumplausibeleinhoudelijkeverklaringentegeven.

Klopt het advies dat we leerlingen uit groep 8 geven over het vervolgonderwijs?

Omditteonderzoekenzullenwemoetennagaanofleerlingenmeteenbepaaldschooladviesookdaadwerkelijkeendiplomahalenbijhetgeadviseerdeonderwijstype.Ditkanbijvoorbeelddoorvanleerlingennategaaninwelkschooltypezijuiteindelijkterechtkomenenofzijditmetsuccesafsluiten.

4.2.5 BetrouwbaarheidsbewijzenBetrouwbaretoetsscoreszijneennoodzakelijkemaarnieteenvoldoendevoorwaardevoorvalidetoetsscores.Dezestellingimpliceertdateenonbetrouwbaretoetsscorenooiteenvalidetoetsscorekanzijn.Eentoetsscoredievooreengrootdeelbestaatuitmeetfoutenkannamelijknooiteengoedeweergavezijnvandevaardigheiddiewewillenmeten.Destellingimpliceertookdathetnietzoisdateenbetrouwbaretoetsscoreautomatischeenvalidetoetsscoreis. Eentoetskannamelijkietsandersmetendandebedoelingismaarkanditwelheelbetrouwbaardoen.Ditkomtwelvoorbijtoetsendieopmeerderevaardighedeneenberoepblijkentedoen,bijvoorbeeldeenrekentoetsdieookeenberoepdoetopdetaalvaardigheidvanleerlingen.

Voorgaandestellingdatdebetrouwbaarheidvaneentoetseennoodzakelijkemaargeenvoldoendevoorwaardeisvoorvaliditeitvaneentoets,willenweooknogeensillustrerenaandehandvaneenanalogiemetschietschijven.Indezeanalogiebeschouwenwetoetsenalshetschietenopeenschietschijf.Telkensalsweeentoetsafnemen,beschouwenweditalséénschotenalswedusvijfkeerdezelfdeofeenvergelijkbaretoetsafnemen,betekentditvijfschotenopdeschietschijf.Hetrakenvanderoosstaatindezeanalogievoorhetzogoedmogelijkmetenvandevaardigheiddiewemetdetoetsbeogentemeten.Infiguur4.2isteziendatdeschutterbijdeeersteschietschijfnietergpreciesschiet,datwilzeggendatverschillendeplaatsenvandeschietschijfgeraaktwordenendatookderoosniet(vijfkeer)geraaktwordt.Bijdetweede

schietschijfisdeschutterechterwelergprecies,datwilzeggendatdevijfschotenzeerdichtbijelkaarliggen,maarhijraaktderoosniet.Bijdederdeschietschijfschietdeschutterergpreciesenraakthijbovendienderoos.

Figuur 4.2: Drie schietschijven als analogie voor de betrouwbaarheid en validiteit van toetsscores

Deanalogievandeschietschijvengeeftderelatietussendebetrouwbaarheidendevaliditeitvaneentoetsweer.Deeersteschietschijfgeeftaandatalswedevaardigheidnietprecies (=onbetrouwbaar)meten,wedevaardigheidooknietvalidekunnenmeten.Detweedeschietschijflaatziendathetmogelijkisomdevaardigheidheelprecies(=betrouwbaar)maarnietvalidetemeten.Dederdeschietschijfgeeftaandatdevaardigheidnietalleenprecies (=betrouwbaar)maarookvalidegemetenwordt.

Betrouwbaarheidsbewijzenzijnmatenvoordebetrouwbaarheidvaneentoetsdieinhetvorigehoofdstukbesprokenzijn,zoalsCronbach’salfa,destandaardmeetfoutenhetpercentagemisclassificaties.

4.2.6 ExtrapoleerbaarheidsbewijzenMetdeextrapoleerbaarheidvantoetsenbedoelenwedatdeopeentoetsbehaaldeprestatiesnietalleenbetekenishebbenindecontextvandetoets,maardatdieprestatiesookbetekenishebbenvoorsituatiesbuitendetoetszoalsdeberoepspraktijk.LijkendetoetsenwaarmeedePabo-studenteopdePabobeoordeeldisopwatzijmoetdoentijdensdelio-stageenopwatzijuiteindelijknadeafrondingvanhaaropleidingindeberoepspraktijkmoetdoen?Lijkendetoetsenwaarmeedeleerlingvanhetmbotijdensdestukadoorsopleidingbeoordeeldisopwathijmoetdoenindeberoepspraktijk?

Bijdeextrapoleerbaarheidvaneentoetsisdeauthenticiteitvandevragenenopdrachtenvanbelang.Authenticiteithoudtindatderesponsdiewevandestudentvragen,datwilzeggenhetbeantwoordenvaneenvraag,hetdemonstrerenvaneenvaardigheid,hetschrijvenvaneenverslag,moetlijkenopwathijinde(beroeps)praktijkmoetdoen.Hetlaatsteisdanookderedenwaaromveeltoetsenindepraktijkwordenafgenomen.Vandaarookdatwanneeriemandinaanmerkingmeenttekomenvooreenrijbewijs,zijnrijgedragindeverkeerspraktijkbeoordeeldwordt.Tochisauthentiektoetsennietzovanzelfsprekendalshetlijktomdathetbijvoorbeeldgevaarlijkkanzijnomeenstudentineenauthentiekesituatietetoetsen.Erzullendaaromregelmatigconcessiesgedaanmoetenwordenaandeauthenticiteitvaneentoetswaardoordeextrapoleerbaarheidvandetoetsbeperktwordt.

Extrapoleerbaarheidsbewijzenzullenkwalitatiefvanaardzijnenbestaanuitvergelijkingentussenderesponsendiedoordetoetsgevraagdwordenenwatinde(beroeps)praktijkgevraagd

wordt.Bedoeldebewijzenkunnenzoweldoorbetrokkenenuithetonderwijsalsdoorbetrokkenenuitde(beroeps)praktijkgeleverdworden.

4.2.7 Consequentiële bewijzenEentoetskanverwachteenonverwachteconsequentiesvoorleerlingenendocentenhebben. Zokandeafnamevaneentussentijdsetoetserbijvoorbeeldvoorzorgendatdestudentalhalverwegehetsemesterhardergaatstudereninplaatsvantewachtentotheteindvanhetsemester.Zokaneendocentextraaandachtgevenaanbepaaldeonderdelenvandeleerstofomdathijverwachtdatdezeonderdelengetoetstzullenworden.

Eentoetsdierecentelijkingevoerdis,isdeWISCAT-pabo.DezerekentoetswordtingezetomtebepalenofPabo-studentenovervoldoenderekenvaardigheidbeschikkenominvierjaarvoldoendekennisoptedoenzodatzijnahunopleidingrekenonderwijskunnengeven.DetoetsisingevoerdindehoopdatdezeingangseisvoorPabo-studentenervoorzorgtdathetniveauvanhetrekenonderwijsopbasisscholenindetoekomstzalstijgen.Eengevolgdaarvankanweerzijndatuiteindelijkhetrekenniveauvanbasisschoolleerlingenookzalstijgen.Ofdatlaatstehetgevalis,kunnenwepasovereenaantaljarennagaan.MochtdatinderdaadhetgevalzijndangeldtdestijgingvanderekenvaardigheidvanbasisschoolleerlingenalsconsequentieelbewijsvoordeWISCAT-pabo.

Consequentiëlebewijzenzullenveelalkwantitatiefvanaardzijnomdatbijvoorbeeldbetereleerprestatiesvanleerlingenofbetereonderwijsprestatiesvandocentenkwantitatiefbepaaldworden.

4.3 Valideren in de praktijk

Indezeparagraafwordtaandehandvantweevoorbeeldengeïllustreerdhoetoetsengevalideerdkunnenworden.Beidevoorbeeldenbeginnenmeteenbeschrijvingvandetoetswaarnaindegrijzevlakkeningegaanwordtophetvaliditeitsbewijswatdaarbijhoort.

4.3.1 Eindtoets BasisonderwijsNadebasisschoolgaanallekindereninNederlandnaarhetvoortgezetonderwijs.Wanneereenkindzichaanmeldtbijeenschoolvoorvoortgezetonderwijs,isdebasisschoolbijwetverplichteenadviesuittebrengenoverhetvervolgonderwijs.Naasthetadviesvandebasisschoolzelfiservoortoelatingtothetvoortgezetonderwijsookeenzogehetenonafhankelijkadviesnodig.Datonafhankelijkadvieskandescoreopeentestoftoetsvaneenonafhankelijkeinstantiezijn. ErzijnverschillendetestenentoetsendievoorditdoelgebruiktkunnenwordenwaaronderdeEindtoetsBasisonderwijsvanCito.Hetadviesopbasisvandescoreopdetoets,hetadviesvandebasisschoolendewensenenideeënvandeouders,moetenermetelkaarvoorzorgendathetkindnaareenschooltypegaatdatgoedbijhemofhaarpast.

DevragenvandeEindtoetsBasisonderwijsgaanoverTaal,Rekenen-WiskundeenStudie-vaardigheden.VoorTaalmaakthetkind100vragen,voorRekenen-Wiskunde60envoorStudievaardigheden40.Hetzijnallemaalmeerkeuzevragen.DemeestebasisscholendoenooknogmeeaanhetfacultatieveonderdeelWereldoriëntatie.Ditonderdeelbestaatuit90meer-keuzevragen.

De interpretatie van de scores op de Eindtoets Basisonderwijs

DeEindtoetsBasisonderwijsiseenleervorderingentoets.Ditbetekentdatwedescoresopdetoetsinterpreterenalsmaatvoorleervorderingen,oftewel‘watleerlingeninachtjaarbasisonderwijsgeleerdhebben’.Hiertoewordenleerlingenvragenuitverschillendeleerstofdomeinenvoorgelegdwaarbijhetvanbelangisdatervragenuitalleleerstofdomeinenindetoetsopgenomenzijnzodatereenvolledigbeeldontstaatvandeleervorderingenvaneenleerling.

OmaantetonendatdescoresopdeEindtoetsBasisonderwijsgeïnterpreteerdkunnenwordenalseenmaatvoorleervorderingenishetvanbelangdatdeitemsrepresentatiefverdeeldzijnoverdeleerstofdomeinen.DevragenuitdeEindtoetsBasisonderwijswordendaaromontwikkeldopbasisvaneentoetsmatrijs.DetoetsmatrijsdientalsbewijsdaterindeEindtoetsBasisonderwijsvoldoendeopgavenuitalleleerstofdomeinenzijnopgenomenzodateenuitspraakoverdeleervorderingenvanleerlingenopalleonderdelenvandedriedomeinenmogelijkis.MenkanvanmeningverschillenoverdegehanteerdetoetsmatrijsmaardoordezeopenbaartemakenweetmenopwelkeleerstofdomeinendescoreopdeEindtoetsBasisonderwijsgebaseerdis.

Toetsmatrijs van de Eindtoets Basisonderwijs – bewijs voor de interpretatie van de scores van de Eindtoets Basisonderwijs

PerleerstofdomeinstaanhieronderdeonderdelenuitdeEindtoetsBasisonderwijsmettussenhaakjeshetaantalopgaven.

Taal(totaal100) Rekenen-Wiskunde(totaal60)- Schrijvenvanteksten(30) - Getallenenbewerkingen(25)- Spelling(20) - Verhoudingen,breukenen- Begrijpendlezen(30) procenten(20)- Woordenschat(20) - Meten,meetkunde,tijdengeld(15)

Studievaardigheden(totaal40) Wereldoriëntatie(totaal90)- Hanterenvanstudieteksten(10) - Aardrijkskunde(30)- Hanterenvaninformatiebronnen(10) - Geschiedenis(30)- Lezenvanschema’s,tabellenen grafieken(10)

- Natuuronderwijs(30)

- Kaartlezen(10)

VoorelkkinddatheeftmeegedaanaandeEindtoetsBasisonderwijssteltCitoeenLeerling-rapportopzoalsweergegeveninfiguur4.3.Bovenaanstaandeverschillendeonderdelenvandetoetsvermeld,met–opderegelseronder–hetaantalopgavendathetonderdeelbevat,hoeveelopgavengoedzijnbeantwoordenwelkepercentielscoredaarbijhoort.IndekolomTotaalstaatdezelfdeinformatiemaardanoveralleopgavensamen.InhetvoorbeeldziejedatAlexanderbijhetonderdeelTaal75vande100opgavengoedheeftbeantwoord.Bij75vande100opgavengoedhoorteenpercentielscorevan46.Diescorebetekentdat46%vanallekinderendiemeededenaandeEindtoetsBasisonderwijsnetalsAlexander75ofminderdan75vragengoedhaddenbeantwoordendat54%vandekinderenmeerdan75vragengoedhaddenbeantwoord.HeelbelangrijkophetLeerlingrapportisdestandaardscoredieindelaatstekolombovenaan

staat.Destandaardscoreiseengetaltussende501en550datisgebaseerdophetaantalgoedbeantwoordevragenbijTaal,Rekenen-WiskundeenStudievaardigheden.InhetvoorbeeldziejedatAlexandereenstandaardscoreheeftvan536.IndezogehetenpoppetjesgrafiekkunjelezenhoeAlexanderhetmeteenstandaardscorevan536naarverwachtingzaldoenindeverschillendetypenvanhetvoortgezetonderwijs.

DegegevensindepoppetjesgrafiekzijngebaseerdoponderzoekvanCitonaardetoelatingendoorstromingvanleerlingeninhetvoortgezetonderwijs.Indelinkerkolomstaandeverschillendeschooltypenvermeld.JezietdatAlexandermetzijnscorevan536indebasisberoepsgerichte,debasis-enkaderberoepsgerichteendekaderberoepsgerichteleerwegvanhetvmbototdehelegoedeleerlingenbehoort:slechtsenkeleleerlingenhebbeneenhogerestandaardscore(0-3%).Indebrugklastypengemengde/theoretischeleerwegenhavoengemengde/theoretischeleerwegenhavo/vwobehoorthijtotdemiddenmoot.OphetvwozouAlexandertotdeleerlingenbehorendiehetlaagstscoren:99%vandeleerlingenophetvwoscoorthoger.

Figuur 4.3: Voorbeeld van een Leerlingrapport

Het gebruik van de scores op de Eindtoets Basisonderwijs

DescoresvandeEindtoetsBasisonderwijswordengebruiktomleerlingenteadviserenoverdejuisteschoolkeuze.Hetisbelangrijkomaantetonendatdezescoresookgeschiktzijnvoorditgebruik.Wewillenbijvoorbeeldwetenofleerlingenmeteenhavo/vwo-adviesookechtinstaatzijnombinnenditschooltypesuccesvoltezijn.OmhetgebruikvandescoresopdeEindtoetsBasisonderwijstevalideren,zullenwedusbewijzenmoetenaanleverenwaaruitblijktdathetadviesdatgegevenwordtookklopt.

Primair onderwijs | Leerling- en onderwijsvolgsysteem

gemengde/theoretische leerwegen havo

Leerling 123456Alexander

School 12.345.67890CITOSCHOOLSchoolstraat 1231234 AB CITOCITY

basisberoepsgerichte leerweg

basis- en kaderberoepsgerichte leerweg

kaderberoepsgerichte leerweg

gemengde/theoretische leerwegen havo/vwo

gemengde/theoretische leerweg

havo/vwo

Resultaten Taal Rekenen- Studie- Wereld- Totaal Wiskunde vaardigheden oriëntatie

Aantal opgaven 100 60 40 90 290Aantal goed 75 47 28 67 217Percentielscore 46 60 37 58 52

0% 20% 40% 60% 80% 100%% met eenzelfdeof lagere score

Standaardscore

% met eenhogere score

ToelichtingOp basis van de standaardscore komt een keuze voor een school met een gemengde/theoretische leerweg het meest in aanmerking: de brugklastypen ‘gemengde/theoretische leerweg en havo’ en ‘gemengde/ theoretische leerweg en havo/vwo’ lijken het meest geschikt. Van de leerlingen die tot het eerstgenoemde brugklastype worden toegelaten, heeft 67% eenzelfde of lagere standaardscore en 33% een hogere. Voor het tweede type is dat 41% en 59%. De leerkracht kan op basis van de informatie waarover hij of zij beschikt, een ander brugklastype adviseren.

Eindtoets Basisonderwijs 2010Leerlingrapport

OmaantetonendathetadviesdathoortbijeenbepaaldescoreopdeEindtoetsBasisonderwijsklopt,voertCitohetToelatings-endoorstroomonderzoekEindtoetsBasisonderwijsuit. EenbeschrijvingdaarvanwordtalsbewijsvoorhetgebruikvandeEindtoetsBasisonderwijsaangevoerd.

Toelatings- en doorstroomonderzoek Eindtoets Basisonderwijs – bewijs voor het gebruik van de scores op de Eindtoets Basisonderwijs

Inhetnajaarvan2006zijndegegevensvan135.442leerlingendiein2005aandeEindtoetsBasisonderwijsdeelnamen,gekoppeldaandeleerlinggegevensvanhetCentraalBureauvoordeStatistiek(CBS).Voordezeleerlingengeldtdat80%vandeleerlingengeplaatstisinhetophetLeerlingrapportEindtoetsBasisonderwijsgeadviseerdeschooltype.Bij13%vandeleerlingenadviseertdeEindtoets‘hoger’enbij7%‘lager’danhetschooltypewaarindeleerlingenwordentoegelaten.

Onderstaandetabelgeefthetpercentageleerlingenzoalsgeplaatstindeverschillendeschooltypen.

Advies Lager Overeenkomstig Hoger

501–523 BB nvt 78 22

524–528 KB 6 44 50

529–536 GT 12 74 14

537–544 Havo 6 87 7

545–550 Vwo 2 98 nvt

Voorbeeld:VoorAlexander,dieeenstandaardscorevan536heeft,komteenkeuzevooreenschoolmeteengemengde/theoretischeleerweghetmeestinaanmerking.Indetabelzienwedat74%vandeleerlingendieeenstandaardscoreinhetinterval529-536heeftbehaald,ookdaadwerkelijkinditschooltypegeplaatstis.Wezienookdat14%ineenhogerschooltype(havoofvwo)en12%ineenlagerschooltype(basis-ofkaderberoeps-gerichteleerweg)geplaatstis.

OmdevaliditeitvandescoresopdeEindtoetsBasisonderwijsaantetonen,hebbenwebewijzenuittweevandezevenbesprokencategorieëngepresenteerd.OmdeinterpretatievandescoresopdeEindtoetsBasisonderwijsalsmaatvoorleervorderingenaantetonen,iseersteen inhoudsbewijsgepresenteerd(zieparagraaf4.2.1).Ditbewijsbestonduiteentoetsmatrijswaarmeedetoetsconstructeurslatenzienwelkeonderdelenerindetoetszijnopgenomen.DaarnahebbenwehetgebruikvandescoresopdeEindtoetsBasisonderwijsvooradviseringaanleerlingenoverhetbijhunbestpassendeschooltypegevalideerdaandehandvanhetToelatings-endoorstroomonderzoek.Ditonderzoekkandienenalseenexternestructuurbewijs(zieparagraaf4.2.4).Indebeschrijvingvanditvoorbeeldisvoorzoweldeinterpretatiealsvoorhetgebruikslechtséénbewijsstukopgenomen.VoorhetvaliderenvaneenbelangrijketoetsalsdeEindtoetsBasisonderwijszijnechterooknogbewijzenuitanderecategorieënbeschikbaardiewehierechterverderbuitenbeschouwinglaten.

4.3.2 WISCAT-pabo – Adaptieve Rekentoets voor Pabo-studentenWISCAT-paboiseentoetspakketvoorrekenenenwiskundedatkanwordeningezetindelerarenopleidingvoorhetbasisonderwijsomvasttestellenofinstromendestudentenvoldoendevoorkennisvanrekenenenwiskundehebbenomdeopleidingtotdocentgoedtekunnendoorlopen.WISCAT-paboiseenadaptieftoetspakket.Ditbetekentdatelkestudentinprincipeeen(gedeeltelijk)anderetoetsmaakt.Datlaatstekomtdoordatbijeencomputer-gestuurdeadaptievetoetsafname(CAT)hetniveauvandetoetszogoedmogelijkafgestemdwordtopdevaardigheidvandestudent.Helerekenvaardigestudentenkrijgenmoeilijkereitemsdanstudentenmeteengemiddeldeoflagerekenvaardigheid.Omdateencomputer-gestuurdeadaptievetoetsafnamegebruikmaaktvaneenverzamelingitemswaarvandemoeilijkheidsgraadbekendis,kunnendeprestatiesvanstudentenop(gedeeltelijk)verschillendetoetsentochdirectmetelkaarvergelekenworden.VoormeerinformatieovereenCATzie:www.cito.nl>Onderwijs>Hogeronderwijs>Toetsenvoorpabo’s>WISCAT-pabo.

De interpretatie van de scores op de WISCAT-pabo

DescoresopdetoetsenuithettoetspakketWISCAT-pabogevenaanwatderekenvaardigheidvanstudentenvandelerarenopleidingbasisonderwijsis.

OnderrekenvaardigheidverstaatdeVerenigingHogescholendebasalebekwaamheiddienodigisommetsuccesopgavenuitdevolgende(sub)domeinentekunnenmaken:a basisvaardigheden:tellen,optellen,aftrekken,vermenigvuldigen,delen,machten,

schatten,afronden;b breuken,procenten,verhoudingen,decimalegetallen;c metenenmeetkunde;d informatieverwerking,kans,statistiek(zeerbeperkt);e (woord)algebra,verbanden,grafieken,tabellenenenfuncties(zeerbeperkt).

Ondercategorieaenbvallentevensopgavendiehoofdrekenendgemaaktmoetenworden.

DeWISCAT-pabomoetnaasteentotaalscoreookeenprofielscoregevenvoordevolgende,doordeVerenigingHogescholen,www.vereniginghogescholen.nl,aangegeven(sub)domeinen:• hoofdrekenen;• basisbewerkingen;• breuken,procenten,verhoudingenendecimalegetallen;• metenenmeetkunde.

Omeenbetrouwbareprofielscoretekunnengeven,moetelketoetsvoldoendeopgavenuitdeze(sub)domeinenbevatten.OmervoortezorgendatdetoetsscorevolgensdedefinitievandeVerenigingHogescholengeïnterpreteerdkanworden,isvoordetoetseenaantalvasteeigenschappenvastgesteld.Dezeeigenschappenkunnengebruiktwordenalsbewijsvoordeinterpretatievandetoetsscorealsmaatvoorrekenvaardigheid.

Gegarandeerde domeindekking – bewijs voor de interpretatie van de scores op de WISCAT-pabo

Vasteeigenschappenvandetoets:

1 Eriseenvastetoetslengtevan50opgaven.2 Ermoetaltijdbegonnenwordenmet15hoofdrekenopgaven.3 De15hoofdrekenopgavenwordengeselecteerduitde(sub)domeinen1.1(7opgaven),

1.3(7opgaven)en1.4of2(1opgave).4 Vervolgenswordennog35opgavengeselecteerduitde(sub)domeinen: • subdomein1.1:basisbewerkingen(8opgaven); • subdomein1.3:breuken,procenten,verhoudingenendecimalegetallen

(8opgaven); • subdomein1.4endomein2:metenenmeetkunde(14opgaven); • domein3:informatieverwerking,kansenstatistiek,endomein4:woordalgebra,

verbanden,grafiekenenfuncties(5opgaven). Dezeopgavenwordendoorelkaarendusnietper(sub)domeingeordendaangeboden.

Devragendieindetoetsopgenomenworden,zijnafkomstiguiteenopgavenbank.Ditiseendatabasemetdaarinallemogelijkevragendiedoordeadaptievetoetsgeselecteerdkunnenworden.DeopgavenbankvoordeWISCAT-pabobestaatuitmeerkeuzevragenenkort-antwoordvragen.Beidevraagtypenwordenautomatischgescoord.

DeWISCAT-pabowordtgebruiktomtebeslissenofPabo-studentenvoldoenderekenvaardigzijnomindetoekomstbasisschoolleerlingenrekenenteleren.ErisdaarombepaalddatdePabo-studentenophetzelfdeniveaumoetenkunnenrekenenalseengoedeleerlinguitgroep8.DitlaatstekomteropneerdatdePabo-studentmoetkunnenrekenenophetniveauvande20%besteleerlingenvandebasisschool. OmaantetonendatdeWISCAT-pabogeschiktisvoorhetvoorgesteldegebruikishetnoodzakelijkomaantetonendateenleerlingdiezaktvoordeWISCAT-pabomindergoedkanrekenendandebeste20%leerlingenvangroep8.Eenvoorbeeldvaneenbewijsdathiervoorkandienen,iseenbeschrijvingvandeprocedurediegevolgdisomerzekervantezijndatdezak/slaaggrenszodanigisgestelddatdestudentendiebeterofevengoedrekenenalsde20%besteleerlingenuitgroep8zullenslagenendatdeleerlingendiemindergoedrekenenzullenzakken.

Het gebruik van de scores op de WISCAT-pabo

In2005sprakdetoenmaligeministervanonderwijsmetdePabo’safdatstudentenvoortaaneenbindendstudie-adviesmoetenkrijgenomdeopleidingteverlatenalszenaheteerstestudiejaarernietingeslaagdzijneenvoldoendetehalenopeentoetswaarmeedeeigenvaardigheidvoordevakgebiedenNederlandsenrekeneninkaartwordtgebracht.Elkeopleidingmochttoenzelfbepalenwelkniveaudestudentenmoestenhalen.In2005verscheeninhetTijdschriftvoorHogerOnderwijseenartikelwaarinwerdaangetoonddatmeerdandehelftvaneerstejaarsPabo-studentenslechterrekendedaneengoedeleerlinguitgroep8vanhetbasisonderwijs(Straetmans&Eggen,2005).DedaaropvolgendediscussieleiddeertoedatderekenvaardigheidvaneerstejaarsPabo-studentenvoortaangetoetstzoumoetenwordenmeteenlandelijketoetsinclusiefeenlandelijkgeldendeprestatiestandaard.

BijhetvaliderenvandeWISCAT-pabozijntweemogelijkebewijzenbesproken.Heteerstebewijsdatdienttervalideringvandeinterpretatievandetoetsscorealsmaatvoorreken-vaardigheidiseentoetsmatrijs.Hetgebruikvandetoetsscoresisgevalideerddooreenproceduretebeschrijvendieervoorzorgtdatdezak/slaaggrenszorgvuldigisvastgesteld.Doordatdezak/slaaggrensopdezemanierisvastgesteld,ishetmogelijkomdeprestatievanstudentenopdeWISCAT-pabotevergelijkenmethetniveauvanleerlingeningroep8vanhetbasisonderwijs.Hetbewijsvoordeinterpretatieisbewijsuitdecategorieinhoudsbewijs(paragraaf4.2.1),terwijlhetbewijsvoorhetgebruikvandetoetsscoresalsbewijsuitdecategorieexternestructuur(paragraaf4.2.4)opgevatzoukunnenworden.

4.4 Validiteit van toetsscores in de dagelijkse toetspraktijk

Indeparagrafenhiervoorisdevaliditeitvantoetsscoresbesproken.Opbasisvanonderanderediebesprekingensluitenwedithoofdstukafmetadviezenvoordedagelijksetoetspraktijk.

1 Wanneerwedevaliditeitvantoetsscoreswillenonderzoeken,ishetnoodzakelijkombewijzenteverzamelendiemoetenaantonendatdetoetsscoresgeschiktzijnvoorhetvoorafvastgesteldedoelvandetoets.Hetzorgvuldigvaststellenvanhetdoelvandetoetsisdanookvangrootbelang.

2 Omerzekervantezijndatjemeteentoetsdejuistebeslissingneemt,moetenzoweldebetrouwbaarheidalsdevaliditeitvantoetsscoresaangetoondworden.Eenmetingkanimmersalleenvalidezijnalsdezeookbetrouwbaaris.

3 Hetisbelangrijkomhetaantalvragenindetoetstemaximaliseren.Ditkomtnietalleentengoedeaandebetrouwbaarheid,maarkanerookvoorzorgendatdevaliditeitvandebeslissingaannemelijkerwordt.

4 Eénvandebelangrijkstebewijzenvoordevaliditeitvantoetsendieinhetonderwijsgebruiktworden,ishetinhoudsbewijs.Ditbewijskantijdenshetconstructieprocesvandetoetsalgrotendeelsgeconstrueerdwordendoortewerkenmeteentoetsmatrijs.Ineentoetsmatrijswordtiniedergevalbepaaldwelkeonderdelenindetoetszullenwordenopgenomenenkanookaangegevenwordenwelkekennishandelingeneenrolspelen.Doordeitemsteconstruerenvolgensdetoetsmatrijskaneengoededomeindekkingbereiktworden.

5 Hetvaliderenvaneentoetsisveelwerkenvereistkennisvanveelverschillendeaspecten.Naastinhoudelijkekennisoverhetonderwerpvandetoetsishetookvanbelangdatermettoetstechnischekennisnaardetoetsgekekenwordt.Validerenisdusteamsport.

6 Nietalleenindividueletoetsen,examensofassessmentsdienengevalideerdtewordenmaarookexamenplannen,toetsplannenofcompetentieassessmentprogramma’sdieuitmeerderetoetsenbestaan.Eenbekendvoorbeeldisheteindexameninhetvoortgezetonderwijsdatuitmeerderetoetsenbestaatdietoteendiplomaleiden.Voordezegecombineerdetoetsenishetvanbelangdatzoweldeafzonderlijkeonderdelenalsdecombinatievandeafzonderlijketoetsengevalideerdworden.

5 Inform

atie over toetsen en examineren

5 Informatie over toetsen en examineren

5 Informatieovertoetsenen examineren

Erna Meijer

Ophetinternetisveelinformatiebeschikbaarovertoetsingenexaminering.Maarwaariswelkeinformatietevinden?Indithoofdstukmaakjeeerstkennismetdebelangrijksteinformatiebronovertoetsingenexamineringophetinternet,dewebsiteToetswijzer.Daarnalatenwezienhoejeinformatieoverschooltoetsenenliteratuurovertoetsingenexamineringkuntvinden.

5.1 Toetswijzer, gids op internet voor toetsing en examinering

Alsjeietswiltwetenophetgebiedvantoetsingofexamineringkunjeterechtop www.toetswijzer.nl.DewebsiteToetswijzerbevatinformatieoveronderanderetoets-constructie,vraagvormenzoalsgeslotenenopenvragen,praktischeopdrachten,beoordelenmetportfolio’s,leerlingvolgsystemen,toetsenvoorbegrijpendlezen,deEindtoetsBasisonderwijs,eindexamensinhetvoortgezetonderwijs,beoordelenvantoetsen,centraleexamenstaalenrekenenvoorhetmiddelbaarberoepsonderwijsenbeoordelenvandocentbekwaamheid.

Homepage van de website Toetswijzer

87 Informatie over toetsen en examineren < Inhoud Index >

Breed aanbodDeinformatieopToetswijzerisafkomstigvanallerleiorganisatieszoalshetministerievanOCW,deOnderwijsraad,deInspectievanhetOnderwijs,instellingenuitdeonderwijsverzorgingzoalsSLO,KPC,CPS,APSenCito,onderwijsradenzoalsPO-Raad,VO-raad,MBORaaden VerenigingHogescholen,uitgevers,universiteitenenonderwijsinstellingen.ToetswijzeriseenonderdeelvanKennisnetendecontentvanToetswijzerisdanookspeciaalgerichtopdegebruikersvanwww.kennisnet.nl:docentenenmanagersinhetonderwijs.Maareigenlijkisdesiteboeiendvooriedereendiegeïnteresseerdisintoetsingenevaluatie,zoalsonderwijsadviesorganisaties,lerarenopleidingen,leerlingenenhunouders.OmdatToetswijzeronderdeelisvanKennisnet,isdewebsiteooktevindenophttp://toetswijzer.kennisnet.nl.

OnderwijssectorenDeinformatieopToetswijzerisgeordendnaarschooltype:primaironderwijs,voortgezetonderwijs,bveenleraren(opleidingen).Jekomtbijdegegevensdooropwww.toetswijzer.nl een schooltypeteselecterenenvervolgenslinksophetschermopeenonderwerpteklikken. Eengreepuitdeonderwerpen:• OnderdeknopAlgemeenisalgemeneinformatieovertoetsingtevindenzoals

deskundigheidsbevordering,organisatiesinbinnen-enbuitenlandentoetsconstructie. ZovindjeindeDatabank algemeen > Toetsing > Toetsconstructiebijvoorbeeldeenbrochureoverhettoetsenmetopenvragen,eenliteratuurlijstoverdeconstructievangeslotenvragen,deToetstechnischeBegrippenlijsteneenspecialoverhettoetsconstructieproces.

• DerubriekPrimair onderwijsinformeertovertoetsinginhetbasisonderwijs.De‘Databankprimaironderwijs’bevatverwijzingennaaronderandereobservatie-instrumentenvoorpeutersenkleuters,leerlingvolgsystemen,eindtoetsenvoorgroep8,eenspecialoverdeCitotoetsentoetsenvoortaal,rekenen-wiskunde,wereldoriëntatieenEngels.

• ViadeknopVoortgezet onderwijsvindjeinformatieoverondermeervolg-enadvies-systemenvoordeonderbouwvoortgezetonderwijs,schoolexamensencentraleeind-examens.Klikinde‘Databankvoortgezetonderwijs’bijvoorbeeldop2e fase HAVO/VWO > Algemeenvoordeexamenprogramma’svoorhavoenvwovanhetCollegevoorExamens(CvE),dehandreikingenvoordeschoolexamensvanSLOofhetdossiervandeOnderwijsraadmetadviezenoverexamens.BijVakkentrefjeondermeerinformatieaanoverhetEuropeesReferentiekaderTalen(ERK),hetDIALANGtoetssysteemvoormodernevreemdetalenenonlinewiskundetoetseninWisBase.

• InderubriekBVEvindjeinde‘DatabankBVE’verwijzingennaarbijvoorbeelddewebsitevanhetKenniscentrumEVC(ErkenningvanVerworvenCompetenties),hetExamenverslagmbovandeOnderwijsinspectieendelandelijkeexamineringvantaalenrekeneninhetmbo.

• DerubriekLeraren(opleidingen)bevatallerhandeinformatieophetgebiedvandocent-bekwaamheid.De‘Databankleraren(opleidingen)’verwijstondermeernaarinformatieoverdebekwaamheidseisenvoorhetonderwijs(wetBIO)endebekwaamheidsinstrumentenvandeOnderwijscoöperatie.

ToetsspecialsInteressantvoordocenten(inopleiding)zijndetoetsspecials,waarindeskundigenophetgebiedvantoetsingenexamineringdieperingaanopeenspecifiekonderwerp.Zoisereenspecialover:• hettoetsconstructieproces;• observatie-instrumentenvoorhetvolgenvandeontwikkelingvanjongekinderen;• deEindtoetsBasisonderwijs(Citotoets);• deinstrumentenbijindicatiestellinginhetleerwegondersteunendonderwijs(LWOO)en

praktijkonderwijs(PrO)inhetvoortgezetonderwijs;• praktijktoetsenenpraktischeopdrachtenindeonderbouwvanhetvoortgezetonderwijs;

• deeindexamensinhetvoortgezetonderwijs(dezespecialbevatondermeereenoverzichtvanwebsiteswaarleerlingenoudeexamenopgavenkunnenoefenen);

• deleeropbrengstvanfeedbackincomputergestuurdetoetsen;• lerenvantoetsen:hetgebruikvantoetsenvoorformatievedoeleinden.EenoverzichtvanallespecialsvindjeviahetstartschermvanToetswijzer.

ToetsgidsInderubriekToetsgidsvindjeinformatieoverschooltoetsen.Toetsgidsbevatbeschrijvingenvande inhoud en kwaliteitvanschooltoetsendieindehandelverkrijgbaarzijn.Detoetsenkunnenopbasisvankwaliteitsbeoordelingenmetelkaarvergelekenworden.DekwaliteitsbeoordelingeninToetsgidszijnontleendaandeCommissieTestaangelegenhedenNederland(COTAN).Toetsgidsiseenhulpmiddelvoordocenten,onderwijsadviesbureausenorthopedagogendievanplanzijneentoetstegebruikenoftekopen.InformatieoverdewerkwijzevandeCOTANistevindeninhoofdstuk10.

Zoekactie in Toetsgids: klik op de naam voor meer informatie over de toets

5.2 Informatie over schooltoetsen

Opverschillendeplaatsenophetinternetisinformatietevindenoverschooltoetsen.Bijtoetsenvancommerciëleuitgeversgaathetombetaaldeproducten,watderedenisdatdeinformatieophetinternetzichveelalbeperkttoteenbeschrijvingofdemovanhettoetsproduct.Naastinformatieoverbetaaldetoetsproductenzijnophetinternetookveelgratisschriftelijke,elek-tronischeenonlinetoetsentevinden.Hiernabesprekenweeenaantalbronnenophetinternetdiejekuntraadplegenalsjejewiltoriënterenophetaanbodvantoetsenvoorgebruikopschool.

www.cotandocumentatie.nl

COTANstaatvoorCommissieTestaangelegenhedenNederland.DecommissieisonderdeelvanhetNederlandsInstituutvanPsychologen(NIP).COTANwildekwaliteitvantestsentestgebruikinNederlandbevorderen.Zijdoetditondermeerdoorpsychodiagnostischeinstrumenten,waaronderookschooltoetsen,tebeoordelenaandehandvancriteriaalsuitgangspuntenvandetestconstructie,kwaliteitvanhettestmateriaalendehandleiding,normen,betrouwbaarheiden validiteit.Detestbeschrijvingenen-beoordelingenvanCOTANzijngepubliceerdinhetnaslagwerk‘DocumentatievantestsentestresearchinNederland’(2delen,NIP/VanGorcum,2000) en‘COTANTestboekvoorhetonderwijs’(NDC-Boom,2002).Metingangvan2009isde COTAN-documentatieviaeenabonnementensysteemonlinebeschikbaarvia www.cotandocumentatie.nl.MeerinformatieoverdeCOTANistevindeninhoofdstuk10en op www.psynip.nl/tests_cotan.html.

Kennisnet

www.kennisnet.nl

Kennisnetfaciliteertinstellingeninhetprimaironderwijs,voortgezetonderwijsenberoepsonderwijsbijhetbenuttenvandekrachtvanICT.SamenmethaarpartnersenhetonderwijsheeftKennisnetpraktischetoepassingenendienstenontwikkelddietevindenzijnviade knop DienstenopdewebsitevanKennisnet.Wenoemenhierenkelewebsitesdieookinformatiebevattenoverschooltoetsen,oefenmateriaal,toetsingofbeoordeling.

WikiwijsleermiddelenpleinOphetWikiwijsleermiddelenplein,www.wikiwijsleermiddelenplein.nl,kunnenleermiddelen–waaronderevaluatie-entoetsmateriaal–gezocht,vergeleken,gemaaktengedeeldworden.

Edurep, de educatieve zoekmachineEdurepiseengratis,centralevoorzieningdie(digitaal)leermateriaalopinternetvindbaarmaakt,ziehttp://edurep.kennisnet.nl.HiervoorverzameltEdurepgegevensoverleermateriaaluiteengrootaantalcollecties.Dezecollectieszijnafkomstigvanbijvoorbeelduitgeverijen,onderwijsinstellingenencultureel-maatschappelijkeorganisaties.

Kennisnet FederatieIndeKennisnetFederatiezijnonderwijsinstellingenenleveranciersvaneducatievecontentverenigd.Viadezedienstkunnenscholenmetéénlogindeleermiddelenvandeaangeslotenleveranciersbereiken.Kijkopwww.kennisnetfederatie.nl.

Leraar24Leraar24iseenonlineplatform,voorendoorleraren,omhenteondersteunenbijhetuitoefenenvanhunberoep,ziewww.leraar24.nl.Leraar24iseeninitiatiefvanKennisnet,WetenschappelijkCentrumLerarenOnderzoek(LOOK)endeOnderwijscoöperatie.

DavindiDavindiisdezoekmachinevoorleerlingeninhetbasisonderwijs,ziewww.davindi.nl.Davindibevatleer-eninformatiebronnenvoorhetbasisonderwijsophetinternetdiezorgvuldigzijngeselecteerddooreenredactievandocenten.

Nederlands Jeugd instituut

www.nji.nl

HetNederlandsJeugdinstituut(NJi)ishetlandelijkkennisinstituutvoorjeugd-enopvoedingsvraagstukken.HetNJihelptorganisatiesindejeugdsectordekwaliteitvandedienstverleningteverbeteren.OpdehomepagevandeNJi-siteiseenoverzichttevindenvandossiersoverondermeerADHD,autisme,gedragsstoornissenenvoor-envroegschoolseeducatie(vve).Enindatabankenopwww.nji.nl>Kennis>Databankenisinformatiebeschikbaaroverinterventies,onderzoek,instrumentenenna-enbijscholing,ziebijvoorbeeld:• DatabankEffectieveJeugdinterventies• DatabankInstrumentenenRichtlijnen• DatabankMethodiekenPedagogischeKwaliteit• DatabankNederlandsOnderzoekJeugdenOpvoeding

Toetsgids ToetsGidshttp://toetswijzer.kennisnet.nl/main.asp?Sector=TG

ViadeknopToetsgids op de websitevanToetswijzerkunjeinformatievindenoverschooltoetsenvoorhetprimairenvoortgezetonderwijsdieindehandelverkrijgbaarzijn.Toetsgidsbevateenselectievandetoetsenuithet‘COTANTestboekvoorhetonderwijs’(NDC-Boom,2002).NaasteeninhoudelijkebeschrijvingisvandemeestetoetseneenvoorbeelditemeninformatieoverdeCOTAN-beoordelingopgenomen.NaastdeuitgebreideinformatieoverschooltoetsenvancommerciëleuitgeversinhetonderdeelToetsgids,kunjeookviadesectorenopwww.toetswijzer.nlverwijzingenvindennaarallerleitoetsen.KijkinderubriekAlgemeenbijvoorbeeldeensindedatabankbijToetsing > ToetsenofindeonderdelenPrimair onderwijs en Voortgezet onderwijsbijVakken.

Wikiwijsleermiddelenplein

www.wikiwijsleermiddelenplein.nl

OphetWikiwijsleermiddelenpleinkunnenleermiddelen–waaronderookevaluatie-entoetsmateriaal–gezocht,vergeleken,gemaaktengedeeldworden.Zokanvooriedereonderwijssituatieeenoptimaleleermiddelenmixwordensamengesteld.Wikiwijsleermiddelenpleiniseenpubliekenonafhankelijkonderwijsplatform,bedoeldvooriedereendiebetrokkenisbijhetkeuzeprocesendeinzetvanleermiddelenindedagelijkselespraktijkinprimaironderwijs,voortgezetonderwijs,middelbaarberoepsonderwijsenhogeronderwijs:vandocenten,afdelingshoofden,ICT-coördinatorentotonderwijsbeslissers.WikiwijsleermiddelenpleiniseengezamenlijkinitiatiefvanKennisnet,OpenUniversiteitenSLO.

Onderwijsbegeleidingsdiensten

De onderwijsbegeleidingsdienstenbeschikkentenbehoevevanadviesendienstverlening aanscholenovercollectiesmetinformatie-,toets-enhulpmaterialen.Dezecollectieszijnin demeestegevallenopafspraakterinzage.Eenoverzichtvanonderwijsbegeleidingsdiensteneneducatievecentraistevindenop:• www.edventure.nu>Keurmerk&Lidmaatschap>Leden• www.internetwijzer-bao.nl>Allerubrieken:E>Educatievecentra• www.telefoongids.nl>GoudenGids>Zoek:onderwijsbegeleiding

Testotheken van universiteitsbibliotheken

Eenaantaluniversiteitsbibliothekenbeschiktovereentestotheek.Indetestotheekzijntestmaterialenverzameldterondersteuningvanhetonderwijsenonderzoekaandeuniversiteit.Voordemeesteuniversiteitsbibliothekengeldtdatalleenstudentenenmedewerkersvandeuniversiteitdetestskunneninzienenlenen.Opwww.toetswijzer.nl kun jeeenoverzichtvindenvantestothekenvanuniversiteitsbibliothekendoortezoekenoptestotheek.

Uitgevers

Eenoverzichtvandegrootstecommerciëletoets-entestuitgeversinNederland:• www.drempelonderzoek.nl | 678OnderwijsAdviseringgeefttoetsenuitvoorgebruikin

primairenvoortgezetonderwijstenbehoevevandidactischeplaatsbepalingvanleerlingen.• www.a-vision.nu | A-VISIONiseenonderwijsadviesbureaudatzichheeftgespecialiseerdin

hetontwikkelenenafnemenvandigitaleteststenbehoevevanhetonderwijsenvanstudie-enloopbaanadviezen.

• www.bsl.nl | BohnStafleuVanLoghumbiedttestsaanvoordiagnose,vroegsignaleringenpsychosocialescreening.

• www.boomtestuitgevers.nl | Boomtestuitgeversontwikkelttestsenvragenlijstenvoorondermeerprimairenvoortgezetonderwijs.

• www.cito.nl|Citoontwikkelttoetsen,examensenvolgsystemenvoorbasisonderwijs,voortgezetonderwijsenberoepsonderwijs.

• www.pearsonclinical.nl | Pearsonisuitgevervanwetenschappelijkonderbouwdepsychologischemeetinstrumentenophetgebiedvangezondheidszorg,humanresourcemanagement,onderwijsenlogopedie.

Let op bij gratis toetsmaterialen Ophetinternetzijnveelgratistoetsenbeschikbaar.Maarletop,wanttenaanzienvandegratismaterialeniseenkritischehoudinggewenst:• Wieisdeaanbieder?Welkeorganisatiegaatschuilachterhetgratisproduct?

Betreftheteenbekende,gerenommeerdeuitgeveroforganisatie?• Geeftdeaanbiederaanwathetdoelisvanhetgratisproduct?• Moetenpersoonlijkegegevenswordeningevuld?Geeftdeaanbiederaanwathet

doelisvanregistratievandegegevensdoordewebsitebezoeker?Iseenprivacyverklaringbeschikbaar?

AlsvoorbeeldnemenweeenkijkjeopdewebsitesvanDeNederlandseTaaltestenExamenbundel.nl.

De Nederlandse TaaltestOpwww.nederlandsetaaltest.nlkaniedereengratiszijn/haarkennisvandeNederlandsetaaltesten.Erzijnonlinetoetsenvoorspelling,zinsbouw,woordenschat,uitdrukkingenengrammatica.Bijdetestuitslagontvangtdedeelnemereenadviesvoorhetverbeterenofhetoppeilhoudenvanzijn/haarkennisvandeNederlandsetaal.DewebsiteiseeninitiatiefvanUitgeverijPak,specialistinstudieboekenNederlandsvoorVO,MBOenHBO.

Examenbundel.nlOpwww.examenbundel.nlkunnenscholierengratisoefenenvoordecentraleeindexamensmetbehulpvanexamensvanvoorgaandejaren.ButtonsopdesiteattenderenscholierenopdemogelijkheidominteschrijvenvoordeExamentrainingofomuitgavenvandeExamenbundelofSamengevattebestellenviabol.comofVanDijk.nl.DewebsiteiseigendomvanThiemeMeulenhoff,uitgevervandeExamenbundel-boeken.

5.3 Literatuur over toetsing

Alsjejenaderwiltverdiepeninliteratuurovertoetsingenevaluatiekunjeverschillendebronnenraadplegen.

Toetswijzer ToetsWijzerhttp://toetswijzer.kennisnet.nl

De websiteToetswijzerisaanhetbeginvandithoofdstukaluitgebreidbesproken.IndeverschillenderubriekenopToetswijzerisallerhandeinformatietevindenovertoetsingentoetsgerelateerdeonderwerpen.VoorinformatieovertoetsconstructieentoetstechnischeonderwerpenneemjeeenkijkjeinderubriekAlgemeenbijDatabank algemeen > Toetsing > Toetsconstructie.

Cito Kenniscentrum

http://www.cito.nl/nl/Onderzoek%20en%20wetenschap/kenniscentrum.aspx

HetKenniscentrumvanCitoisgespecialiseerdininformatieovertoetsingenonderwijs-evaluatie.DeinformatieisbeschikbaarviadewebsiteToetswijzerendebibliotheekvanhetKenniscentrum.VoorinformatieoverdedienstverleningvanhetKenniscentrumneemjeeenkijkjeopwww.cito.nl>Onderzoekenwetenschap>Kenniscentrum.HetKenniscentrumondersteuntineersteinstantiehetwerkvandeCito-medewerkers,maarookgeïnteresseerdenuithetonderwijskunnengebruikmakenvandedienstverlening. Debibliotheekcataloguskangeraadpleegdwordenviahttp://catalogus.cito.nlendebibliotheekisopafspraakopenvoorbezoekers.

Education Resources Information Center (ERIC)

www.eric.ed.gov

ERICiseenbelangrijkebronvoorinternationaleonderwijsliteratuur.ERICiseenonlinebibliotheekvooronderwijsonderzoeken-informatiemetbeschrijvingenvanboeken,rapportenenartikelenuitEngelstaligeonderwijsvakbladen,waaronderooktijdschriftenophetgebiedvanassessment.Eengrootdeelvandepublicatiesisfulltextbeschikbaar.VoorinternationaleliteratuurophetgebiedvantoetsingisERICeenuitstekendeinformatiebron.ERICisonderdeelvanhetAmerikaanseInstituteofEducationSciences(IES)endeU.S.DepartmentofEducation.

British Education Index (BEI)

www.leeds.ac.uk/bei

EenanderebronvoorinternationaleonderwijsliteratuurisdeBritishEducationIndex(BEI). Eendeelvandeaangebodeninformatieisuitsluitendtoegankelijkopbasisvanbetaaldelogin-abonnementen.ViaderubriekenEducation-lineenPartnershipsisgratisonlineinformatiebeschikbaar.BEIiseeninitiatiefvandeUniversity ofLeeds.

Google

www.google.nl

Naastdegespecialiseerdeonderwijsinformatiebestandendieindithoofdstukstaangenoemd,kanookmetbehulpvanzoekmachineszoalsGooglenaarinformatieophetinternetwordengezocht.MetGooglekanhetworldwidewebwordendoorzocht,maarhetisookmogelijkomgerichttezoekennaar:• boekpublicatiesinGoogleBooksophttp://books.google.nl;• wetenschappelijkepublicatiesenartikeleninGoogleScholarophttp://scholar.google.nl.Zoektip:klikinGoogleeensopGeavanceerd zoekenenbekijkdemogelijkhedendieGooglebiedtomheelgerichtenspecifiektezoekennaarinformatie(enhetzoekresultaatteverkleinen).

Koninklijke Bibliotheek

www.kb.nl

De KoninklijkeBibliotheek(KB)inDenHaagisdenationalebibliotheekvanNederland.OpdehomepagevandeKB-siteishetmogelijkomtezoekeninzo’n6miljoenitemsofwel110kmboeken,krantenentijdschriften.Leneneninzienvanmaterialenisalleenmogelijkvoor KB-pashouders.Niet-pashouderskunnendezoekmogelijkheidopdewebsitevandeKoninklijkeBibliotheekgebruikenomzichteoriënterenophetaanbodvantitelsopeenbepaaldvakgebied.

WorldCat

www.worldcat.org

EenandervoorbeeldvaneenonlinecollectieinformatiematerialenoveruiteenlopendeonderwerpenisWorldCat.Dewebsitegeefttoegangtotdecollectiesvanmeerdan10.000bibliothekenoverdehelewereld.Opdehomepagevindjehetzoekschermwaarmeejeitemskuntvindeninbibliothekenbijjouindebuurt.

Toetstermen Nederlands – Engels Alsjeindedatabankenwiltzoekennaarbuitenlandseliteratuur,verdienthetdevoorkeuromEngelsezoektermentegebruiken.HetoverzichtvanNederlandsetoets-enonderwijstermenmetdeEngelsevertaling,tevindenophttp://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk5,kanhierbijvanpaskomen.Opdezewebpaginastaanookenkelehandigevertaalhulpmiddelengenoemd.

Uitleg toetstermenVooreenuitlegvantoetstechnischebegrippenkunjeterechtopverschillendewebsites.OpdewebsitevanCitoisdeToetstechnischeBegrippenlijstbeschikbaar,ganaarwww.cito.nl>Onderzoekenwetenschap>Kenniscentrum:ToetstechnischeBegrippenlijst. En op http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk5vindjeeenoverzichtvandiversebegrippenlijstenophetweb.

et construeren van gesloten vragen

6 Het construeren van gesloten vragen

6 Hetconstruerenvangeslotenvragen

José Noijons

Dithoofdstukgaatoverhetconstruerenvangeslotenvragen,datwilzeggenvragenwaarbijdeleerlinguittweeofmeeralternatievenhetgoedealternatiefdienttekiezen.Wijhebbenonsnietgeconcentreerdopbepaaldevakken,wantinprincipekandegeslotenvraaggebruiktwordenbijalleleerstof.Natuurlijkzaleenaantalpraktischevaardighedenmoeilijkmetbehulpvangeslotenvragenbevraagdkunnenworden,maardathoeftniettebetekenendatdievragendaargeheelniettoepasbaarzijn.Devoorbeeldendiehiergepresenteerdworden,beogenduidelijktemakenhoemengeslotenvragenconstrueert.Deoplossingendievoorallerleiproblemengebodenworden,kunnenzowelbijtheoretischevakkenalsbijpraktijkvakkengebruiktworden.

Watondereengeslotenvraagverstaanwordt,komtindeeersteparagraafaandeorde.Wanneerenhoegeslotenvragengebruiktkunnenworden,behandelenwedaarna.Vervolgensgaanweinopdevoor-ennadelenvandegeslotenvraag.Daarnabesprekenweverschillendesoortengeslotenvragen,welkesoortenmeerofmindergeschiktzijnenwelkesoorteneigenlijkmaarbeternietgebruiktkunnenworden.Indeparagraafoverdeconstructievangeslotenvragenbesprekenwehoewevragenzoduidelijkmogelijkkunnenformulerenenwaaraangoedeantwoordenenafleidersdienentevoldoen.Hethoofdstukwordtafgeslotenmeteenparagraafovereisenwaaraangeslotenvragenmoetenvoldoen.

6.1 Wat is een gesloten vraag?

Wijgaanuitvandevolgendedefinitievaneengeslotenvraag:eengeslotenvraagiseenvraagwaarbijdeleerlinguittweeofmeerreedsgeformuleerdeantwoorden(alternatieven)dienttekiezen.Meerkeuzevraagenmultiplechoicevraagzijnanderetermenvoordegeslotenvraag.Indithoofdstuksprekenweechtersteedsoverdegeslotenvraag.

Bijdegeslotenvraagonderscheidenwedestamendealternatieven:

Stam: InwelkeplaatsisCitogevestigd?Alternatieven: A Amersfoort B Amsterdam C Arnhem D Rotterdam E Utrecht

Eenvandealternatievenishetgoedeantwoord(deantwoordsleutel).Deoverigealternatievennoemenwedeafleiders.

99 Het construeren van gesloten vragen < Inhoud Index >

Indestamvandegeslotenvraagstaateenhelderevraagofprobleemstelling.Nabeantwoordingvandevraagofnahetoplossenvandeprobleemstellingvergelijktdeleerlingzijn/haarantwoordmetdealternatievenenmaakteenkeuzeuitdealternatieven.Invrijwelallegevallenisdeantwoordsleutelhetgoedeantwoord.Insommigegevallenzalhetgoedeantwoordhetbesteantwoordzijntussendeanderealternatieven.Ditisbijvoorbeeldhetgevalalshetgoedeantwoordeensamenvattingisvanwaterineentekstgezegdwordteneenletterlijkeaanhalingeentelangalternatiefzouopleveren.Ookbestaanergeslotenvragenmetmeerderegoedeantwoorden.Wijgevendevoorkeuraanvragenmetééngoedantwoordofmethetbesteantwoord.

Afleiderszijnindeeersteplaatsbedoeldalsalternatieve(foute)antwoordennaasthetgoedeantwoord.Dathoudtindatjenietzondernadenkeneenalternatiefalsfoutantwoordmagkunnenherkennen.Deleerlingmoetopgrondvanrelevantekennis,inzichtenofvaardighedenziendatdealternatievengeengoedeantwoordenzijn.Relevantbetekentinditverbanddatdealternatievenbetrekkingmoetenhebbenopdestofdiebeheerstmoetworden.Dekeuzevooreenbepaaldalternatiefmoetterugtevoerenzijnopeenonvoldoendebeheersingvaneenvaardigheidbijdeleerling.Eenanalysevandedoordeleerlinggekozenantwoordengeeftdedocent feedbackvoorhetinrichtenvanzijnvervolgonderwijs.

6.2 Voordelen en nadelen van gesloten vragen

Dekeuzevoorgeslotenvragenineentoetsisvaakeenonderwerpvandiscussie.Voorstandersroemendeefficiëntievanzulkevragen:deleerlingverliestgeentijdbijhetformulerenvanhetantwoord,dedocentwinttijdbijdecorrectievandeantwoorden.Ookzijnermogelijkhedenomdeantwoordenelektronischteverwerken.Tegenstandersmerkenopdatvaakalleenreproductievankenniswordtgemeten.Enzogenaamdegoedeantwoordenblijkenbijnaderinzientochnietzogoedofronduitfouttezijn.Ookblijkenafleidersvaakzofoutnogniet,endusnietaftewijzen.Detegenstanderszulleninveelgevallengelijkgehadhebben.Hetconstruerenvangeslotenvragenisnamelijkeenlastigezaakenveeltoetsenmetgeslotenvragenvoldoendanooknietaandeeisendieinparagraaf6.6staanbeschreven. Maarmetdegeslotenvraagisnietsmisenerkanmeermeegetoetstwordendanvaakwordtgedachtengedaan.Welmoethijvoorgeschiktedoeleindenwordengebruikten,nogmaals,hijmoetzorgvuldiggeconstrueerdworden.

Devoordelenhebbendusnietalleentemakenmetefficiëntie,maarookmetdebetrouwbaarheidvandemeting.Geslotenvragenmakenhetmogelijkomveelvragentestellenenzulleninhetalgemeengeenbeoordelingsproblemenopleverenomdatvantevorenisbepaaldwatdegoedeantwoordenzijn.Denadelenkomenvooraltijdensdeconstructiefasenaarvoren,hoewelzeookbijhetscorenvandeantwoordenkunnenblijken.

Eenvoordeelvantoetsenmetgeslotenvragenisdatje–vergelekenmettoetsenmetopen vragen–ineenrelatiefkortetijdeengrootdeelvandeleerstofkuntbevragen.Zowordtvoorhetbeantwoordenvaneenwaar/onwaarvraag50secondengerekend,terwijlvooreenmeerkeuzevraagmet4of5alternatieven75secondengerekendwordt.Eennadeelisdatbepaaldeonderdelenvandeleerstofzichmisschienmindergoedlenenvoorgeslotenvragen,waardoorgenoemdvoordeelweerkomttevervallen.Tochishetnietjuistdatwemetgeslotenvragenalleenmaarreproductievankenniskunnenbevragen,hoeweldatindepraktijkwelergvaakgebeurt.

Somsiseenkort-antwoordvraagteprefererenbovenhetstellenvaneengeslotenvraag. Meteenkort-antwoordvraagkaneenleerlingnamelijkhetantwoordnietherkennenomdathijhetantwoordmoetgeven.Kort-antwoordvragenhebbendevoorkeurbovengeslotenvragenals:• devraagmaarééngoedantwoordheeft;• hetgoedeantwoorduiteenoftweewoordenbestaat;• hetgoedeantwoordsteedseenvantweemogelijkhedenis(bijvoorbeeldmannelijkof

vrouwelijkbijeenkeuzevangeslacht).Alskort-antwoordvragendezekenmerkenhebben,hoeftdeleerlingnauwelijksietsopteschrijvenenzaldeinterpretatieenbeoordelingvanhetgegevenantwoordergeenvoudigzijn.

Leerlingenvragennogweleensofhetzinheeftomdeantwoordenopgeslotenvragenopheteindvaneentoetsnogeenstecontrolereneneventueeleenanderantwoordtegeven. Hetblijktdatdemeesteleerlingenenookveeltoetsdeskundigendenkendathetveranderenvandeantwoordengeenzinheeft.Tochishetvasthoudenaandeeersteingevingnietaltijdhetbeste.Uitonderzoekhiernaarblijkthetvolgende:• hetloontdemoeiteomantwoordenteveranderenomdatgeblekenisdattweeopdedrie

veranderingeneengoedantwoordoplevert;• naarmateopgavenmoeilijkerzijn,hebbenveranderingenmindersucces;• mindergoedeleerlingenprofiterenmindervanveranderingendangoedeleerlingen.

6.3 Soorten gesloten vragen

Weonderscheidenhierdevolgendeveelvoorkomendesoortengeslotenvragen:• Standaardtype• Vraagmettweeuitspraken• Vraagmetmeerdantweeuitspraken• Herordeningsvraag• Combinatievraag• Waar/onwaarvraag

StandaardtypeEenvoorbeeldvaneenstandaardtypevandegeslotenvraaghebbenweeerderallatenzien:

Stam: InwelkeplaatsisCitogevestigd?Alternatieven: A Amsterdam afleider B Arnhem juiste antwoord (antwoordsleutel) C Enschede afleider D ‘s-Gravenhage afleider E Zaandam afleider

Bijhetstandaardtypegaathetomgeslotenvragenwaarbijhetaantalalternatievenkanvariërenvantweetot(meerdan)vijf.Dealternatievenstaanbijvoorkeurinalfabetischevolgordealsdealternatievenbeginnenmeteenwoord.Alsdealternatievengetallenzijn,danisdevolgordevankleinnaargrootgetal.

Overhetaantalalternatievenhetvolgende.Deraadkansneemtafnaarmateermeeralternatievenzijn,maardeleesdrukopdeleerlingneemttoe.Bedenkookdatefficiëntiejuisteenvandevoordelenvandegeslotenvraagis.Bijvijfofmeeralternatievenzienwevaakdatsommigevandiealternatievenermetdeharenzijnbijgesleeptennauwelijksgeloofwaardig

zijn.Eengoeduitgangspuntbijdeconstructieistebeginnenmetdriealternatievenenalleenalternatieventoetevoegenwaarmeewekunnenvaststellenofleerlingendeleerstofalofnietbeheersen.

Vraag met twee uitspraken Ditvraagtypewordtgerekendtotdegroepvandezogenaamdestellingvragen.Hetiseenmoeilijkvraagtype,zowelomteconstruerenalsomtebeantwoorden.Eenvoorbeeld:

Watgeldtvoordevolgendebeweringen? 1 Erissprakevaneenduidelijkesamenhangtussenzoutgebruikendehoogtevande

bloeddruk. 2 Hetisgoedommensenmetverhoogdebloeddrukaanteradenveelzoutepinda’steeten.

A 1en2zijnjuist B Alleen1isjuist C Alleen2isjuist D 1en2zijnnietjuist

Bijditvraagtypegeldtdeafspraakdatdebeweringen1en2nietlosvanelkaarmogenstaan. Ermoetsprakezijnvaneensamenhang.Isdatniethetgeval,danzijnhetfeitelijktweewaar/onwaarvragenonderelkaar(ziehierna)endanzoudenerookantwoordenvoordehelftgoedkunnenzijn.Uitdetoetspraktijkisbekenddatleerlingenproblemenhebbenmetdittypevragen.Dieproblemenhebbennietzozeertemakenmethunbeheersingvandeleerstof,maarmetdelees-endenktijddiehetkostomdeformuleringvanhetprobleemtebegrijpenenhetprobleemoptelossen.Wijradendaaromaandittypevraagniettegebruikenomdathetnietalleenmoeilijkteconstruerenismaardatmenerookvaakietsmeetoetstdatmennietwiltoetsen.

Vraag met meer dan twee uitsprakenOokdezevraagwordtgerekendtotdegroepvanstellingvragen.Ditvraagtypeleentzicherheelgoedvooromovereenbepaaldeprobleemstellingmeeruitsprakentedoenentelatenbeoordelenwelkeuitsprakenbetrekkinghebbenofvantoepassingzijnopdegeschetsteprobleemstelling.Hierondervolgteenvoorbeeldvanditvraagtype:

Welkemanier(en)is(zijn)juistomeenongegrondeklachttebehandelen? 1 Deklantbeleefddoeninziendatdeklachtongegrondiseneenregelingtreffen. 2 Deklantduidelijkmakendatalleengegrondeklachteninbehandelingwordengenomen. 3 Deklantopzijn/haarongelijkwijzenengeenenkelevormvanschadeloosstelling

aanbieden.

A Alleen1 B Alleen2 C Alleen3 D Zowel1als2 E Zowel1als3 F Zowel1,2als3

Bijnaalledenkbarealternatievenzijnhiergeformuleerd.Dithoudtnietindataldiedenkbarealternatievenaangebodendienenteworden.Alleendiealternatievenkomeninaanmerkingdieaantrekkelijkzijnvoorleerlingenmetonvoldoendekennisen/ofdieeenindicatiekunnengevenvanmogelijkekennistekortenbijdeleerling.

HerordeningsvraagDenaamgeeftalaanwaarhetomgaat.Leerstofisvolgensbepaaldeordeningsprincipesopgebouwdendeleerlingmoetderelevanteordeningsprincipestonen.Eenvoorbeeldvaneenherordeningsvraag:

Hieronderstaaninwillekeurigevolgordezeshistorischegebeurtenissen. Vierdaarvanhebbenmetelkaartemaken.

1 AanvalopPearlHarbor 2 BezettingvanhetRuhrgebied 3 Herstelbetalingen 4 SlagomStalingrad 5 VerdragvanLocarno 6 VredesverdragvanVersailles

Welkeviergebeurtenissenhorenbijelkaarenstaaninchronologischevolgorde? A 1–2–5–3 B 1–4–5–6 C 2–1–4–5 D 2–1–5–3 E 4–1–5–3

Eerderhebbenwealgeziendatwedealternatievenbijvoorkeursystematischmoetenordenen,alfabetischofopnumeriekevolgorde.Uitdestamvandezevraagblijktdatdatordenings-principeookkanwordentoegepastvoordestamalsdaarsprakeisvanopsommingenendergelijke.Inditgevalzijndezeshistorischegebeurtenissenalfabetischgeordend.Ditvoorbeeldmaaktookduidelijkdatditvraagtypealleentoegepastkanwordenindieneenaantalgegevensineenbepaaldevolgordegezetkanworden(historischegebeurtenissen,handelingenbijeenproces).Houderrekeningmeedatditsoortvragenlastigzijnvoorleerlingen.

CombinatievraagDitiseenvraagtypedatvergelijkbaarismetdeherordeningsvraag.Alleenmoetennuopeenanderemanierdegegevensuitdeenerijgecombineerdwordenmetdieuiteenandererij. Eenvoorbeeldvaneencombinatievraagisdevolgende:

Hieronderstaandenamenvanzesdieren. A Beer B Ezel C Hond D Kat E Leeuw F Varken

Vulbijdevolgendegezegdendeletter(A–F)voorhetjuistedierin. Eendierkanmeerderemalenvoorkomen!

1 Zoziekalseen.... 2 Zosterkalseen.... 3 Zotrouwalseen.... 4 Zodomalseen....

Dezogeheten‘matching’vraagisookeencombinatievraag.Deleerlingmoet‘matchen’,datwilzeggentweedingenbijelkaarplaatsen.Voorbeeldiseenvraagwaarbijlinkseenaantalhoofdstedenstaanenrechtseenaantallanden.Deleerlingmoetaangevenwelkehoofdstadbijwelklandhoort.Een‘matching’vraagkanomgevormdwordentoteenaantalgeslotenvragen.

Waar/onwaar vraagBijeenwaar/onwaarvraagwordteenuitspraakofbeweringgedaanenmoetaangegevenwordenofdiebeweringkloptofnietklopt.Destandaardvormvanditvraagtypeisalsvolgt:

Inalleslagadersstroomthetbloedvanhethartaf. Dezestellingis: A Waar B Onwaar

Bijhetgebruikvanditvraagtypeisgrotevoorzichtigheidgeboden.Zoblijkthetheelmoeilijktezijnomvolledigwarealternatieventeconstrueren.Sommigeleerlingenwijzeneenals‘waar’bedoeldalternatiefbijvoorbeeldafomdathetnietvolledigis.Hetpresenterenvaneenonwarebeweringisbovendiennietgebruikelijkinhetonderwijs,waardedocenttochinhetalgemeengeassocieerdwordtmethetoverdragenvanfeitenenwatwaarschijnlijkis.Ditvraagtypeblijktbijsommigeleerlingenbepaaldeantwoordtendentiesopteroepen,datwilzeggendatsommigeleerlingengeneigdzijnombijnaallevragenmet‘waar’tebeantwoordenterwijlandereleerlingenbijnaaltijd‘onwaar’antwoorden.

6.4 De constructie van gesloten vragen

Aanbevolenwordtomsamenmetcollega’stoetsvragenteconstrueren,ofiniedergevalcollega’sdeconceptvragentelatenbeoordelen.Nogbeterishetomcollega’sbijdezelfdeleerstofiedervoorzichvragentelatenmakenendiedanmetelkaartebespreken.Zoleertmenvanelkaar.Datlijktminderefficiënt,maaromdaterbijdezelfdeleerstoftochvaakmeerdereversiesvaneentoetsmoetenwordengemaakt,kunnendemeestevandegeconstrueerdevragenopeenlatertijdstipgebruiktworden. Hetverdientaanbevelingombijiederegeslotenvraageersteengoedantwoordteformulerenenomvoordetoetsalsgeheeleenantwoordsleutel,datwilzeggeneenlijstmetdegoedeantwoorden,temaken.Wanneermenconceptvragenaancollega’svoorlegt,vraagzedanookomeerstdeantwoordsleutelbijdevragentemakenvoordatmendetailkritiekgeeft.Bijhetconstruerenvandefouteantwoordenishetmogelijkgebruiktemakenvaneerderefouteantwoordenvanleerlingenbijeenopenvariantvandevraag.Ookkunnenbekendeproblemendieleerlingenmetdeleerstofhebben,gebruiktwordenvoordefouteantwoordenindegeslotenvraag.Omfouteantwoordennietdirectalsfoutteherkennen,zalookaandeformuleringvandefouteantwoordendenodigezorgbesteedmoetenworden.

De stamBijhetformulerenvandestamineengeslotenvraagmoetenweervoorzorgendatereenhelderevraagofopdrachtindestamkomttestaan.Bijhetbeantwoordenvandevraagofhetuitvoerenvandeopdrachtbestaanervoordeleerlingtweemogelijkheden:1 Nahetdoornemenvandestamformuleertdeleerlingvoorzichzelfhetgoedeantwoorden

selecteerthetjuisteantwoordbijdealternatieven.2 Nahetdoornemenvandestamselecteertdeleerlingopbasisvandegegevenalternatieven

hetgoedeantwoord.

Manierenomdestamvaneengeslotenvraagteformulerenzijn:• Eenpositieveofnegatieveformulering.• Eenmeerofminderdirectevraagstelling.

Positieve formulering in de stam Alshetmaarenigszinsmogelijkis,verdienthetdevoorkeuromdestamvaneenvraagofopdrachtpositiefteformuleren.Eennegatieveformuleringvandestamroeptvaakproblemenop.Hetisnamelijkmoeilijkertebepalenwathetgoedeantwoordisalsdevraagnegatiefgeformuleerdis,terwijldiemoeilijkheidnietsmetdeleerstoftemakenheeft.Indienmennietaannegatieveformuleringenontkomt,laatdandenegatiefgeformuleerdevraagstellingduidelijkzien,bijvoorbeelddoorhetnegatieveelementvettedrukken,tekapitaliseren,tecursiverenofteonderstrepen,ofdooreencombinatiehiervan.Zovaltduidelijkeropdatdevraagstellingnegatiefgeformuleerdis.Eenvoorbeeldvaneenvraagmeteennegatiefgeformuleerdestam:

WatisGEENgoedadviesbijeenvermoedenvanMexicaansegriep? A Gazogauwmogelijknaarhetspreekuurvandehuisarts. B Probeerzoveelmogelijkuitdebuurtvananderemensenteblijven. C Wassteedsgoeduwhandenenraakzominmogelijkobjectenmetuwhandenaan.

Naaraanleidingvanditvoorbeelddientopgemerkttewordendatmenseninhetalgemeengeïnteresseerdzijningoedeadviezen.Daarnaast,zoalsaleerderopgemerktwerd,wordt

meestalineersteinstantieonderwezenwatgoedisenzettenvragennaarwatnietgoedisdeleerlingenvaakophetverkeerdebeen.EennietgoedlezendeleerlingzalgeneigdzijnomAalsfoutantwoordtekiezen,omdathijgeleerdheeftdathetgeengoedideeisomnaarhetspreekuurvandehuisartstegaan.Hetisdanookgoedmogelijkdatsommigegoedeleerlingenhiereenfoutantwoordgeven.

Directe vraagstellingHetverdientdevoorkeuromdevragenalsdirectevragenteformuleren,datwilzeggenvragenwaarbijaanheteindvandevraagduidelijkiswatvandeleerlingverwachtwordt.Eenvoorbeeldvanzo’ndirectevraagis:

Opwelkedatumbegintdezomer? A 1juni B 21juni C 1juli D 21juli

Hetisgeengoedideeombijditvraagtypezinnenletterlijkuiteenleerboekovertenemenenuiteenzineenwoordjewegtelatenendattelateninvullen.Dekansbestaatdatdanhetvisueelgeheugenvandeleerlingeninplaatsvanhunbeheersingvandeleerstofgetoetstwordt.

De alternatievenBijdealternatievengaathetomhetformulerenvanhetgoedeantwoordendeafleiders.

Formuleren van het goede antwoord Vaakvindtmenhetmoeilijkombijeengeslotenvraagwaarschijnlijkealternatieventebedenken.Hetbelangrijkstealternatief,hetgoedeantwoord,levertdoorgaansgeenproblemenop.Menmoetechterwelmetdeformuleringdaarvanbeginnenomdatmendezekerheidmoethebbendaterookwerkelijkeengoedantwoordopdevraagteformulerenvalt.Eengoedantwoordmagnietopvallendoorzijnformulering.Bijhettheoretischegedeeltevanhetvroegererijexamenbestondhetgoedeantwoordnogweleensuiteenletterlijkcitaatuitdewetstekstenwarendefoutealternatievenvlotgeformuleerdevariantendaarop.ZieonderstaandvoorbeeldwaaralternatiefCopvaltdoorhetformeletaalgebruiken alternatiefBdoordevlotteformulering.

Watduidtditbordaan? A Alleentoegangvoorvoetgangers. B Nietinrijden,behalvealsmenhierwoont. C Verbodeninterijdenvoorallegemotoriseerdverkeer.

Tenslottedientmeninhetgoedeantwoordecho’s,datwilzeggenletterlijkegedeeltenvandeuitgangstekst,tevermijdenwanneerindeanderealternatievengeenecho’svoorkomen. Hetblijktnamelijkdateenantwoordmeteenechoeenextragroteaantrekkingskrachtopleerlingenheeft.Deleerlinggeeftdanmogelijkhetgoedeantwoordterwijlhijhetgoedeantwoordopdevraagnietweet.Ditmoeternatuurlijkniettoeleidendatmeninhetgoedeantwoordgeenechoopneemtenindeanderealternatievenjuistwel.Alseendefinitiegevraagdwordt,zalhetgebruikvandeletterlijketekstsomsonvermijdelijkzijn.Zorgerdanvoordatookindeafleidersminofmeerletterlijkedefinitiesgegevenworden.

Formuleren van de afleiders Afleiderszijnindeeersteplaatsbedoeldalsalternatieve(foute)antwoordennaasthetgoedeantwoord.Dathoudtindatzenietoverduidelijkalsfoutantwoordteherkennenmogenzijn. Deleerlingmoetopgrondvanrelevantekennis,inzichtofvaardighedenconcluderendatdealternatieveantwoordennietdegoedeantwoordenzijn.Afleidersmoetenaantrekkelijkzijnvoorleerlingendiedeleerstofinonvoldoendematebeheersen.

Voordeconstructievandeafleidersgeldendevolgenderegels:

• Deformuleringvandeafleidersmoetzodanigzijndatdeessentiëleverschillentussendeafleidersduidelijkuitkomen.Hetverschiltussendeeneendeandereafleidermagdusnietbepaaldwordendoorwoordenals‘ongeveer’en‘ruim’.Diewoordenmogennatuurlijkwelgebruiktwordenmaarzemogenniethetenigeverschilzijntussentweeafleiders.

• Hetgebruikvanabsolutewoordenals‘altijd’,‘nooit’en‘zeker’inalternatievenwijstbijna

altijdopafleiders.Immers,opdemeesteuitsprakenofonderzoeksresultatendieindealternatievengenoemdworden,komenweluitzonderingenvoor.Absolutewoordengevendaardoorvaakdirectaandathetalternatiefniethetgoedeantwoordzalzijn.

• Alsbijnageenleerlingvooreenbepaaldeafleiderkiest,haddieafleidernetzogoedweggelatenkunnenworden.Datlaatstegeldtvoorsummatievetoetsenmaarhoeftnietvoordiagnostischetoetsentegeldenwaarafleidersdedocentinformatiegevenoverdieonderdelenvandeleerstofdiedeleerlingeninvoldoendeofonvoldoendematebeheersen.

• Dealternatievendienenineenvastevolgordegerangschikttewordenomdatleerlingenanderswellichtinformatieuitdevolgordekunnenafleiden.Deafleiderskunnenopalfabetischevolgordewordengezet,inopklimmendegetalgrootteofchronologisch.

• Allealternatievenmoetenovereenkomeninbasisidee,uitgangspunt,grammaticalestructuurenlengte.InhetvolgendevoorbeeldwordtdoordegrammaticaleconstructieenwoordkeusvanzoweldestamalsvanalternatiefDeenverwijzinggegevennaarhetgoedeantwoord.

Watbetekenthetspreekwoord‘Wieeenssteelt,isaltijdeendief?’ A Alsjeiemandbedriegt,wordjezelfookbedrogen. B Alsjenieteerlijkbent,kunjedatnooitmeervergeten. C Alsjezelfslechtbent,zuljeookslechtoveranderendenken. D Wieeenmaaleenmisstapbegaat,isaltijdonbetrouwbaar.

• Hetgebruikvanhetalternatief‘geenvanbovengenoemde’of‘allebovengenoemde’wordtafgeraden.

• Afleidersmoetenelkaaruitsluiten.InhetvolgendevoorbeeldimpliceertalternatiefCook AenB,dusalsCgoedis,zalookA,maarookBgoedgerekendmoetenworden.

Watzegtdesprekerhieroverdegeschiktheidvoorpiloot? A Mannenzijngeschikt. B Vrouwenzijngeschikt. C Mannenenvrouwenzijngeschikt.

• Deverschillentussendealternatievendienenniettegroottezijn. Deopdrachtkantegemakkelijkwordenwanneerhetgoedeantwoorderalshetware

uitspringt.Menkandevraagmoeilijkermakendoordeverschillentussendealternatieventeverfijnen.Leterechterwelopdatdevraagdangeenleesoefeningwordt.

Eerstnadatdeleerlingendevragenhebbenbeantwoord,kanbepaaldwordenofalleafleidersinvoldoendemategekozenzijn.Isdatniethetgevalenwordtdevraagopnieuwgebruikt,dankunnendenietvoldoendegekozenafleidersweggelatenworden.Ookkanmendeafleiderdiehetmeestgekozenisbijstellen.

Wevattenvoorgaandeadviezenhierondernogeenssamen.

Tips voor het construeren van gesloten vragen

• Formuleerdevragenbijvoorkeuralsdirectevragen.• Steleenvraagindestam,gebruikdaarbijvolledigezinnenensluitafmeteen

vraagteken.Maakdusgeenonvolledigezinnendieindealternatievenmoetenwordenafgemaakt.

• Formuleerdestambijvoorkeurpositief.• Accentueereennegatiefgeformuleerdevraagstellingdoorhetnegatieveelementvet

tedrukken,tekapitaliseren,tecursiverenofteonderstrepen.• Beginmethetopschrijvenvanhetgoedeofbesteantwoord.• Gebruikalsafleidersookbekendeproblemenmetdeleerstofenveelvoorkomende

foutenvanleerlingen.• Gebruikalleenafleiderswaarvanweverwachtendatleerlingendieookwerkelijk

zullenkiezen.• Maakinprincipevragenmetdriealternatievenwaarvanermaaréénhetgoede

antwoordis.• Weeserzekervandathetgoedeantwoordookwerkelijkhetgoedeofbesteantwoord

is.• Vermijdformuleringenwaarbijhetgoedeantwoordopvalt.• Neembijvragenmetweglatingenindetekst,geenzinnenletterlijkoveruiteen

leerboek.

6.5 Taalgebruik

Eenjuisttaalgebruikisbelangrijkbijhetformulerenvanvragen.Voorkomenmoetwordendatdemoeilijkheidvandevraagveroorzaaktwordtdoordeformulering.Natuurlijkmoetendeformuleringenvoldoenaandealgemenespellings-engrammaticaregelsvandetaalwaarindevraaggesteldis.Alsdatnietdemoedertaalvandeconstructeuris,verdienthetaanbeveling

omeen‘nativespeaker’naardevragentelatenkijken.Deevaringleertdatvragenvaakmoeilijkhedenbevattendienietstemakenhebbenmetdebevraagdeleerstof.

Watdestijlvanschrijvenbetreft,ishetvanbelangdatdetekstindestamenindealternatievenniettelangis.Wanneerdestamtelangdreigtteworden,ishetbeteromeeninleidingbijdestamtemakenendestamzelfdankorttehouden.Probeerhetalternatief‘binnenderegel’tehoudenwantdatvergemakkelijkthetlezen.Vermijd,ookweerterbevorderingvandebeknoptheid,constructiesmetbijzinnen.Indealternatievenverdienteenniet-samengestelde,korte,krachtigezindevoorkeur.Herhaalgeenzakenindealternatievendieookéénmaalindestamgenoemdkunnenworden.Vermijdverder‘weggevertjes’indeformuleringvandeafleiders–zoals‘nooit’,‘altijd’,‘alle’,etc.–wantzoalsweeerderalopmerkten,zijnabsoluteuitsprakenmaarzeldenwaar.

Hetgoedeantwoordmoetnietopvallendoorhetletterlijkciterenuitdeuitgangstekst.Alsmengedwongenisdeletterlijketekstinhetgoedeantwoordoptenemen,neemdanookindeafleidersletterlijkecitatenop.

Gebruikgeendubbeleontkenningen.Voorleerlingenishetuiterstverwarrendomzinnentemoetenlezenmet‘nooitgeen’of‘nietonmogelijk’,hoejuisteendergelijkebeweringopzichookkanzijn.Dekansisgrootdateenfoutantwoordgekozenwordtomdatdeleerlingdevraagnietgoedgelezenheeftennietomdathijofzijdeleerstofnietbeheerst.

Watbetrefthetgebruikvanhoofdlettersaanhetbeginvanalternatieven,hetvolgende:• Alsdealternatievenuithelezinnenbestaan,beginnenallealternatievenmeteenhoofdletter

eneindigenmeteenpunt.• Alsdestamdoorlooptindealternatieven,beginnendealternatievenmeteenkleineletteren

eindigenmeteenpunt.• Inanderegevallenliggenderegelsmindervast.Vaakbeginnendealternatievendanmeteen

kleinelettereneindigenzonderpunt.

6.6 Eisen voor gesloten vragen

Wehebbenonstotnutoevooralgerichtopdemeertechnischeaspectenvandeconstructievangeslotenvragen.Erzijnechterooknogenkelealgemeneeisendieaangeslotenvragengesteldmoetenworden.Opdebelangrijksteeisenwordthiernaingegaan,methierendaareenverwijzingnaardegevolgenvandieeisenmetbetrekkingtotdeconstructievandezevragen.

SpecificiteitDezeeishoudtindatdevragenalleenmaargoedbeantwoordzoudenmoetenkunnenwordendoordegenendiedeleerstofbestudeerdhebben.Voordegenendiedeleerstofnietbestudeerdhebben,magdevraaggeenzogeheten‘indicatoren’(d.w.z.onbedoeldeaanwijzingen)bevattenwaardoorzijhetgoedeantwoordopdevraagkunnengeven.DeGrootenVanNaerssen(1969)onderscheidendevolgendesoortenindicatoren:

• Herhalingvaneenwoorduitdestaminhetjuistealternatief.

• Eenofmeervande(foute)alternatievensluitengrammaticaaloflogischnietaanopdestamvandevraag.

• Een(ofmeer)vandealternatievenvandevraagis,logischgezien,volstrektnietmogelijkwaardoorhetzondermeerdoordeleerlinguitgeschakeldkanworden.

• Hetgoedealternatiefisteherkennendoordathetveellangerofkorterisdandeandere. Eenvoorbeeld:

Eenvandebelangrijkstebezwarenvanstemplicht(inplaatsvanstemrecht)isdathet A duurderis. B ertoeleidtdatmeermensenonnadenkendhunstemuitbrengen,alleenmaaromte

voldoenaandewettelijkeverplichting. C moeilijkuitvoerbaaris. D vreemdelingenervanweerhoudtstaatsburgertewillenworden.

• Deonjuistealternatievenoverlappenelkaarofsluitenelkaarin.Eenvoorbeeld:

Katoenkomtvaneen A dier B mineraal C plant D schaap

• Devraagkanopgelostwordenmetzeeralgemenekennis,terwijlhetdebedoelingwasomopgelosttewordenmetzeerspecifiekekennisvandegeleerdeleerstof.Eenvoorbeeld:

Debakermatvandedemocratieligtin A Carthago B Griekenland C Frankrijk D Uruguay

RelevantieMetrelevantiebedoelenwedatdevragenrelevantmoetenzijnvoorwatwewillenmeten.Relevantevragenzijnvragendiebetrekkinghebbenop:• deleerstofdiedeleerlingenmoetenbeheersen;• dekennishandelingen(kennis,inzicht,toepassing,etc.)diedeleerlingenmoetenbeheersen;• dehoofdzakenvandeleerstof.

ObjectiviteitEenvraagwordtalsobjectiefgezienalsverschillendedeskundigenhetzelfdealternatiefalshetgoedeantwoordopdievraagaanwijzen.Objectiviteitheeftindezebetekenisnietstemakenmetdeinhoudvandevraag,diekan,enzalsoms,zeersubjectiefzijn.Vanproblemenmetdeobjectiviteitisonderanderesprakeindevolgendegevallen:• Alsdeskundigenverschillenoverhetgoedeantwoord.Alsdathetgevalis,ishetaanteraden

omdevraagmaartelatenvervallenomdatuitervaringblijktdatherstelwerkzaamhedenaandevraagmeestalniethetgewensteeffecthebben.

• Alseronbedoeldmeeralternatievenjuistzijndieookallealsjuistwordenaangeduiddoordeskundigen.

• Alsvolgensdedeskundigenhetgoedeantwoordernietbijstaat.

• Alsergevraagdwordtnaardemeningvaneenleerling.Vragenals‘Watvindjijvan...?’of ‘Watzoujijdoenals...?’zijninprincipenooitobjectiefeniederantwoordisjuist.

EfficiëntieEenvraagisefficiëntwanneerdevraagrelevanteinformatieoverdeleerlingverschaftendetijddiedeleerlingnodigheeftomdevraagtekunnenoplossenkortis.Minderefficiëntzijnvragenwaarbij:• ersprakeisvannodeloosingewikkeldezinsconstructies;• deinleidingvandevraagtelangis;• woordenwordengebruiktwaarvannietverwachtmagwordendatleerlingendiekennen;• deaansluitingtussendestamenéénofmeeralternatieventaalkundignietcorrectis;• ersprakeisvanoverbodigeinformatie;• eenontkenningvoorkomtdienietduidelijkalszodanigaangegevenis;• dubbeleontkenningenvoorkomen.

AfbeeldingenHetgebruikvanafbeeldingenkaninbepaaldegevallenzinvollerzijndanalleenomschrijvingen.Defunctionaliteitvandeafbeeldingdientvooroptestaanwaarbijeropgeletmoetwordendat:• hetgebruikvanplaatjesengrafiekenzinvolis,datwilzeggendatzenoodzakelijkzijnvoor

eengoedbegripvandevraagofvoordebeantwoordingervan;• deplaatjes,grafiekenendergelijkeduidelijkzijn;• detekeningencorrectzijn;• detoelichtingbijdeafbeeldingenduidelijk,kortenhelderis.

PresentatieEengoedelay-outvantoetsmateriaaliseenbelangrijkerandvoorwaardevoorhetmakenvaneentoets.Delay-outisnietfunctioneelals:• devragennietduidelijkvanelkaarteonderscheidenzijn;• denummeringvandevragennietinzichtelijkis;• deverwijzingindevraagnaareentekstofafbeeldingnietjuistis;• hetgebruiktelettertypemoeilijkleesbaaroftekleinis.

et construeren van open vragen

7 Het construeren van open vragen

7 Hetconstruerenvanopen vragen

Tom Erkens

Dithoofdstukgaatoveropenvragen,datwilzeggenvragen,takenenopdrachtenwaarbijdeleerlingzelfhetantwoordmoetformuleren.Eerstwordendeverschillendesoortenopenvragenendevoordelenennadelenvanopenvragenbehandeld.Daarnawordtingegaanophetconstructieprocesvanopenvragen.Eenaparteparagraafisgewijdaandeproblemendiezichvoordoenbijhetcorrigerenvanopenvragenendemogelijkeoplossingenvoordezeproblemen.

Opdiverseplaatseninhethoofdstukstaantipsdienuttigkunnenzijnbijhetconstruerenvanopenvragen.Aanheteindevanhethoofdstukvindtmeneenchecklistdiegebruiktkanwordenbijhetsamenstellen,beoordelenenredigerenvanopenvragen.

7.1 Soorten open vragen

Openvragenzijnvragenwaarbijleerlingenzelfhetantwoordmoetenformuleren.Datantwoordkaninlengtevariërenvanéénwoordofenkelewoordentoteenvolledigbetoog.Decorrectievanopenvragendientdoor(vak)deskundigentegebeuren.Deopenvraagwordtinhetonderwijsveelgebruikt.Eendocentsteltbijvoorbeeldopenvragentijdenshetonderwijs-leergesprek,tijdensmondelingeofschriftelijkeoverhoringen,alsonderdeelvanproefwerkenenbijtoetsenofexamens.Indecentraleexamensvanvmbo,havoenvwozijndemeestevragenopenvragen.

Deopenvraagheeftweliswaarvoordelen,zieparagraaf7.2,maargeeftookproblemendiedoorgaanspaswordenontdekttijdensofnadeafnamevandetoets.Deproblemenzijnvooreennietonbelangrijkdeelterugtevoerentotkwestiesdiemetformulerentemakenhebben.Metanderewoorden:hetgaatveelalomtaalproblemen.Eennietjuistofnietvolledigjuistgeformuleerdevraagleverteennietverwachtofgewenstantwoordopvandeleerlingenenveroorzaaktdaardoorproblemenbijdebeoordeling.

Openvragenzijnbijuitstekgeschiktomhogerecognitievevaardighedentetoetsen.Datbetreffenvaardighedenalstoepassen,analyseren,synthetiserenenevalueren.IndeNederlandseonderwijspraktijkzienweechterdatopenvragenookgebruiktwordenvoorhettoetsenvanfeitenkennis.Menkanzichafvragenofopenvragendaarvoorgebruiktmoetenworden.Hetisgeblekendatfeitenkennisopeenveelefficiëntereenbetrouwbaarderewijzemetbehulpvangeslotenvragenkanwordenbevraagd.Inhoofdstuk2zagenweechterdatbijdekeuzevooreenbepaaldevraagvormsomsandereoverwegingeneenrolkunnenspelen.

Openvragenkomenindiversevormenvoor.Erisdaarbijeenonderscheidtemakennaardelengtevanhetantwoord,ennaardebenodigdetijdvoordebeantwoording.

113 Het construeren van open vragen < Inhoud Index >

In- en aanvul vragenBijditsoortvragenwordtvanleerlingenverwachtdatzijeenonvolledigezin,berekeningoftekeningcompleteren.Lezenenbeantwoordenvaneendergelijkevraagkostweinigtijd.

Voorbeeldenvaneenin-enaanvulvraagzijn:

DelangsteriviervanEuropaisde...

Demoordop...vormdededirecteaanleidingtotdeEersteWereldoorlog.

Kort-antwoord vragen Opkort-antwoordvragenmoetmeteencitaat,metenkelewoorden,eenenkelvoudigezin,eengetal,een(eenvoudige)tekeningofformulewordengeantwoord.Detijdvoorhetlezenendebeantwoordingzalmeestalnietmeerdaneenminuutvergen.

Eenvoorbeeldvaneenkort-antwoordvraag,gesteldaandehandvaneencontext,is:

Vanwelkevormvanwerkloosheidishiersprake?

Lang-antwoord vragen Leerlingendienenlang-antwoordvragentebeantwoordenmetsamenhangendezinnen. Ookeentoelichting,eengecompliceerdeberekening,tekeningofeenbewijsbestaandeuitverschillendestappen,zijnvoorbeeldenvanantwoordmogelijkheden.Voorhetlezenenbeantwoordenvaneendergelijkevraagisalgauwdrietotvijfminutennodig.

Eenvoorbeeldvaneenlang-antwoordvraag,gesteldaandehandvaneencontext,is:

Leguitwaaromhetvoorsommigebedrijveneconomischgezienvoordeligkanzijnafvalopnieuwtegebruiken.

Opstel en betoog vragenTypischeantwoordenopopstelenbetoogvragenzijn:eensamenhangendetekst,gestructureerdbijvoorbeeldnaarinleiding,middenenslot,ofeenzeergedetailleerdetekeningofberekeningdiebeidealseenafgerondgeheelwordenbeschouwd.Hetlezenenantwoordenvaneendergelijkevraagiseentijdrovendeaangelegenheid.Vijftientotdertigminutenvooreendergelijkeopdrachtisnietongebruikelijk.

Eenvoorbeeldvaneenopstelvraagis:

DeheerAndersreageerdemeteeningezondenbriefopeenartikelinHetHollandsDagbladoverbijbaantjesvoorscholieren.Zijnbriefbegonalsvolgt:

‘InuwkrantverscheenonlangseenartikelwaarindeministervanOnderwijs,CultuurenWetenschappenzijnbezwarentegenbijbaantjesvanscholierenuiteenzet.HieronderwilikdevoordelenvanbijbaantjesvoorscholierenvoordeNederlandseeconomieuiteenzetten…’

Schrijfhetvervolgvandebrief.

Indebriefmoetendevolgendeaspectenaandeordekomen: a debijdragevanbijbaantjesvanscholierenaanhetterugdringenvande

frictiewerkloosheidindetoekomst b hetmultipliereffectvandestijgendebestedingenvanscholieren

Openvragenkunnenookonderscheidenwordennaardeomvangvanhetantwoordendebenodigdeantwoordtijd.Veelalblijkenleerlingenmeertijdvoordebeantwoordingnodigtehebbendanwordtaangenomen.Degemiddeldeantwoordtijdopvragenstaatweergegeveninonderstaandetabel.

Vraagtype Beantwoordingstijd

Openvraag,antwoordvergtéénwoordofzin 1minuut

Openvraag,antwoordvergt1/4pagina-A4 5minuten

Openvraag,antwoordvergt1/2pagina-A4 10minuten

Openvraag,antwoordvergtéénpagina-A4 25minuten

Openvraag,antwoordvergttweepagina’s-A4 60minuten

7.2 Voordelen van open vragen

Sommigedoelstellingenzijnbetertetoetsenmetopenvragendanmetgeslotenvragen. Ditgeldtvoordoelenwaarbijoriginaliteitofcreativiteiteenrolspelen(bijvoorbeeldbijhetontwerpenvaneenonderzoeksopzet),bijdetoetsingvancomplexerevaardighedenofwanneerhettetoetsenkennisdomeinomvangrijkis.Datwilzeggen:

• Bijdebeantwoordingvaneenopenvraag(vooraldelang-antwoordvraag)hoevendeleerlingennietinhunvrijheidtewordenbeperkt.Bijdebeantwoordingkunnendeleerlingenvoldoendecreativiteitaandedagleggen.

Eenvoorbeeldvaneenvraagdiemetbehulpvantweebronnenmoetwordenbeantwoord,is:

Gebruikbron16(prent)en17(toespraak). IndeprentgeeftdetekenaarzijnmeningoverdetoespraakvanpresidentTruman.

Watisdemeningvandetekenaar? Ondersteunjeantwoorddoortweeelementenuitdeprentteverbindenmettweeelementenuitdetoespraak.

• Daarwaartaalvaardigheidaspectenbijdetoetsingeenrolspelen,verdientdeopenvraagdevoorkeurbovendegeslotenvraag.Deleerlingenkunnenimmersbijdebeantwoordingvanopenvragenproductiefgebruikmakenvandetaal.

Eenvoorbeeldvaneendergelijkevraagis:

MaakeengoedlopendesamenvattingincorrectNederlandsvanmaximaal200woordenvandetekst‘Deliefdetotzijnlandisiederaangeboren’.Zorgervoordatjesamenvattingbegrijpelijkisvooriemanddiedeoorspronkelijketekstnietkent.

Uitjesamenvattingmoetduidelijkworden: - welkeovereenkomstenerzijntussendeidentiteitvanhetgezinendenatie; - welkgevaarzichvoordoetophetniveauvandeidentiteitvandenatie; - welkefactorenditgevaarbeperkenenwaardoordezefactorenremmendwerken; - metwelkeredeneringkosmopolitismegeenalternatiefwordtgevondenvoorde

behoefteaaneennationaleidentiteit; - watwordtgeconcludeerdtenaanzienvanhettrotszijnopdeeigennationale

identiteit.

7.3 Nadelen van open vragen

• Voortaalzwakkeleerlingenleverenopenvragenextraproblemenop.Hetisnietaltijdduidelijkofeen‘foute’beantwoordingvandevraaguitsluitendtewijtenisaanonvoldoendekennisdanwel(mede)hetgevolgisvaneenonvoldoendetaalbeheersing.Metanderewoorden:isdetaalofdevakinhoudhetprobleem?

• Heteenduidigformulerenvanopenvragenislastig.Nieteenduidiggeformuleerdevragenzijnvoorleerlingenopmeermanierenteinterpreteren.Zodraleerlingenmoeteninterpreteren,zalhetdoordedocentgewensteofverwachteantwoordwaarschijnlijknietwordengegeven.

• Nieteenduidiggeformuleerdeopenvragenleverenbeoordelingsproblemenopomdatdeleerlingeneenanderantwoordgedragvertonendanwasbeoogd.

• Ookindiendevraageenduidigisgeformuleerd,kunnenverschillenontstaantussenbeoordelaars.Beoordelaarsdiebijvoorbeeldvanmeningverschillenoverhetjuisteantwoord.Ofeenbeoordelingvanééndocentdienietconsistentophetantwoordvaniedereleerlingwordttoegepast.

• Debeantwoordingvanopenvragenkostmeertijddandebeantwoordingvangeslotenvragen.Voorhetbeantwoordenvaneengeslotenvraagiseenminuutmeestalvoldoende.Hiervoorzagenwedat,afhankelijkvandevraagstelling,hetbeantwoordenvanopenvragenvaakveelmeertijdkost.Ditheeftnadeligegevolgenvoorhetaantalvragendat,gegevendebeschikbaretoetstijd,gesteldkanworden.

• Hetbeoordelenvandeantwoordenopopenvrageniszeerarbeidsintensief.

7.4 Constructieregels voor open vragen

Eenaantalproblemenmetopenvragenkunnenwordenvoorkomenindiendeconstructeurvandevragenzichhoudtaaneenaantalregels.

Regel 1: Formuleer bij open vragen eerst het modelantwoord en vervolgens de vraagEenvraagkanuiteenlopendeantwoordenuitlokkendiestukvoorstukteverdedigenzijn.

Ditkomtomdatdeantwoordenterugzijntevoerenopuiteenlopendeinterpretatiesvandevraag.Hetprobleemwordtvoorkomendoorandersomtewerktegaan.Formuleereersthetwenselijkeantwoord,hetzogenoemdemodelantwoord,endanpasdebijbehorendevraag.

Bedenkeenredenwaaromeenpolitiemanofvrouwdiezijnofhaarwerkdoet,tochvoor eenrechtermoetkunnenverklarenwaaromhijofzijgeweldheeftgebruikt.

Regel 2: Voeg zo nodig antwoordrestricties aan de vraag toeEenanderprobleemdatzichvoordoet,isdatleerlingeninhunantwoorduitvoerigerdanwelbeknopterzijndandedocentverwacht.Ditgebeurtvooralbijvragenwaarbijdedocentgeenofonvoldoendeantwoordrestrictiesvoordeleerlingenheeftgeformuleerd,zoalshoeveelvoorbeeldenmoetenerwordengegeven,uithoeveelwoordenhetantwoordmaximaalmagbestaan,enz.

Erzijnmeerdereredenenomalcoholofdrugstegaangebruiken.Noemerenkele.

Regel 3: Geef bij iedere toets(deel)vraag aan hoeveel punten kunnen worden behaaldLeerlingenzijnnietaltijdinstaateeninschattingtemakenvanhetrelatievebelangvandevraagrespectievelijkdevraagonderdelen.Hierdoorkomthetvoordatleerlingenaanbepaaldetoetsvragenofvraagonderdelendieslechtseenbeperktaantalscorepuntenopleveren,relatiefveeltijdbesteden.

Regel 4: Ontwikkel open vragen samen met collega’s Bijhetformulerenvaneenopenvraagrealiserendocentenzichnietaltijddatleerlingeneenbepaaldemaniervanlezenhebben.Zodoendezijndocentenzichnietbewustvandeveleinterpretatiesdiemogelijkzijn.

Hetvolgende,aandeexamenpraktijkontleendevoorbeeld,isinditverbandillustratief. Devraagluidde:

WaarombepaalthetKNMIelkuurdetemperatuuropeengrootaantalmeetpunten?

Bijdecorrectievandezevraagsignaleerdendocentenverschillendeantwoorden.Dieantwoordenblekenafhankelijktezijnvandewijzewaaropleerlingendevraaghaddengelezen:

• Nadrukopwaarom:datlevertnuttigeinformatieopvoorboerenentuinders.• NadrukopKNMI:datbehoorttotdetakenvandatinstituut.• Nadrukopelkuur:datleverteengroterebetrouwbaarheidvandemetingopinvergelijking

meteenkleineraantalmeetmomenten.• Nadrukoptemperatuur:voorhetdoenvaneengoedeweersvoorspellingzijntemperatuur-

gegevensonmisbaar.• Nadrukopeengrootaantalmeetpunten:temperaturenkunnenvanplaatstotplaatsnogal

verschillen.

Hetprobleemmetdezevraaghadwaarschijnlijkvoorkomenkunnenwordendoordevraagtelatenbeoordelenenbeantwoordendoorverschillendedeskundigen/docenten,ookdocentenvanbuitenhetvakgebied.Hetissteedsweerverrassendomtezienhoeverschillendedeskundigen/docentendevraaginterpreteren.Laatdocentendevragenbeantwoordenzonderdatzijbeschikkenovereenmodelantwoord.Verzamelhunantwoordeneneventueleop-enaanmerkingen.Gebruikdezeinformatieomdevraagenhetantwoordbijtestellen.

Regel 5: Splits de vraag op in een informatiegedeelte en een vraaggedeelteHetprobleemhiervoorhadookvoorkomenkunnenwordendoordevraagtesplitsenineeninformatiegedeelteeneenvraaggedeelte.

ZozoudeKNMI-vraagalsvolgtkunnenwordenopgesplitst:

HetKNMIbepaaltelkuurdetemperatuurvaneengrootaantalmeetpunten. a Geeféénredenwaaromdatelkuurgebeurt. b Geeféénredenwaaromdatopeengrootaantalmeetpuntengebeurt.

Regel 6: Hanteer concrete opdrachten en vragen en vermijd formuleringen die het gewenste antwoord niet oproepenSommigevraagformuleringenleidentotongewenstedanwelontwijkendeantwoordenomdatzeonduidelijkeantwoordinstructiesbevatteneneenconcreteopdrachtontbreekt.

Voorbeeldenvandergelijkeformuleringenzijn:

‘Probeereensuitteleggenwaarom…’ Devraagsuggereerteenpogingmaarhetgaatomdeuitleg.

‘Kunjeaangevenopwelkemanier…’ Devraagsuggereertdatdeleerlingenietskunnenaangevenmaarhetgaateromof

leerlingendemanieraangeven.

‘Zaldemaatregelleidentoteenstijgingofeendaling…’ Leerlingenvolstaanmethetantwoord‘ja’omdatbeideontwikkelingenimmers

mogelijkzijn.

Regel 7: Kom tot afspraken voor wat betreft vraagformuleringen: gebruik een beperkt aantal vraagformuleringen en geef aan vraagformuleringen steeds eenzelfde betekenisIndepraktijkwordenvoorhetzelfdetypeopenvragenverschillendeformuleringengebruikt.Dezeverschillendeformuleringenkunnenbijleerlingeneen,nietbeoogd,verschillendantwoordgedragoproepen.Enerkunnenzichproblemenvoordoenalsbepaaldeformuleringennietsteedsconsequentgebruiktworden.Ookisuitonderzoekgeblekendatnietalleformuleringenhetgewenstegedragvanleerlingendaadwerkelijkoproepen.

Voorleerlingenishetprettigalszijbijeenbepaaldeopdracht-ofvraagvormbijallevakkeneenzelfdesoortantwoordmoetengeven.Hetisdaaromgoedtekomentoteengemeenschappelijkelijstvanvraagformuleringen.Doorhethanterenvaneendergelijkelijstontstaatervoordeleerlingenduidelijkheidoverhetpervraagvereisteantwoord.Alsvoorbeeldvaneendergelijkeafspraakgevenwehiernahetoverzichtvanformuleringendatbijdecentraleexamensvmbo,havoenvwowordtgebruikt:

Standaardformuleringen voor kort-antwoord vragen

Formulering Toelichting en/of voorbeeld

Noem/schrijf

Tegebruikenbijeenvraagnaarietsconcreetszoalstermijn,plaats,gebeurtenis,kenmerk,aspect.

Voorbeeld:

• Noemtweegasvormigeafvalproductenvanelektriciteitscentralesdie,zondertegenmaatregelen,de

voornaamstebijdrageleverenaandeverzuringvanhetmilieu.

Geef(aan) Ditkaneenkort-oflang-antwoordvraagzijn,moetdusnadergespecificeerdworden.Alskort-

antwoordvraagtegebruikenvoorconcretezaken.

Voorbeeld:

• Geefdeformulevandeprijselasticiteitvandevraag.

• Geeféénvoorbeeldvaneenwinkelketendieaan…voldoet.

• Geefaanofdevolgendebeweringenjuistzijnofonjuist.

Hoe Tegebruikenbijkwantitatievevragenenvragennaarconcretezakenofverschijnselen.

Voorbeeld:

•Hoeveel%vandepakkenzalminderdan1kgbevatten?

• Hoegrootisdeafstandvan…naar…?

• Hoevaak…?

• Hoelangduurt…?

•Ineenwinkelwordenschappenopdrieverschillendehoogtenonderscheiden.Bukhoogteen

grijphoogtezijnertweevan.Hoeheetdederdehoogte?

Wie Tegebruikenbijreproductie-ofidentificatievragen.

Voorbeeld:

• Wieheefthetbuskruituitgevonden?

Wat • WatisdebetekenisvandeafkortingAIVD?Of:WaarvanisAIVDeenafkorting?

• Watwordtverstaanonderarbeidsproductiviteit?

Waar Tegebruikenbijeenconcreteplaatsaanduiding.

Voorbeeld:

• Waarheeft…plaatsgevonden?

Welke Tegebruikenbijeenvraagnaareenconcreetobjectofconcretecategorie.

Voorbeeld:

• Welkedriemuziekinstrumentenhoorjeachtereenvolgens?

• InwelkevierdelenvanNederlandisvolgensdekaartdevervuilingdoorammoniakuitstoothet

grootst?

• Voorwelkewaardevan…geldt…?

Wanneer • WanneervonddeTweedeWereldoorlogplaats?

Arceer • Arceerophetuitwerkbladhetgebieddatonderwaterlooptalsdedijkdoorbreekt.

Journaliseer Tegebruikenvoorhetdebiterenencrediterenvanbedrageningrootboekrekeningen.

Voorbeeld:

• XenYbrengenhunzakenbijeenineenVOF.JournaliseerdeinbrengvanX.

Citeer • Citeerheteersteenlaatstewoordvandezinwaarindatstaat.

Standaardformuleringen voor lang-antwoord vragen

Geef(aan) Kankort-oflang-antwoordvraagzijn,moetdusnadergespecificeerdworden.

Alslang-antwoordvraagtegebruikenbijeenvraagnaarietsabstractszoalsreden

ofoorzaak(dusniet:waarom…).

Voorbeeld:

• Geefdeoorzaakvoorhetontstaanvanconjuncturelewerkloosheid.

• Geefeenverklaringvoorhetontstaanvan….

Geefdeberekening

Bijdezevraagmoetookdeberekeningzelfgegevenenbeoordeeldworden.

Voorbeeld:

• Geefdeberekeningvandetotaleconstantekostenperjaar.

Laatmeteen

berekeningzien

Tegebruikenwanneerdeuitkomstvandeberekeningalindevraagstaataangegeven.

Voorbeeld:

• Laatmeteenberekeningziendatdeprijs€10,25is.

Stelop/samen Tegebruikenbijhetopstellenvanvergelijkingen.

Voorbeeld:

• Steldebalanssamen.

Leidaf Tegebruikenomopbasisvanverstrektegegevenshetgevraagdeafteleiden.

Voorbeeld:

• Leiduithetmodeldehoogtevanhetnationaleinkomenafwaarbijsprakeisvan

inkomensevenwicht.

Onderzoek Tegebruikenvoorhetonderzoekenvaneenserieeigenschappenvaneenfunctieofvoor

beweringen,o.a.indestatistiek.

Voorbeeld:

• Onderzoekofdesteekproefgrootgenoegisomdevereistenauwkeurigheidtebereiken.

Bewijs Tegebruikenwanneeropdeductievewijzebewezenmoetwordendateenbeweringwaaris

doordezeteherleidentotdefinities,stellingenofaxioma’s.

Voorbeeld:

• Bewijsdatdesteekproefgrootgenoegisomdevereistenauwkeurigheidtebereiken.

Toonaan Tegebruikenwanneereenbeweringaannemelijkmoetwordengemaaktzonderdeductieve

redenering.

Voorbeeld:

• Gegevenis….Toonaandatbijhetinkomensevenwichtsprakeisvaneentekortopde

overheidsbegroting.

Leguit(waarom) Tegebruikenwanneereenredeneringofargumentatiegegevenmoetwordendieuitenkele

afzonderlijkedenkstappenbestaat.

Voorbeeld:

• Leguitwaaromhetvoorsommigebedrijveneconomischgezienvoordeligkanzijnomafval

opnieuwtegebruiken.

Zie vervolg tabel op volgende pagina.

Beschrijf Bij‘beschrijf’moeteenantwoordrestrictiewordenopgenomen.Inhetvolgendevoorbeeldis

deantwoordrestrictie:‘ineengesloteneconomiezonderoverheid’.

Voorbeeld:

• Beschrijfdewerkingvandemultiplierineengesloteneconomiezonderoverheid.

Beredeneer

Beargumenteer

Beoordeel/geefeen

beoordeling

Vatsamen

Geefeenverklaring

DezestandaardformuleringenkomenvoorindeexamensNederlands,enwordenvaak

gevolgddooreenaanwijzingoverdelengtevanhetantwoord.

Voorbeeld:

• Beredeneerdatvoorlichtingoverdegevarenvanrokeneenaverechtseffectkanhebben.

Gebruikmaximaal40woorden.

• Deschrijvervanfragment2maakteenverwijtnaardeschrijvervanfragment1.

Beoordeelofditverwijtterechtofnietterechtis.Geefbijjestandpuntéénopdetekst

gebaseerdargument.

• MaakeensamenvattingincorrectNederlandsvanmaximaal180woordenvandetekst…

Zorgervoordatdezesamenvattingbegrijpelijkisvooriemanddiedeoorspronkelijketekst

nietkent.

Regel 8: Formuleer de vraag zodanig dat leerlingen de vraag taalkundig begrijpen. Laat de conceptvragen zo nodig beoordelen door ter zake deskundigen.Indepraktijkiserineenaantalgevallensprakevangeringeretoetsprestatiesvanallochtoneenvrouwelijkeleerlingen.Uitonderzoekisgeblekendatsommigeopgavenmoeilijkerwarenvoorallochtonedanvoorautochtoneleerlingen.Ditalsgevolgvanhunanderecultureleenlinguïstischeachtergrond.Ookbleekdatsommigeopgavenmoeilijkerwarenvoormeisjesdanvoorjongensalsgevolgvanhunandereinteressesenachtergrondkennis.Hetverschijnseldateenverschilinmoeilijkheidsgraadvaneenopgavevoorverschillendegroepenleerlingenveroorzaaktwordtdooraspectenvandeopgavedienietrelevantzijnvoorwatdeopgavebeoogttemeten,wordtindetestliteratuur‘itembias’genoemd.ZiedewebsitevanCitowaaroverditonderwerpeenpublicatievanK.BügelenP.F.Sanders(1998)kanwordengedownload,getiteld‘Richtlijnenvoordeontwikkelingvanonpartijdigetoetsen’,www.cito.nl>Onderzoekenwetenschap>Psychometrie>Richtlijnenontwikkelingtoetsen.

Allochtoneleerlingenofleerlingendienietergtaalvaardigzijn,mogennietbenadeeldwordendooronnodigcomplexofaltezeercultuurgebondentaalgebruikineentoets.Menmoetzicheraltijdbewustvanzijndateronbedoeldeenongewenstecultureleaspectengetoetstkunnenworden.Datgevaardreigtvooralalsermeerderecultureninhetspelzijn.Toetsconstructeursmoetenvoorkomendatleerlingenfoutenmakendiehetgevolgzijnvantemoeilijkoftevaagtaalgebruik.Cultuurgebondenverwijzingen,(te)langezinnenenteksten,figuurlijktaalgebruikenhetgebruikvanverwijswoordenleverenbijmindertaalvaardigeleerlingenproblemenop.Hettaalgebruikmoetechterookweernietzoversimpeldwordendathetinhoudelijkeniveauvaneentoetsofexamenomlaaggaat.

Regel 9: Gebruik contexten die aansluiten op het algemene niveau dat van de leerlingen verwacht mag worden. Let daarbij in het bijzonder op de aansluiting van het materiaal bij de voorkennis en het taalniveau van de doelgroep. Gebruik geen contexten en voorbeelden die overwegend inspelen op de belangstelling en ervaring van bepaalde groepen leerlingen.Bijveelopenvragenwordendevragengesteldnaaraanleidingvaneencontext,bijvoorbeeldeensituatie,eentekst,afbeelding,cartoon,tekeningofadvertentie.Voordecontextgeldtdatdezefunctioneelmoetzijnmetbetrekkingtotwatwewillentoetsen.Ookmoetdecontext(binnengrafischebeperkingen)inhoudelijkenquavormgevingovereenkomenmettekstenen

afbeeldingenzoalsmendezeinwerkelijkheidtegenkomt.Hetmagnietzozijndatdeleerlingenzonderzichindecontextteverdiependevraagkunnenmaken.Ookdientvoorkomentewordendatdecontextofhetvoorbeeldoverwegendaansluitenbijdevoorkennisvaneenbepaaldegroepleerlingen,bijvoorbeelduitsluitendbijvrouwenofmannen.Wanneertoetsvragenoverwegendaansluitenbijdevoorkennis,ervaringenbelangstellingvansteedsdezelfdegroepleerlingen,wordtdezegroepbevoordeeldtenopzichtevananderegroepenleerlingen.

7.5 Verschillen bij de beoordeling van open vragen

Bijopenvragenwordteenzoobjectiefmogelijkebeoordelingnagestreefd.Hetisbelangrijkdatbeoordelaarsdeantwoordenvandeleerlingenzonauwkeurigmogelijkensteedsopgelijkewijzebeoordelen.Datverhoogtdebetrouwbaarheidvandetoets(ziehoofdstuk3).Uitdiverseonderzoekenblijktdaterindepraktijkgroteverschillenbestaantussendewijzewaaropdeantwoordenvanleerlingenoptoetsvragenwordenbeoordeeld.Debelangrijksteoorzakenvoordieverschillen,dezogehetenbeoordelaarseffecten,wordeninonderstaandeparagraafbesproken.Oplossingenomdezeverschillenteverminderenenhetgebruikvanhetcorrectie-voorschriftwordendaarnabesproken.

7.5.1 Verschillen tussen beoordelaarsWebesprekenhiernegenbeoordelaarseffectenbijdebeoordelingvanopenvragen.

Lage intra- en interbeoordelaarsovereenstemmingDebeoordelaardiehetzelfdeantwoordopeenlatertijdstipopnieuwbeoordeelt,bijvoorbeeldomdatleerlingenhebbengeprotesteerdtegendeuitslag,komtnogaleenstoteenanderoordeel.Wesprekendanvaneengeringeintrabeoordelaarsovereenstemming.Vaneengeringeinterbeoordelaarsovereenstemmingissprakeindientweeofmeerbeoordelaarsonafhankelijkvanelkaartotaanzienlijkverschillendebeoordelingenvandezelfdetoetsvragenkomen(zieookhoofdstuk3). Strengheid en mildheidHiermeebedoelenwedeneigingvanbeoordelaarsomconsequentstrengofmildtebeoordelen.

NormverschuivingMetnormverschuivingbedoelenwedeneigingvandebeoordelaaromdebeoordelingenaantepassenaanhetgemiddeldeniveauvandegroepleerlingen.Zokanhetvoorkomendateenaanvankelijkstrengebeoordelaartijdenshetbeoordelengaandewegmilderwordt.

Centrale tendentie Hiervanissprakealsbeoordelaarsgeenextreemhogeoflagescoresgevenmaarvoornamelijkhetmiddenvandebeoordelingsschaalgebruiken.Zogevensommigedocentennooitcijfershogerdan8oflagerdan4.

Sequentie-effectHiervanissprakealsdebeoordelingbeïnvloedwordtdoorvoorafgaandebeoordelingen.Beoordelaarshebbendeneigingomnaeen(groot)aantalslechteprestatieseenrelatiefgoedeprestatieovertewaarderen.Hetomgekeerde,naeen(groot)aantalgoedeprestatieseenrelatiefslechteprestatieonderwaarderen,komtookvoor.

Contaminatie-effectIndienbeoordelaarsaandebeoordelingenvandeleerlingennoganderefunctiestoekennendanlouterdebeoordelingvandeprestatiesvandeleerlingen,sprekenwevanhetcontaminatie-effect.Zokunnendocentenderesultatenvan‘hun’leerlingenbeschouwenalseenmaatstafvoordekwaliteitvanhunonderwijsenhierbijhetgevenvanscoresrekeningmeehouden.

Halo-effectHiermeebedoelenwedeneigingvanbeoordelaarsomalsgevolgvaneenpositievebeoordelingvaneerderevragen/toetsenvanleerlingen,ookanderevragen/toetsenvandieleerlingenpositieftebeoordelen.

Horn-effectHiermeebedoelenwedeneigingvanbeoordelaarsomalsgevolgvaneennegatievebeoordelingvaneerderevragen/toetsenvanleerlingen,ookanderevragen/toetsenvandieleerlingennegatieftebeoordelen.

Signifisch effectHiervanissprakealsbeoordelaarsdebeoordelaarstaakeigenzinnig,datwilzeggenandersdananderebeoordelaars,opvattenZokaneendocentdiebijdebeoordelingvaneenopsteluitsluitendopinhoudenopbouwleteenopsteldaardoorveelhogerwaarderendananderedocentendieookandereaspectenvanhetopstelbeoordelen.

7.5.2 Oplossingen voor beoordelaarseffecten Hetiseenutopietegelovendatdesituatiezoukunnenontstaandatbeoordelaarsvolledigmetelkaarovereenstemmen.Tegendeongewenstebeoordelaarseffectenzijnechtereenaantaloplossingenvoorhandendiedeeffectenenigszinstenietkunnendoen:

• Omnormverschuivingtevoorkomen,moetnietsteedshetwerkvandezelfdeleerlingenalseerstenagekekenworden.Aanbevolenwordtomdevolgordevanbeoordelenregelmatigtewijzigen.

• Hetsequentie-effectkanbeperktwordendoorpervraaginplaatsvanperleerlingdeantwoordenvandeleerlingentebeoordelen.

• Hetcontaminatie-effectismoeilijkoplosbaarzolangergeenscheidingisaangebrachttussendocerenenbeoordelen.Intercollegiaaluitwisselenvanbeoordelingsactiviteiten,docentAbeoordeeltdetoetsvanleerlingenvandocentB,enandersom,biedteenoplossing.

• Hethalo-effectkanbeperktwordendoordetoetsanoniemnatekijken.Aanleerlingenwordtgevraagdomniethunnaamopdetoetstezettenmaarhunidentificatienummer.Hethalo-effectkaneveneenswordengematigddoorhetinschakelenvaneenonafhankelijketweedebeoordelaar.Eentweedebeoordelaarbeperktookhetcontaminatie-effect.Indieninplaatsvandeeigendocenteenbuitenstaanderalsbeoordelaaroptreedt,doenbeidegenoemdeeffectenzichnietvoor.Hetinzettenvaneentweedebeoordelaarzaldebeoordelingnietalleenduurdermakenmaarooklangerlatenduren.Ofeentweededanwelonafhankelijkebeoordelingechtnodigis,hangtafvandefunctievandetoets.Debetrouwbaarheidvansummatievetoetsenopgrondwaarvanwordtbepaaldofeenleerlingslaagtofzakt,danwelofeenleerlingwelofnietwordttoegelatentoteenvervolgstudie,moetuiteraardhogerzijndandievanformatievetoetsen.Dusvooralbijtoetsenwaarvandeuitslagvergaandegevolgenheeftvoordeleerling,iseenbetrouwbareuitspraakovereenvoldoendeofonvoldoendevangrootbelang.Hetisdaaromaantebevelenomdetoetsvanleerlingenmeteen toetsscore rond de zak/slaaggrensdooreentweedebeoordelaartelatennakijken.

7.5.3 CorrectievoorschriftWanneerbeoordelaarseencorrectievoorschrifthanteren,verkleintdatdeverschillentussenbeoordelaars.Eencorrectievoorschriftleidtertoedat(extreem)strengeen(extreem)mildebeoordelaarszichmatigen.Hetgebruikvaneendergelijkvoorschriftvoorkomtookdatdocentenverschillendecriteriahanterenbijdebeoordeling.

Eencorrectievoorschriftismeerdaneeneenvoudigechecklistaandehandwaarvandebeoordelaardeantwoordennaloopt.Eencorrectievoorschriftbevatalgemeneenvakspecifiekeregelsvoordebeoordelingenvoorbeeldenvanjuiste,gedeeltelijkjuisteen(voordehandliggende)onjuisteantwoorden.Ookbevathetmodelantwoorddemaximaaltebehalenscorepervraagen(waarzinvolenmogelijk)deverdelingvandezemaximumscoresindeelscores. Dealgemeneregelsgaaninopdewijzevanbeoordelenenhoedebeoordelaarmoetomgaanmetgedeeltelijkjuisteantwoordenenantwoordendienietinhetmodelantwoordvoorkomen,zoalsdoorwerkendefouten(d.w.z.eeneerdergemaaktefoutdiederestvanhetantwoordookfoutmaakt),identiekefoutenentaalfouten.Daarnaastkunnendealgemeneregelsenkeletipsbevattendiebeoordelaarseffectentegengaan.

7.6 Checklist

Wesluitendithoofdstukafmeteenchecklistdiegebruiktkanwordenbijdecontrolevanvragen.Diecontrolekangedaanwordendoordesamenstellervandetoetsofdooreencollegadiedetoetsscreent.Demeestevandegenoemdepuntenzijnookalbijhetonderdeeloverdeconstructieregelsbesproken.

Checklist voor het samenstellen, beoordelen en redigeren van open vragen

Taalgebruik• Isdevraaggrammaticaaljuistgeformuleerd?• Bevatdevraagingewikkeldezinsconstructies?• Bevatdevraageendubbeleontkenning?• Bevatdevraagonnodigetussenvoegsels?• Isdevraagonnodignegatiefgesteld?• Kandeformuleringvandevraagaanleidinggeventotmisverstanden?• Kandevraagdooreenverschuivingvandeklemtooneenanderebetekeniskrijgen?

Informatie• Bevatdevraagvoldoendeinformatievoorbeantwoording?• Geeftdevraagvoldoendeinformatieoverdegewenstelengteenvormvanhet

antwoord?• Isduidelijkdateenantwoordmoetwordenverklaard/toegelicht?• Zijninformatieenprobleemstellingduidelijkgescheiden?

Relevantie• Kandevraagmetgebruikvananderedandebeoogdekenniswordenbeantwoord?• Suggereertdevraageenprobleemdatnietaandeordeis?• Bevatdevraagonbedoeldehintsvoordebeantwoording?• Isdemoeilijkheidsgraadvandevraagrespectievelijkvandegeheletoetsacceptabel?• Wordtdemoeilijkheidsgraadvandevraagonnodigverhoogddoorirrelevante

gegevens?

Context• Ishetgebruikvancontext(tekeningen,grafieken,teksten,afbeeldingen)functioneel?• Isdecontextduidelijkencorrectweergegeven?• Bevatdecontextirrelevanteinformatie?

Presentatie• Zijndevragenendevraagonderdelenduidelijkvanelkaarteonderscheiden?• Isdenummeringvandevragenlogischenoverzichtelijk?• Zijndeconventieswatbetreftspelling,symboolgebruik,interpunctie,e.d.inacht

genomen?• Zijndeverwijzingenindevraagnaarteksten,tekeningen,e.d.juist?

et construeren van praktijktoetsen

8 Het construeren van praktijktoetsen

8 Hetconstruerenvanpraktijk-toetsen

Hans Kuhlemeier

Een praktijktoetsiseentoetswaarvandeopdrachteneenminofmeernatuurgetrouweweerspiegelingvormenvantakenofproblemenuithetdagelijkslevenofdelatereberoeps-praktijk.Overhetalgemeendoeteenpraktijktoetseenberoepoppraktischhandelen.Praktijktoetsenzijnvooralbruikbaarvoorhetvaststellenvancompetenties.Zestellendocenteninstaatomdekennis,vaardighedenenhoudingenvandeleerlingengeïntegreerdtetoetsen.Praktijktoetsendoeneensterkberoepopdebeoordelingsdeskundigheidvandedocent. Dehandelingenenproductenvandeleerlingenzijnmeestalnietobjectiefscoorbaar,maarmoetengeobserveerdenbeoordeeldworden.Daardoorisdekansgrootdatleerlingenmeteenvergelijkbareprestatiegeheelverschillendebeoordelingenkrijgenofdatverschillendedocentenaaneenzelfdeprestatieeenverschillendescoretoekennen.Metdeopkomstvancompetentie-gerichttoetsenheeftookdebeoordelingsschaalzijnintredegedaaninhetonderwijs. Eenbeoordelingsschaalisvaakhetmeestgeëigendemiddelomtoteenobjectievebeoordelingvaneencompetentietekomen.

Watdekenmerkenvanpraktijktoetsenzijn,besprekenweinparagraaf8.1.Hetontwikkelenvanpraktijktoetsenishetonderwerpvanparagraaf8.2eninparagraaf8.3besprekenwehetontwikkelenvanbeoordelingsschalen.Hethoofdstukbeoogtpraktischehandvatenaantereikendiebeginnendeenpraktiserendedocenteninstaatstellendecompetentiesvanleerlingenbetertebeoordelen.

8.1 Wat is een praktijktoets?

Erbestaanverschillendemeningenoverwatnupreciesondereenpraktijktoetsmoetwordenverstaan(Engels:performancetestofcompetence-basedtest).Ookinhetonderwijswordthetbegrippraktijktoetsopverschillendemanierengebruikt.Eenpraktijktoetswordtvaakomschrevendooraantegevenwathetnietis.Eenpraktijktoetsisgeenschriftelijketoetsmetmeerkeuzevragen.Enhetisookgeentoetsdiedeleerlingenvooreenprobleemsteltwaarvoormaarééngoedeoplossingbestaat.Watiseenpraktijktoetsdanwel?Alsmeneengrootaantalvoorbeeldenvanpraktijktoetsenbekijkt,blijkendezeeenaantalkenmerkengemeenschappelijktehebben.Dezeparagraafbegintmeteenbesprekingvandekenmerkenvaneenpraktijktoets,gevolgddooreenvoorbeeldvaneenpraktijktoets,eneindigtmetoverwegingenomalofnietvooreenpraktijktoetstekiezen.

8.1.1 Kenmerken van een praktijktoetsDertienkenmerkendieeenpraktijktoetsinmeerofminderematekanbezitten.

Open vraag- of probleemstellingKenmerkendvooreenpraktijktoetsisdeopenheidvandevraag-ofprobleemstelling.Erzijnmeergoedeantwoordenofoplossingenmogelijk.Deleerlingenmoetenzelfietsbedenken,ontwerpen,onderzoekenofpresentereninplaatsvanhet(meest)juisteantwoordtekiezenuit

127 Het construeren van praktijktoetsen < Inhoud Index >

eenaantalaangebodenalternatieven.Hetuitbeeldenvaneenmuzikaalfragmentdoormiddelvanbewegingofdansishiervaneentreffendvoorbeeld.

Authentiek Devraag-enprobleemstellingzijnrealistischenauthentiek.Deopdrachtenineenpraktijktoetshebbeneengroteovereenkomstmettakenofproblemeninhetalledaagselevenofdelatereberoepspraktijk.Ookdecriteriawaaraandeprestatievandeleerlingmoetvoldoen,kunnenauthentiekzijnindezindatzegelijkenisvertonenmetdeeisendieookgeldeninalledaagsesituatiesenindewereldvanarbeidenberoep.EenbekendvoorbeeldvaneenauthentiekepraktijktoetsishetrijexamenvanhetCentraalBureauRijvaardigheidsbewijzen(CBR).

Integraal onderdeel van het leerprocesEenpraktijktoetsisvaakeenintegraalonderdeelvanhetonderwijsleerproces.Detoetsiserdannietalleenomwillevandetoetsing,maarookomdeleerlingenwaardevolleleerervaringenoptelatendoen.Schriftelijketoetsenenproefwerkenwordenmeestalafgenomenterafsluitingvaneenserielessen.Ineenpraktijktoetsvormeninstructie,oefeningentoetsingechterééngeheel.Eenpraktijktoetsismeerdanalleenmaareenmiddelomdeprestatiesvandeleerlingenvasttestellen.Tijdensdetoetsingkunnenleerlingeneenschataanleerervaringenopdoendiebijdragenaanhetbereikenvanleerdoelen.

Langere toetsduur Eenschriftelijketoetsofproefwerkneemthooguitéénoftweelesureninbeslag.Hetbeantwoordenvaneenmeerkeuzevraagkostmeestalnietmeerdanéénminuut.Eenpraktijk-toetsduurtvaakmeerdanéénlesuur.Hetmakenvandeopdrachtenkanzichzelfsuitstrekkenovereenperiodevanmeerderewekentotzelfsmaanden.Leerlingenkrijgendaarbijvoldoendetijdomhunwerkteplannen,uittevoeren,verschillendebronnenteraadplegen,zichzelfteevaluerenenhunwerktereviseren.Eenbekendvoorbeeldvaneenpraktijktoetsishetzogehetenbeoordelingsportfolio.Datbevatondermeereenverzamelingvanhet(beste)werkvaneenleerlingovereenlangereperiode.Hiermeelaatdeleerlingzienhoecompetenthijofzijisenhoedekennis,vaardighedenenhoudingenzichindeloopvandetijdhebbenontwikkeld.Vaakbevateenportfolioookinformatieoverdeinzetvandeleerling.Voorbeeldenvanportfolio’szijndemapmettekeningenzoalswedieuithetkunstonderwijskennenenhetEuropeestaalportfoliovooropleidingenenbedrijven,ziewww.europeestaalportfolio.nl.

Complexe vaardighedenEenpraktijktoetsdoetvaakeenberoepopcomplexevaardighedendiehogeredenkprocessenvereisen.Daarbijverbindtdeleerlingeerderopgedanekennis,persoonlijkeervaringeneninteressesmetnieuweinformatie.Hiervankansprakezijnalseenleerlingietsontwerpt,eenprobleemoplost,eenonderzoekdoet,samenwerktofietspresenteert.Praktijktoetsenvormenhetmiddelbijuitstekomzogehetenhogereordevaardighedentetoetsen,zoalskritischdenken,problemenoplossenenICTkunnentoepassen.

Integratie van vakken of vaardighedenPraktijktoetsendoenvaakeenberoepopkennisenvaardighedenuitverschillendevakken. Ookmoetenleerlingendikwijlseenaantalvaardighedeninonderlingesamenhangtoepassen.Bijdetoetsingvanonderzoeksvaardighedenmoeteenleerlingbijvoorbeeldnietalleeneenaantaldeelvaardighedenineenbepaaldevolgordekunnenuitvoerenzoalseenonderzoeksvraagformuleren,eenhypotheseopstellen,eenonderzoeksopzetmaken,eenexperimentuitvoeren,observeren,conclusiestrekkenuitobservatieseneenverslagmaken.Deleerlingmoetaldezedeelvaardighedenookalseensamenhangendeactiviteitkunnentoepassen.Onderzoekdoenverondersteltoverigensnietalleenbeheersingenintegratievanvaardigheden.Deleerlingmoetookeenzekerematevannieuwsgierigheideneenpositieveonderzoekshoudingbezitten.

Praktisch handelenDeuitvoeringvaneenpraktijktoetsvereistpraktischhandelen.Deleerlingen‘stekendehandenuitdemouwen’.Demanueleofmotorischecomponentisdaarbijessentieel.Aldoendeleertmenimmersvaakhetbest.Eenvoorbeeldvaneenechtepraktijktoetsishetmetselenvaneenbloembakwaarbijdeleerlingineenwerkplanningeenaantalwerkzaamhedenindejuistevolgordezet,debloembakopeenschaalvan1:10tekent,hetaantalbenodigdestenen,dehoeveelheidspecieendekostenberekent,preciesaangeeftopwelkeplaatsdeprofielenmoetenwordengeplaatst,samenmeteenklasgenooteengedeeltevandebloembakmetselt,eennacalculatiemaakteneenfotovanhetwerkstukneemt.

Samenwerking tussen leerlingenPraktijktoetsenwordenvaakuitgevoerddoorgroepjesleerlingen.Leerlingenoefenendaarbijallerleisamenwerkingsvaardigheden,zoalsnaarelkaarluisteren,metelkaarrekeninghouden,sameneenplanningmakenentakenverdelen.Dekwaliteitvandesamenwerkingvormteenintegraalonderdeelvandebeoordeling.EenvoorbeeldvaneenpraktijktoetsdiesamenwerkingvereistishetEHBO-examenterverkrijgingvanhetdiplomaJeugdEersteHulpB,zie www.ehbo.nl.TotdegeëxamineerdestofbehoortbijvoorbeeldeenbewusteloosslachtofferindestabielezijliggingleggeneniemanddiezichversliktenkelestevigestotentussendeschouderbladengevenenalsdatniethelptdehandgreepvanHeimlichtoepassen.

Meerdere opdrachtenVooreenbetrouwbarevaststellingvaneenpraktischevaardigheidzijnmeestalmeerderemetingennoodzakelijk.Vandaardateenpraktijktoetsdoorgaansuiteenaantalopdrachtenbestaat(Engels:performancetask).Deopdrachtenkunnendeleerlingenmeerofmindervrijlateninhetbepalenvandewerkwijze,debenodigdematerialenengereedschappen,hetuiteindelijkeproducten/ofdeverwerkings-ofpresentatievorm.Hiermeekandetoetsingwordenafgestemdopdebelangstelling,hetvaardigheidsniveauofdefavorieteleerstijlvandeleerlingen.

Beoordelingscriteria vooraf bekendBijeenpraktijktoetswordendeeisenwaaraandeprestatiesvandeleerlingenmoetenvoldoenvóórdeafnamevandetoetsbekendgemaaktenmetdeleerlingenbesproken.Leerlingenlerennamelijkmeeralszijwetenwathetleerdoelis,alszijwetenwatvoorbeeldenvangoedeenslechteprestatieszijnenalszijwetenaanwelkeeisenhunprestatiemoetvoldoen.

Zelfreflectie en zelfevaluatiePraktijktoetsenstimulerendeleerlingentotzelfreflectieenzelfevaluatie.Deleerlingoefentmetacognitievevaardighedenzoalshetkritischbeschouwenvaneigenwerk,hetzichbewustwordenvandetoegepasteactiesofhandelingenenhetherzienvaneigenwerkopgrondvanandermanscommentaar.

Voortgang vaststellenNaasthetaanbrengenvanfeitenkennisenvaardighedenstimuleerthetonderwijsdeontwikkelingvanuniverseleenbreedtoepasbarevaardighedenzoalskritischdenken,problemenoplossen,onderzoekdoen,ontwerpenensamenwerken.Praktijktoetsenzijnuitermategeschiktomdeontwikkelingvanditsoortvaardighedenovereenlangereperiodeinbeeldtebrengen.

Subjectieve beoordelingPraktijktoetsenzijnsterkafhankelijkvanmenselijkeoordelen.Beoordelaarsofdocentenmoetendeantwoorden,oplossingen,handelingenenproductenvandeleerlingenbeoordelen. Ditbetekentspecialeaandachtvoordeobjectiviteitvandebeoordelingdoorduidelijke

beoordelingsvoorschriften,hetinzettenvanonafhankelijkebeoordelaarsenhetverhogenvandedeskundigheidvandebeoordelaars.Hetverhogenvandevakinhoudelijkeenbeoordelings-technischedeskundigheidkanondermeerplaatsvindendoormiddelvantraining,intervisieenexternebeoordeling.

8.1.2 Voorbeeld van een praktijktoetsDeessentiëlekenmerkenvaneenpraktijktoetskunnenwehetbestetoelichtendoortweevoorbeeldenmetelkaartevergelijken:eentraditionele,meerschoolsestelopdrachteneenzogehetenfunctionele,meerauthentiekestelopdracht.BeideopdrachtenzijnafkomstiguitdepraktijkvanhetvakNederlandsinhetvoortgezetonderwijs.

Voorbeeld 1

Traditionele stelopdrachtSchrijfeenopsteloverdezinofonzinvanhuiswerk.Jehebtpreciesveertigminutendetijd.Jetijdgaatnuin.Succes!

Voorbeeld 2

Functionele stelopdrachtSchrijfeenartikeloverdezinenonzinvanhuiswerkvoordeschoolkrant.Jekrijgttweewekendetijd.Eerstgajenaardebibliotheekenkijkjeopinternet.Hebjevoldoendeinformatieverzameld?Schrijfdanthuiseenruweversievanjeartikel.Vervolgensbespreekjejouwconceptmettweeandereleerlingenuitjouwklas. Opbasisvanhuncommentaarschrijfjeeendefinitieveversie.Debeoordelingsschaalbevatdeeisenwaaraanjouwartikelmoetvoldoen.

Devergelijkingvandetweeopdrachtenlaatziendatbeideonmiskenbaareenberoepdoenopdestelvaardigheidvandeleerlingendatbeideontegenzeggelijkvoorbeeldenvanpraktijktoetsingzijn.Immers,inbeidegevallenisdevraag-ofprobleemstellingopenenzijnerverschillendeuitwerkingenmogelijk.Daarnaastdoenbeideopdrachteneenberoepopeencomplexevaardigheidwaarvandedocentdebeheersingsubjectiefmoetbeoordelen.Erzijnechterookverschillendiemakendatdefunctionelestelopdrachtmeerkenmerkenvaneenpraktijktoetsbezitdandetraditionelestelopdracht.Debelangrijksteverschillenkunnenweaandehandvandevolgendezeskenmerkenalsvolgtomschrijven. AuthentiekDefunctionelestelopdrachtomvathetschrijvenvaneenlevensechtartikelvoordeschoolkrant,terwijldeleerlingbijdetraditionelestelopdrachteenschoolsopstelvoordedocentNederlandsschrijft.Daarnaastoefentdeleerlingbijdefunctionelestelopdrachtmeerstappenvanhetschrijfproces,zoalsplannen,informatieverzamelen,analyseren,schrijven,evaluerenenreviseren.Deschrijfactiviteitenvertonendaardooreengroteregelijkenismetdievanprofessioneleschrijverszoalsjournalisten.

Meer toetstijdVoordefunctionelestelopdrachtkrijgendeleerlingentweewekendetijd,terwijldatbijdetraditionelestelopdrachtslechtsveertigminutenis.Ditmaaktdetweedeopdrachttevensrealistischerenauthentiekerdandeeerste.

Integratie van vakken of vaardighedenDe traditionelestelopdrachtdoetinhoofdzaakeenberoepopschrijfvaardigheid,terwijldeleerlingindefunctionelestelopdrachtookanderevaardighedentoepast,zoalshetverwervenenverwerkenvaninformatie.Alvorensmetschrijventebeginnen,gaatdeleerlingimmerseerstnaardebibliotheekenverzameltinformatieophetinternet.

SamenwerkingDetraditionelestelopdrachtvoertdeleerlinggeheelzelfstandiguit,terwijldefunctioneleopdrachtgelegenheidbiedttotoverleg,intervisieensamenwerkingmetklasgenoten.

Criteria vooraf bekend Detraditionelestelopdrachtlaatdeleerlinginhetongewisseoverdeeisenwaaraanhetopstelmoetvoldoen.Bijdefunctionelestelopdrachtkrijgendeleerlingenechtereenbeoordelingsschaalaangereiktdieinformatieoverdebeoordelingscriteriabevat.Defunctionelestelopdrachtscheptdusvanafhetbeginduidelijkheidoverdekwaliteitseisenwaaraanhetschrijfproductmoetvoldoen.

Zelfreflectie en zelfevaluatieAndersdandetraditionelestelopdrachtstimuleertdefunctioneleopdrachthettoepassenvanmetacognitievevaardighedenzoalshetkritischbeschouwenvaneigenwerkenhetreviserenervanopgrondvanandermanscommentaar.

8.1.3 Wanneer een praktijktoets?Inhoofdstuk2zagenwedatonderwijsentoetsingopelkaarafgestemddienentezijn.Telkensstaatmenvoordeuitdagingompreciesdietoetsvormtekiezendiegegevendesituatiehetmeestgeschiktis.Elketoetsvormheeftzijnvoor-ennadelen.Nietiederetoetsvormisgeschiktvoorelktypedocent,elktypedoelstellingofvoorelktypeleerling.Hiernabesprekenwevieroverwegingendieeenrolspelenbijdekeuzevooreenpraktijktoets.

Visie op onderwijs en lerenVoorwelketoetsvormeendocentkiest,heeftdeelstemakenmetdiensvisieoponderwijsenleren.Tegenwoordigwetenwedatlerenmeerisdanhetsimpelwegontvangenvaninformatie.Deleerlingenmoetendieinformatieookzelfstandiginterpreterenenverbindenmetdekennisenvaardighedendiezijalhebben.Ookmoetenzijwetenwanneerenhoezijdezekennisenvaardighedenkunnentoepassenbijhetoplossenvanproblemen.Zietmenonderwijsvooralalshetoverdragenvankennis,danzalmenmeergeneigdzijnschriftelijketoetsenintezetten.Ismeneenvoorstandervanactief,zelfstandigenzelfverantwoordelijkleren,danliggenpraktijktoetsenmeervoordehand.

Doel van de toetsOfmenvooreenpraktijktoetsofeenschriftelijketoetskiest,hangtondermeerafvanhetdoelvandetoets.Schriftelijketoetsenwordenvaakgebruiktvoorresultaatbepaling.Naafloopvaneenserielessenwildedocentbijvoorbeelddeprestatiesvandeleerlingenmeteencijferwaarderen.Erkunnenbelangrijkebeslissingeninhetgedingzijn,metgroteconsequentiesvoordetoekomstvandeleerlingen.Denkbijvoorbeeldaanovergangsbeslissingenofaandetoewijzingvanleerlingenaanopleidingen,leerwegenofprofielen.Praktijktoetsenzijnbijuitstekbruikbaarvoorvoortgangscontroleenremediëring.Dedocentwildeleerlingenlatenzienwaarhunsterkepuntenliggenenhoezijdezwakkepuntenkunnenverbeteren. Daartoewordendeeisenwaaraanhetwerkmoetvoldoenvantevorenbekendgemaaktenmetdeleerlingenbesproken.Doorleerlingenzelfmetbeoordelingsschalentelatenwerken,krijgenzijfeedbackoverhoeverzijzijninvergelijkingmetdeverwachtingeneneisen.Debeoordelings-schalenbiedenmetanderewoordeneeninhoudelijkkaderomdevooruitgangvanhetlerente

volgen.Echter,ookvoorbeslissingenmetverregaandeconsequentiesvoordeleerlingenzijnpraktijktoetsenbruikbaar.

LeerdoelenDe toetsvormmoetpassenbijwatmenwilonderwijzen.Schriftelijketoetsenzijnhetmeestophunplaatsalsmenkennisvanfeiten,concepten,principes,proceduresendergelijkewiltoetsen.Zezijnvooralgeschiktvoorhetbevragenvandekennisvanafgebakendeleerstofonderdelen.Praktijktoetsenzijndaarentegenvooralbruikbaarvoorhetvaststellenvancompetenties,ditwilzeggenkennis,vaardighedenenhoudingen.

Beschikbare tijdDevoorbereiding,afnameenbeoordelingvaneenpraktijktoetskostendedocentdoorgaansmeertijddanbijeenschriftelijketoetshetgevalis.Hetzelfontwikkelenvanopdrachtenenbeoordelingsschaleniszelfszeerarbeidsintensief.Gebruikpraktijktoetsendaaromvooralvoorhetbeoordelenvancompetentiesdievanbelangzijnvoorhetlevenvanalledag,devervolg-opleidingofdelatereberoepspraktijk.

8.2 Het ontwikkelen van een praktijktoets

Hetontwikkelenvaneenpraktijktoetsisnieteenvoudig.Zedoeneensterkberoepopdeprofessionaliteitende(vrije)tijdvandedocent.Indezeparagraafbesprekenweenkelebelangrijkestappendiededocenteeneindopwegkunnenhelpen.Alvorensdattedoen,gaanweeerstnaderinopenkelekwaliteitseisenwaarpraktijktoetsenaanmoetenvoldoen.

8.2.1 Wat is een goede praktijktoets?Eengoedepraktijktoetsvoldoetaandeeisenwaaraantoetsenmoetenvoldoen.Dieeisenwordeninhoofdstuk10beschrevenenbesproken.Eenaantaleisenisinvoorgaandehoofdstukkenalaandeordegeweest.Deeersteeisisdathetduidelijkmoetzijnwathetdoelvandepraktijktoetsis(hoofdstuk1).Eenpraktijktoetsmoetookbetrouwbaar(hoofdstuk3)envalide(hoofdstuk4)zijn.Ookmoetdezak/slaagbeslissingonderbouwdzijn(hoofdstuk9).

8.2.2 Hoe ontwikkel je een praktijktoets? Indezeparagraafbeschrijvenwedeontwikkelingvaneenpraktijktoetsaandehandvanzesstappen.

specificatie

→ Toets-

specificatie

→ Opdrachten → Criteria → Beoordeling → Try-outen

revisie

Stap 1: DoelspecificatieDeeerstefasevanhetconstructieprocesbestaatuithetspecificerenvanwaaromenwatergetoetstgaatworden(zieookhoofdstuk1en2).

Waarom toetsen?Praktijktoetsenkunnenvoorverschillendedoelenwordeningezet(zieookhoofdstuk1).Voordedocentdiezelfeenpraktijktoetswilontwikkelenzijnsummatieveenformatieveevaluatiedebelangrijkstefuncties,ookwelresultaatbepalingenvoortgangscontrolegenoemd.Praktijktoetsenzijnuitstekendbruikbaarvoorresultaatbepaling.Zegevendaninzichtindekennis,vaardighedenenattitudenvanleerlingenaanheteindevaneenafgerond

onderwijsleerproces.Eenpraktijktoetskanechterookmeerzijndanalleenmaareenmiddelomdeprestatiesvandeleerlingenvasttestellen.Eenpraktijktoetsisvaakeenintegraalonderdeelvanhetonderwijsleerproces.Tijdenshetuitvoerenvaneenlangerepraktijktoetskunnenleerlingeneenschataanleerervaringenopdoenenzichbelangrijkeonderwijsdoeleneigenmaken.Praktijktoetsenzijnhiermeebijuitstekbruikbaarvoorvoortgangscontroleenremediëring.Zegevendocentenleerlingentussentijdseinformatieoverdeverworvenkennis,vaardighedenenattituden.Hetdoelisdeleerlingenaldoendetelatenzienwaarzijgoedenmindergoedinzijn,welkeonderdelenalbeheerstwordenenwelkenogniet,zodatzijhuntekortengerichtkunnenwegwerken.Samenkunnendocentenenleerlingenhiermeenagaaninhoeverreextrauitleg,oefeningofbegeleidingnodigzijn.

Wat toetsen?Eentweedeaandachtspuntindeontwikkelingvaneenpraktijktoetsishetspecificerenvanwatergetoetstgaatworden(zieookhoofdstuk2).Menkannietstoetsenalsernieteerstgoedisnagedachtoverwatmenpreciesmethetonderwijswilbereiken.Leerdoelenzijnmeestalvrijabstracteuitsprakenoverdeveranderingendiemenbijdeleerlingenwilbewerkstelligen.Zemoeteneerstconcreetgemaaktwordenalvorensbegonnenkanwordenmethetontwikkelenvanles-entoetsmateriaal.Hetiszaakleerdoelenzoteformulerendatduidelijkiswatdeleerlingenpreciesmoetenkennenenkunnen.

Stap 2: ToetsspecificatieNadatdoelendeinhoudvandepraktijktoetsduidelijkis,ishetzaakderandvoorwaardenvoordeafname,scoringenbeoordelingnadertespecificeren.Webeperkenonshiertotdrievragendievoordespecificatievaneenpraktijktoetsvancruciaalbelangzijn.

Aantal opdrachten?Eenpraktijktoetsbestaatdoorgaansuitmeerdereopdrachten.Hoeveelopdrachtenernodigzijn,isvanverschillendezakenafhankelijk.Hoecomplexerdevaardigheid,hoemeeropdrachtenernodigzijnvooreenadequatedekking.Voorhetvaststellenvandebeheersingvaneeneenvoudigevaardigheiddiedeleerlingslechtsinéénsituatiehoefttoetepassen,zijnminderopdrachtennodigdanvooreencomplexe,breedtoepasbarevaardigheid.

Omvang van de opdrachten?Praktijktoetsennemenvaakveeltijdinbeslag.Watreëelis,zalookafhangenvanhetbelangvandeteontwikkelenvaardigheidinhetleerplan.Overhetalgemeengeldt:hoejongerdeleerlingen,hoekorterdeopdrachten.Gaathetomeennietaltecomplexevaardigheiddankanmendeleerlingensomsmeeropdrachteninéénlesuurlatenmaken.Doetdepraktijktoetsechtereenberoepopvakoverstijgendevaardighedenenmoetdeleerlingleerinhoudenvanverschillendevakkenintegreren,dandientmenmeertijdinteplannen.Eendocentdienogmaarnetmetpraktijktoetsenbezigis,dienttebeseffendathetontwikkelenvaneenpraktijktoetsveeltijdenenergiekost.Aangeradenwordtomtebeginnenmeteenkortepraktijktoetswaarvandeleerlingendeopdrachteninhooguitenkelelessenkunnenuitvoeren.

Leerlingen samenwerken?Bijdeontwikkelingvaneenpraktijktoetsstaatdedocentvoordekeuzedeopdrachtenindividueeldanwelingroepjestelatenmaken.Samenwerkenvanleerlingenkanondermeerzinvolzijnindevolgendedriegevallen:• Alsdeschoolhetbelangrijkvindtdatleerlingenlerenommetelkaarsamentewerken.• Alsergroteverschilleninvoorkenniszijnendedocentdezeverschillenwilnivellerenvoordat

deleerlingenaandepraktijktoetsbeginnen.Steleendocentwildeleerlingeneenpresentatieovereentechnischonderwerplatenverzorgen.Sommigeleerlingenwetenoverdatonderwerpechterveelmeerdananderen.Groepswerkisdaneenmiddelomleerlingen

elkaarsvoorkennistelatendelen.• Alsverdelingvanrollenentakenfunctioneelisenvoordeeloplevert.Alseengroepje

leerlingenbijvoorbeeldinformatiemoetopzoekenovereenveelzijdigonderwerp,ishetverstandigdatnietalleleerlingentegelijkertijdnaardezelfdeinformatieopzoekgaan.Ookishetvanbelangdatnietaltijddezelfdeleerlingendezelfderollenvervullenofdezelfdetakenuitvoeren.

Stap 3: Ontwikkeling van de opdrachtenNadetoetsspecificatievolgtdeontwikkelingvandeopdrachtenvandepraktijktoets. Deactiviteitendiedeleerlingentijdensdeopdrachtuitvoeren,moetennatuurlijkpassenbijwat dedocentwilonderwijzenentoetsen.Wilmenbijvoorbeeldtoetseninhoeverreleerlingenkunnensamenwerken,moetmendeleerlingenopdrachtenvoorleggenwaarbijzijmoetensamenwerken.Wilmenkritischdenkentoetsen,danmoetendeopdrachtenkritischdenkenoproepen.Goedeopdrachtenvoorpraktijktoetsenzijnondermeerauthentiek,nodigenuittotactiefleren,roepenbijleerlingenwaardevolleleeractiviteitenopenzijnuitvoerbaarbinnen detijddieervoorstaat.Inditopzichtlijkthetontwikkelenvaneenpraktijktoetssterkop hetontwikkelenvan‘gewoon’lesmateriaal.Voorhandreikingenvoorhetontwikkelenvanauthentieke,motiverendeenleerzameopdrachtenverwijzenwedelezernaarhethoofdstukGeraadpleegdeliteratuur.

Stap 4: Wat zijn de beoordelingscriteria? Eenbelangrijkaandachtspunttijdenshetontwikkelenvaneenpraktijktoetsishetspecificerenvandecriteria,datwilzeggendeeisenwaaraandeproductenenwerkprocessenvandeleerlingenmoetenvoldoen.Deleerlingenmoetennietalleenwetenwatergetoetstwordtenwaarom,maarookwanneerersprakeisvaneenonvoldoende,netvoldoende,goedeofexcellenteprestatie.Beoordelingscriteriamakenduidelijkwatervandeleerlingenwordtverwacht.Zegeveneenantwoordopdevraag:‘Hoegoedisgoedgenoeg?’Criteriazijnernietalleenomhetwerkvandeleerlingenobjectievertekunnenbeoordelen.Zekunnenookeenbelangrijkepositievebijdrageleverenaanhetleren.Duidelijkecriteriagevendeleerlingenaanwijzingenoverwatzijmoetendoenomkwalitatiefhoogwaardigeprestatiesteleveren. Zebiedenleerlingenmeteennognietvoldoendeprestatiegerichteinformatieoverwatzijnogmoetenverbeteren.

Stap 5: Welke beoordelingsmiddelen? Debeoordelingscriteriazijnuitgewerktineenbeoordelingsmiddel.Totdebelangrijkstebeoordelingsmiddelenomeenobjectievebeoordelingterealiseren,behoreneenantwoord-sleutel,correctievoorschrift,antwoordmodel,checklistenbeoordelingsschaal.Praktijktoetsenleidenbijleerlingendoorgaanstotsterkuiteenlopendeprestaties.Ditbetekentdaterbijdocenteneengroterberoepgedaanwordtophunvakinhoudelijkeexpertiseenhundeskundig-heidophetgebiedvanbeoordelen.Beoordelingsmiddelenvoorhetnakijkenvanschriftelijketoetsenmetgeslotenofopenvragen,zoalseenantwoordsleutel,correctievoorschriftofantwoordmodel,biedendebeoordelaarteweinigsturing.Tweebeoordelingsmiddelendiededocentmeersteunkunnenbiedenbijhetobserverenenbeoordelenzijndechecklistendebeoordelingsschaal.

Checklist of observatieschemaHeteindresultaatvaneenpraktijktoetsismeestaleenwerkwijzeofeenproduct.Hetbeoordelenvandekwaliteitvergtvaaknauwkeurigeobservatievandeuitvoering(procesevaluatie)en/ofhetopgeleverdeproduct(productevaluatie).Alsdeeisenvandewerkwijzenofdeproductenonmiddellijkwaarneembaarzijn,iseenchecklisteengeëigendbeoordelingsmiddel.Meteenchecklistkandedocentafvinkenofbepaaldekenmerkenvandewerkwijzeofhetproductaldannietaanwezigzijn.Veelgebruikteantwoordmogelijkhedenzijn‘jaofnee’,‘aanwezigofafwezig’en‘uitgevoerdofnietuitgevoerd’.

BeoordelingsschaalEenbeoordelingsschaalisvaakhetmeestgeëigendemiddelomtoteenobjectievebeoordelingtekomen.Paragraaf8.3bevatachtergronden,vuistregelsentipsvoorhetontwikkelenvanbeoordelingsschalen.

Stap 6: Try-out en bijstellenAlsdepraktijktoetsinconceptvormgereedis,ishetverstandigdezeopzijndeugdelijkheidtebeproeven.Uiteraardkandedocentcollega’svragenhetmateriaalvancommentaartevoorzien.Een try-outisechterhetbestemiddelomtekomentotkwaliteitsverbetering.Doordeopdrachtenbijwijzevanproefaaneenaantalleerlingenvoorteleggen,kandedocentgegevensverzamelenoverondermeerdemoeilijkheidenuitvoerbaarheidvandeopdrachten,dekwaliteitvandeinhoud,debetrouwbaarheid,deafnametijdendeproceduresvoorafname,scoring,beoordeling,verwerking,analyseenrapportage(zieookhoofdstuk10).

8.3 Het ontwikkelen van een beoordelingsschaal

8.3.1 Wat is een beoordelingsschaal?Eenbeoordelingsschaalbeschrijfteenwerkwijzeofeenproductvaneenleerlingopverschillendeprestatieniveaus.Meteenbeoordelingsschaalkandedocentaangeveninwelkematekennis,vaardighedenofhoudingenaanwezigzijn.Deschaalbestaatuitmeerdereschaalpuntendieeenbepaaldepositieofrangordeaangeven.Eengoedebeoordelingsschaalscheptduidelijkheidoverwatenhoeerbeoordeeldmoetworden.Andersgezegd:hetgeeftdedocenteeneenduidigantwoordoptweevragen:• Watmoetikbeoordelen?• Hoekanikdeverschillendeprestatieniveausbijleerlingenherkennenenmetscorepunten

waarderen?

Deobjectiviteitvanhetobserverenenbeoordelenvancompetentiesheeftvaakteleidenonderstorendebeoordelingsfouten.Ditgeldtinhetbijzonderalsdebeoordelingnietwordtuitgevoerddooreen‘onafhankelijke’beoordelaar,maarinhandenisvande‘eigen’docentdiedeleerlingheeftopgeleid.Beoordelingsschalenlevereneenbelangrijkebijdrageaanhetbestrijdenvanbeoordelingsfoutendieinhoofdstuk7uitgebreidaandeordezijngeweest,

Eengoedebeoordelingsschaalmaaktdebeoordelingnietalleenobjectievermaarkanookeenkrachtigonderwijsleermiddelzijn.Mitsgoedgeconstrueerdenverstandiggebruikt,zijnbeoordelingsschalenookbruikbaarvooranderedoelendanalleentoetsing.Totdevoordelenvoordocentenbehorendatbeoordelingsschalenhelpenbijhetverduidelijkenvandebeoordelingscriteriaendatzebruikbarefeedbackleverenoverdeeffectiviteitvanhetonderwijzenenleren.Voorleerlingenzijndevoordelenvanbeoordelingsschalendatzehen:• informatiegevenoverhoehunwerkbeoordeeldwordtenwatervanhenverwachtwordt;• bewustmakenvandebeoordelingscriteria;• helpenbijhettoepassenvandecriteriaophuneigenwerk(zelfevaluatie)eninvoorkomende

gevallenvanhunklasgenoten(zogeheten‘peerevaluation’);• eeninhoudelijkkaderbiedenomdevoortgangvanhetlerenvasttestellen.

Hetinpassenvanbeoordelingscriteriaen-schaleninhetonderwijsgaatnietvanzelf.Voortipsdiedocenteneeneindopwegkunnenhelpen,ziePDF8.1indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk8.

Menkantegenwoordigkiezenuiteengroteverscheidenheidaanbeoordelingsschalen,ziebijvoorbeelddewebsitehttp://rubistar.4teachers.org.Eenonderscheidwordtwelgemaakttussenopdrachtspecifiekeengeneriekeschalenentussenholistischeenanalytischeschalen. Elktypeschaalheeftzijneigengebruiksmogelijkheden.Dedocentstaatvoordemoeilijketaaksteedsdiebeoordelingsschaaltekiezendiegeziendespecifiekeomstandighedenhetbestepast.Debestebeoordelingsschalenzijndoordocentenzelfontworpenensluitendaardoornaadloosaanophetgegevenonderwijs.Inparagraaf8.3.2behandelenweeenaantalkeuzenwaarvoordedocentbijhetontwerpenvaneenbeoordelingsschaalkomttestaan.

8.3.2 Het ontwikkelen van een beoordelingsschaalVoorhetontwikkelenvaneenbeoordelingsschaalzijndevolgendevragenvanbelang:• Opdrachtspecifiekeofgeneriekebeoordelingsschaal?• Holistischeofanalytischebeoordelingsschaal?• Hoeveelschaalpunten?• Deomschrijvingvandeschaalpunten:normatief,descriptiefofmetankers?

Opdrachtspecifieke of generieke beoordelingsschaal? Deeerstebeslissingbijhetontwikkelenisdekeuzetusseneenopdrachtspecifiekeeneengeneriekebeoordelingsschaal.

Opdrachtspecifieke beoordelingsschaalDezebeoordelingsschaalisgeschiktvoordebeoordelingvandeprestatiesopéénspecifiekeopdracht.Deschaalisvooralbruikbaaralshetgaatomduidelijkafgebakendekenniselementenofomproceduresdieineenvastevolgordemoetenwordendoorlopen.Hetgebruikervaniszinvolalseenhogebetrouwbaarheidvandepraktijktoetsgewenstisomdaterbijvoorbeeldbelangrijkebeslissingeninhetgedingzijn.Deprestatieniveauszijnomschrevenintermenvanopdrachtspecifiekekenmerkenofproducteigenschappen.Hetvoorbeeldhiernaisafkomstiguitdesectorgroenvanhetvmboenbetrefthetoppottenvaneenplant.Overeenkomstighettaakspecifiekekarakterisdezeschaalnietvoorandereopdrachtenbruikbaar.

Het oppotten van een plant Score

Vullen van de pot Halfvolmetgrovedelen,aangevuldmetgezeefdepotgrond 2 Meerdandehelftmetgrovedelengevuld 1 Depotisalleenmetgrovedelengevuld 0

Afwerken potgrond op (juiste) hoogte Potgrondprecies1cmonderderand 2 Potgrondonderderand,maarminderdan1centimeter 1 Potgrondmeerdan1cmonderrandOFkomtbovenpotuit 0

Vastheid grond Lichtjesaangedrukt,hetoppervlakisnagenoeggelijk 2 Nietaangedrukt 1 Testevigaangedrukt 0

Aanbrengen steunmateriaal, d.w.z. 1 cm naast de plant, stok reikt tot bodem en plant onbeschadigd aangebonden Steunmateriaalvoldoetaanalledrieeisen 2 Steunmateriaalvoldoetaantweeeisen 1 Steunmateriaalvoldoetaanhooguitééneis 0

Generieke beoordelingsschaalDezebeoordelingsschaalisuitdrukkelijkbedoeldvoorherhaaldetoepassinggedurendeeenlangereperiode.Deleerlingenpassendezelfdecriteriatoeopverschillendeopdrachten,problemenencontexten.Daardoorrakendekwaliteitseisenopdenduurgeïnternaliseerd. Deleerlingleertzozijneigenwerktebeoordelen,ookalzijndeopdrachtenandersenookalhebbenzedebeoordelingsschaalnietoppapiervoorzich.Generiekebeoordelingsschalenkunnenleerlingenhelpenbijdetransfervankennisenvaardighedennaarnieuwesituatiesmetnieuweproblemen.Onderstaandvoorbeeldisafkomstiguitdebeginfasevanhetvoortgezetonderwijsenbetrefthetbeoordelenvandeschriftelijkeuitdrukkingsvaardigheidvandeleerling.

Schriftelijk presenteren Score

Communicatieve strekking Detekstalsgeheelisvolledigbegrijpelijk,deboodschapkomthelemaalover 2Boodschapkomtniethelemaalover 1Boodschapkomtnietover 0

Briefconventies: aanhef en afsluiting Zowelaanhefalsafsluitingzijnpassend 2Ofaanhefofafsluitingisnietpassend 1Nochaanhefnochafsluitingispassend 0

Indeling tekst Tekstindelingbestaatduidelijkuiteeninleiding,middendeelenslot 2Tekstindelingisnietgeheelduidelijk 1Tekstindelingisnietduidelijk 0

Interpunctie, spelling en grammatica Geenenkelefout 2Eénoftweefouten 1Drieofmeerfouten 0

Argumentenvooropdrachtspecifiekeschalenzijn:• Dekwaliteitvandeleerlingenprestatieisgemakkelijkvasttestellen.Hetgaatimmersom

hetregistrerenvandeaan-ofafwezigheidvanconcrete,meestaldirectwaarneembarekenmerkenofinhoudselementen.

• Deleerlingenkrijgengedetailleerdefeedbackophunprestaties.• Geschiktvoorduidelijkafgebakendekennis.• Geschiktvoorproceduresdieineenvastevolgordemoetenwordentoegepast.• Eenhogeobjectiviteitenbetrouwbaarheidzijnhaalbaar. Argumententegenopdrachtspecifiekeschalenzijn:• Hetisarbeidsintensiefomvoorelkeopdrachttelkensweereennieuweschaaltemoeten

ontwikkelen.• Doorhetopdrachtspecifiekekarakterisdeschaaluitsluitendgeschiktvooreenmaliggebruik.• Hetheeftvaakgeenzinomdeleerlingenvantevorenmetdecriteriavertrouwdtemaken

omdatdedocenthiermeehetantwoordofdeoplossingalverklapt.• Zezijnnieterggeschiktvooropenvraag-enprobleemstellingen.Decriteriazettende

leerlingennietaanhetdenken.Erisweinigtransfervanhetgeleerdenaaranderesoortgelijkeopdrachten,problemenencontexten.

• Bijhetbeoordelenzietdedocentgemakkelijkatypischeantwoordenofoplossingenoverhethoofd.

• Vaakmindergeschiktalsmiddelomleerlingenwaardevolleleerervaringenoptelatendoen.

Argumentenvoorgeneriekeschalenzijn:• Zezijnbijuitstekgeschiktvoordeontwikkelingvan‘grote’,universele,breedtoepasbareen

permanentevaardighedenzoalskritischdenken,problemenoplossen,communicerenensamenwerken.

• Menkandezelfdebeoordelingsschaalgebruikenbijverschillendeopdrachten,problemenencontexten.

• Doordeherhaaldelijketoepassingopnieuwevergelijkbareopdrachten,nemendeleerlingendecriteriaeerderopinhunstandaardrepertoire(internalisatie);generiekecriteriadragenmeerbijaandetransfervanhetgeleerdenaarnieuwe,soortgelijkeopdrachten,problemen,vaardighedenencontexten.

• Zebiedenmeermogelijkhedenomvoorttebouwenopwatdeleerlingenalkennenenkunnen.• Zebiedenmeermogelijkhedenomdeleerlingenbijdekwaliteitseisentebetrekkenendeze

samenmethenverderteontwikkelen.• Atypischeantwoordenenoplossingenkunnengemakkelijkindebeoordelingbetrokken

worden.

Argumententegengeneriekeschalenzijn:• Zetrekkeneenzwarewisselopdevakinhoudelijkeenvakdidactischedeskundigheidvande

docent.• Zeveronderstellenkwalitatiefhoogwaardigonderwijswaarinvaardighedensystematisch

overeenlangereperiodewordenaangeleerd.• Doorhetvakoverstijgendkarakterdoenzeeensterkberoepopafstemmingen

samenwerkingtussenvakken.• Hetlerenbeoordelenkostinhetbeginvaakveeltijdomdatdocentenenleerlingenmoeten

lerendezelfdecriteriaopeengroteverscheidenheidaanopdrachtentoetepassen.• Zedoeneensterkberoepophetbeoordelingsvermogenvandedocentenzijndaarmeemeer

vatbaarvoorsubjectiviteit.• Zekunnenteweinigspecifiekefeedbackvoordedocentenleerlingengeven.

Wanneer een opdrachtspecifieke of generieke beoordelingsschaal gebruiken?

Gebruikeenopdrachtspecifiekeschaalals:• Hetgaatomomvangrijkeofcomplexekennis,bijvoorbeeldhetbeoordelenvandeprecieze

inhoudvaneenmondelingeofschriftelijkerapportageovereenbepaaldonderwerp.• Hetgaatomprocedurelekennisofprocedurelevaardigheden,d.w.z.specifiekeeninbeginsel

observeerbarehandelingendiedeleerlingineenbepaaldevolgordemoetuitvoeren,zoalsbijeenopdrachtwaarbijdeleerlingchocoladekoekjesmoetbakken.

• Deuitvoeringvandespecifiekeopdrachtofhetmakenvanhetspecifiekeproducteenbelangrijkedoelstellingvanhetonderwijsrepresenteert,bijvoorbeeldhetfoutlooskunnenlassenvannaden.

• Hetnodigisomeenpreciesbeeldtekrijgenvandeprestatievandeleerlingopeenspecifiekeopdracht,bijvoorbeeldalshetgaatomeenbelangrijkecompetentiewaarvandetoepassingsterkaanéénspecifiekeopdrachtofcontextgebondenis.

Gebruikeengeneriekeschaalals:• Hetzinvolisomdezelfderubriekvoormeeropdrachten/contextentegebruiken.Een

generiekerubriekisbijvoorbeeldbruikbaaralsjetemakenhebtmeteenbreedtoepasbarevaardigheiddiedeleerlingbijverschillendeopdrachteninverschillendecontextenopsoortgelijkewijzekantoepassenenwaarbijdebeoordelingscriteriavergelijkbaarzijn.

• Ersprakeisvaneenopenopdrachtwaarbijdehandelingenenproductenvandeleerlingensterkvanelkaarkunnenverschillenenwaarbijhetnietmogelijk,nodigofzinvolisomderubriekverdertedetailleren.

Holistische of analytische beoordelingsschaal?Vooralgemenevaardighedenofcompetentiesiseengeneriekebeoordelingsschaalmeestaldebestekeuze.Voorhetmakenvaneendergelijkeschaalzijnerverschillendeopties.Eendaarvanisdekeuzetusseneenholistischeeneenanalytischeschaal.Meteenholistischebeoordelingsschaalgeeftdedocentéénalgemeenoordeeloverdekwaliteit

vaneenwerkwijzeofeenproduct.Eenanalytischebeoordelingsschaalbestaatuitverschillendeschalen.Dedocentbeoordeeltdekwaliteitvaneenwerkwijzeen/ofproductopmeeraspecten(dimensies,criteria)waardooreenprofielontstaatvandesterkeenzwakkepuntenvandeleerling.Hetgevenvanéénallesomvattendcijfervoordekwaliteitvaneenmondelingepresentatieiseenvoorbeeldvanholistischebeoordeling.Geeftdedocentdaarentegen(ook)scoresvoorafzonderlijkekwaliteitsdimensies–zoalskennisvanhetonderwerp,structuur,contactmetdeklasenverstaanbaarheid–danisersprakevananalytischebeoordeling.Hetvolgendevoorbeeldvaneenanalytischeschaalvoorhetbeoordelenvandekwaliteitvaneenmondelingepresentatieisafkomstiguithetmbo.

Kwaliteit mondelinge presentatie Score

Kennis van het onderwerp Leerlingstaatbovendestofenbeantwoordtallevragenmetextrauitleg 3 entoelichtingenLeerlingbeheersthetonderwerpenbeantwoordtallevragen,maaris 2 vrijkortvanstofLeerlingweetweinigoverhetonderwerpenbeantwoordtalleen 1 oppervlakkigevragenLeerlingweetvrijwelnietsoverhetonderwerpenkanvragennauwelijks 0 beantwoorden

Structuur Deklasbegrijptprecieswaarhetovergaatomdatdeleerlingdeinformatie 3 ineenlogischeenaantrekkelijkevolgordepresenteertDeklasbegrijptwaarhetovergaatomdatdeleerlingdeinformatieineen 2 logischevolgordepresenteertDeklasheeftmoeiteomdeleerlingtevolgenomdatdeinformatieslecht 1 gestructureerdisDeklasbegrijptnauwelijkswaardepresentatieovergaatomdatdeleerling 0 vandehakopdetakspringt

Contact met de klas Deleerlingheeftvrijwelcontinuoogcontactmetdeklasenmaaktnietof 3 maarzeldengebruikvandetekstoppapierDeleerlingheeftdoorgaansoogcontactmetdeklasmaarvaltregelmatig 2 terugopdetekstDeleerlingleestdetekstmeestalafvanpapierenheeftzeldenoogcontact 1 metdeklasDeleerlingleestdetekstafvanpapierenheeftgeenoogcontactmetdeklas 0

Verstaanbaarheid Deleerlingspreektduidelijkenisookachterindeklasgoedteverstaan 3 Deleerlingspreektduidelijkenisookachterindeklasredelijkteverstaan 2 Deleerlingspreektsommigewoordenverkeerduitenisachterindeklas 1 slechtteverstaanDeleerlingstamelt,spreektwoordenregelmatigverkeerduitenisalleen 0 voorindeklasteverstaan

Wanneer een holistische of analytische beoordelingsschaal gebruiken?

Gebruikeenholistischeschaalals:• Hetmogelijkenzinvolisomhetoordeeloverdekwaliteitopééndimensieuittedrukken.• Hetgaatomeenrelatiefeenvoudigeprestatieofeenvoudigproduct,bijvoorbeeldhet

beoordelenvandelaagdiktebijhetaflakkenvaneenrand.• Dereactiesvandekandidatenzosterkvariërendatverdereverduidelijkingvanhet

beoordelingsobjectendeprestatieniveauserglastigofnietmogelijkis,bijvoorbeeldhetbeoordelenvancreativiteitenoriginaliteit.

• Hetgaatomeenzogeheten‘primarytrait’beoordeling,bijvoorbeeldalsdedocenteenglobaaloordeelmoetgevenoverdematewaarineenprestatieofproductaanzijnprimairedoelbeantwoordtzoalshetbeoordelenvandematewaarineenovertuigendetekstdelezerinderdaadovertuigt.

• Mendeschaalalleenwilgebruikenvoorhetgevenvancijfers.• Ernietandersdansnelbeoordeeldkanworden,bijvoorbeeldomdatdedocentverschillende

kandidatentegelijkertijdineenpraktijksituatiemoetbeoordelen.

Gebruikeenanalytischeschaalals:• Hetnietmogelijkisofnietzinvolisomdekwaliteitopééndimensietebeoordelenenhet

oordeelinéénscoreuittedrukken.Analytischeschalenzijnbijuitstekgeschiktvoorhetbeoordelenvanbredeencomplexevaardighedenzoalstaalgebruik,werkhouding,planmatigwerken,mondelingpresenterenensamenwerken.

• Hetgaatomomvangrijkeopdrachten.Eenanalytischeschaaliseentezwaarmiddelvoorhetbeoordelenvandeprestatiesopkleineopdrachten.Gebruikeenanalytischeschaaldaaromalleenvoorhetbeoordelenvanvolledigeopdrachtenvaneenbehoorlijkeomvangentijdsduur.Voorbeeldenuithetvmbozijnhetvoerenvaneengesprekmeteenklant,hethoudenvaneenmondelingepresentatievooreengroep,hetverzorgenvaneenproductdemonstratie,hetuitvoerenvaneenEHBO-opdrachtofhetverzorgenenbegeleidenvaneendementebejaarde.

• Hetnodigisombetrouwbaartebeoordelen,d.w.z.consistentoverscholenendocenten.• Dedocentmeertijdheeftvoorhetgevenvanzijnofhaaroordeel,bijvoorbeeldbijeen

individueelafgenomenopdrachtzoalseenverkoopgesprek.• Mendeleerlingenvantevorenvertrouwdwilmakenmetdekwaliteitseisen,hen

gedetailleerdefeedbackwilgevenoverhunsterkeenzwakkepuntenenhenhandvatenwilbiedenvoorverbetering.Eenanalytischeschaalresulteertimmersineenscoreprofieldatleerlingenlaatzienwaarzijsterkinzijnenwatzijnogmoetenverbeteren.

Hoeveel schaalpunten?Nadekeuzevaneengeschiktschaaltypemoetmeneenbeslissingnemenoverhetaantalschaalpunten.Hetwenselijkeaantalschaalpuntenhangtondermeerafvan:• decomplexiteitvanhetbeoordelingsobject:hoecomplexer,hoemeerschaalpunten;• degroottevandeprestatieverschillentussendekandidaten:hoegroterdeverschillentussen

kandidaten,hoemeerschaalpuntennodigzijnomtussenkandidatentekunnendifferentiëren;

• detijddiededocentindeexamensituatieaandebeoordelingkanbesteden:hoemindertijd,hoeminderschaalpunten.

Indienpraktijktoetsenvoorformatieveevaluatiegebruiktworden,moetdebeoordelingsschaalinformatiegevenoverwaardeleerlinggoedinisenwaarverbeteringnodigis.Voordatdoelistienschaalpuntenonnodigveel.Deervaringleertdatmeerdanzevenschaalpuntenindepraktijknietgoedwerkt.Hetluktdebeoordelaarsdannietmeeromdeprestatiesvandeleerlingenbetrouwbaarteonderscheiden.Drieofminderschaalpuntenisvaakweerteweinig

omdevooruitgangvandeleerlingengoedtekunnenrapporteren.Wijadvisereneenbeoordelingsschaalmetminimaalvierenmaximaalzevenschaalpuntentegebruiken.

Omschrijven van de schaalpunten: normatief, descriptief of met ankers?Delaatstebeslissingbetreftdeomschrijvingvandeschaalpuntenofweldeprestatieniveaus. Dekunstishetvindenvaneenbalanstussenenerzijdsalgemeneomschrijvingendiebreedtoepasbaarzijnenanderzijdsspecifiekeomschrijvingendiededocentoptimaalhouvastbiedenbijhetbeoordelen.Overhetalgemeengeldt:hoegedetailleerder,hoemeersteundedocentheeftbijhetbeoordelenenhoeminderdeoordelenvanverschillendedocentenvanelkaarzullenverschillen.Teveeldetailmaaktdebeoordelaarstaakechteronnodigcomplex.Voordeomschrijvingvandeprestatieniveauskanmenkiezenuittenminstedrietypenschalen:• normatieveschalen;• descriptieveschalen;• product-ofwelankerschalen.

Normatieve beoordelingsschaalIneennormatieveschaalzijndeschaalpuntenaandehandvansubjectievetermenomschreven.Eeneenvoudigvoorbeeldis:0=slecht,1=middelmatigen2=goed.Anderevoorbeeldenvannormatieveomschrijvingenzijn:uitzonderlijk,matig,voldoende,onvoldoende,juist,correctenacceptabel.HetbekendstevoorbeeldvaneennormatieveschaalmetminimaleverduidelijkingvandeschaalpuntenisdeNederlandse(rapport)cijferschaal.Deschaalpunten 1totenmet10zijngedefinieerddoormiddelvandelabels‘zeerslecht’totenmet‘uitmuntend’(zieookhoofdstuk9).Hetgrotevoordeelisdeeenvoudigeensnellebeoordeling.Voordoeleindenvanvoortgangscontroleenremediëringisdezecijferschaalechternauwelijksgeschikt.Daarvoorzeggendeomschrijvingenvandeschaalpuntenteweinigoverdetebereikenprestatieniveaus,overhoegoeddeleerlingendekennisenvaardighedendaadwerkelijkbeheersenenoverwatdeleerlingendevolgendekeerbetermoetendoen.Normatieveschalenbiedenveelruimtevooreigeninterpretatiesengevendedocentweinighouvastbijhetbeoordelen.Hetbepalenwanneereenprestatiebijvoorbeeldgoed,matig,onvoldoendeofslechtis(hetprestatiecriterium),wordtaandebeoordelaarzelfovergelaten.Normatieveomschrijvingenzoumenineenpraktijktoetsnietmoetengebruiken.

Descriptieve beoordelingsschaalEendescriptieveschaalwordtookweleenrubriekgenoemd(Engels:rubric).Indescriptieveschalenisdewerkwijzeofhetproductverduidelijktdoordeschaalpuntenvaninhoudelijkeomschrijvingentevoorzien.Deomschrijvingenmakenduidelijkhoeleerlingenprestatiesvanverschillendniveauzichvanelkaaronderscheiden.Dedocentbeoordeeltdeprestatiedoordezetevergelijkenmetdeomschrevenprestatieniveaus.Eenvoorbeeldvaneeneenvoudigedescriptieveschaaluitdesector‘Zorgenwelzijn’vanhetvmbois:dekapmantelzitaangeslotentegendenek(2punten),niethelemaalaangeslotentegendenek(1punt)ofnietaangeslotenoftestrak(0punten).Eenandereenvoudigvoorbeeldis:detekstvandeposterpresentatieisopvijfmeterafstandgoedleesbaar(2punten),matigleesbaar(1punt)ofnietleesbaar(0punten).Descriptieveschalenbiedendebeoordelaarmeersteunenverdienendaaromdevoorkeurbovennormatieveschalen.

Hetomschrijvenvandeschaalpuntenisnieteenvoudigenluistertnauw.Devolgendeaanwijzingenhebbenhunwaardebewezenbijhetformulerenvaneenduidigeenrealistischeniveauomschrijvingen.

• Houddeniveauomschrijvingenkorteneenvoudig.Gebruiktaaldieleerlingenkunnenbegrijpen.

• Hanteerbeschrijvendetaalinplaatsvanvergelijkende,evaluatieveofnormatievetaal.Vermijdomschrijvingenzoalsslecht,redelijk,goed,correctofexcellent.Omschrijfdeprestatieniveauswaarmogelijkenzinvolinobserveerbarehandelingenofproducteigenschappen.

• Zorgervoordaterslechtsééndimensieindeschaalvertegenwoordigdis.Wilmentochoptweedimensiestegelijkertijdbeoordelen,zorgerdanvoordatallemogelijkeprestatie-niveausindeschaalvertegenwoordigdzijn.

Eenvoorbeeldvanhoehetnietmoet,is:2=planningvolledigenhelemaalcorrect;1=planningvolledigengedeeltelijkcorrect;0=planningonvolledigenhelemaalfout.Dezeschaalkandedocentinverwarringbrengenomdatdezedeprestatievandeleerlingoptweedimensiestegelijkertijdmoetbeoordelenennietallemogelijkeprestatieniveausinhetschaaltjeverdisconteerdzijn.Zovoorziethetvoorbeeldnietindemogelijkheiddatdeplanningvandeleerlingminofmeervolledigendaarnaastgedeeltelijkcorrectkanzijn.

Eenbeteralternatiefisdan:2=planningvolledigenhelemaalcorrect;1=planningminofmeervolledigen/ofgedeeltelijkcorrect;0=planningonvolledigen/ofhelemaalfout.

• Zorgervoordatdeschaaldevariatieinexamenprestatiesvolledigbestrijktomtevoorkomendatdocentenvooraldemiddelsteschaalpuntengebruiken.

• Zorgervoordatdeafstandentussendeprestatieniveausgelijkzijn.Hetkwaliteitsverschiltussenschaalpunt0en1moetbijvoorbeeldevengrootzijnalsdattussenschaalpunt2en3.

• Zorgervoordatdeprestatieniveausduidelijkonderscheidenzijnenelkaarnietoverlappen.• Beginmetdeomschrijvingenvanhethoogsteprestatieniveau,daarnahetlaagste

prestatieniveauentenslottedemiddelsteprestatieniveaus.• Zorgervoordathethoogsteniveauuitdagendmaarhaalbaaris.• Houddeinhoudvandeomschrijvingenconstantoverdeprestatieniveaus.Alleende

kwaliteitvandewerkwijzeofhetproductmagvariërenoverdeprestatieniveaus,niethetobjectwaardedocentbijdebeoordelingopmoetletten.Omschrijfbijvoorbeeldhetlaagsteniveauvanschrijfvaardigheiddusnietalleenintermenvanfouteninspellingeninterpunctieenhethoogsteniveaualleenintermenvancreativiteitenoriginaliteit.

• Zorgerbijeenanalytischerubriekvoordatdeprestatieniveausvergelijkbaarzijnvooralleaspecten.Eenscorevan4opheteneaspectmoetquaniveauvergelijkbaarzijnmeteenscorevan4ophetandereaspect.

Ankers als schaalpunten?Somszijndeprestatiesvandeleerlingenzomoeilijkbeoordeelbaardatzelfseendescriptievebeoordelingsschaalnogteweinigsteunbiedt,hoegoedmendeschaalpuntenooktoelicht. Hetisdanraadzaamdeschaalpuntentevoorzienvanzogehetenankers.Eenanker is een voorbeeldvaneenconcreetleerlingenproductdathet‘niveau’vanhetschaalpuntillustreert.Eenvanankersvoorzieneschaalwordtweleenproductschaalgenoemd.Hetankerkandevormhebbenvaneentastbaarproduct,zoalseenbrief,opstel,tekening,fotoofbouwconstructie. Bijvluchtigepresentaties,zoalseenmondelingepresentatie,eendansofeenmuziekstuk,kanhetankeruiteenaudio-ofvideo-opnamebestaan.

Hetbeoordelenmeteenproductschaalkanmenzienalseensorteertaak.Debeoordelaarbeoordeeltelkproductdoordattevergelijkenmetdeankersvandebeoordelingsschaal. Debeoordelaarkenteenscoretoedoorhettebeoordelenproductalshetwareopdeschaalteplaatsen.Eenproductschaalbiedtdebeoordelaareenconcreetreferentiekaderwaarindekwaliteitvanhetleerlingenproductzichtbaarwordt.Productschalenzijnbijuitstekgeschiktomdebeoordelingobjectievertemakenendeleerlingentegelijkertijdvertrouwdtemakenmetdebeoordelingscriteria.Docentenenleerlingenontwikkelenhiermeeeengemeenschappelijkedefinitievankwaliteit.Eenproductschaalhelptleerlingenbijhetbeoordelenenreviserenvan

hunwerkwijzenenproducten.Eennadeelisechterdathetmakenvaneengoedeproductschaalgeensinecureis.VooreenstapsgewijzeprocedurevoorhetmakenvaneenproductschaalziePDF8.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk8.

et beoordelen van toetsscores

9 Het beoordelen van toetsscores

9 Hetbeoordelenvantoetsscores Piet Sanders en Huub Verstralen

Voorhetantwoordopeenvraagofdeuitvoeringvaneenopdrachtontvangendeleerlingenscorepunten.Hetaantalscorepuntendataaneenantwoordopeenvraagofdeuitvoeringvaneenopdrachttoegekendkanworden,staatvermeldinhetscoringsvoorschriftdatbijdetoetshoort.Alsallevragenofopdrachtengescoordzijn,beschikkenwevanalleleerlingenovereenreeksscores.Doordescoresvaneenleerlingoptetellen,krijgenwezijnofhaartoetsscore. Inhoofdstuk3zagenwedatJan42scorepuntenopdehavo-toetsEngels2009behaalde.Ofeenscorevan42eengoedeofslechteprestatieis,kunnenweechtermoeilijkbeoordelenalswenietwetenwatandereleerlingenopdetoetsgescoordhebbenofnietovereenstandaardbeschikkenwaarmeewedescorevanJankunnenvergelijken.Volgensdecumulatievescore-verdelingvandehavo-toetshadJanmetzijnscore42gelijkofbetergescoorddan96%vandeandereleerlingen.Janbehoordedaarmeetotdebestpresterendeleerlingen.Wezagenookdatdestandaardofcesuurvoordehavo-toetsEngelsop28scorepuntengesteldwasendatJanvoorzijntoetsscorevan42hetcijfer8,1behaalde.

HetvoorbeeldvanJanlaatziendatweeentoetsscorekunnenbeoordelendoorofdetoetsscoretevergelijkenmetdetoetsscoresvanandereleerlingenuitdedoelgroepofdoordetoetsscoretevergelijkenmeteenstandaarddieookalscesuurofnormaangeduidwordt.Inheteerstegevalsprekenwevanrelatiefnormereneninhettweedegevalvanabsoluutnormeren.Indeeerstetweeparagrafenzullenwebeidevormenvannormerenbesprekenenillustrerenmetvoorbeelden.Hettoekennenvancijfersaantoetsscoreskomtindederdeparagraafaandeorde.Indevierdeenlaatsteparagraafwordeneenaantalgangbaremanierenvoorhetscorenvan(meerkeuze)vragenkritischbesproken.

9.1 Relatief normeren

Hetdoelvanrelatiefnormerenishetopstellenvanrelatievenormen.Kenmerkendvoorrelatievenormenisdatdetoetsscorevaneenleerlingvergelekenwordtmetdetoetsscoresdieandereleerlingenvandezelfdedoelgroepbehaaldhebben.Relatievenormenwordenopgesteldviaeenproceduredieuitdriestappenbestaat.

Stap 1: Het bepalen van de doelgroep of normgroepInhetgevalvandehavo-toetsEngelswashetnietmoeilijkdedoelgroepofnormgroepteidentificeren,namelijkalleleerlingendieinheteerstetijdvak2009dehavo-toetsEngelsmaakten.Indienweechtereentoetsleesvaardigheidwillenontwikkelendiebedoeldisvoorleerlingenvangroep5vandebasisschool,danmoetenwenauwkeurigomschrijvenwelkeleerlingenwelenwelkeniettotdenormgroepbehoren.Behorenleerlingendieeenkeerzijnblijvenzittenwelofniettotdenormgroep?Behorenleerlingenuithetspeciaalonderwijswelofniettotdenormgroep?

Stap 2: Het doen van normeringsonderzoekHetnormeringsonderzoekbestaatuithetafnemenvandetoetsbijdeleerlingenuitdenormgroep.Tweebelangrijkeeisendieaandenormgroepgesteldmoetenworden,zijndatdenormgroepgrootgenoegmoetzijnendatdenormgroeprepresentatiefmoetzijn.Watbetrefthetaantalleerlingenisvoortoetsenwaarmeebelangrijkebeslissingengenomenworden,een

147 Het beoordelen van toetsscores < Inhoud Index >

normgroepvanminstens400leerlingengewenst.Wildenormgroeprepresentatiefzijndanmoetdesteekproefvanleerlingenaselectgetrokkenzijn.Aselectwilzeggendatiedereendietotdenormgroepzoukunnenbehoren,eenevengrotekansheeftgeselecteerdtewordenvoordenormgroep.

Stap 3: Het construeren van een normschaalDeeenvoudigstenormschaalisdecentiel-ofpercentielschaal.Uitgangspuntvooreenpercentielschaalisdecumulatievescoreverdelingwaarvanweeenvoorbeeldbijdehavo-toetsEngelsinhoofdstuk3zagen.Eenpercentielschaalverdeeltdescoreverdelingin100delenvangelijkegrootte.Inheteerstepercentielzittende1%laagstescoresterwijlinhethonderdstepercentielde1%hoogstescoreszitten.Bijdehavo-toetsEngelszaldepercentiel-10leerlingmaarweinigitemsgoedbeantwoordhebbenendusweinigscorepuntenbehaaldhebben. Janwaseenpercentiel-96leerlingenhijbehaalde42vandeintotaal49scorepunten. Anderenormschalenzijndedecielschaalendekwartielschaal.Eendecielschaalverdeeltdescoreverdelingin10delenvangelijkegrootte.Inheteerstedecielzittende10%laagstescoresterwijlinhettiendedecielde10%hoogstescoreszitten.Eenkwartielschaalverdeeltdescore-verdelingin4delenvangelijkegrootte.Inheteerstekwartielzittende25%laagstescoresterwijlinhetvierdekwartielde25%hoogstescoreszitten.

Eenbekendenormschaalisdenormschaaldiedoorintelligentietestsgebruiktwordt.DehuidigeintelligentietestsvindenhunoorsprongindeintelligentietestvoorkinderendiedeFransepsychologenBinetenSimonin1905ontwikkelden.Kortdaarnawerdhetbegripintelligentie-quotiëntofIQgeïntroduceerdwaarbijdetermquotiëntnaardeoorspronkelijkeberekenings-wijzevanhetIQverwijst,namelijkhetquotiëntvanverstandelijkeleeftijdenchronologischeleeftijdvermenigvuldigdmet100.IemandmeteenIQvan100hadduseenverstandelijkeleeftijdgelijkaanzijnchronologischeleeftijd.DezeberekeningvanhetIQbleekvoorkinderenwelmaarvoorvolwassenennietgeschikttezijn.BijdehuidigeintelligentietestsisdeberekeningvanhetIQgebaseerdopdevergelijkingvandetestscorevaneenpersoonmetdetestscoresvaneennormgroep.Bijdemeesteintelligentietestswordendetestscoresafgebeeldopeennormschaaldieeengemiddeldetestscorevan100eneenstandaardafwijkingvan15heeftenwaarbijdetestscoresnormaalverdeeldzijn(ziehoofdstuk3).Hieronderstaateenoverzicht,ontleendaanWikipedia,vanhetpercentagepersonendateenbepaaldIQheeft.

IQ Cumulatief percentage

60 0,38%70 2,28%80 9,12%90 25,25%100 50%110 74,75%120 90,88%130 97,72%140 99,62%150 99,96%

Hetoverzichtlaatziendat50%vandepersonenuitdedoelgroepeenIQgelijkoflagerdan100heeftendat74,75%eenIQgelijkoflagerdan110heeft.HetoverzichtlaatookziendathelelageofhelehogeIQ’sweinigvoorkomen.OmbijvoorbeeldlidtemogenwordenvanMensa,eenverenigingvanhoogbegaafden,moetmenbijdehoogste2%opeenintelligentietestscorenwat

neerkomtopeenIQvan133,datwilzeggeneentestscorediemeerdantweestandaard-afwijkingenbovenhetgemiddeldeligt.

WatbetreftdebetekenisvanIQscoreswordtwelonderstaandeindelinggehanteerd.

IQ Betekenis

>130 Hoogbegaafd115-130 Begaafd100-115 Bovengemiddeld85-100 Benedengemiddeld70-85 Zwakbegaafd55-70 Lichteverstandelijkebeperking40-55 Matigeverstandelijkebeperking25-40 Ernstigeverstandelijkebeperking

TenslotteeenvoorbeeldvanrelatiefnormerendatdoorvieropleidingengeneeskundeinNederlandgehanteerdwordt.Opeentoetsbestaandeuit200meerkeuzevragenkunnendekwalificaties‘onvoldoende’,voldoende’of‘goed’behaaldworden.Destudentenkrijgendekwalificatie‘onvoldoende’alszeeentoetsscorebehalendie1standaardafwijkingonderhetgemiddeldevanalledeelnemendestudentenindejaargroep(=normgroep)ligt,dekwalificatie‘goed’alszeeentoetsscorebehalendie0,5standaardafwijkingbovenhetgemiddeldevanalledeelnemendestudentenindejaargroepligtendekwalificatie‘voldoende’vooralleoverigetoetsscores.Ditvoorbeeldlaatnogeensduidelijkziendatrelatievenormenafhankelijkzijnvantoetsscoresdieandereleerlingenofstudentenbehalen.Eenstudentkanzakkeningevalvaneengoedpresterendejaargroepmaarslagenbijeenmindergoedpresterendejaargroep.

9.2 Absoluut normeren

Hetdoelvanabsoluutnormerenishetopstellenvanabsolutenormen.Kenmerkendvoorabsolutenormenisdatdetoetsscorevaneenleerlingvergelekenwordtmeteentoetsscorediealsstandaardofalscesuuraangeduidwordt.Determstandaardwordtgebruiktalsafkortingvoorprestatiestandaardofbeheersingsstandaard.Demeestbekendestandaardofcesuurvaneentoetsisdetoetsscorediedegrensvormttusseneenvoldoendeofslageneneenonvoldoendeofzakken.Datbetekentdatleerlingenmeteentoetsscoregelijkaanofbovendecesuureenvoldoendehebbengehaaldendusgeslaagdzijnvoordetoetsendatleerlingenmeteentoetsscoreonderdecesuureenonvoldoendehebbengehaaldendusgezaktzijnvoordetoets.Hetisechterookmogelijkomvooreentoetsmeerdanéénstandaardofcesuurvastteleggen.Indatgevalwordendeleerlingennietintweecategorieën(gezaktofgeslaagd)maarinmeerderecategorieën(bijvoorbeeldleerlingendiedeleerstofheelgoedbeheersen/netbeheersen/netnietbeheersen/helemaalnietbeheersen)verdeeld.Eenstandaardofcesuurwordtgebruiktomtekunnenbepalenwelkeleerlingenovervoldoendekennisenvaardighedenbeschikkenombijvoorbeeldeenbepaaldestudietevolgenofeenbepaaldberoepuitteoefenen.Indiegevallenkanmennietvolstaanmethetselecterenvandeleerlingenmetdehoogstescores.Hetismogelijkdatzelfsdeleerlingenmetdehoogstescoresnietgekwalificeerdzijnmaarhetisookmogelijkdatdeleerlingenmetdelaagstescoresgekwalificeerdzijn.Methodenvoorhetbepalenvanstandaardenofcesurenwordenwelonderscheidenin

methodendiegebaseerdzijnopdebeoordelingvandeitems/vragen/opdrachtenuiteentoetsenmethodendiegebaseerdzijnopdebeoordelingvandeleerlingendiedetoetsmaken.Vandevelemethodendieindeloopderjarenontwikkeldzijn,zullenweuitelkecategorieéénmethodebespreken.Voorafgaandaandezetweemethodenbesprekenweeenmethodedieeigenlijkgeenmethodegenoemdkanwordenmaardieweweldeintuïtievemethodezullennoemen.

9.2.1 Intuïtieve methodeDe intuïtievemethodeiswaarschijnlijkdemeestgebruiktemethodevoorhetbepalenvandecesuurvaneentoets.Bijdeze‘methode’wordtdecesuurdoordedocentopbasisvanintuïtieenervaringvastgesteld.Vaakwordt55%of60%vanhetaantaltebehalenscorepuntenopdetoetsalscesuurgekozenomdatdatpercentageovereenkomtmethetbeheersenvanietsmeerdandehelftvandeleerstof.Hetnadeelvandezemethodeisdatdeleerlingenhetzelfdepercentagescorepuntenmoetenbehalenbijeengemakkelijkealsbijeenmoeilijketoets.Datlaatstemaaktdemethodeergsubjectiefomdatweuitonderzoekwetendatdocentendemoeilijkheidsgraadvantoetsenmoeilijkkunneninschatten.Bijmoeilijketoetsenzaltoepassingvandezemethodedanookvaaktotaanpassingvanhetpercentagegezaktenleiden.

9.2.2 Methode van AngoffDemeestgebruiktemethodevoordebepalingvandecesuurdiegebaseerdisopdebeoordelingvanitemsisdemethodediegenoemdisnaardeAmerikaansetoetsdeskundigeAngoff.Uitdeverschillendevariantendiedezemethodekent,hebbenwehiereenkeuzegemaakt.

DemethodevanAngoffbestaatuitdevolgendestappen:

1 Deitemswordenbeoordeelddooreenpanelvanpersonendieovervoldoendevakinhoudelijkedeskundigheidbeschikkenenbekendzijnmetdeleerlingendiedetoetsmaken.

2 Debeoordelaarswordtgevraagdomvanelkitemaandetegevenhoeleerlingendienaarhunmeningovernetvoldoendekennisenvaardighedenbeschikkenomeenvoldoendetebehalenopdetoetsopelkitemzullenscoren.Bedoeldeleerlingenwordenookwelgrensleerlingenofzesjesleerlingengenoemd.Concreetwordtaandebeoordelaarshetvolgendeoordeelgevraagd:‘Watdenktuwatdegemiddeldescoreopdititemzalzijnals100zesjesleerlingendititembeantwoorden?’

3 Vaneenbeoordelaarwordendeoordelenvanalleitemsopgeteld.Desomvandezeoordelenisdevoorgesteldecesuurvandezebeoordelaar.Indieneraanzienlijkeverschillenzijntussendevoorgesteldecesurenvandebeoordelaars,wordendeverschillenbesprokenenwordendeitemsherbeoordeeld.Indienerdannogbehoorlijkeverschillentussendecesurenzijn,wordendeitemsopnieuwbesprokenenherbeoordeeld.

4 Indiendeverschillentussendevoorgesteldecesurenvandeverschillendebeoordelaarsalsacceptabelbeschouwdworden,wordthetgemiddeldevandeverschillendecesurenalscesuurvoorgesteldaandegenendieeindverantwoordelijkzijnvoorhetvaststellenvandecesuur.Indiendeverschillentussendevoorgesteldecesurenvandeverschillendebeoordelaarsredelijkgrootblijven,kanmenbijvoldoendebeoordelaarshetgemiddeldevandevoorgesteldecesurenberekenennaweglatingvanextremecesuren.Indeliteratuurishetadviesomvoortoetsenwaarmeebelangrijkebeslissingenoverleerlingengenomenwordenminstensachtbeoordelaarsinteschakelen.

Inonderstaandetabelhetvoorbeeldvaneenbeoordelingvanvijfitemsdoordriebeoordelaars.

Beoordelaars

Item Maximum score 1 2 3 Gemiddelde

1 1 0,30 0,30 0,25 0,28

2 1 1 0,50 1 0,83

3 1 0,50 0,30 0,5 0,43

4 1 0,50 0,50 0,5 0,50

5 2 0,70 0,80 0,90 0,80

Cesuur 3,00 2,40 3,15 2,85

Indekolom‘maximumscore’zienwedatopvieritems1scorepuntbehaaldkanwordenenopeenitem2scorepunten.Degemiddeldescoreopitem1is0,28watbetekentdatdedriebeoordelaarsverwachtendat100zesjesleerlingenopitem1eengemiddeldescorevan0,28zullenbehalen.Wezienookdatdevoorgesteldecesuurvandetweedebeoordelaarnogalafwijktvandevoorgesteldecesurenvandetweeanderebeoordelaars.Hetgemiddeldevandedoordebeoordelaarsvoorgesteldecesurenis2,85,datwilzeggendateenleerling2,85=3scorepuntenvandeintotaal6scorepuntenmoetbehalenomtekunnenslagenvoordezetoets.HetvoordeelvandemethodevanAngoffisdatdemethodeeenvoudiguitgevoerdkanworden.Hetnadeelisdatbeoordelaarsnietvertrouwdzullenzijnmetdeoordelendievanhengevraagdwordenendatdieoordelendaarommoeilijktemakenzijn.Voortoepassingvandezemethodeishetechtervanessentieelbelangdatbeoordelaarshetzelfdedenkenoverwateenzesjes-leerlingweetenkan.Datkanbereiktwordendoordebeoordelaarseersttelatenoefenenmeteenpaarvragenenhunoordelengezamenlijktebespreken.Indienmogelijkmoetmendebeoordelaarsookinformatiegevenoverdemoeilijkheidsgraadvandeitems,overdetoetsscoresdiedoordedoelgroepbehaaldzijnenoverhetaantalleerlingendatbijverschillendecesurenzalzakken.Voorbepaaldetoetsenzoudekwaliteitvandeoordelenookverbeterdkunnenwordenalsdebeoordelaarsookzelfdetoetsenzoudenmaken.

9.2.3 Methode van contrasterende groepenDemethodevancontrasterendegroepengaatuitvandeveronderstellingdatleerlingendieeentoetsgaanmaken,verdeeldkunnenwordenintweeofmeercontrasterendegroepenopbasisvanbeoordelingenvanhunkennisenvaardigheden.Tweecontrasterendegroepenzijnbijvoorbeelddeleerlingendievolgenshundocentenvooreentoetszullenslagenendeleerlingendievooreentoetszullenzakken,zonderdatdedocentenwetenwathuntoetsscoreszijn.

Bijdezemethodewordendeoordelenvandedocentenoverwelkeleerlingenzullenslagenenwelkezullenzakkenvergelekenmetdetoetsscoresdiedeleerlingenbehaaldhebben.Alscesuurvoordetoetskomtinaanmerkingdetoetsscorediedeminstemisclassificatiesoplevert.

Demethodevancontrasterendegroepenheeftalsvoordeeldatbeoordelaarsofdocentengewendzijnaanhetgevenvandeoordelendievanhenverlangdworden.Eennadeelisdatdocentenkunnenverschilleninhunwijzevanbeoordelenvandeleerlingen.

Hiernalichtenwedemethodetoeaandehandvaneentoetsvan50itemsdiedoor 400leerlingengemaaktis.Volgensdedocentenzoudenopdezetoets88leerlingenmoetenzakkenendus312leerlingenmoetenslagen.Degemiddeldetoetsscorevandeleerlingen dievolgenshundocentenzoudenmoetenzakkenwas16,78envandeleerlingendie zoudenmoetenslagen34,24.Gegevendezetoetsscoreszoueenacceptabelecesuurhet

gemiddeldevandezetweegemiddeldenkunnenzijnwateencesuurzougevenvan (16,78+34,24)/2=25,51.

Onderstaandetabelbevatdescoreverdelingenvandeleerlingendiegezaktengeslaagdzijn. Indezetabelwordendeaantallenleerlingenmetlagescores(totenmetdescore20)endeaantallenleerlingenmethogescores(vanafdescore28)nietvermeldomdatweerbijditvoorbeeldvanuitgaandatdecesuurnietlagerdandescore20ofhogerdandescore28is. Voordescores21totenmet27wordendeaantallenleerlingendiedezescoresbehaaldhebbenwelvermeld.

Score Gezakt Geslaagd

0–20 63 9

21 5 2

22 1 2

23 1 6

24 0 8

25 4 14

26 1 16

27 4 8

28–50 9 247

Totaal 88 312

Bovenstaandetabellaatziendatverschillendecesureninaanmerkingkomenmaardevraagiswelkecesuurdevoorkeurverdient.Steldatwealscesuurdescore24kiezen.Indetabelzienwedatbijdezecesuur(4+1+4+9=)18leerlingenvoordetoetszoudenmoetenslagenterwijlzevolgensdeoordelenvandocentenzoudenmoetenzakken.Bijdezecesuurzoudenvolgensdeoordelenvandedocenten(9+2+2+6=)19leerlingenmoetenslagenterwijlzevolgensdetoetszoudenmoetzakken.Bijeencesuurvan24hebbenwedus(18+19=)37misclassificatieswatgelijkisaan9,3%vande400leerlingen.

Opdevraagwelkecesuurdevoorkeurverdient,ishetantwoorddiecesuurdiehetaantalmisclassificatiesminimaliseert.Onderstaandetabelbevatderesultatenvoorvijfcesuren.Indetabelstaat‘–’voorgezakten‘+’voorgeslaagd.Gegevendepercentagesmisclassificatiesbijdeverschillendecesuren,verdienteencesuurvan22of23devoorkeur.

Cesuur = 21 Cesuur = 22 Cesuur = 23 Cesuur = 24 Cesuur = 25

– + – + – + – + – +

Onder cesuur 63 9 68 11 69 13 70 19 70 27

Cesuur of hoger 25 303 20 301 19 299 18 293 18 285

Totaal 88 312 88 312 88 312 88 312 88 312

% misclassificaties 8,5% 7,8% 8,0% 9,3% 11,3%

Bovenstaandetabellaatziendatwemetverschillendesoortenmisclassificatiestemakenhebben.Alsjedecesuurverhoogt,zullenleerlingendiehaddenmoetenzakkenminderkanshebbenteslagen.Leerlingendiehaddenmoetenslagen,hebbenechtermeerkanstezakken. Alsjedecesuurverlaagt,zullenleerlingendiehaddenmoetenslagenminderkanshebbentezakken.Leerlingendiehaddenmoetenzakken,hebbenechtermeerkansteslagen.Jekuntdeenesoortmisclassificatieverminderendoordecesuurteverlagenmaardoordattedoen

verhoogjedeanderesoortmisclassificatie.Eenoverwegingbijhetbepalenvancesurenzoudanookkunnenzijndatjedeenesoortmisclassificatieergervindtdandeanderesoort,bijvoorbeeldtenonrechtezakkenopdetoetsvindjeergerdantenonrechteslagen,enhoeveelergerdanwel.

Indienmenoverweegtdemethodevancontrasterendegroepentoetepassen,moetentweezakennietvergetenworden.Indeeersteplaatsmoetendesteekproevenvanvoldoendeomvangzijn.Inhetvoorbeeldwashetaantalgezakteleerlingenvan88leerlingenzeerbescheidenwaardoordeuitkomstenindetabelstatistischinstabielzijn.Indetweedeplaatskunnenervraagtekensbijdeoordelenvandocentengezetworden.Omvoldoendeleerlingentehebben,zullenleerlingenafkomstigzijnvanklassenofanderegroepenmetverschillendedocenten.Oordelenvandocentenkunnenechterverschillenomdatdeenedocentmilderofstrengerisdandeanderedocenten/ofomdatdeenedocentbetereofslechtereleerlingenheeftdandeanderedocent.

Develemethodendiedeafgelopenjarenontwikkeldzijnomstandaardenofcesurentebepalen,hebbenallevoor-ennadelen.Deuitvoerbaarheidvandemethodezalvaakdoorslaggevendzijnbijdekeuzevooreenmethode.Zozalmenindeonderwijspraktijkvaakoverweinigdocentenendusoverkleinesteekproevenvanleerlingenbeschikken.IndatgevalzoumenkunnenoverwegenomzoweldecesuurtebepalenmetdemethodevanAngoffalsmetdemethodevancontrasterendegroepenomtezienofdetweecesurennietteveelvanelkaarverschillen.

9.3 Van toetsscores naar cijfers

InhetNederlandseonderwijsishetgebruikelijkomaantoetsscorescijferstoetekennen.Daarvoorisindeeersteplaatsnodigdatvooreentoetseencesuurbepaaldis.Driemethodenvoorhetbepalenvaneencesuurhebbenweinvoorgaandeparagraafbesproken.Isdecesuureenmaalvastgestelddanzijnerverschillendemethodenomaantoetsscorescijferstoetekennen.Demeestvoorkomendemethodenendeoverwegingendieaandiemethodentengrondslagliggenwordenhiernabesproken.Voorafgaandaandiebesprekingwordteerstkortingegaanopdebetekenisenhetgebruikvancijfers.

9.3.1 Betekenis en gebruik van cijfersDeNederlandsecijferschaalkentalslaagstecijferhetcijfer1enalshoogstecijferhetcijfer10.Decijferschaalvan1totenmet10werdinhetjaar1870officieelingevoerdvoordeeindexamensvandeHogereBurgerscholen(vergelijkbaarmethuidigehavoenvwo).Sindseenwetswijzigingin1929hebbendecijfersdevolgendebetekenis:

Cijfer Betekenis

10 uitmuntend9 zeergoed8 goed7 ruimvoldoende6 voldoende5 onvoldoende4 sterkonvoldoende3 zeersterkonvoldoende2 slecht1 zeerslecht

BehalveinNederlandwordtdecijferschaalvan1totenmet10ookinBelgiëgebruiktomdeprestatiesvanleerlingentebeoordelen.Inanderelandengebruiktmenechteranderecijfer-schalen.IndeVerenigdeStatenenAngelsaksischelandengebruiktmenletters.IndeVerenigdeStatengebruiktmenveelaldelettersA,B,C,D,EofFwaarbijAvooruitmuntendstaat,Cvoorvoldoende,DvooronvoldoendeenEofFvoorsterkonvoldoende.InFrankrijklopendecijfersvan1toten20eninRuslandvan1totenmet5.InDuitslandlooptdecijferschaalvan6(slecht),via4(voldoende)naar1(zeergoed).InDuitslandhaaljeechtereerdereen1danbijonseen10.HetDuitsecijfer1iswaarschijnlijkhetbestetevergelijkenmetonscijfer9.

Inhoofdstuk1hebbenwevierdoelenvantoetsenonderscheiden:toetsenvoorhetbeoordelenvanleerlingen,toetsenvoorhetbeoordelenvanhetonderwijsleerproces,toetsenvoorhetbeoordelenvangroepenleerlingenenscholen,entoetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijs.Cijfersspeleneenbelangrijkerolbijhetbeoordelenvanleerlingen. Cijferswordengebruiktbijhetselecteren,classificeren,plaatsenencertificerenvanleerlingen.Hoewelcijfersookgebruiktwordenbijhetbeoordelenvanhetonderwijsleerproces,zijnleerlingenbijdezetoetsenmeergebaatbijhetgevenvangoedefeedbackenfeedforward. Uitonderzoekblijktdathetgevenvancijfersvooralzwakkeleerlingendemotiveert.Voorhetgebruikvanexamencijfersvoorhetbeoordelenvanscholenverwijzenwenaarhoofdstuk1waarwehetonderzoeknaardekwaliteitvanscholenvandeInspectievanhetOnderwijsbespraken.Bijtoetsenvoorhetbeoordelenvande(internationale)kwaliteitwordtgeengebruikgemaaktvancijferszoalshierbedoeld.

9.3.2 Lineaire omzetting van toetsscores in cijfersDe lineaireomzettingvantoetsscoresincijfersgaatuitvaneenlineairverbandtussentoetsscoresencijfers.Deformuleschrijvenweals:

C = AS + B

IndezeformulestaatCvoorhetcijfer,SvoordetoetsscoreenA en Bvoordeteberekenenconstanten.Deconstantenleggenwevastdoorvoortweeverschillendescoresdebijbehorendecijferstekiezenof,watophetzelfdeneerkomt,bijtweecijfersdebijbehorendescorestekiezen.Eengebruikelijkekeuzeishetcijfer5,5dathetlaagstevoldoendecijfervoorstelt.Welkelaagstetoetsscorehetlaagstevoldoendecijfer5,5oplevert,isdecesuurdiewevoorstellenalsSV. Hetcijfer10ishethoogstecijferenhetisgebruikelijkomvoorhetcijfer10dehoogstetoetsscoretenemen.DezehoogstetoetsscorenoemenweS10.WekunnennudeconstantenA en Buitbovenstaandeformulealsvolgtberekenen:

10 = AS10 + B

5,5 = ASV + B

Doordetweedevergelijkingvandeeersteaftetrekken,eliminerenwedeconstanteBenvindenwedeoplossingvoorA:

A= 4,5/(S10 – SV)

AlsweAweten,kunnenwedoorsubstitutieBmetbehulpvandeeerstevergelijkingvinden:

B = 10 – AS10

WenemenalsvoorbeelddetoetsscorevanJanopdehavo-toetsEngels2009(ziehoofdstuk3).DemaximumscoreopdezetoetsisS10=49endelaagstevoldoendescoreofcesuuris SV=28.

DitbetekentdatAgelijkisaan0,214enBgelijkisaan–0,5.Janheefteentoetsscorevan42watgelijkstaataanC=0,214x42–0,5=8,5.

IndetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk9,vindtmeneencomputer-programmamettoelichting,getiteldomzetscores.exe,waarmeementoetsscoresincijferskanomzetten.Hetprogrammageeftvoordrieverschillendeomzettingenzoweleentabeleneengrafiekvanscoresmetbijbehorendecijfers.Indienbijdehavo-toetsEngels2009gekozenwasvooreenlineaireomzettingzienweindetabelengrafiekdatmetdescore42eencijfervan8,5correspondeert,dateenscorevan7hetcijfer1,0eneenscorevan2zelfseennietbestaandnegatiefcijferoplevert.Inhoofdstuk3zagenweechterdatJanhetcijfer8,1gekregenheeft. Datkomtomdatbijdecentraleexamensvoortgezetonderwijs,zieparagraaf9.3.4,deomzettingvantoetsscoresincijfersopeenanderemanierdanviaeenlineaireomzettingplaatsvindt.

9.3.3 Lineaire omzetting met knik van toetsscores in cijfersBijdelineaireomzettingvantoetsscoresincijferszalhetvaakvoorkomendateentoetsscorevan0nietgelijkisaanhetcijfer1,0,maarbijvoorbeeldhet(nietbestaande)cijfer–0,5ofhetcijfer2,6.Datlaatstekomtomdatdeomzettingbepaaldwordtdoordetweescoresdiebijdecijfers5,5en10gekozenzijn.Wanneermenechtertevredenismetdescoresbijdecijfers5,5en10maaraandescore0hetcijfer1wilgeven,dankanmendelineaireomzettingmetkniktoepassen.Daarbijblijftdelineaireomzettingtussendecijfers5,5en10hetzelfdeenvindtereenapartelineaireomzettingplaatstussendecijfers1en5,5.Hetgevolgisdatereenknikontstaatbijhetcijfer5,5.Indienbijdehavo-toetsEngels2009gekozenwasvooreenlineaireomzettingmetknikzienweindetabelengrafiekdatmetdescore42eencijfervan8,5correspondeertenmeteenscorevan0hetcijfer1,0.

9.3.4 De omzetting van toetsscores in cijfers bij de centrale examens voortgezet onderwijsDeomzettingvantoetsscoresincijfersdiebijdecentraleexamensvoortgezetonderwijsgebruiktwordt,isdezogehetenCvE-methode.Demethodegebruiktdevolgendeformule:

C = (9/L)S + N

IndezeformulestaatCvoorcijfer,L (L=lengtevandetoets)voordemaximumscore,Svoordetoetsscore en Nvoordenormeringsterm.Denormeringstermiseengetaldatmeestaltussen 0,0en+2,0ligtendatdoorhetCollegevoorExamens(CvE),www.cve.nl,vastgesteldwordtinrelatietotdemoeilijkheidsgraadvandetoets.Indiendenormeringstermongelijkisaan1,0,danzijndebegrenzingenzodanigdatdenulscoregelijkisaanhetcijfer1endemaximumscoregelijkisaanhetcijfer10.Voormeerinformatieoverdetechnischeachtergrondvande CvE-methode,ziePDF9.1 en PDF9.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk9.

HiervoorzagenwedatJanmeteentoetsscorevan42eneencesuurvan28bijeenlineaireomzettinghetcijfer8,5kreeg.Inhoofdstuk3zagenwedatdenormeringstermvoordehavo-toetsEngels2009gelijkwasaan0,4.DoordenormeringstermkrijgtJanvolgensbovenstaandeformulehetcijferC=(9/49)42+0,4=8,1. 9.3.5 Het aantal cijfersInparagraaf9.3.1zagenwedatverschillendelandenverschillendecijferschalengebruiken. ZogebruiktmeninDuitslandeencijferschaalmet6cijferswaarbijhetcijfer6hetlaagstecijferenhetcijfer1hethoogstecijferis.InNederlandgebruikenwedecijferschaal1totenmet10. IndienwealleengehelecijfersrapporterendanzoudenwekunnendenkendatweinNederland

bijnatweekeerzopreciesbeoordelenalsinDuitslandenalsweopeendecimaalnauwkeurigrapporterenzoudenwezelfsbijna20keerzopreciesmeten.Isdatlaatsteechterwelzo? Inhoofdstuk3zagenwedattoetsscoresencijfersvaaknietergpreciesgemetenworden. Ditbetekentdatgegevendeonbetrouwbaarheidvandetoets,eencijferschaalmet10cijfers (1,…,10)eentegrotenauwkeurigheidsuggereert.Vooreencijferschaalmet91cijfers (1,0,…,10,0)geldtditnatuurlijknoginsterkeremate.Aangeziencijfersnietsandersdangeordendecategorieënzijn,geldthetvoorgaandeookvoorandereonderscheidingenofbeoordelingen.ZogebruikthetCitoVolgsysteemprimaironderwijsvijfcategorieënomleerlingenteonderscheidenengebruiktmeninhetmiddelbaarberoeps-onderwijsvaakalleendecategorieënonvoldoendeenvoldoendeomdeprestatiesvanleerlingenopeenproevevanbekwaamheidtebeoordelen.Watisnueenbelangrijkekeuzevoorhetaantalteonderscheidencategorieën?Eenbelangrijkeregelis:‘Maaknietmeercategorieëndanjegebruikt’.Datwilzeggendatalseralleenbeslotenwordtofiemandzaktofslaagt,danzijntweecategorieëngenoeg.Wanneerjeooknogwiltaangevenofiemandeenechtgoedeprestatieheeftgeleverd,hebbenweaandriecategorieëngenoeg.Nuishetnatuurlijkaltijdzodatweinformatieweggooienalswemindercategorieënnemendanertoetsscoreszijn.Stelwehebbeneentoetsvan40itemsmetdriecategorieën:categorie1krijgjevoor20scorepuntenofminder,categorie2vanaf21totenmet30score-puntenencategorie3vanaf31scorepunten.Alservooreenleerlingcategorie2wordtgerapporteerddanweetjenietofdieleerlingbijvoorbeeldscore21of30heeft.Jemagerechterwelvanuitgaandatiemandmetscore30overhetalgemeendichterbijcategorie3zitdaniemandmetscore21.Voorhetgebruikvansommigetoetsen,bijvoorbeeldhetCitoVolgsysteemprimaironderwijs,zouhetinformatiefkunnenzijnomtewetenhoegrootdekansisdateenleerlinginiedervandecategorieënzit.Vooriemandmetscore21zoumendanbijvoorbeeld45%,53%,2%kunnenrapporterenwatbetekentdatdeleerlingmet45%kanstotcategorie1behoort,met53%kanstotcategorie2enmaar2%kansheeftomtotcategorie3tebehoren.Dezeleerlingwordtdanuiteindelijktotcategorie2gerekendmaardeinformatiedaterookeengrotekansisdatdeleerlingtotcategorie1behoort,isdannietverlorengegaan.

9.4 Het scoren van meerkeuzevragen

Indezeparagraafbesprekenwetweegangbaremanierenommeerkeuzevragentescoren:decorrectievoorradenenhetwegenvan(meerkeuze)vragen.

9.4.1 Correctie voor radenBijeenmeerkeuzevraagmetvieralternatievenheefteenleerlingaltijd25%kansomhetgoedeantwoordtekiezen.Alseenleerlingdriefoutealternatievenheeftgekozen,neemtmenaandatdeleerlingopbasisvantoevalookvoorgemiddeldééngoedalternatiefheeftgekozen.Hetaantalitemsdatdeleerlingnietkonoplossenisdaneigenlijk4/3groterdanhetaantalfoutbeantwoordeitems.UitgaandevanvoorgaandeargumentatiewordtdevoorradengecorrigeerdetoetsscoreSCvooreenleerlingdieFitemsfoutheeftbeantwoordopeentoetsmetMitems,gegevendoor:

SC = M – (4F)/3

Steldateenleerling15itemsvaneentoetsbestaandeuit60itemsmetvieralternatieven goedbeantwoordtdanisvolgensvoorgaandeformuleSC=60–(4x45)/3=0.Haddetoetsuit60itemsmetdriealternatievenbestaandanwasdevoorradengecorrigeerdescorenegatiefgeweest,namelijkSC=60–(3x45)/2=–7,5.

InhetalgemeenisvooreentoetsmetAalternatievendevoorradengecorrigeerdescoregelijkaan:

SC = M – (AF)/(A–1)

Volgensdezeformulewordtbijcorrectievoorraden–1/(A–1)punteninminderinggebracht, datwilduszeggen1scorepuntingevalvaneentweekeuzevraag,1/2scorepuntbijeendrie-keuzevraag,1/3scorepuntbijeenvierkeuzevraag,1/4scorepuntbijeenvijfkeuzevraag, 1/5scorepuntbijeenzeskeuzevraag,etc.

Indiendeitemsuiteentoetsverschillendeaantallenalternatievenhebben,ishetnietmogelijkomopbasisvanderuwetoetsscoredegecorrigeerdescoreteberekenen.Hebbenwebijvoorbeeldeentoetsbestaandeuitvijfitemsmetrespectievelijk2,4,5,6,3alternatieven,danheefteenleerlingmetdeitemscores01100eenanderegecorrigeerdescoredaneenleerlingmetdeitemscores10001terwijlbeideleerlingeneentoetsscoregelijkaan2hebben.Deleerlingmetdeitemscores01100heeftdescore–1+1+1–1/5–1/2=0,3terwijldeleerlingmetdeitemscores10001descore1–1/3–1/4–1/5+1=1,2heeft.

Correctievoorradeniseigenlijkeenverkeerdebenamingomdatdietenonrechtesuggereert datdegecorrigeerdescoredescoreisdiemenzoubehalenalsernietgeradenwerd.Hetiseenmisvattingalszoudecorrectievoorradenhetvoordeelvaneenhogerescoredoorgelukkig teradenelimineren.Eenleerlingdieheelveelgelukheeft,heeftdaaraltijdvoordeelbij. Decorrectievoorradenkanleidentoteenconservatieveantwoordstrategiebijleerlingenwaardoorzeveelantwoordenoverslaan.Indatgevalmetenwemetdetoetsnaastdevaardigheiddiewebeogentemetenookeenanderevaardigheidendattastdevaliditeitvandetoetsaan.Uitonderzoekblijkttrouwensdatleerlingendieitemsoverslaan,hogerdanverwachtopdeovergeslagenitemsgescoordzoudenhebben.Ditbetekentdatweleerlingenmoetenadviserenomaltijdteantwoorden.

Wanneerwedecorrectievoorradentoepassen,zaldetoetseenlagerebetrouwbaarheidhebbendaninhetgevalvandegebruikelijkemaniervanscorenwaarbijwedeitemsdiegoedbeantwoordzijndescore1geven.Datdeeerstemaniervanscorentoteenlageretoets-betrouwbaarheidleidtdandetweedemaniervanscoren,heeftalsoorzaakdatdoordeeerstemaniervanscorendevariantievandegeobserveerdescores,enookvandewarescores,kleinerwordt.Bovendienmagverwachtwordendatookdefoutenvariantiedoordeeerstemaniervanscorenzaltoenemenomdatsommigeleerlingenmeerradenbijitemswaarvanzenietzekerwetenwathetgoedeantwoordisterwijlandereleerlingeneerdergeneigdzijnomgeenantwoordtegeven.

Eenvariantopdecorrectievoorradenisdatvooralleitemsdiefoutwordenbeantwoord 1scorepuntinminderinggebrachtwordt.Indatgevalisdescoringsregeldateengoedbeantwoorditem1scorepuntoplevert,eennietbeantwoorditem0scorepunteneneenfoutbeantwoord–1scorepunt.Bijdezescoringsregelwordthetfoutbeantwoordenvaneenmeerkeuzeitem,behalvehettweekeuzeitem,dusveelstrengerbestraftdanbijdecorrectievoorraden.Wathetgevolgvandezescoringsregelopdebetrouwbaarheidvaneentoetsis,blijktuiteenonderzoekbij1750studentendie193meerkeuzevragenbeantwoordhebben. Alswedeitemsvoorgoedeantwoordenmet1scorenendeoverigemet0,danisdebetrouwbaarheidgelijkaan0,96.Passenwedescoringsregel1,0,–1toedanzaktdebetrouwbaarheidnaar0,84.Bijditgroteaantalitemsiseenverschilinbetrouwbaarheidvan0,12zeergroot.Gegevenwathiervooroverdecorrectievoorradenopgemerktis,isonsadviesdanookomdecorrectievoorradenniettoetepassen.

9.4.2 Het wegen van de itemscoresWegingisweliswaarnietbeperkttotmeerkeuzevragen,maarwebehandelenhethiertoch. Deargumentatieisooktoepasbaaropalletypenvragen.Meestalwordende0–1itemscoreseenvoudigopgeteldomdetoetsscoreteverkrijgen.Somsmeentmenechterdateenmoeilijkevraageenhogerescoreverdientdaneengemakkelijkevraag.Wegeveneeneenvoudigvoorbeeld.Steldatweeentoetshebbenvantweeitems,ééngemakkelijkenéénmoeilijkitem.Steldat,indiengoedbeantwoord,wehetgemakkelijkeitemmet1scorepunthonorerenenhetmoeilijkeitemmet4scorepunten.Behalveallesgoedenallesfout,diebeidemaaréénantwoordpatroonkennen,zijnertweeantwoordpatronenwaarinprecieséénantwoordgoedenéénantwoordfoutisbeantwoord.Datzijndeantwoordpatronen01en10.Alsheteersteitemhetgemakkelijkeenhettweedeitemhetmoeilijkeitemis,dankrijgtscorepatroon01descore4enscorepatroon10descore1.Daarentegenkrijgenbijongewogenscoringbeideantwoordpatronendescore1.Ishetverdedigbaardateenleerlingdiehetgemakkelijkeitemfoutmaakt4maalhogerwordtgewaardeerd?Deleerlingheeftweliswaarhetmoeilijkeitemgoed,maarzo’ngemakkelijkitemfoutmaken?Devraagstellenishembeantwoorden.Hetisnietteverdedigen.Ditisdebelangrijksteredenomwegingopbasisvanmoeilijkheidachterwegetelaten.Detweederedenisdatwegingvaaknietveeluitmaakt.Decorrelatietussendeongewogenengewogenscoresisveelalhogerdan0,96.Diezeerhogecorrelatiebetekentdatleerlingendiedehoogsteofdelaagstetoetsscoresopdetoetsmetdeongewogenitemshebbenookdehoogsteofdelaagstescoresopdetoetsmetdegewogenitemshebben.Ditbetekentdatinhetgevalvanrelatiefnormerenhetwegenvanitemsgeenzinheeft.Inhetgevalvanabsoluutnormerenkanhetechtervoorkomendatsommigeleerlingendiezakkenbijrelatiefnormerengeslaagdzoudenzijnbijabsoluutnormerenenomgekeerd.Datlaatsteisechtergeenredenomeenleerlingdievooralmoeilijkeitemsgoedheeftenveelgemakkelijkeitemsfouthetvoordeelvanwegingtegunnenboveneenleerlingdievooralgemakkelijkeitemsgoedheeftenmoeilijkeitemsfout.Gegevenvoorgaandeargumentenradenwijhetwegenvanvragenopbasisvanmoeilijkheids-graadaf.

10 De kw

aliteit van toetsen en examens

10 De kwaliteit van toetsen en examens

10 Dekwaliteitvantoetsenen examens

Piet Sanders en Bas Hemker

Indithoofdstukoverhetbeoordelenvandekwaliteitvantoetsenenexamensbehandelenwetweebeoordelingssystemen.Heteerstebeoordelingssysteemishet‘Beoordelingssysteemvoorde kwaliteitvantests’datdoordeCommissieTestaangelegenhedenNederland(COTAN)gebruiktwordtompsychologischetestsenstudietoetsentebeoordelendiedooruitgeverijenenanderebedrijvenopdemarktgebrachtworden.Inhetvervolgvandithoofdstukwordendetermen‘test’en‘toets’doorelkaargebruikt.Hettweedebeoordelingssysteembetreftde‘Regelingstandaarden examenkwaliteitmbo2012’waarmeedoordeInspectievanhetOnderwijsdeexamensvanhetmiddelbaarberoepsonderwijs(mbo)beoordeeldworden.

Erzijntweeredenenomaandachttebestedenaanbeoordelingssystemenvantoetsenenexamens.Indeeersteplaatskunnendebeoordelingenvandezesystemendegebruikerhelpenbijhetbeoordelenenselecterenvantestsentoetsendievangoedekwaliteitzijn.Bijdedoorverwijzingvanleerlingennaarhetleerwegondersteunendonderwijs(LWOO)enhetpraktijkonderwijs(PrO)schrijftdeoverheidzelfsvoordatalleentoetsengebruiktmogenwordendieopdoordeCOTANonderscheidencriteriavoldoendebeoordeeldzijn,zie www.toetswijzer.nl>Toetsspecials>InstrumentenindicatiestellingLWOOenPrO.Indetweedeplaatskunnendezebeoordelingssystemenhelpenbijhetconstruerenvantoetsendievoldoenaandeeisendiedoorderdenaanhetgebruikvantestsentoetsengesteldworden.VoorhetmbogeldtbijvoorbeelddatopleidingenhunexamenlicentiekunnenkwijtrakenindiendeexamensvanonvoldoendekwaliteitzijnvolgensdestandaardenvoorexamenkwaliteitdiedeInspectiehanteert.

WebeginnendithoofdstukmethetCOTAN-beoordelingssysteemvoordekwaliteitvantests. DezevencriteriavanhetbeoordelingssysteemeneenvoorbeeldvaneenCOTAN-beoordelingwordengepresenteerdentoegelicht.Daarnawordendedriestandaardenvoordebeoordelingvandeexamenkwaliteitinhetmbogepresenteerd.Tenslottewordtingegaanopdebetekenisvanbeoordelingssystemenvoordetoetspraktijk.

10.1 COTAN Beoordelingssysteem voor de kwaliteit van tests

HetdoelvandeCOTAN,eencommissievanhetNederlandsInstituutvanPsychologen(NIP),ishetbevorderenvandekwaliteitvantestsentestgebruikinNederlandentestgebruikersteinformerenoverdestandvanzakenoptestgebied.VooruitgebreideinformatieoverdeCOTANziewww.psynip.nl/tests_cotan.html.DeCOTANbeoordeelttestsentoetsensinds1969metbehulpvaneenbeoordelingssysteemdatindeloopderjarensteedsverderontwikkeldis.In2009isdelaatsteversievanhetbeoordelingssysteemgetiteld‘COTANBeoordelingssysteemvoordekwaliteitvantests’verschenenmeteenherzienedrukin2010.

161 De kwaliteit van toetsen en examens < Inhoud Index >

DeCOTANbeoordeeltdekwaliteitvantestsopbasisvanzevencriteria:1 Uitgangspuntenvandetestconstructie2 Kwaliteitvanhettestmateriaal3 Kwaliteitvandehandleiding4 Normen5 Betrouwbaarheid6 Begripsvaliditeit7 Criteriumvaliditeit

Toetsenwordenbeoordeelddoortweedeskundigebeoordelaarsdiedebeoordelingenonafhankelijkvanelkaarverrichten.Ingevalvandiscrepantieswordendiedooreenonafhankelijkecoördinatormetdebeoordelaarsbesproken.Indiennodigschakeltdecoördinatoreenderdedeskundigein.Nadatdeeindbeoordelingnaardeauteur(s)vandetestgestuurdis,kandezebinneneenmaandopdebeoordelingreagerenwaarnadeCOTANdeeindbeoordelingalofnietaanpast.Dedefinitieveeindbeoordelingenvantoetsenwordenopgeslagenineendatabasediemenkanraadplegendooreenabonnementtenemen,zie www.cotandocumentatie.nlenhoofdstuk5voormeerinformatie.Vanveeltoetsendieinhetonderwijsgebruiktworden,kanmendebeoordelingenookvindenopwww.toetswijzer.nl > Toetsgids.

HiernawordendezevenkwaliteitscriteriavandeCOTANgepresenteerdenbesproken. Depresentatiebestaatuiteennagenoegletterlijkeweergavevandebelangrijkstecriteriauithetbeoordelingssysteem.Delezerdiekenniswilnemenvanhetvolledigebeoordelingssysteemverwijzenwenaarwww.psynip.nl/tests_cotan.html>COTANBeoordeling>Beoordelings-systeem.DebesprekingbestaatuithetgevenvanverwijzingennaaranderehoofdstukkenuitditboekentoelichtingenbijdeCOTAN-criteria.

1 Uitgangspunten van de testconstructieBijditcriteriumwordendrievragengesteld:

1.1 (Basisvraag)Iseraangegevenwathetgebruiksdoelisvandetest? a Iseraangegevenwelkeconstruct(en)detestbeoogttemeten? b Iseraangegevenwatdedoelgroep(en)is(zijn)vandetest? c Iseraangegevenwatdefunctieisvandetest? 1.2 Isdeherkomstvanhetconstructie-ideebeschrevenen/ofwordendetemeten

constructengedefinieerd? 1.3 Wordtderelevantievandetestinhoudvoordetemetenconstruct(en)aannemelijk

gemaakt?

Inhetbeoordelingssysteemkrijgtdebeoordelaarbijelkevraagaanwijzingenvoordebeoordeling.Bijvraag1.1amoetdebeoordelaarnagaanofhetduidelijkiswelkeconstructendetestbeoogttemeten.Voorbeeldenvanconstructenzijnintelligentie,leesvaardigheid,prestatiemotivatieofADHD.Zievoorhetvoorgaandeookhoofdstuk4,Devaliditeitvantoetsscores,waargesprokenwordtoverdeinterpretatievantoetsscores.Vraag1.1bspreektvoorzichterwijlvraag1.1cuitgebreidaandeordeisgeweestinhoofdstuk1,Hetdoelvantoetsen.Vandevierdoelendieindathoofdstukonderscheidenworden,heefthetCOTAN-beoordelingssysteembetrekkingoptoetsendietotdoelhebbenpersonenofleerlingentebeoordelen.

Bijvraag1.2moetdebeoordelaarnagaanofdetestaansluitbijeenbestaandetheorieoverbijvoorbeeldleesvaardigheidofintelligentieenofdietheorievoldoendebeschrevenis.Bijvraag1.3moetdebeoordelaarnagaanofereenzodanigeomschrijvingvanhetitemdomeinbeschikbaarisdatduidelijkisofeenwillekeurigitemuitdetestwelofniettotdetestbehoort.

De relevantievandeinhoudvaneentoetsbetreftdeinhoudsvaliditeitvaneentoets. Inhoofdstuk4,Devaliditeitvantoetsscores,wordtditonderwerpbehandeld.Inde‘Regelingstandaardenexamenkwaliteitmbo2012’komtditaspectvantoetsenterugbijindicator1.2,dekkingvanhetkwalificatiedossier.

HoedeCOTAN-criteriagescoord/beoordeeldworden,lichtenwehiertoevoorcriterium1. Alle(sub)vragenwordendooreenbeoordelaaralsonvoldoende(1scorepunt),voldoende (2scorepunten)engoed(3scorepunten)beoordeeld.Vraag1.1iseenbasisvraagwatbetekentdatalseenvandesubvragen,1.1a,1.1bof1.1c,alsonvoldoendebeoordeeldis,criterium1alsonvoldoendebeoordeeldwordtendatmenderestvandevragenvanditcriteriumkanoverslaan.Indienditlaatsteniethetgevalis,gebeurtdevaststellingvanheteindoordeelvoorcriterium1opbasisvanhetaantalscorepuntenopde(sub)vragendieresulteertineenonvoldoende,voldoendeofgoedebeoordelingvanditcriterium.Zoisheteindoordeelvoorcriterium1‘goed’alsdesomvandebeoordelingenopdesubvragenvanvraag1.1,8of9scorepuntenbedraagtenalsopdevragen1.2en1.3minstens2scorepuntentoegekendzijn.Heteindoordeelvoorcriterium1is‘voldoende’alsdesomvandebeoordelingenopdesubvragenvanvraag1.1,6of7scorepuntenbedraagt,aangeenvandesubvragenvan1.1,1scorepunttoegekendisenalsopdevragen1.2en1.3minstens2scorepuntentoegekendzijn. Isinhetlaatstegevalaaneenvandevragen1.2of1.3,1scorepunttoegekenddanisheteindoordeel‘onvoldoende’.WatbetreftdebeoordelingenscoringvandeanderecriteriaverwijzenwedelezernaardeCOTAN-publicatievanhetbeoordelingssysteemopdewebsitevanCOTAN.

2 Kwaliteit van het testmateriaalBijdebeoordelingvanditcriteriumwordtonderscheidgemaakttussentestsdieschriftelijkofmetbehulpvandecomputerwordenafgenomen.Bijditcriteriumwordenvoorbeideafnamewijzendriebasisvragengesteld:

2.1 Zijndetestopgavengestandaardiseerd? 2.2 a Isersprakevaneenobjectiefscoringssysteem?en/of b Alsdescoringdoorobservatorengebeurt,isdanhetbeoordelings-ofobservatie-

systeemvolledigenduidelijk? 2.3 Zijndeitemsvrijvanracistische,etnocentrische,seksistischeenvoorbepaalde

bevolkingsgroepenkwetsendeinhoud?

Bijvraag2.1moetdebeoordelaarnagaanofdeitems/opdrachtenwatbetreftvorm,inhoudenvolgordevooriedereenhetzelfdezijn.Standaardiserenisbelangrijkalsmendetoetsscoresvanverschillendepersonen/leerlingenwilinterpreterenenvergelijken.De(on)mogelijkhedenomtestandaardiserenverschillennogalpertoetsvorm.Toetsenbestaandeuitmeerkeuzevragenzijneenvoudigertestandaardiserendantoetsenbestaandeuitopenvragenendiezijnweereenvoudigertestandaardiserendantoetsenbestaandeuitpraktischeopdrachten.Bijvraag2.2amoetdebeoordelaarnagaanofdescoresdieaanallemogelijkeantwoordenvanpersonenwordentoegekendbijvoorbaatzodanigvastliggen,datelketestleider/docent,afgezienvanadministratievefoutendiebijdescoringgemaaktkunnenworden,totdezelfdescorezalkomen.

Bijvraag2.2bmoetdebeoordelaarnagaanofderichtlijnenvoordebeoordeling/scoring,waarondermodelantwoorden,modelgedragingen,schaalankersendergelijke,deobjectiviteitvandebeoordelingzogoedmogelijkwaarborgen.Vooreentoelichtingbijvraag2.3verwijzenwenaardepublicatievanK.Bügelen P.F.Sandersgetiteld‘Richtlijnenvoordeontwikkelingvanonpartijdigetoetsen’,diemengratiskandownloadenopdewebsitevanCito,www.cito.nl>Onderzoekenwetenschap>Psychometrie>Richtlijnenontwikkelingtoetsen.

Behalvededriebasisvragenwordenbijcriterium2voorbeideafnamewijzen,schriftelijkencomputer,nogtwaalfanderevragengesteld.Hetbetreftvragennaardekwaliteitvandeinstructievoordegeteste,decorrecteformuleringvandeitems,dekwaliteitvanhettest-materiaal,etc.Voormeerinformatiehieroververwijzenwenaardehoofdstukken6,7en8.

3 Kwaliteit van de handleidingBijditcriteriumwordtgevraagdnaardevolledigheidvandeinformatiediedehandleidingbiedtvoordegebruiker.Hierbijgaathetenerzijdsompraktischeaanwijzingenvoordeafname,scoringeninterpretatie(gebruikershandleiding)enanderzijdsominformatieoveronderzoekdatmetdetestisverricht(wetenschappelijkeoftechnischeverantwoording).Beidesoorteninformatiezijnvoordegebruikervanbelangomtekunnenbeoordelenwelkeconclusieseraaneentestscorekunnenwordenverbonden.Bijditcriteriumwordendevolgendevragengesteld:

3.1 (Basisvraag)Isereenhandleidingbeschikbaar? 3.2 Zijndeaanwijzingenvoordetestleidervolledigenduidelijk? 3.3 Wordterinformatiegegevenoverdegebruiksmogelijkhedenenbeperkingenvande

test? 3.4 Wordtindehandleidingeensamenvattingvandeonderzoeksresultatengegeven? 3.5 Wordtmetbehulpvanvoorbeeldenaangegevenhoetestscoreskunnenworden

geïnterpreteerd? 3.6 Wordtergewezenopinformatiediebijdeinterpretatievanbelangkunnenzijn? 3.7 Wordtdematevandeskundigheidvermelddievereistisvoorafnameen

interpretatievandetest?

Bijvraag3.1moetdebeoordelaarnagaanofereenhandleidingis.Indienergeenhandleidingis,kanmenderestvandevragenvanditcriteriumoverslaan.Bijvraag3.2moetdebeoordelaarnagaanofdeaanwijzingenvoordetestleiderzodanigzijndatdeafnamegestandaardiseerdplaatsvindt.Ermoetzoveelmogelijkletterlijkzijnvoorgeschrevenwatdetestleiderwelennietmagzeggenenwelkehandelingendetestleidermoetverrichten.Ookmoetvoorgeschrevenwordenhoedetestleideropvragenmoetingaan (erkunnenbijvoorbeeldstandaardtekstenwordengegevenvoorantwoordenopveelvoorkomendevragen),welkematevanondersteuningmagwordengebodenenwelkehulpmiddelendegetestemaggebruiken.Bijvraag3.3moetdebeoordelaarnagaanofdehandleidingvolledig,nauwkeurigenduidelijkisoverdegebruiksmogelijkhedenenbeperkingenvandetest.Hetmoetvoordetestgebruikerduidelijkzijnwelkeconstructenmetbehulpvandetestwordengemeten,voorwelkedoelgroepdetoetsbedoeldisenwathetdoelvandetoetsis.Verdermoetendebeperkingenvandetestzijnbeschreven.Iserbijvoorbeeldbijclassificatiebeslissingeninhetonderwijsaangegevendatdebeslissingnietopeenenkeletoetsmagwordengebaseerd?Wijstmenbijhetgebruikvanvoortgangstoetsenopderelatietussendetoetsscoreenhetverdereonderwijsleerproces? Aanvoorgaandetweevragenisinhoofdstuk3,Debetrouwbaarheidvantoetsscores,uitgebreid

aandachtbesteed.Bijvraag3.4moetdebeoordelaarnagaanofdesamenvattingvanderesultatenvannormerings-,betrouwbaarheids-envaliditeitsonderzoekzodanigisdateengebruikervandetestzicheenoordeelkanvormenofdetestvoorzijndoeleindengeschiktisendevereistekwaliteitheeft.Hetantwoordopdezevraagzalafhankelijkzijnvandeexpertisedieeengebruikerheeftofdievaneengebruikerverwachtmagworden.Deafgelopenjareniseenaanvanggemaaktmethetopleidenencertificerenvanpersonendiebijconstrueren,beoordelenenafnemenvantoetsenbetrokkenzijn.Diverseorganisatiesbiedenopleidingenaanvoortoetsconstructeur,toetsvaststellerenassessor.Bijvraag3.5moetdebeoordelaarnagaanofvoorbeeldengegevenwordenvanhoedetoetsscorewelenhoenietgeïnterpreteerdmagworden.Eenvoorbeeldvandenauwkeurigheidvantoetsscoresencijfershebbenweinhoofdstuk3bijdebesprekingvandestandaard-meetfoutgepresenteerd.Bijvraag3.6moetdebeoordelaarnagaanoferbijvoorbeeldinformatiegegevenwordtoverdemogelijkeinvloedvanachtergrondvariabelenen(test)ervaringopdescoresofdataangegevenwordtwelkeanderevariabelenaanbijvoorbeelddevoorspellingvandeEindtoets Basisonderwijsbijdragen.Inhetlaatstegevalzijndeoordelenvandocentenenvanouderseenbelangrijkebronvaninformatie.Bijvraag3.7moetdebeoordelaarnagaanoverwelkematevandeskundigheiddegebruikerdienttebeschikken.Welkeprofessionalszijngezienhunopleidingenwerkervaringgeschikt?Welkekennisenvaardighedenzijnvoordeafnameeninterpretatievandetestnoodzakelijk? ZowordteendocentwelgeschiktgeachtomdescorebehaaldopdeEindtoets te interpreteren maarnietdescorebehaaldopeenintelligentietest.

4 NormenBijditcriteriumwordeneersttweealgemenebasisvragengesteld:

4.1 Wordenernormenverstrekt? 4.2 Zijndenormenactueel?

Indiendebeoordelaarbijvraag4.1constateertdatergeennormenbeschikbaarzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Bijvraag4.2moetdebeoordelaarnagaanofdenormennogactueelzijn.HetstandpuntvandeCOTANisdatnormennatwintigjaarnietmeerbruikbaarzijnendusnietvoldoenaanditcriterium.

Nadetweealgemenebasisvragenvolgener(basis)vragenafhankelijkvanofersprakeisvannormgerichte,domeingerichteofcriteriumgerichteinterpretatievandescores.Voorinformatieover‘normen’verwijzenwenaarhoofdstuk9,Hetbeoordelenvantoetsscores,waaruitgebreidingegaanwordtophetopstelleneninterpreterenvannorm-encijferschalen.

Bijnormgerichteinterpretatiewordtdetestscorevaneenpersoonvergelekenmetdetestscoresvananderepersonen.Dittypenormenwordtookrelatievenormengenoemd.Indienersprakeisvannormgerichteinterpretatiewordendevolgendevragengesteld:

4.3 (Basisvraag)Watisdekwaliteitvandeverstrektenormgroepen? a Zijndenormgroepengrootgenoeg? b Zijndenormgroepenrepresentatief? 4.4 Wordendebetekenisendebeperkingenvandenormschaalduidelijkgemaaktvoor

degebruikerenishettypenormschaalinovereenstemmingmethetdoelvandetest? 4.5 Wordenergemiddelden,standaardafwijkingenengegevensoverdescoreverdeling

vermeld? 4.6 Wordenergegevensverstrektovermogelijkeverschillentussensubgroepen

(bijvoorbeeldallochtonen-autochtonen,mannen-vrouwen)? 4.7 Wordenergegevensverstrektoverdenauwkeurigheidvandemetingendedaarbij

behorendeintervallen? a standaardmeetfout b standaardschattingsfout c testinformatiefunctie

Bijvraag4.3aheeftdeCOTANdevolgendebeoordelingsregelsopgesteld:• Bijtestsvoorbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldpersoneelsselectie,

verwijzingnaarspeciaalonderwijsofcertificering)wordteennormgroepvan400ofmeerpersonenalsgoed,eengroepvan300ofmeertot400personenalsvoldoendeeneengroepvanminderdan300personenalsonvoldoendebeoordeeld.

• Bijtestsvoorrelatiefminderbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldvoortgangscontrole)wordteennormgroepvan300ofmeerpersonenalsgoed,eengroepvan200ofmeertot300personenalsvoldoendeeneengroepvanminderdan200personenalsonvoldoendebeoordeeld.

Voorwatbijvraag4.3bverstaanwordtonderderepresentativiteitvannormgroepenwordtdelezerverwezennaarhoofdstuk9,Hetbeoordelenvantoetsscores.

Bijvraag4.4moetdebeoordelaarnagaanofdegebruiktenormschaalinovereenstemmingismethetdoelvandetest.Hetisbijvoorbeeldnietzinvoleenpercentielschaaltegebruikenalsdeminimumscoreopeentest0endemaximumscore20bedraagt.Ookmoetdebeoordelaarbijvoorbeeldnagaandatwanneerleeftijds-ofleerjaarnormenverstrektworden,ergeensprakeisvaneentebreedleeftijds-ofleerjaarintervalwaardoordeprestatiesaanhetbeginvanhetintervalwordenonderschatenaanheteindoverschat.Watbetreftvraag4.7wordtdelezervooreentoelichtingbij4.7averwezennaarhoofdstuk3, De betrouwbaarheidvantoetsscores.Indathoofdstukwordendebegrippenstandaardschattingsfoutentestinformatiefunctieechterniettoegelicht.

Bijdomeingerichteinterpretatiewordtdetestscorevaneenpersoonvergelekenmeteenofmeerstandaarden,cesurenofgrensscores.Destandaardenwordenopdeeenofanderewijzedoorbeoordelaarsbepaald.Dittypenormenwordtookabsolutenormengenoemd.Indienersprakeisvandomeingerichteinterpretatiewordendevolgendevragengesteld:

4.8 (Basisvraag)Iservoldoendeovereenstemmingtussendebeoordelaars? 4.9 Zijndeproceduresopgrondwaarvandegrensscoreszijnbepaaldcorrect? 4.10 Zijndebeoordelaarsnaarbehorengeselecteerdengetraind?

Bijvraag4.8moetdebeoordelaarnagaanofdeovereenstemmingtussendeexpertsofbeoordelaarsvoldoendehoogisomdestandaardtekunnenlegitimeren.Bijvraag4.9moetdebeoordelaarnagaanofdegevolgdestappenenbeslissingeninovereenstemmingzijnmetdegebruiktestandaardbepalingsmethode.Bijvraag4.10moetdebeoordelaarnagaanwelkeproceduregevolgdisbijdeselectievandeexpertsenofdeexpertsgetraindzijninhettoepassenvandestandaardbepalingsmethode. Bijcriteriumgerichteinterpretatiewordtdestandaard,cesuurofgrensscoreaanonderzoeks-gegevensontleend.Bijdezewijzevannormerenmoetenernaastdegegevensopdetestookgegevensoverhetcriteriumzijnverzameld.Zokanbijvoorbeeldbijhettoekennenvanlicentiesofdiploma’sdegrensscoreofcesuurbepaaldwordendoornategaanbijwelketestscoredegunstigsteverhoudingbestaattussendeelnemersdieindepraktijksuccesvolenonsuccesvolblijkentezijn.Indienersprakeisvancriteriumgerichteinterpretatiewordendevolgendevragengesteld:

4.11 (Basisvraag)Rechtvaardigendeonderzoeksresultatenhetgebruikvangrensscores? 4.12 Isdeonderzoeksgroepinovereenstemmingmethetbedoeldegebruik? 4.13 Isdeonderzoeksgroepgrootgenoeg?

Bijvraag4.11moetdebeoordelaarnagaanofdetestauteurvoldoendebewijslevertvoordebruikbaarheidvandegekozengrensscore.Bijvraag4.12moetdebeoordelaarnagaanofhetonderzoekwaarindegrensscorebepaaldis,betrekkingheeftopdepopulatiewaarvoordetestgebruiktis.Bijvraag4.13heeftdeCOTANdevolgendebeslissingsregelopgesteld.Ervanuitgaanddatgrensscoresalleenwordenbepaaldinsituatieswaarinhetgaatombelangrijkebeslissingen opindividueelniveau(zievraag4.3a),wordteenonderzoeksgroepbestaandeuitminstens 300personenalsgoed,eengroepbestaandeuitminstens200personenalsvoldoendeeneenonderzoeksgroepbestaandeuitminderdan200personenalsonvoldoendebeoordeeld.Voortoelichtingbijvraag4.3bwordtdelezerverwezennaarhoofdstuk9,Hetbeoordelenvantoetsscores,waaruitgebreidingegaanwordtopderepresentativiteitvannormgroepen.

5 BetrouwbaarheidBijditcriteriumwordendrie(sub)vragengesteld:

5.1 (Basisvraag)Wordenergegevensoverdebetrouwbaarheidverstrekt? 5.2 Zijnderesultatenvoldoende,geletophetbeoogdetypebeslissingendatmetbehulp

vandetestwordtgenomen? 5.3 Watisdekwaliteitvanhetonderzoeknaardebetrouwbaarheid?

Bijvraag5.1moetdebeoordelaarnagaanoferinformatieoverdebetrouwbaarheidvandetestscoresverstrektis.Indienergeeninformatiebeschikbaaris,kanmenderestvandevragenvanditcriteriumoverslaan.

Bijvraag5.2heeftdeCOTANdevolgendebeoordelingsregelsopgesteld:• Bijtestsvoorbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldhetzakkenof

slagenvanleerlingen,doorverwijzingnaarspeciaalonderwijs)wordteenbetrouwbaarheidvan0,90ofhogeralsgoed,van0,80ofhogerenkleinerdan0,90alsvoldoendeenkleinerdan0,80alsonvoldoendebeoordeeld.

• Bijtestsvoorminderbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldvoortgangscontrole)wordteenbetrouwbaarheidvan0,80ofhogeralsgoed,van0,70ofhogerenkleinerdan0,80alsvoldoendeenkleinerdan0,70alsonvoldoendebeoordeeld.

• Bijtestsvooronderzoekopgroepsniveau(bijvoorbeeldklimaatindeklas)wordteenbetrouwbaarheidvan0,70ofhogeralsgoed,van0,60ofhogerenkleinerdan0,70alsvoldoendeenkleinerdan0,60alsonvoldoendebeoordeeld.

Hoofdstuk3vanditboekgaatuitgebreidinophetgebruikvandebetrouwbaarheidscoëfficiëntenanderematenomdebetrouwbaarheidvaneentoetsofeenaantaltoetsensamentekwanti-ficeren.Dezematenzijndestandaardmeetfoutenhetpercentagemisclassificatiesbijeenenkeletoetsofvaneenexamenbestaandeuitmeerderetoetsenzoalseenhavo-examen.Hoewelallebedoeldematenmetelkaarsamenhangen,wordteenpleidooivoorhetgebruikvandieanderematennaastofinplaatsvandebetrouwbaarheidscoëfficiëntgehouden.Voorhetbeoordelenvaneenexamen,zoalshetvwo-examendatuitmeerderetoetsenbestaat,ishetCOTAN-beoordelingssysteemechternietontwikkeldenkandaarvoordusooknietgebruiktworden.

De beoordeling van validiteit volgens de COTANVoorafgaandeaandepresentatievandecriteriadieCOTANhanteertbijdebeoordelingvandevaliditeitvaneentoets,dientopgemerkttewordendaterindetestliteratuurverschillendeopvattingenovervaliditeitbestaan.Volgensdeopvattinginhoofdstuk4,Devaliditeitvantoets-scores,heeftvaliditeitbetrekkingopdeinterpretatieenhetgebruikvantoetsscoresenbestaathet validerenvantoetsscoresuitbewijzendiedeinterpretatieenhetgebruikondersteunen.DeCOTANgaatuitvandeklassiekedriedelingvanvaliditeit:inhoudsvaliditeit,begripsvaliditeitencriteriumvaliditeit.Vandezedriewordtvaliditeitsinformatiediebetrekkingheeftopderelevantievandeinhoudvaneentest(inhoudsvaliditeit)enopdebetekenisvaneentestscore(begrips-validiteit)vooralletypentestsvanbelanggeacht,ongeachthetdoelvandetoets.Ditgeldtechternietvoorinformatieoverdevoorspellendewaardevantestscores(criteriumvaliditeit):voortestsdiegeenvoorspellendepretentiehebben,isdittypeinformatienietvereist.DedriesoortenvaliditeitdiedeCOTANonderscheidt,komenookinhoofdstuk4aandeorde.InhoudsvaliditeitwordtdoordeCOTANechteropgevatalsonderdeelvanhettestontwikkelings-procesendusvancriterium1endanmetnamecriterium1.3.Decriteriabegripsvaliditeitencriteriumvaliditeitwordenhiernabesproken.

6 BegripsvaliditeitBijditcriteriumwordendevolgendevragengesteld:

6.1 (Basisvraag)Wordenergegevensoverdebegripsvaliditeitverstrekt? 6.2 Makenderesultatenvoldoendeaannemelijkdathetbegripzoalsbedoeld,wordt

gemeten? 6.3 a Zijndeproceduresopbasiswaarvandebegripsvaliditeitsgegevenszijnberekend

correct? b Komendesteekproevendieinhetbegripsvalideringsonderzoekzijngebruikt,

overeenmetgroepenwaarvoordetestisbedoeld? c Watisdekwaliteitvandeanderematendieinhetbegripsvalideringsonderzoek

zijngebruikt? d Isdekwaliteitvanhetonderzoek,zoalsbeoordeeldindevragen6.3atotenmet

6.3c,zodanigdatdebeoordelingvandebegripsvaliditeitinvraag6.2,kan wordenbevestigd?

Indiendebeoordelaarbijvraag6.1constateertdatergeengegevensoverdebegripsvaliditeitverstrektzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Voortoelichtingbijvraag6.2wordtdelezerverwezennaarhoofdstuk4,Devaliditeitvantoetsscores,metnamedeparagrafendieoverdeverschillendesoortenbewijzengaan.Bijvraag6.3atotenmet6.3dmoetdebeoordelaarnagaanofhetonderzoeknaardebegripsvaliditeitgoeduitgevoerdis(6.3aen6.3b)endatdetoetsenofanderemeetinstrumentendieinhetonderzoekgebruiktzijn,voldoendebetrouwbaarzijn(6.3c).

7 CriteriumvaliditeitBijditcriteriumwordendevolgendevragengesteld:

7.1 (Basisvraag)Wordenergegevensverstrektoverhetverbandtest-criterium? 7.2 Zijnderesultatenvoldoendegeletophettypebeslissingendatmetdetestgenomen

moetworden? 7.3 a Zijndeproceduresopgrondwaarvandecriteriumvaliditeitsgegevenszijnberekend

correct? b Zijndesteekproevenopgrondwaarvandecriteriumvaliditeitsgegevenszijn

berekendinovereenstemmingmethetbeoogdetestgebruik? c Watisdekwaliteitvandecriteriummaten? d Isdekwaliteitvanhetonderzoek,zoalsbeoordeeldindevragen7.3atotenmet

7.3c,zodanigdatdebeoordelingvandecriteriumvaliditeitinvraag7.2,kanwordenbevestigd?

Indiendebeoordelaarbijvraag7.1constateertdatergeengegevensoverdecriteriumvaliditeitverstrektzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Zoalshiervoorreedsopgemerktwerd,isdecriteriumvaliditeitnietvoorelketestrelevant.Voortoelichtingbijvraag7.2wordtdelezerverwezennaarhoofdstuk4,Devaliditeitvantoetsscores,metnamenaardeparagraafwaardevoorspellendewaardeofcriteriumvaliditeitvandeEindtoets Basisonderwijsbesprokenwordt.Bijvraag7.3atotenmet7.3dmoetdebeoordelaarnagaanofhetonderzoeknaardecriterium-validiteitgoeduitgevoerdis(7.3aen7.3b)endatdetoetsenofanderemeetinstrumentendieinhetonderzoekalscriteriumgebruiktworden,voldoendebetrouwbaarzijn(7.3c). 10.1.1 Voorbeeld van een COTAN-beoordelingCOTAN-beoordelingenvaneengrootaantaltoetsenstaaninToetsgidsopdewebsiteToetswijzerdiedoorCitobeheerdwordt,ziewww.toetswijzer.nl>Toetsgids.HieronderstaateendownloadvandeSON-R51/2-17uitToetsgids.DetoetsbeoordelinginformeertdepotentiëlegebruikeroververschillendeaspectenvandetoetseneindigtmetdeCOTAN-beoordelingopdezevenbeoordelingscriteria.Opbasisvandezeinformatiekandepotentiëlegebruikerbeslissenofdetoetsalofnietgeschiktisvoorhetdoelwaarvoordetoetsingezetgaatworden.Isdiebeslissingpositiefdankandepotentiëlegebruikerverdereinformatieinwinnenbijdeuitgevervandetest.

SON-R 5 1/2-17

OmschrijvingDeSON-R(Snijders-OomenNiet-verbaleIntelligentietest)iseenalgemeentoepasbareintelligentietestvoorkinderenvan51/2tot17jaarwaarbijhetgebruikvangesprokenofgeschreventaalnietnoodzakelijkis.DeSON-R51/2-17kanookalsverkorteversiewordenafgenomen.

Informatie en bestellenUitgever Boomtestuitgevers[Info][Site][Meervan...]Jaarvanuitgave 2003

Inhoud en gebruikDeSON-Risgeschiktvoorkinderenmet:eenniet-Nederlandseachtergrond;taal-,spraak-engehoorproblemen;autistischestoornissen;eenontwikkelingsachterstandenleerproblemen;eenverstandelijkehandicap.DeSON-Rbestaatuit7subtestsvanelk20-30items:• Abstractredeneren:subtestsCategorieën,Analogieën• Concreetredeneren:subtestsSituaties,Stripverhalen• Ruimtelijkinzicht:subtestsMozaïeken,Patronen• Perceptie:subtestZoekplatenSON-Rwordtindividueelafgenomen,afnameduur:ca.90minuten.InhetcomputerprogrammavanSON-RiseencorrectievoorhetFlynn-effect(verouderingvandenormen)ingebouwd.Deverkorteversiebestaatuit4subtests:abstractredeneren(Categorieën,Analogieën);concreetredeneren(Situaties);ruimtelijkinzicht(Mozaïeken).

DoelgroepKinderenvan5,5tot17jaar.

MeetpretentieIntelligentieniveau.

Doel• Vaststellenvanhetintelligentieniveau.• DeSON-R51/5-17kangebruiktwordenbijindicatiestellingvoorleerwegondersteunend

onderwijs(LWOO)enpraktijkonderwijs(PrO).Bijtaalproblemen(achterstanden)enallochtoneleerlingendieonvoldoendeNederlandsspreken.

VoorbeelditemErisgeenvoorbeelditemvandezetoets.

OpmerkingNaastdeSON-R51/2-17isookdeSON-R21/2-7beschikbaar.

KernpublicatieSnijders-OomenNiet-verbaleIntelligentietest(SON-R51/2-17)/Snijders,TellegenenLaros.Amsterdam:Boomtestuitgevers.

LiteratuurPublicatiesopwww.testresearch.nl.

Weblinks • InformatieoverSON-R51/2-17opdewebsitevanBoomtestuitgevers• InformatieoverSON-RopdewebsiteTests&Test-research

COTAN-beoordeling

Criteria Beoordeling

UTC Uitgangspuntenbijdetestconstructie[Toelichting] Goed

KTM Kwaliteitvanhettestmateriaal[Toelichting] Goed

KHL Kwaliteitvandehandleiding[Toelichting] Goed

NRM Normen[Toelichting] Goed

BTR Betrouwbaarheid[Toelichting] Goed

BVA Begripsvaliditeit[Toelichting] Goed

CVA Criteriumvaliditeit[Toelichting] Goed

10.2 Regeling standaarden examenkwaliteit mbo 2012

Deexamensvanberoepsopleidingenmoetenvoldoenaanlandelijkestandaardenvoordekwaliteitvanexamens,alsbedoeldinartikel7.4.4vandeWeteducatieenberoepsonderwijs(WEB).Deonderwijsinstellingdientzelftebewakendatdekwaliteitvandedoorhaarverzorgdeberoepsopleidingenvoldoetaandestandaarden.Waarnodigdientdeinstellingdekwaliteittijdigteverbeteren.Daarnaastdientdeinstellingjaarlijkspubliekeverantwoordingafteleggenoverdeuitkomstenvandezelfevaluatievandematewaarindeexamensaandestandaardenvoldoen(opgrondvanartikel1.3.6vandeWEB).HetexternetoezichtopdekwaliteitvandeexamensinhetmbowordtuitgeoefenddoordeInspectievanhetOnderwijs.AandehandvandestandaardenendedaarvandeeluitmakendenormeringbeoordeeltdeInspectieofdeexamenkwaliteitvaneenopleidingonvoldoendeofvoldoendeis.Dekwaliteitvandeexamenswordtbeoordeeldaandehandvandriestandaarden,ziehttp://wetten.overheid.nl/BWBR0030427.Perstandaardzijnmeerdereindicatorenopgenomen.Bijelkeindicatoriseenportretgevoegd.Hieronderwordendedriestandaardengepresenteerd.Depresentatiebestaatuiteenletterlijkeweergavevandestandaardenmetbijbehorendeindicatorenenportretten.Delezerdienietbekendismetdetermenkwalificatiedossier,kerntaken en werkprocessendieindeportrettengebruiktworden,verwijzenwenaardebegrippenlijstopdewebsitevandeMBORaad,www.mboraad.nl>Hetmbo>Begrippenlijst.

Standaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen

Indicator 1.1. Onderscheid tussen ontwikkelgerichte toetsen en examineringPortret–Deinstellingheefteenduidelijkonderscheidgemaakttussendeopleiding–endaarinopgenomenontwikkelgerichtetoetsen–endeexaminering.Dezeovergangisgemarkeerd.Deexamencommissieheeftgeëxpliciteerdopgrondvanwelkexamenenoverigeeisenhetdiplomawordtverstrekt.Destudentenwetenwelkebeoordelingmeeteltvoorhetbehalenvanhetdiploma.

Indicator 1.2. Dekking van het kwalificatiedossierPortret–Bijdeinrichtingvankwalificerendeexamensissprakevanvolledigheidenpassendecomplexiteit,omdeberoepsuitoefeningophetvereistebeheersingsniveauzoalsomschreveninhetkwalificatiedossierteexamineren.Ditbetekentdat:• vooropleidingengerichtopdeberoepsgerichtekwalificatiestructuurdekwalificatie-eisen

zijnopgenomenindeexamens,waarbijmeerdandriekwartvandewerkprocessenperkerntaak–deessentievanhetberoepinbegrepen–wordtgeëxamineerd;hierbijzijndeinhoud en toetsvormzodanigafgestemdopdevereisten,datkennis,vaardighedenenhoudingineengoedebalanspassendwordenbeoordeeld;

• vooreindtermgerichteopleidingendevereistenzijnopgenomenindeexamens,waarbijmeerdandriekwartvandeeindtermenperdeelkwalificatie–deessentievanhetberoepinbegrepen–wordtgeëxamineerd;hierbijzijndeinhoudentoetsvormzodanigafgestemdopdevereistendatdezepassendwordenbeoordeeld;

• wettelijkeberoepsvereisten–indienvantoepassing–volledigzijngeëxamineerdmetexamensdiequainhoudentoetsvormpassendzijn;

• deexameninstrumentendegeneriekekwalificatievereistenvoortalenenrekenenzodanigafdekkendatrechtwordtgedaanaanhetCEF-niveaudanwelhetreferentieniveau.

Indicator 1.3. CesuurPortret–Eriseenverantwoordeproceduregevolgdvoorhetbepalenvandecesuur,zowelvoorexamenonderdelenalsvoorhetexamenalsgeheel.Decesuurvanhetexameninstrumentariumligtophetniveauwaaropdestudentvoldoetaandevereisten.Decesuuriszodanigopgestelddatdebeoordeling(endaarmeedewaarderingvandekennis,vaardighedenenhoudingvandestudent)intotaalnietlageruitpaktdanvoordevakbekwaamheidvoorhetberoepenvoordegeneriekeeisenvoortaalenrekenennoodzakelijkis.Erissprakevaneenevenwichtige,nietoneigenlijkepuntentoekenningdierechtdoetaanhetbelangvaneindtermen,ofkerntakenenwerkprocessen.Erissprakevaneenwegingvandeexamenopdrachten/-toetsenonderlingdiegeenafbreukdoetaandegenoemdecesuur.

Indicator 1.4. BeoordelingswijzePortret–Hetexameninstrumentariumisvoorzienvaneenbeoordelingsvoorschriftdateenzoobjectiefmogelijkebeoordelingwaarborgt.Ditbetekentdat:• hetbeoordelingsvoorschriftisvoorzienvanrichtlijnendieleidentoteenonafhankelijke

beoordeling;• deprestatie-indicatoren(ofvergelijkbarebeoordelingscriteria)herleidbaarinhet

beoordelingsvoorschriftzijnopgenomeneneencorrectantwoordmodelofbeoordelingsschemabeschikbaaris;

• debeoordelaareruitkanopmakenwelkeeindwaarderinggegevenmoetworden;• debeoordelaardegegevenwaarderingenconformhetbeoordelingsvoorschriftherleidbaar

kanonderbouwen.Uitdebeoordelingsrichtlijnenblijktdatdebeoordelingplaatsvindtophetniveauvandeeindtermenvandedeelkwalificatiesofkerntakenenwerkprocessen.Debeoordelingwordtgebaseerdopdeprestatie-indicatoren(ofvergelijkbarebeoordelingscriteria)uithetkwalificatie-dossier.Alseenexamen(onderdeel)nietbehaaldwordt,wordtophetniveauvandeprestatie-indicator(ofvergelijkbarebeoordelingscriteria)verantwoordwatdeoorzaakdaarvanis.

Indicator 1.5. TransparantiePortret–Allebetrokkenenhebbeneenhelderbeeldvanhoehetexameneruitzietenhoehetwordtuitgevoerdenbeoordeeld.Studentenenbeoordelaarszijngeïnformeerdoverdebeoordelingscriteriaendewijzewaarophetexamenzalplaatsvindenenoverdebeoordeling.Hetexameninstrumentariumisvoorzienvanafnameconditiesenaanwijzingenvoordebeoordelaarsendestudentenvoordeuitvoeringvanhetexamen.

Standaard 2: De examenprocessen van afname en beoordeling zijn deugdelijk

Indicator 2.1. Authentieke afname Portret–Hetexamenbevattenminsteactiviteitendiedestudentalsbeginnendberoeps-beoefenaarinhettoekomstigeberoepuitvoert,afgestemdophetkwalificatiedossier (ofeindtermendocument).Dewerkomstandighedenendesocialecontexttijdensdebeoordelingvanhetexamenkomenzoveelmogelijkovereenmetdieinhettoekomstigeberoep;onderdelenvanhetexamenvindenindereëleberoepspraktijkplaats.Hetberoepenveldisbetrokkenbijdeexamineringenbeoordeeltdeafnameenbeoordelingalsrealistisch.

Indicator 2.2. BetrouwbaarheidPortret–Deafnameenbeoordelingzijndeugdelijkenverlopenzoalsbeoogd.Ingelijkegevallenwordtgelijkbeoordeeld.Debeoordelingiszoobjectiefmogelijk.Voorzieningendiezijngetroffenomdattebereikenwordenadequaattoegepast.Examenopdrachten,afnameconditiesenbeoordelingenzijnvoorallestudentenzodanigopgezetentoegepastdatgeenafbreukwordtgedaanaandebetrouwbaarheidvandeuitkomstenvandeexamenopdrachtofhetexamenprogrammaalsgeheelnochaanhetniveaudaarvan.Erissprakevaneendeskundigebeoordelingvanstudentengerichtophetvakinhoudelijkcorrectbeoordelenvandevereistekennis,houdingenvaardighedenvandestudent.

Standaard 3: De diplomering is deugdelijk

Indicator 3.1. Besluitvorming diplomerenPortret–Deexamencommissiebesluitopbasisvandeexamenresultatenvandestudent,afgezettegendeexameneisenuithetkwalificatiedossier(ofeindtermendocument)enhetExamenbesluit,tothetverlenenvanvrijstellingenvoordelenvanhetexamenentothetverstrekkenvandiploma’sen(indienvantoepassing)vancertificaten.Deexamencommissieneemtdeugdelijkebesluitenopgrondvandeoordelenopdeexamenonderdelenenlegtopbasisvanregistratievandebesluitvormingverantwoordingaf.

Indicator 3.2. Verantwoordelijkheid examencommissiePortret–Deexamencommissievergewistzichmetgepastegrondigheidenfrequentievandekwaliteitvanhetexameninstrumentarium,deafname,debeoordeling,debesluitvormingbetreffendedediplomeringenvandedeskundigheidvandebijdeexamineringbetrokkenpersonen.Omvasttestellenofdebeoordelingadequaatverloopt,wordtgebruikgemaaktvanbijvoorbeeldresultatenanalyses,deelnemerevaluatiesengegeven(steekproefsgewijze)dubbelebeoordelingen.Deexamencommissielegtvastwanneerbeoordelingsresultatenwordenaangepastentotwelkeverbeteractiesdezecorrectiesleidenofhebbengeleid.Deexamencommissieanalyseertwatmogelijkeoorzakenzijnalsdebeoordelingennietnaarwensverlopen.

10.2.1 Beoordeling van de examenkwaliteitDeexamenkwaliteitvaneenopleidingvindtineersteinstantieophetniveauvandestandaardenendeindicatorenplaats.Opbasisdaarvanwordteenoordeeloverdeexamenkwaliteitvaneenopleidinggegeven.

Perstandaardenperindicatorwordteenoordeeluitgesprokenopeentweepuntsschaal(onvoldoende–voldoende).Perindicatoriseenbeschrijvinggegevenvanhetoordeel‘voldoende’.Diebeschrijvingisopgenomenindeportrettendiehetreferentiekadervoordebeoordelingvormen.Deaangetroffensituatievoldoetinvoldoendemateaandebetreffendeindicatoralsdesituatieoverhetgeheelgenomenovereenkomtmetdeinhoudvandeportretten.

Voordeexamenkwaliteitvaneenopleidingwordteenoordeeluitgesprokenopeenvierpuntsschaal(goed–voldoende–onvoldoende–slecht):• Goed:aanallestandaardenisvoldaan(perstandaardisaanalleindicatorenvoldaan);de

elementeninhetportretwordenopuitstekendewijzeuitgevoerd.• Voldoende:aanallestandaardenisvoldaan(perstandaardisaanalleindicatorenvoldaan);

erwordtvoorhetgrootstedeelaandeomschrijvingindeportrettenvoldaan,waaronderdemeestessentiëleonderdelen.

• Onvoldoende:aanéénstandaardisnietvoldaan.• Slecht:aantweeofdriestandaardenisnietvoldaan.

Alsdeexamenkwaliteitvaneenopleidingnietaandestandaardenvoldoet,kandeMinisterdeinstellinghetrechtopdeexamineringvoordedesbetreffendeopleidingontnemen.

10.3 Beoordelingssystemen en de toetspraktijk

Beoordelingssystemenhebbeneenbelangrijkebijdragegeleverdaandeverbeteringvandekwaliteitvantoetsenenexamens.Diekwaliteitsimpulsisvooreengrootdeelteverklarendoordeconsequentiesdietoetsenenexamensvoordemakersengebruikersvantoetsenhebben.

Beoordelingssystemenlijkennuvooralgebruikttewordennadatdetoetsontwikkeldenafgenomenis.DecriteriavaneenbeoordelingssysteemzoalsdatvandeCOTANzoudenechterveelmeeralsrichtsnoerbijdeontwikkelingvantoetsengebruiktmoetenworden.DechecklistdiehetbeoordelingssysteemvandeCOTANkenmerkt,leentzichdaarmomenteelbetervoordan het beoordelingssysteemvandeInspectie.

Voorzoweltoetsenmeteendomeingerichteinterpretatiealsdembo-examensgeldtdathetbepalenvandecesuureenvandebelangrijkstebeslissingenvoorleerlingenis.InhetbeoordelingssysteemvandeCOTANwordtwelverwezennaarproceduresvoorstandaard-bepalingmaarwordtnietsgezegdoverwelkeproceduresvoorwelkesituatieshetmeestgeschiktzijn.Hetisjammerdaterweinigbekendisoverwelkevandeveleproceduresvoorstandaardbepalingfeitelijkgebruiktwordenenwatdeervaringenmetdieprocedureszijn. InhetbeoordelingssysteemvandeInspectiewordenvoordebepalingvandecesuurgeenoperationelehandreikingengegeven.Nochindeomschrijvingvanhetcriteriumnochindevoorbeeldenwordtmeldinggemaaktvanhetgebruikvanproceduresvoorhetbepalenvandestandaardofdecesuur.Dezeprocedureszoudenechterkunnenhelpenbijhetbeterbepalenvanwatonderdebeheersingvankerntakenenwerkprocessenverstaanwordtenofallekerntakenenwerkprocesseninderdaadbeheerstmoetenwordenomtekunnenslagenvooreenproevevanbekwaamheid.

DebeoordelingssystemenvandeCOTANendeInspectieverschillenindewaarderingvanempirischeinformatiebijhetbeoordelenvandekwaliteitvanexamens.Zowordtbijhetportretvanindicator2.2,betrouwbaarheid,geenaandachtbesteedaandebetrouwbaarheidvantoetsscores.Hoewelhetvoorbepaaldembo-examensnietaltijdmakkelijkofmogelijkzalzijnomvoorhetbepalenvandebetrouwbaarheiddebenodigdetoetsscoresteverzamelen,betekentditnietdatditvooralleexamensgeldt.Zonderinformatieoverdebetrouwbaarheidvantoetsscoresishetechternietgoedmogelijkomdekwaliteitvanexamenstekunnenbeoordelen.

InhetbeoordelingssysteemvandeInspectiezienwedataandeexamencommissieeencrucialeroltoebedachtwordtbijhetbewakenvandeexamenkwaliteitvanopleidingeninhetmbo.Inhethboenwospelenexamencommissiesookeensteedsbelangrijkerrol.Omdierolgoedte

kunnenvervullen,dienenledenvanexamencommissiesovervoldoendedeskundigheidophetgebiedvantoetsenenexaminerentebeschikken.

HetbeoordelingssysteemvandeCOTANenhetbeoordelingssysteemvandeInspectierichtenzichbeideoptoetsenals‘product’maarnietoptoetsenals‘activiteit’.Alseentoetsbijvoorbeeldandersafgenomenwordtdandatdebedoelingis,zalookeentoetsdieopallecriteriaofstandaardenalsgoedbeoordeeldisondeugdelijkebeoordelingenvanleerlingenopleveren. Datlaatstekanvoorkomenalserbijdeafname,descoringofdeinterpretatievandetoetsfoutengemaaktworden.Insommigegevallenkanditzelfstotrechtszakenleiden.Zowerdeenkandidaatdieniettevredenwasoverhetgegevenoordeelopzijnherexameneconomieophetvmbodoorderechterinhetgelijkgesteldomdatderechteroordeeldedatdebeoordelingvandeantwoordendoordedocentonzorgvuldigwasgeweest.Ditpleitervooromonderzoektedoennaarhettoetsenals‘activiteit’.Mogelijkdatderesultatenvandergelijkonderzoekaanleidingzijnomookaantoetsenals‘activiteit’aandachttebestedeninbeoordelingssystemenvoordekwaliteitvantoetsen.

Geraadpleegde literatuur

Geraadpleegdeliteratuur

Anderson,L.W.,&Krathwohl,D.(Eds.)(2001).A taxonomy for learning, teaching and assessing: revision of Bloom’s taxonomy of educational objectives.NewYork:Longman.

Atherton,J.S.(2005).Learning and Teaching: SOLO taxonomy. Onlinevia:www.learningandteaching.info/learning/solo.htm

Arter,J.(1998).Improving classroom assessment: a toolkit for professional developers (Toolkit98). Portland,OR:NorthwestRegionalEducationalLaboratory.

Arter,J.,&McTighe,J.(2001).Scoring rubrics in the classroom: Using performance criteria for assessing and improving student performance.ThousandOaks,CA:CorwinPressInc.

Baron,J.B.,&Wolf,D.P.(1996). Performance-based student assessment: challenges and possibilities.Chicago:UniversityofChicago.

Berkel,H.van,&Bax,A.(2006).Toetsen in het hoger onderwijs.Houten:BohnStafleuvanLoghum.

Bloom,B.S.(1975).Taxonomy of educational objectives: Handbook 1: Cognitive domain. NewYork:DavidMcKayCo.

Bruyne,H.C.D.de(1983). Evalueren in de klas.Amsterdam:VanGoorZonen.

Bügel,K.,&Sanders,P.F.(1998).Richtlijnen voor de ontwikkeling van onpartijdige toetsen. Arnhem:Cito.Onlinevia:http://www.cito.nl/Onderzoek%20en%20wetenschap/psychometrie/richtlijnen_onpartijdige_toetsen.aspx

Chamberlain,L.(2000).Making a difference with student assessment: Creation and use of rubrics. Columbus,Ohio:MarketingEducationResourceCenter.

Cito(1998).Toetstechnische begrippenlijst.Arnhem:Cito.Onlinevia:http://www.cito.nl/Onderzoek%20en%20wetenschap/kenniscentrum/begrippenlijst.aspx

Cizek,G.J.,&Bunch,M.B.(2007).Standard setting: A guide to establishing and evaluating performance standards on tests.ThousandOaks:SagePublications.

COLO(2009).Landelijke Kwalificaties MBO Dierenhouderij. Onlinevia:www.kwalificatiesmbo.nl> Dossiers

CouncilofEurope(2009).Manual for relating language examinations to the Common European Framework of Reference for languages.

CouncilofEurope(2009).Reference supplement to the manual for relating language examinations to the CEFR.

177 Geraadpleegde literatuur < Inhoud Index >

Dekker,J.,&Sanders,P.(2008). Kwaliteit van beoordeling in de praktijk.Ede:KenniscentrumHandel.Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/kwaliteit_beoordeling_praktijk.pdf

Drenth,P.J.D.,&Sijtsma,K.(2006).Testtheorie: Inleiding in de theorie van de psychologische test en zijn toepassingen.Houten:BohnStafleuvanLoghum.

Eggen,T.J.H.M.,&Sanders,P.F.(1993).Psychometrie in de praktijk.Arnhem:Cito. Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/Psychometrie.pdf

Evers,A.,Lucassen,W.,Meijer,R.,&Sijtsma,K.(2010).COTAN Beoordelingssysteem voor de kwaliteit van tests.Amsterdam:NIP/COTAN. Onlinevia:http://www.psynip.nl/website-openbaar-documenten-nip-algemeen/beoordelingssysteem.pdf

ExpertgroepDoorlopendeLeerlijnenTaalenRekenen(2008).Over de drempels met taal en rekenen: hoofdrapport. Enschede:ExpertgroepDoorlopendeLeerlijnenTaalenRekenen.Onlinevia:http://www.taalenrekenen.nl/referentiekader/rel_doc/referentiekader/

Foster,M.,&Masters,G.(1996).Performance assessment resource kit: doing outcomes, planning observations, judging & recording, estimating achievement, reporting.Melbourne:AustralianCouncilforEducationalResearch.

Gallavan,N.P.(2009).Developing performance-based assessments grades 6-12.ThousandOaks,CA:CorwinPress.

Groot,A.D.de,&Naerssen,R.F.van(1969).Studietoetsen.DenHaag:Mouton.

Gulikers,J.(2006).Authenticity is in the eye of the beholder: Beliefs and perceptions of authentic assessment and the influence on student learning.Academischproefschrift.Heerlen: OpenUniversiteit.

Harlen,W.(2007).Assessment of learning.London:Sage.

Herman,J.L.,Aschbacher,P.R.,&Winters,L.(1992). A practical guide to alternative assessment. Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.

Hibbard,K.M.(1996).A teacher’s guide to performance-based learning and assessment. Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.

Hibbard,M.,Wagenen,L.van,&Lewbel,S.(1996). Performance-based learning and assessment: a teacher’s guide. Alexandria:AssociationforSupervisionandCurriculumDevelopment.

Hoogenboom,J.,&Ribot,C.(1993).Praktijktoetsen: constructie en beoordeling van praktische opdrachten. Arnhem:Cito.

Johnson,B.(1996). The performance assessment handbook volume 1: Portfolios & socratic seminars. Princeton,NJ:EyeOnEducation.

Johnson,B.(1996).The performance assessment handbook volume 2: Performance & exhibitions. Princeton,NJ:EyeOnEducation.

Kane,M.T.(1992).Anargument-basedapproachtovalidity. Psychological Bulletin, 112,527-535.

Kane,M.T.(2004).Certificationtestingasanillustrationofargument-basedvalidation.Measurement 2,135-170.

Kane,M.T.(2006).Validation.InR.Brennan(Ed.),Educational Measurement 4th edition (pp.17-64).Westport,CT:AmericanCouncilonEducationandPraegerPublishers.

Krathwohl,D.R.,Bloom,B.S.,&Masia,B.B.(1964).Taxonomy of educational objectives: Handbook II: Affective domain.NewYork:DavidMcKayCo.

Kroft,M.vander,&Sinkeldam,R.(1998).Handleiding praktische opdrachten tweede fase havo/vwo.Arnhem:Cito.

Kuhlemeier,H.,&Erkens,T.(2009).Beoordelingsschalenincompetentiegerichteexaminering:Andereschalen,andereoordelen?Examens, 2,9-12.

Kuhlemeier,H.,&Kremers,E.(2013).De praktijk van de eerste en tweede correctie: samenvatting van onderzoek naar het functioneren van het SCE.Arnhem:Cito.Onlinevia:http://www.cito.nl/~/media/cito_nl/Files/Voortgezet%20onderwijs/centrale_examens/cito_praktijk_eerste_en_tweede_correctie.ashx

Mager,R.F.(1974).Leerdoelen formuleren. Hoe doe je dat?Groningen:Wolters-Noordhoff.

McDaniel,M.A.,Morgeson,F.P.,Finnegan,E.B.,CampionM.A.,&Braverman,E.P.(2001).Predictingjobperformanceusingsituationaljudgmenttests:aclarificationoftheliterature.Journal of Applied Psychology, 86,730-740.

Mehrens,W.A.(1988).Consequencesofassessment:whatistheevidence?Education Policy Analysis Archives, 13,6,1-39.Onlinevia:http://epaa.asu.edu/epaa/v6n13.html

Mertler,C.A.(2001).Designingscoringrubricsforyourclassroom.Practical Assessment, Research & Evaluation, 7,25.Onlinevia:http://PAREonline.net/getvn.asp?v=7&n=25

Messick,S.(1989).Validity.InR.Linn(Ed.),Educational measurement 3rd edition (pp.13-103).NewYork:AmericanCouncilonEducationandMacmillan.

Messick,S.(1996).Validityinperformanceassessments.InG.W.Phillips(ed.), Technical issues in large-scale performance assessments.WashingtonDC:NationalCenterforEducationStatistics.

Meuffels,B.(1993).Cijfersencijferschalen.Spiegel, 11,1,49-69.

Meuffels,B.(1994).De verguisde beoordelaar.Amsterdam:ThesisPublishers.

Millman,J.,&Greene,J.(1993).Thespecificationanddevelopmentoftestsofachievementandability.InR.L.Linn(Ed.),Educational measurement 3rd edition (pp.335-366).Phoenix,AZ: OryxPress.

MinisterievanOnderwijs,CultuurenWetenschap(1998). Kerndoelen basisvorming 1998-2003. DenHaag:MinisterievanOCW.

MinisterievanOnderwijs,CultuurenWetenschap(2006).Kerndoelen primair onderwijs. DenHaag:MinisterievanOCW.

179 Geraadpleegde literatuur < Inhoud Index >

MinisterievanOnderwijs,CultuurenWetenschap(2011).Regeling standaarden examenkwaliteit mbo 2012.Onlinevia:http://wetten.overheid.nl/BWBR0030427/

Mislevy,R.J.,&Haertel,G.(2006).Implicationsofevidence-centereddesignforeducationaltesting.Educational Measurement: Issues and Practice, 25(4),6-20.

Mislevy,R.J.(2007).Validitybydesign.Educational Researcher, 36(8),463-469.

Moelands,H.(2002).Toetsconstructieproces in acht stappen.Onlinevia:http://toetswijzer.kennisnet.nl/html/toetsconstructie/home.htm

Moskal,B.(2000).Scoringrubrics:What,whenandhow?Practical Assessment, Research & Evaluation, 7,3.Onlinevia:http://pareonline.net/getvn.asp?v=7&n=3

Moskal,B.(2003).Recommendationsfordevelopingclassroomperformanceassessmentsandscoringrubrics. Practical Assessment, Research & Evaluation, 8,4.Onlinevia:http://pareonline.net/getvn.asp?v=8&n=14

Moskal,B.,&Leydens,J.(2000).Scoringrubricdevelopment:Validityandreliability. Practical Assessment, Research & Evaluation, 7,10.Onlinevia:http://pareonline.net/getvn.asp?v=7&n=10

Onderbouw-VO(2006).Karakteristieken en kerndoelen voor de onderbouw.Zwolle: Onderbouw-VO.

Palm,O.(2008).Performanceassessmentandauthenticassessment:Aconceptualanalysis oftheliterature.Practical Assessment, Research & Evaluation, 13,4.Onlinevia:http://pareonline.net/pdf/v13n4.pdf

Nitko,A.J.,&Brookhart,S.M.(2007).Educational Assessment of Students(5th Edition).UpperSaddleRiver,NJ:PrenticeHall.

Popham,W.(1997).What’swrong–andwhat’sright–withrubrics.Educational Leadership, 55,2.

Popham,W.J.(2007).Classroom assessment: What teachers need to know (5th edition). NeedhamHeights,MA:Allyn&Bacon.

Porter,A.C.,&Smithson,J.L.(2002).Alignment of Assessments, Standards and Instruction. Using Curriculum Indicator Data.PaperpresentedattheannualmeetingoftheNCME.

Rijn,P.van,Béguin,A.,&Verstralen,H.(2009).Slagenofzakken?Denauwkeurigheidvanexamenuitslageninhetvoortgezetonderwijs.Pedagogische Studiën, 3,185-195.

Roelofs,E.C.,&Sanders,P.F.(2007).Towardsaframeworkforassessingteachercompetence.European Journal for Vocational Training, 40(1),123-139.

Roelofs,E.C.,&Sanders,P.F.(2003).Beoordelingvandocentcompetenties.InM.Mulder, R.Wesselink,H.Biemans,H.Nieuwenhuis,&R.Poell(eds),Bevoegd, maar ook bekwaam? (pp.277-299).Groningen:Wolters-Noordhoff.

Roelofs,E.C.,&Vissers,J.A.M.M.(2007).Toetsspecificaties theoretische deeltoetsen WRM-examen.Arnhem/Amersfoort:DHV/Cito.

Roelofs,E.C.,&Vissers,J.A.M.M.(2008).Brondocument WRM-examen: 4. Uitvoeren van lessen. Arnhem/Amersfoort:DHV/Cito.

Roelofs.E.C.,&Straetmans,G.J.J.M.(2006).Assessment in actie: Competentiebeoordeling in opleiding en beroep.Arnhem:Cito.

Schotten,J.G.M.,&Robroek,W.C.L.(1997).Verantwoord meten in het gezondheidszorgonderwijs: Handboek voor beoordeling van leerresultaten.Houten:BohnStafleuVanLoghum.

SLO(2007).Concretisering van de kerndoelen Nederlands.Enschede:SLO.

Stiggins,R.J.(1987).Designanddevelopmentofperformanceassessments.Educational Measurement: Issues and Practices, 6,33-41.

Stiggins,R.J.(1994).Student-centered classroom assessment. NewYork,NJ:MacmillanPublishingCompany.

Straetmans,G.J.J.M.,&Sanders,P.F.(2001).Beoordelen van competenties van docenten.(EPS-brochurereeksnr.5).Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/EPSbrochure5_Beoordelen.pdf

Taggart,G.L.,Phifer,S.J.,Nixon,J.A.,&Wood,M.(1998).Rubrics: A handbook for construction and use.Lancaster,PA:TechnomicPublishingCompany.

Tierney,R.,&Simon,M.(2004).What’sstillwrongwithrubrics:focusingontheconsistencyofperformancecriteriaacrossscalelevels.Practical Assessment, Research & Evaluation, 9,2. Onlinevia:http://PAREonline.net/getvn.asp?v=9&n=2

Vissers,J.A.M.M.,Nägele,R.C.,&Roelofs,E.C.(2006).Herziening WRM: Een model voorcompetentiegericht examineren.Amersfoort:DHV.

Wiggins,G.(1998).Educative assessment: Designing assessments to inform and improve student performance.SanFrancisco,CA:Jossey-BassPublishers.

Wiggins,G.,&McTighe,J.(2005).Understanding by design.Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.

Wools,S.,Eggen,T.J.H.M.,&Sanders,P.F.(2010).Evaluationofvalidityandvalidationbymeansoftheargument-basedapproach.CADMO, 8,63-82.

Wools,S.,Sanders,P.F.,Eggen,T.J.H.M.,Baartman,L.K.J.,&Roelofs,E.C.(2011).Evaluatievaneenbeoordelingssysteemvoordekwaliteitvancompetentie-assessments.PedagogischeStudiën, 1,23-40.

Zieky,M.J.,Perie.M.,&LivingstonS.A.(2008).Cutscores: A manual for setting standards ofperformance on educational and occupational tests.Princeton:EducationalTestingService.

Dewebsiteszijngeraadpleegdop11december2013.

182 Cito|ToetsenopSchool < Inhoud

IndexAabsolutebeoordeling63absolutenorm148,165absolutenormering146,148,157adaptieftoetsen80ADHD90afbeeldingbijeenvraag110,120,121,124affectievevaardigheden33,35afleidervaneenmeerkeuzevraag98–100, 105–108afnameconditie29,66,171,172alfa53,54,57,75algemenecompetenties32,33alternatiefvaneenmeerkeuzevraag 98–110,127,155,156analyseren34,35,72,112,129analytischebeoordeling29,135,138–140analytischebeoordelingsschaal138–140Angoff149,150,152anker135,141,142antwoordinstructie117antwoordmodel64,133,171antwoordrestrictie116,120antwoordsleutel98–100,104,133antwoordstrategie156antwoordtijd114aselectesteekproef147assessmentforlearning20assessmentoflearning18assessor64,164authenticiteitvaneentoetsoftaak27,42, 45,75,127,129,133,172authentiektoetsen75A-VISION92

Bbasiskwalificatie26,30begripsvaliditeit161,167–168beheersingsstandaard148beoordelaarsbetrouwbaarheid62–64beoordelaarseffect121–123beoordelaarsinstructie64beoordelaarsovereenstemming63,64,121beoordelingscriterium128,130,133–135, 138,142,168,171beoordelingsmiddel133,134beoordelingsportfolio127beoordelingsregel165,166beoordelingsschaal126,130,133,134–143

beoordelingsschema64,171beoordelingsvoorschrift129,171beroepspraktijk32,75,126,127,131,172beroepstaak39beslissingstabel60,61betoogvraag113betrouwbaarheid45,74,75,82,99,116, 121,122,134,135,137,155,156,161,164, 166–167,172,173betrouwbaarheidsbewijs74–75betrouwbaarheidscoëfficiënt50,53,54,56, 66,167betrouwbaarheidsinterval57–59betrouwbaarheidvantoetsscores50–67, 74–75,82,163,165,166,173BohnStafleuVanLoghum92Boomtestuitgevers89,92BPV(beroepspraktijkvorming)18BritishEducationIndex(BEI)94

CCAT(computergestuurdeadaptieve toets)80CBR(CentraalBureauRijvaardigheids- bewijzen)127CEFR(ERK)22,171centraalexamen19,59,61centraalexamencijfer19centraletendentie121certificerenvanleerlingen16,18–20,46, 153certificering19,64,164,165cesuur56,59,60,64,146–155,166,171, 173checklist123,133,134chronologischeleeftijd147cijfer19,22,55–67,121,130,139,140,146, 152–157,164cijferschaal141,152–155CitoIntelligentietest17Citotoets(EindtoetsBasisonderwijs)17,22, 70,71,73,76–79,87,164,168CitoVolgsysteemprimairenspeciaal onderwijs20,22,36,155CitoVolgsysteemvoortgezetonderwijs17, 18,21,23civieleffect18,19classificatiebeslissing17,163classificerenvanleerlingen16,17,153

183 Index < Inhoud

cognitieveprocessen72cognitievevaardigheden33–38,112CollegevoorExamens(CvE)87,154colloquiumdoctum19,20combinatievraag100,103commissie-examen63CommissieTestaangelegenhedenNederland (COTAN)88,89,90,160–170,173–174compensatorischeuitslagregel61,62competence-basedtest126competenthandelen27,32,33,37competentiegerichttoetsen126competenties20,32,33,126,131,134,138complementaireuitslagregel61complexevaardigheden127,129,132,140complexiteitsbewijs72complexiteitvantaken34,40,42,72,140, 171conceptuelekennis34confidenceinterval57conjunctieveuitslagregel61,62consequentieelbewijs76construct161,163contaminatie-effect122contrasterendegroepstandaardbepaling 150–152COOL23correctievoorraden155–156correctievoorschrift50,64,121,123,133correlatie73,157correlatiecoëfficiënt73,74COTAN-beoordelingssysteem160–170, 173–174criteriumgerichteinterpretatie164,166criteriumvaliditeit161,167,168Cronbach’salfa53,54,75cumulatievescoreverdeling146,147CvE-methode154

Ddecentraleselectie16decielschaal147descriptievebeoordelingsschaal141–142diagnostischetoets21,22,106DIALANG22dichotoomitem53,55didactischevisie28diplomacijfer19diplomering172directevraag104,105,107docentbekwaamheid86,87doelspecificatie131

doelvantoetsen16–24,161domeinbeschrijving24domeingerichteinterpretatie165,173doorstroomonderzoek79Drempelonderzoek(678Onderwijs Advisering)92dubbeleontkenningineenvraag108,110, 124

Eechoineenvraag105EducationResourcesInformationCenter (ERIC)93efficiëntievaneengeslotenvraag99einddoelen21,26,30–31eindtermen26,171,172EindtoetsBasisonderwijs(Citotoets)17,22, 70,71,73,76–79,87,164,168ERK(CEFR)22,171error52Europeestaalportfolio127evaluatie24,70,131,134,140evalueren33–36,112,129EVC(ErkenningvanVerworvenCompeten- ties)20examenangst51examenbesluit172examencommissie47,170–174exameneis30,172exameninstrumentarium170–172examenkwaliteit160–174examenlicentie160examinering86–87,170–174externcriterium73–74externestructuurbewijs73–74,79,82extrapoleerbaarheidsbewijs75

Ffeedback21,22,88,99,130,134,137,138, 140,153feedforward22,153feitenkennis34,112,128,131formatievetoets20,46,67,122functionelestelopdracht129,130

Ggebruikershandleiding163gebruiksdoelvaneentoetsoftest161gedragsdoel31gemiddelde(toets)score23,51,52,55–64, 147–151generiekebeoordelingsschaal135–138

geobserveerdetoetsscore50–56geslotenvraag48,98–110,112,114,115gewogenloting16GoogleBooks94GoogleScholar94grensscore165,166

Hhalo-effect122handelingsdimensie33,34hands-offtoetsen42,43havo-toetsEngels200950–60,65,146–147, 153–154herkansing60,62,67herordeningsvraag100,102,103hogere-ordeprocessenofvaardigheden34, 40,46,47,112,127holistischebeoordeling29,135,138–140holistischebeoordelingsschaal138–140homogeniteittoets54hoogbegaafd147,148horn-effect122

Iidentificatievraag118indelingsschemamenselijkpresteren27, 33–38,47in-enaanvulvraag113informatiegedeeltevaneenvraag117inhoudsbewijs71–72,79,82inhoudsvaliditeit162,167InspectievanhetOnderwijs19,21,23,24, 153,160,170,173–174intelligentiequotiënt147intelligentietest17,147,164,168interactievevaardigheden35interbeoordelaarsovereenstemming121interneconsistentie54interne-consistentiemethode53internestructuurbewijs73interpretatievandetoets71,163,164,174interpretatievantoetsscores54,67,70–71, 73,77–83,161,167intrabeoordelaarsovereenstemming121intuïtievemethodestandaardbepaling149IQ147,148itembias120

Kkennisdimensie33,34kennishandeling34,72,73,82,109Kennisnet87,89

kerndoelen24,26,30,31kerndoelenbasisonderwijs24,30kerntaken170–173klassieketesttheorie50–56KoninklijkeBibliotheek(KB)94kort-antwoordvraag66,81,100,113,118kortetoets65KR2053kritischesituatie37kwalificatiedossier162,170,171,172kwalificatiestructuur171kwalificerendefunctie18,19,171kwaliteitvanhetonderwijs16,22–24,153kwaliteitvantoetsenenexamens42,65, 66,67,88,89,131,134,160–174kwartielschaal147

Llagereordeprocessenofvaardigheden34, 46,47lang-antwoordvraag66,113,114,118,119langetoets65leerlinggewicht22,23leerlingrapport77–79leerlingvolgsysteem20,46leeropbrengst23,24leerstofdomein71,72,77leervordering17,70,71,77,79leerwegondersteunendonderwijs18,87, 160lerarenopleiding24,54,80,87lineaireomzettingmetknik154lineaireomzettingscores153–154

Mmatchingvraag103meerkeuzevraag45,50,66,76,81,98,99, 126,127,148,155–157,162meetfout51–66,74Mensa147metacognitievekennis34metacognitievevaardigheden128,130mildheidbeoordelaar51,63,121,123,152MinisterievanOCW23,24,26misclassificatie50,59–62,65,75,150–152, 167modelantwoord115–117,123,163modelgedraging163multiplechoicevraag98

185 Index < Inhoud

Nnauwkeurigheidmeting65,155,165NederlandsJeugdinstituut(NJi)90Nederlands-VlaamseAccreditatieorganisatie (NVAO)19negatieveformuleringvaneenvraag104normaalverdeeld56,60,147normaleverdeling56normatievebeoordelingsschaal141normen89,146,148,161,164–166normering146–152,157,166,170normeringsonderzoek146,164normeringsterm55,154normgerichteinterpretatie164normgroep146–148,165–166normschaal147,165normverschuiving121,122numerusfixus16

Oobjectiefscoringssysteem162objectievebeoordeling63,126,128,133, 134,137,163objectiviteitvaneengeslotenvraag109observatie-instrument87observatieschema134onderwijsbegeleidingsdienst91onderwijsleerproces16,20,127,132,153, 163Onderwijsraad18onderwijstype18,26,74onderzoeksvaardigheden127onterechtgeslaagd62onterechtgezakt62opdrachtspecifiekebeoordelingsschaal 135–138openvraag50,99,112–124,126,133,137, 162openvraag-ofprobleemstelling126,129, 137opgavenbank81opstelvraag114

PPabo-student75,76,80,81,82Pearson92peilingonderzoek23–24percentiel147percentielschaal147,165percentielscore77–78performancetest126PeriodiekPeilingonderzoek(PPON)23–24

PIRLS24PISA24plaatsenvanleerlingen16,18,46,153polytoomitem53,55poppetjesgrafiek78populatie52,55,166positieveformuleringvaneenvraag104, 107positievemeetfout51PPON23–24praktijkonderwijs17,87,160praktijksituatie32,33,140praktijktoets48,87,126–143praktischeopdracht19,87,162praktischhandelen126,128prestatieniveau134,135,140,141,142prestatiestandaard38,40,41,42,82,148probability57procedurelekennis34,131,138procesmatigprestatiemodel36productievevaardigheden35productschaal142,143professionelebasis37profielscore80ProgrammavanToetsingenAfsluiting(PTA) 19,46psychologischetest160psychomotorischevaardigheden33,35p-waarde55P’-waarde55

Rraadkans100,155–157reactievevaardigheden35referentieniveau24,171rekenen17–24,28,36,40,46,76–78, 80–82,171relatievebeoordeling63relatievenorm146,148,164relatievenormering146–148,157relevantievraag/testinhoud72,109,124, 161,162,167reliability53,57remediëring21,130,132,141reproductie35,40,99,118reproductievevaardigheden35rubriek(rubric)138,141,142

Ssamenwerkingleerlingen33,128,130, 132,133schaalanker163

schaalpunt134,135,140–143schoolbegeleidingsinstituut24,91schoolexamen19,59,61,63schoolexamencijfer19,61schoolrapport22,23schooltoets88–92scoreschaal65,66scoringsregel156scoringsvoorschrift64,146selecterenvanleerlingen16,148,153sequentie-effect121,122signifischeffect122simulatie42sociaal-emotioneledomein23sociaal-etnischeachtergrond23SON-R51/2-17168–170Spearman-Brownformule65,66specificiteitvaneenvraag108spreidingvanscores52staatsexamen63stamvaneenmeerkeuzevraag98–110standaardafwijking52,55,56,58,147,148, 165standaardbepaling148–152,166,173standaarddeviatie52standaardenmboexamens160,162, 170–174standaardiseren162,163standaardmeetfout50,55,56–59,65,66, 75,164,165,167standaardscore17,77–79standaardtypemeerkeuzevraag100steekproef53,55,147stellingvraag101stelopdracht129–130StichtingExamenkamer19strengheidbeoordelaar51,121,123,152studietoets160summatievetoets18,19,20,30,46,106, 122synthetiseren112

Ttaaksituatie27,32–44taal17,18,20,22,39,40,46,73,76–78,171taalgebruikineentoets105,107–108,112, 115,120,124taxonomiemenselijkpresteren27,31, 33–38technischeverantwoording163terechtgeslaagd59–62terechtgezakt59–62

testconstructie161–162testinhoud161testleider162,163testmateriaal161,162–163testotheek91TIMSS24toepassen28,31,34–37,72,112,127,130toetsangst51toetsbareleerdoelen26,27,31–41,47toetsbetrouwbaarheid58,64,67,156toetsconstructeur26,33,38,79,107,115, 120,164toetsconstructie26–27,47,93toetsconstructieproces87toetsenvanhetleren18toetsenvoorhetleren20,67Toetsgids88,90,161,168toetsinhoud26–48,71,132,162,167toetsmatrijs46,47,72,77,79,82toetsopgave26,27,31,41,46toetsplan27,30,44–46,83toetsscore50–67,70–83,122,146–157, 161–168,173toetsspecificatie31,48,132–133toetsstimulus27,42,43toetstaak26,27,40,42–47toetsterm95toetsvorm26,27,44–48,130,131,162,171Toetswijzer86–88,90,93,168traditionelestelopdracht129,130traditioneletoetsvorm12truescore52try-outvaneentoets134tussendoelen21,26,30–31

Uuitslagregel61–62uitstroomeis170

Vvaardighedenschema27,31,33–38,47vakdidactiek28vakdomein27,36vakspecifiekindelingsschema36valideren70–71,76–83,167validiteitsbewijs71–76validiteitsonderzoek164validiteitvantoetsscores45,55,70–83,89, 156,161,162,167–168variantie52–54,66,156VerenigingHogescholen80vernieuwendetoetsvorm12

187 Index < Inhoud

verstandelijkeleeftijd147visieopleren27–29visieoptoetsen29voorbeeldopgave24voortgangscontrole130,131,132,141, 165,167vraagformulering104–108,117–120,124, 163vraaggedeeltevaneenvraag117vraagmetmeerdantweeuitspraken 99,100–102,155vraagmettweeuitspraken100–101

Wwaar/onwaarvraag99,100,101,103warescore51–61,64,156websiteToetswijzer86–88,90,93,168weggevertje108wegingvanitemscores157werkproces133,170,171,173Wikipedia50,56,73,147Wikiwijsleermiddelenplein91WISCAT-pabo76,80–82WorldCat95

Zzak/slaagbeslissing60,62,131zak/slaaggrens81,82,122zelfevaluatie127,128,130,134,170zelfreflectie128,130zesjesleerling149,150

CitoCorporate

CitoAmsterdamseweg13Postbus10346801MGArnhemT(026)3521111F(026)3521356www.cito.nl

Klantenservice T(026)3521111klantenservice@cito.nl

Fotografie:RonSteemers

Toetsen op School Piet Sanders (redactie)

Toetsen op School

Documents

Transcript of Toetsen op School

(MOBIEL) DIGITAAL TOETSEN IN DE PRAKTIJK_Spijkerman... · Veilig digitaal toetsen werkt! Digitaal toetsen om te leren sluit aan bij student 2.0; Op termijn tijdswinst; Landelijk onderhoud

Verkeer op School

Dossier Toetsen

Richtlijnen voor deelname aan de OVSG -toetsen 2021 · 2020. 12. 1. · Verschillende registratie-scenario’s Alvorens toetsen te bestellen, moet je je school registeren. Dit jaar

Kerstfeest op school

Triatlon op school

Net Op School

Kraantjeswater op school

DE KWALITEIT VAN DIGITAAL TOETSEN E … Sylvester...• het proces van tot stand komen en afnemen van toetsen • het effect van de toetsing op studiesucces • het effect op opvatting

Digitale toetsen op afstand Bregatha de Gooijer. Programma Achtergrond Uitgangspunten Digitale toetsen bij Elektrotechniek Uitbreiding toetsen.

Symposium “Leren van toetsen”...Feedback op formatieve toetsen is nutteloos, omdat studenten niet gemotiveerd zijn voor deze toetsen. Witte hoed kale feiten en cijfers Je gaat

Toetsen op School Voortgezet onderwijs

Tijdvolgordediagram Deze animatie is ontworpen door Inno van Dijk uit Zevenaar Als deze groene toetsen in beeld komen gebruik je…… …….deze toetsen op.

STERREN OP SCHOOL

TOETSEN DE TOETSCYCLUS - Bureau voor toetsen en Beoordelen · 2.3. Begrippen rond toetsen en het begrip beoordelen 26 3. Toetsvormen 29 3.1. Ordening van toetsvormen op basis van

Klachten op school - GCBO · voor iedereen die op school met klachten te maken kan krijgen op school hoe los je ze op? Klachten Klachten op school Soms vinden op school gebeurtenissen

Inleiding symbolen Deze animatie is ontworpen door Inno van Dijk uit Zevenaar Als deze groene toetsen in beeld komen gebruik je…… …….deze toetsen op.

Voorschrift Toetsen op Veiligheid Primaire Waterkeringen · 2015-01-22 · Randvoorwaarden 2006 (HR2006) en het Voorschrift Toetsen op Veiligheid Primaire Waterkeringen 2006 (VTV2006),

gezelligheid op school

of · 2019-11-29 · Tabblad: Toetsen Klaarzetten van de Toetsen Klik op het tabblad “Toetsen”. Dan verschijnt het volgende scherm met de verschillende toetsen, die aan een groep