Toetsen op School
Transcript of Toetsen op School
Cito | Corporate
Piet Sanders (redactie)
Toetsen op School
Toetsen op SchoolPiet Sanders (redactie)
Cito | Arnhem
Cito | Toetsen op School < Inhoud Index >
•ToetsenopSchooliseenuitgavevanCito•Coördinatiegegevensverzameling:PietSanders•Auteurs:PietSanders,ErikRoelofs,JacquelineVisser,SaskiaWools,ErnaMeijer,JoséNoijons,TomErkens,HansKuhlemeier,HuubVerstralen,BasHemker
•Assistentieproductie:PatriciaGillet•Opmaak:Serviceunit,MMS•Fotoomslag:RonSteemers
©StichtingCitoInstituutvoorToetsontwikkelingArnhem(2011)|Herzieneversie(2013)DepublicatieToetsenopSchoolmagmeteenbronvermeldinggebruiktwordenvooreducatievedoeleindenmitsStichtingCitoInstituutvoorToetsontwikkelinghiervanvoorafopdehoogteisgesteld.Ditkandoormedium,oplageendoelgroepviae-maildoortegevenaan toetswijzer@cito.nl.StichtingCitoInstituutvoorToetsontwikkelingArnhemheeftgetrachtallerechthebbendenteachterhalen.Indieniemandmeentalsrechthebbendeinaanmerkingtekomen,kanhijofzijzichtotCitowenden.
Voorwoord < Inhoud Index >
Voorwoord
Iedermensheeftzozijneigengevoelensbijtoetsen.Jehebterherinneringenaan.Hetexamenvormdeeenritueleafsluitingvaneenperiodeinjeleven.Jedenktterugaandespanningvooraf,maarookaandeontladingachteraf,alsjeeengoedescorekreeg.Sommigenzieneentoetsalseenkansomzichtebewijzen.Anderenvoelenweerstandtegenmanierenommensenmeetbaartemaken.Docentenkunnentoetsenzienalseennoodzakelijkkwaad,ofjuistalseenkansomhunonderwijsteverbeteren.
Watookallemaaldegevoelensmogenzijn,objectiefbeschouwdvormenschooltoetseneenessentieelenonmisbaaronderdeelvanhetonderwijssysteem.Hetleerproceskanalleendangoedensuccesvolwordeningerichtalsereendegelijkevaluatieprocesaanisgekoppeld.Datisnoodzakelijkomdevorderingenvanindividueleleerlingentevolgen–maarminstensevenbelangrijkomdedocent,deschoolendemethodeteevalueren.Toetsenzijnbovendiennodigomhetonderwijssysteemvaneenlandtepeilenentevergelijkenmetanderelanden.
Hetbedenkenenmakenvantoetsenwordtnogaleensonderschat.Erisveelkennisenvakmanschapvoornodigomgoedevragenenantwoordentemaken,omgoedetoetsensamentestellenénomzekertewetendattoetsenvoldoendevalideenbetrouwbaarzijn.Depersoondieeentoetshanteert,moetookzekerwetenhoedezegoedeneerlijkwordtgebruikt,zodatiedereleerlingdezelfdekansenheeft.Hetgaateruiteindelijkomdatgoedeeneerlijkebeslissingenwordengenomenoverdeleerlingen.
Kortom,eeniederdiebijhetschoolevaluatieprocesbetrokkenis,moetovereenminimalekennisenvaardigheidvantoetsenbeschikken.Tijdensdeopleidingwordtmeestalweinigaandachtbesteedaantoetsdeskundigheid,enweinigenzullenzichzelfdetijdgunnenomnaasthetwerkalsdocentdezekennisbijelkaartezoekenenzicheigentemaken.Enzelfsvoorwieovereendegelijketoetsdeskundigheidbeschikt,ishetbijhoudenenopfrissenervaneennuttigezaak.Wantwattoetsenbetreftbenje–zowetenwijbijCito–nooituitgeleerd.
Citoiseenzelfstandignot-for-profit-bedrijf.Financieelresultaatisvooronsgeendoelmaar eenmiddel.Eenmiddelomonzemissievangoedeneerlijktoetsentekunnenvoortzetten. Alleresultaatwordtopnieuwgeïnvesteerdinverbeteringeninnovatievanonzetoetsen,enindekennisdaarvan.Wijtrachtenzoveelmogelijkterugtegevenaanhetonderwijs:deexamens,deresultatenvanonderzoekenveeltoetsgegevenswordenopenbaargemaakt.EnmeteenboekalsToetsenopSchoolwillenwijgraageenbijdrageleverenaaneenbeteronderwijs.Gewoon,omdatwijdatbelangrijkvinden.Ikwensuveelaangenameennuttigemomententoebijhetlezenvanonsboek!
MartenRoorda
VoorzitterRaadvanBestuur
Cito
Cito|ToetsenopSchool < Inhoud Index >6
7 Inhoud Index >
Inhoud
Inleiding 11
1 Het doel van toetsen 15
1.1 Toetsenvoorhetbeoordelenvanleerlingen 161.1.1 Hetselecterenvanleerlingen 161.1.2 Hetclassificerenvanleerlingen 161.1.3 Hetplaatsenvanleerlingen 181.1.4 Hetcertificerenvanleerlingen 181.2 Toetsenvoorhetbeoordelenvanhetonderwijsleerproces 201.3 Toetsenvoorhetbeoordelenvangroepenleerlingenenscholen 221.4 Toetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijs 23
2 De inhoud van toetsen 25
2.1 Visieoplerenentoetsen 272.1.1 Visieopleren 272.1.2 Visieoptoetsenenbeoordelen 292.2 Eenprogrammavaneinddoelenentussendoelen 302.3 Uitwerkingtottoetsbareleerdoelen 312.3.1 Specificerenvantoetsinhouden:driebenaderingen 322.3.2 Indelingsschema’s 332.3.3 Toetsbareleerdoelenopstellen 382.4 Bepalenvantoetstaken 422.5 Opstellenvaneentoetsplan 442.6 Samenstellenvanafzonderlijketoetsen 46
3 De betrouwbaarheid van toetsscores 49
3.1 Betrouwbaarheidvantoetsscores 503.1.1 Schattingvandebetrouwbaarheidvantoetsscores 533.1.2 Interpretatievandebetrouwbaarheidvantoetsscores 543.1.3 Havo-toetsEngels2009 553.2 Standaardmeetfout 563.3 Misclassificatiesbijééntoets 593.4 Misclassificatiesbijmeerderetoetsen 613.5 Betrouwbaarheidvanbeoordelingendoorbeoordelaars 623.6 Hoewordentoetsscoresbetrouwbaarder? 653.7 Betrouwbaarheidvantoetsscoresendedagelijksetoetspraktijk 67
4 De validiteit van toetsscores 69
4.1 Watisvaliditeit? 704.1.1 Interpretatieengebruikvantoetsscores 704.2 Validiteitsbewijzen 714.2.1 Inhoudsbewijzen 71
8 Cito|ToetsenopSchool Index >
4.2.2 Complexiteitsbewijzen 724.2.3 Internestructuurbewijzen 734.2.4 Externestructuurbewijzen 734.2.5 Betrouwbaarheidsbewijzen 744.2.6 Extrapoleerbaarheidsbewijzen 754.2.7 Consequentiëlebewijzen 764.3 Validerenindepraktijk 764.3.1 EindtoetsBasisonderwijs 764.3.2 WISCAT-pabo–AdaptieveRekentoetsvoorPabo-studenten 804.4 Validiteitvantoetsscoresindedagelijksetoetspraktijk 82
5 Informatie over toetsen en examineren 85
5.1 Toetswijzer,gidsopinternetvoortoetsingenexaminering 865.2 Informatieoverschooltoetsen 885.3 Literatuurovertoetsing 93
6 Het construeren van gesloten vragen 97
6.1 Watiseengeslotenvraag? 986.2 Voordelenennadelenvangeslotenvragen 996.3 Soortengeslotenvragen 1006.4 Deconstructievangeslotenvragen 1046.5 Taalgebruik 1076.6 Eisenvoorgeslotenvragen 108
7 Het construeren van open vragen 111
7.1 Soortenopenvragen 1127.2 Voordelenvanopenvragen 1147.3 Nadelenvanopenvragen 1157.4 Constructieregelsvooropenvragen 1157.5 Verschillenbijdebeoordelingvanopenvragen 1217.5.1 Verschillentussenbeoordelaars 1217.5.2 Oplossingenvoorbeoordelaarseffecten 1227.5.3 Correctievoorschrift 1237.6 Checklist 123
8 Het construeren van praktijktoetsen 125
8.1 Watiseenpraktijktoets? 1268.1.1 Kenmerkenvaneenpraktijktoets 1268.1.2 Voorbeeldvaneenpraktijktoets 1298.1.3 Wanneereenpraktijktoets? 1308.2 Hetontwikkelenvaneenpraktijktoets 1318.2.1 Watiseengoedepraktijktoets? 1318.2.2 Hoeontwikkeljeeenpraktijktoets? 1318.3 Hetontwikkelenvaneenbeoordelingsschaal 1348.3.1 Watiseenbeoordelingsschaal? 1348.3.2 Hetontwikkelenvaneenbeoordelingsschaal 135
9 Inhoud Index >
9 Het beoordelen van toetsscores 145
9.1 Relatiefnormeren 1469.2 Absoluutnormeren 1489.2.1 Intuïtievemethode 1499.2.2 MethodevanAngoff 1499.2.3 Methodevancontrasterendegroepen 1509.3 Vantoetsscoresnaarcijfers 1529.3.1 Betekenisengebruikvancijfers 1529.3.2 Lineaireomzettingvantoetsscoresincijfers 1539.3.3 Lineaireomzettingmetknikvantoetsscoresincijfers 1549.3.4 Deomzettingvantoetsscoresincijfersbijdecentraleexamensvoortgezetonderwijs 1549.3.5 Hetaantalcijfers 1549.4 Hetscorenvanmeerkeuzevragen 1559.4.1 Correctievoorraden 1559.4.2 Hetwegenvandeitemscores 157
10 De kwaliteit van toetsen en examens 159
10.1 COTANBeoordelingssysteemvoordekwaliteitvantests 16010.1.1 VoorbeeldvaneenCOTAN-beoordeling 16810.2 Regelingstandaardenexamenkwaliteitmbo2012 17010.2.1 Beoordelingvandeexamenkwaliteit 17210.3 Beoordelingssystemenendetoetspraktijk 173
Geraadpleegde literatuur 175
Index 181
10 Cito | Toetsen op School Index >
Inleiding
Inleiding
12 Cito | Toetsen op School < Inhoud Index >
Inleiding
Waar gaat Toetsen op School over?ToetsenopSchoolgaatoverdeontwikkeling,hetgebruikendekwaliteitvantoetsen.InToetsenopSchoolwordentoetsenbeschouwdalsinstrumentendiegebruiktwordenomdeprestatiesvanleerlingen,docenten,scholenenonderwijssystementebeoordelenenopbasisdaarvanbeslissingentenemen.
Toetsenzijnerinvelegedaantenoftoetsvormendiewelonderscheidenwordenintraditioneleenvernieuwendetoetsvormen.Voorbeeldenvantraditioneletoetsvormenzijn:mondelingeoverhoringen;schriftelijkeproefwerken,toetsenofexamensmetmeerkeuzevragenen/ofopenvragen;stage-enscriptiebeoordeling.Voorbeeldenvanvernieuwendetoetsvormenzijn:praktijktoetsenzoalsproevenvanbekwaamheidensimulaties;portfolio;360gradenfeedback;zelfbeoordeling(self-assessment),beoordelingdoormedestudenten(peer-assessment)enbeoordelingdoorstudentendocentsamen(co-assessment).Vernieuwendetoetsvormengaanveelalgepaardmetvernieuwendeonderwijsvormendiehetresultaatzijnvaneenbepaaldevisieoplerenendoceren.ToetsenopSchoolbevatgeenuitputtendebesprekingvantraditioneleenvernieuwendetoetsvormenmaarrichtzichopdetoetsvormendiehetmeestgebruiktwordeninhetprimaironderwijs,voortgezetonderwijsenmiddelbaarberoepsonderwijs.
Voor wie is dit boek?ToetsenopSchoolisindeeersteplaatsbedoeldvoorstudentenvanlerarenopleidingenenisinsamenspraakmetopleidersvanlerarenopleidingenontwikkeld.Daarnaastkunnenookdocentendieindepraktijkwerkzaamzijnerhunvoordeelmeedoen.Aangezientoekomstigedocentenopgeleidwordenvoorverschillendeonderwijssectorenofdaarwerkzaaminzullenzijn,zijneralsaanvullingopToetsenopSchoolpublicatiesbeschikbaarvoorrespectievelijkhetprimaironderwijs,voortgezetonderwijs,middelbaarberoepsonderwijsenhogeronderwijs.
Waarom dit boek?Uitonderzoekblijktdateendocenteenvierdetoteenderdevandebeschikbarelestijdbesteedtaanactiviteitenzoals:hetstellenvanvragenaanleerlingen;opdrachtengeven,beoordelenenbespreken;hetafnemenenbeoordelenvanmondelingeenschriftelijketoetsen.Dezeactiviteiten,dieweinditboekmetdeterm‘toetsen’aanduiden,blijkeninopleidingenvanonderwijsgevendenrelatiefweinigaandachttekrijgen.Diegeringeaandachtstaatinschrilcontrastmetdebelangrijkeinvloeddietoetsenopleerlingenhebben.Beslissingendieopbasisvantoetsengenomenworden,bepalennaarwatvoorschoolleerlingenkunnen,hoelanghunopleidingduurtenwatvoorberoepzijlaterkunnenuitoefenen.Deresultatendieoptoetsenbehaaldworden,hebbenechternietalleenconsequentiesvoorleerlingenmaarookvoordocenten,scholenenhetonderwijs.Toetsenwordensteedsmeergebruiktomdeprestatiesvandocenten,scholenenonderwijssystementebeoordelen.
HetdoelvanToetsenopSchooliseenbijdrageteleverenaanhetvergrotenvandedeskundigheidvandocentenophetgebiedvantoetsen.
13 Inleiding < Inhoud Index >
Wat moeten docenten weten en kunnen op het gebied van toetsen?Weomschrijvenhierondervijfaspectenvandedeskundigheidvandocentenophetgebiedvantoetsen,metverwijzingnaardebetreffendehoofdstukkeninToetsenopSchool.
1 Docenten moeten weten dat toetsen verschillende doelen hebben Debelangrijkstebeslissingbijhetkiezenofontwikkelenvaneentoetsishetbepalenvanhet
doelvandetoets.Afhankelijkvanhetdoelvandetoetszalnamelijkeenanderetoetsgeselecteerdofontwikkeldmoetenworden.Inhoofdstuk1wordenopbasisvanhetdoelvandetoetsviersoortentoetsenonderscheidendierespectievelijkhetbeoordelenvanleerlingen,hetonderwijsleerproces,groepenleerlingenen/ofscholenendekwaliteitvanhetonderwijstotdoelhebben.
2 Docenten moeten toetsen kunnen ontwikkelen Naastdetoetsendiescholenverplichtzijnomaftenemen,zoalsexamens,zullenscholen
ookzelftoetsenontwikkelenengebruiken.Dehoofdstukken2,6,7en8gaanoverhetontwikkelenvantoetsen.Hetgebruikvandetoetsmatrijsbijdeontwikkelingvantoetsenwordtinhoofdstuk2gepresenteerd,terwijldehoofdstukken6,7en8hetconstruerenvangeslotenvragen,openvragenenpraktijktoetsenbehandelen.
3 Docenten moeten weten waar ze informatie over toetsen kunnen vinden Doorhetinternetiszeerveelinformatieovertoetsenontslotenenbeschikbaargekomen.
Inhoofdstuk5wordteengroteverscheidenheidaaninformatiebronnenbesprokendiegeraadpleegdkunnenwordenommeertewetentekomenoverzakenzoalswaarmentoetsenkanvindenenaanschaffen,dekwaliteitvandietoetsenenhetconstruerenvantoetsen.
4 Docenten moeten toetsresultaten kunnen beoordelen en interpreteren Hetgevenvancijfersisdemeestvoorkomendemanieromresultatenofscoresoptoetsente
beoordelen.Inhoofdstuk9wordennaasthetgevenvancijfersookanderemanierenvanhetbeoordelenvantoetsresultatenbehandeld.Ookwordtingegaanophoe,afhankelijkvandemaniervanbeoordelen,detoetsresultatengeïnterpreteerdmoetenworden.
5 Docenten moeten de kwaliteit van toetsen en examens kunnen beoordelen Omtoetsenverantwoordtekunnengebruiken,dienendezeaanbepaaldeeisentevoldoen.
Indehoofdstukken3en4wordtingegaanopdetweebelangrijksteeisenwaaraantoetsenmoetenvoldoen:betrouwbaarheidenvaliditeit.Betrouwbaarheidgaatoverhetvertrouwenindescoresbehaaldopeentoets.Validiteitgaatoverdebetekenisenhetgebruikvandescoresopeentoets.Daarnaastmoetentoetsenenexamensnogaanandereeisendanbetrouwbaarheidenvaliditeitvoldoen.Inhoofdstuk10wordendezeeisenaandehandvantweebeoordelingssystemenvoordebeoordelingvantoetsenenexamensgepresenteerd.
Toetsen op School op internetDezepublicatieeneentoetsspecialmetaanvullendeinformatiebijdepublicatiesvanToetsenopSchoolzijnonlinebeschikbaar.Gavoormeerinformatienaarwww.toetsenopschool.nl.
14 Cito | Toetsen op School < Inhoud Index >
1 H
et doel van toetsen
1 Het doel van toetsen
16 Cito | Toetsen op School < Inhoud Index >
1 Hetdoelvantoetsen Piet Sanders
Indithoofdstukbesprekenwetoetsendievoorvierverschillendedoelengebruiktworden. Webeginnendebesprekingmettoetsendietotdoelhebbenleerlingentebeoordelen,datwilzeggenleerlingenteselecteren,classificeren,plaatsenencertificeren.Daarnabesprekenwetoetsendietotdoelhebbenhetverloopvanhetonderwijsleerprocestebeoordelen.Toetsendietotdoelhebbendeonderwijsprestatiesvangroepenleerlingenenscholentebeoordelen,wordendaarnabesproken.Tenslottebesprekenwetoetsendietotdoelhebbendekwaliteitvanhetonderwijs,bijvoorbeelddekwaliteitvanhetbasisonderwijsofhetvoortgezetonderwijs,tebeoordelen.
1.1 Toetsen voor het beoordelen van leerlingen
Toetsendietotdoelhebbenleerlingentebeoordelen,kunnenonderscheidenwordenintoetsenwaarmeeweleerlingenkunnen:• selecteren• classificeren• plaatsen• certificeren Hiernazullenweelkecategorietoetsenmeteenofmeervoorbeeldentoelichten.
1.1.1 Het selecteren van leerlingenWesprekenvanselectiealsnietalleleerlingendiezichvooreenopleidingofonderwijs-programmaaanmeldenookwordentoegelaten.
Hetvoorbeeldvoorhetselecterenvanleerlingenontlenenweaandetoelatingvanstudententothethogeronderwijs.InNederlandgeldtdat,afhankelijkvanhetvakkenpakketofprofiel,eenhavoofvwo-diplomarechtgeeftoptoelatingtotdemeesteopleidingenofstudierichtingeninhethogeronderwijs.Bijdemeesteopleidingenofstudierichtingeniserdusgeensprakevanselectie.Datrechtopautomatischetoelatinggeldtechternietvoorstudierichtingenmeteennumerusfixus(Latijn:vastgesteldaantal)zoalsGeneeskunde.BijdezestudierichtingeniserwelsprakevanselectiewatinhetgevalvandeopleidingGeneeskundevaneenbepaaldeuniversiteitbetekentdatstudentendieeengemiddeldvwo-eindexamencijfervanachtofhogerhebbenautomatischtoegelatenworden,eenaantalstudentenopbasisvaneentoelatings-procedurevandeuniversiteit,dezogenaamdedecentraleselectie,toegelatenwordenendatderesterendeopleidingsplaatsenviaeencentralegewogenlotingtoegewezenworden.Eenredenvoorhetselecterenvanstudentendoormiddelvaneennumerusfixusisdateronvoldoendedocentenen/ofopleidingsfaciliteitenzijnomallestudentenaantenemendiedeopleidingwillenvolgen.Eenandereredenkanzijndatmenverwachtdateronvoldoendewerkisvoorafgestudeerden.
1.1.2 Het classificeren van leerlingenWesprekenvanclassificerenalsleerlingenafhankelijkvanderesultatenopeentoetsverschillendeonderwijsprogramma’svolgendietotverschillendediploma’sofcertificatenleiden.
17 Het doel van toetsen < Inhoud Index >
VoorkindereninNederlandvindtdeeerstebelangrijkeclassificatiebeslissingplaatsaanheteindvanhetbasisonderwijs.Nadebasisschoolgaanalleleerlingennaarhetvoortgezetonderwijsdatvieropleidingenkent,hetpraktijkonderwijs,hetvmbo(lwoo,basisberoeps-gerichteleerweg,kaderberoepsgerichteleerweg,gemengdeleerweg,theoretischeleerweg), dehavoenhetvwo(atheneum,gymnasium).Wanneereenkindaangemeldwordtbijeenschoolvoorvoortgezetonderwijs,dandientdatvolgensdewetgepaardtegaanmeteenadviesoverhettevolgentypeonderwijs.Eendergelijkadvieskomttotstandopbasisvan:• dewensenenideeënvandeoudersenhetkind;• deinschattingvandebasisschool;• hetresultaatopeenonafhankelijketestoftoets.
Hetspreektvanzelfdatdewensenenideeënvandeoudersenhetkindeenbelangrijkerolspelenbijdekeuzevanhetvervolgonderwijs.Hetgaatimmersomeenkeuzediebeslissendkanzijnvoordetoekomstvanhetkind.Deouderskunneninformatiegevenoverhuninschattingvandecapaciteitenvanhetkindenhetkindzelfkanaangevenhoegemotiveerdhetisvooreenbepaaldekeuze.Deinschattingvandebasisschoolzalvooreengrootgedeeltegebaseerdzijnopderesultatenbehaaldoplandelijketoetsenvoorverschillendeschoolvakkendiebijverschillendetoetsleveranciersbeschikbaarzijn(ziehoofdstuk5),toetsendiebijhetlesmateriaalhoren,toetsendiedeschoolzelfontwikkeldheeftenopobservatiesvandeleerling.
Deonafhankelijketoetsdieopheteindvanhetbasisonderwijshetmeestgebruiktwordtvoorhet classificerenvanleerlingen,isdeEindtoetsBasisonderwijs,ookwelbekendalsdeCitotoets,ziewww.citotoets.nl.HetdoelvandeEindtoetsBasisonderwijsishetgevenvanonafhankelijkeinformatieaandeleerling,deoudersennatuurlijkdeleerkrachtbijhetkiezenvanhetbestpassendetypeonderwijsvoordeleerling.DeEindtoetsBasisonderwijswaarvanjaarlijkseennieuweversieverschijnt,bestaatuittwaalftaken.DetakenbevattenopgavenophetgebiedvanTaal(100opgaven),Rekenen-Wiskunde(60opgaven),Studievaardigheden(40opgaven)enWereldoriëntatie(90opgaven).Taal,Rekenen-WiskundeenStudievaardighedenzijnverplichteonderdelenterwijlWereldoriëntatieeenfacultatiefonderdeelis.OpbasisvanhettotaalaantalgoedopdeonderdelenTaal,Rekenen-WiskundeenStudievaardighedenwordteenstandaard-scoreberekend.Delaagstestandaardscorediebehaaldkanwordenis501endehoogstmogelijkestandaardscoreis550.Dedooreenleerlingbehaaldestandaardscorevormtdebasisvoorhetadviesvoorhetbestpassendetypevoortgezetonderwijs.
HoeweldemeestekinderenopdeEindtoetsconformhuncapaciteitenpresteren,komterbijsommigeleerlingenminderuitdanerinzit,bijvoorbeelddooreengebrekaanmotivatieomteleren.Omnategaanofereenverschilistussencapaciteitenenleervorderingen–tussen kennenenkunnen–kandeCitoIntelligentietestafgenomenworden,ziewww.citotoets.nl > Intelligentietest.Dezetestdoetvooraleenberoepopverbalevermogens,redeneervermogenenruimtelijkinzicht.Hoewelookintelligentietestsalsonafhankelijketestgebruiktkunnenworden,kandeCitoIntelligentietestalleenincombinatiemetdeEindtoetsBasisonderwijsafgenomenworden.IndiendescoreopdeCitoIntelligentietestendestandaardscoreopdeEindtoetsovereenstemmen,kanhetschooladviesgevolgdwordendatopbasisvandestandaardscoreopdeEindtoetsgegevenis.Indienzenietovereenstemmen,kanhetnodigzijnomnaderonderzoektedoenomtoteengoedadviestekomeneneenpedagoogofpsycholoogteraadplegen.
Indeonderbouwvanhetvoortgezetonderwijsisersprakevanhetclassificerenvanleerlingenalsdeleerlingenmoetenkiezenvooreenleerweginhetvmbo,dehavoofhetvwo.EentoetsdieondersteuningbiedtbijdiekeuzeishetCitoVolgsysteemvoortgezetonderwijs,ziewww.cito.nl >Voortgezetonderwijs>CitoVolgsysteem.HetCitoVolgsysteemisgerichtopleerlingenindeeerstedrieleerjarenvanhetvoortgezetonderwijs.Omaantesluitenbijdevaardigheidvande
18 Cito | Toetsen op School < Inhoud Index >
leerlingenendusrechttedoenaanhetniveauverschiltussendeleerlingenzijnervoorelkafnamemoment(tweeafnamemomenteninheteerstejaar,éénafnamemomentinhettweedejaareneenafnamemomentinhetderdejaar)drietoetsversiesbeschikbaar.Eéntoetsversievoorvmbo-leerlingenophetniveaubasisberoepsgerichteleerwegenleerwegondersteunendonderwijs,éénvoordeoverigevmbo-niveaus:kaderberoepsgerichtengemengdeentheoretischeleerwegenéénvoorhavo/vwo-niveau.MetdetoetsenvanhetCitoVolgsysteemkanhetniveauvanleerlingenopdezogenaamdekernvaardighedenbepaaldwordenengedurendemeerdereleerjarengevolgdworden.Dekernvaardighedenzijn:leesvaardigheidenwoordenschatNederlands,taalverzorging,leesvaardigheidenwoordenschatEngels,enrekenen-wiskunde.Devergelijkingvanprestatiesopmeerdere,opeenvolgendemeetmomentengeeftinzichtindegroei,stilstandofachteruitgangvandevaardighedenvanleerlingen.Dedoorleerlingenbehaalderesultatenopdetoetsenkunnengebruiktwordenvoorhetbepalenvandeleerwegofhetonderwijstypedathetbestebijdeleerlingenpast.DaartoeleverendeVolgsysteem-rapportagesinformatiewaarmeedeprestatiesvanleerlingenvergelekenkunnenwordenmetdievanleerlingenvanhetzelfdeonderwijstype,maarookmetdievanleerlingendieineenhogeroflageronderwijstypegeplaatstzijn.Omtoteenmeerverantwoordekeuzevoorhetvervolgonderwijstekomen,kunnenderesultatenbehaaldopdetoetsenvanhetCito Volgsysteemvoortgezetonderwijshetbestegecombineerdwordenmetgegevenszoalseenbeoordelingvandestudiehouding,dewensenvanoudersenoptoetsengebaseerderapportcijfers.
1.1.3 Het plaatsen van leerlingenWesprekenvanhetplaatsenvanleerlingenalsleerlingenafhankelijkvanderesultatenopeentoetsverschillendeonderwijsprogramma’svolgenmaardatdieverschillendeprogramma’sweltothetzelfdediplomaofcertificaatleiden.
Eenvoorbeeldvanhetplaatsenvanleerlingenzijndetweeleerwegeninhetmiddelbaarberoepsonderwijs:deberoepsopleidendeleerweg(BOL)endeberoepsbegeleidendeleerweg(BBL).MetBOLziteenstudentvijfdagenindeweekopschoolendoetpraktijkervaringopmetstages.BijeenBOL-opleidingbestaatminimaal20%enmaximaal60%uitberoepspraktijk-vorming.StudentendieeenBBL-opleidingvolgen,werkenmeteenarbeidsovereenkomstineenleerbedrijfengaanmeestalééndagindeweeknaarschoolvoordetheoretischeonderbouwing.EenBBL-opleidingbestaatvoorminimaal60%uitberoepspraktijkvorming.InhetgevalvandekeuzetussendeBOLendeBBLishetniethetresultaatopeenspecifieketoetsmaarishetdezelfbeoordelingvandestudentdiedekeuzebepaalt.Bijdiezelfbeoordelingkunnenresultatenopeerderafgelegdetoetsenzoalsbijvoorbeeldeenberoepskeuzetestmogelijkeenrolspelen.InhetalgemeenzullenstudentendiemeerinteressevoortheoretischevakkenhebbenennognietineenregulierewerksituatiewillenmeedraaienvoorBOLkiezen.DaarentegenzullenstudentendiemeerpraktijkgerichtzijneneenwerkplekineenbedrijfambiërenvoorBBLkiezen.
1.1.4 Het certificeren van leerlingenWesprekenvanhetcertificerenvanleerlingenalsafhankelijkvanderesultatenopeentoetsbeslistwordtofleerlingeneenonderwijsprogrammaalofnietmetsuccesafgeslotenhebben.
Toetsendieeen(deelvaneen)onderwijsprogrammaafsluiten,wordenookwelsummatievetoetsenof‘toetsenvanhetleren’(Engels:assessmentoflearning)genoemd.Debekendsteafsluitendetoetsenzijnexamens.DeOnderwijsraad,www.onderwijsraad.nl,gebruiktdetermexamensvoorelkevormvanafsluitendeoftussentijdsevormvantoetsingvoorhetvaststellenvanleerresultatenmetenigcivieleffect.Vandevelefunctiesdieaanexamenstoegedichtworden,beschouwtdeOnderwijsraaddekwalificerendefunctievanexamensalsdebelangrijkstefunctievanexamens.Bijdekwalificerendefunctiegaathetmetnameomhet
19 Het doel van toetsen < Inhoud Index >
vaststellenvanheteindniveauvaneenstudentaanheteindvaneenschoolperiode.Aandiekwalificerendefunctieontlenenexamenshuncivieleffect,datwilzeggendatdeexamenserkendwordendoordemaatschappij,dearbeidsmarkt,devervolgopleidingenofdeoverheidendataanhetslagenvoorexamensrechtenontleendkunnenworden.Zoalshetbehalenvanhetrijbewijshetrechtgeeftomeenautotebesturen,zogeefthetbehalenvanhetvwo-diplomahetrechtomeenuniversitaireopleidingtevolgen.
Deexamensinhetvoortgezetonderwijszijndeexamensdiebijiedereenbekendzijn.Voordezeexamenszijnerlandelijkeexamenprogramma’sdieeisenstellenaandeinhoudenbeoordeling,ziewww.examenblad.nl.Demeestevakkenbestaanuiteencentraalexameneneenschool-examen.Inhetcentraalexamenvaneenbepaaldvakmoetenalleexamenkandidatendezelfdevragenbeantwoordenofopdrachtenuitvoerendiedoordeeigendocentvandekandidateneneendocentvaneenandereschoolbeoordeeldworden.Debeoordelingvanhetcentraalexamenresulteertineencentraalexamencijferwaarbijhetlaagstecijfergelijkisaan1,0enhethoogstecijfergelijkisaan10,0.Voorhetschoolexamenvaneenbepaaldvakstaatinhetexamen-programmaaangegevenwelkeonderwerpengetoetstmoetenwordenenwelkeonderwerpengetoetstmogenworden.IneendooreenschooloptestellenProgrammavanToetsingenAfsluiting(PTA)beschrijfteenschooldeinhoudvanhetschoolexamen.HetPTAheeftnietalleenalsfunctieomallebetrokkenenbijhetschoolexamenteinformerenoverdeinhoudenderegelsvoordetoetsingvanhetschoolexamenmaarhetisookeenverantwoordingvandeschoolaandeInspectie.Hetschoolexamenbestaatmeestaluitschriftelijkeen/ofmondelingetoetsen,praktischeopdrachten,handelingsdelen(verplichteopdrachten)enprofiel/sectorwerkstukken.Deverschillendeonderdelenvanhetschoolexamenwordendoordeeigendocent(en)beoordeeldenopbasisvandiebeoordelingenwordthetschoolexamencijferbepaald.Decijfersbehaaldophetcentraalexamenenhetschoolexamenbepalenhetdiplomacijfer.Voorvakkendienietmeteencentraalexamenwordenafgesloten,geldtdathetcijferophetschoolexamenookhetdiplomacijferis.
Hetvoorbeeldvandeexamensvoortgezetonderwijslaatziendatwehiertemakenhebbenmettweesummatievetoetsen,namelijkhetcentraalexamenenhetschoolexamen.Hetverschiltussendetweetoetsenisdathetcentraalexamenineenkorteperiodewordtafgenomenenvooralleleerlingengelijkis.Daarentegenwordthetschoolexamenopgebouwdindehelebovenbouwendeschoolbepaaltgrotendeelszelfdeinhoudvanhetschoolexamen.Ditbetekentdatschoolexamensvanverschillendescholennietidentiekzullenzijnendatdaardoorookdebetekenisvandeschoolexamencijferskanverschillen.
Watbetreftdeverantwoordelijkheidvoorexamensbestaanergroteverschillentussendeverschillendeonderwijssectoren.InhetvoortgezetonderwijsisdeschoolverantwoordelijkvoorhetschoolexamenterwijlvoorhetcentraalexamendeministervanOnderwijs,CultuurenWetenschapverantwoordelijkis.Inhetmiddelbaarberoepsonderwijsenhethogeronderwijszijndeonderwijsinstellingenzelfverantwoordelijkvoordeexamens.ExterntoezichtopdeexamensinhetvoortgezetonderwijsenmiddelbaarberoepsonderwijsvindtplaatsdoordeInspectievanhetOnderwijs,www.onderwijsinspectie.nl,eninhethogeronderwijsdoordeNederlands-VlaamseAccreditatieorganisatie,www.nvao.net.DaarnaastwordtookdoordeStichtingExamenkamer,www.examenkamer.nl,toezichtopexamensuitgeoefend.
Hoeweleenhavoofvwo-diplomahetrechtgeeftomhogeronderwijstevolgen,iseendergelijkdiplomanietpersenodigomtoegelatentewordentothethogeronderwijs.Toelatingkannamelijkookverkregenwordenviacertificeringopbasisvaneencolloquiumdoctum(Latijn:geleerdesamenspraak)wat,afhankelijkvandestudiediemenwilvolgen,uiteenmondelingen/ofschriftelijkonderzoeknaardegeschiktheidvandetoekomstigestudentbestaat.Hoewelhetcolloquiumdoctumeenhavo-ofvwo-examenvervangt,ishetalleengeldigvooréén
20 Cito | Toetsen op School < Inhoud Index >
specifiekestudieaandieuniversiteitwaarhettoelatingsonderzoekheeftplaatsgevonden.Bovendienmoetmenmeestalminstens21jaaroudzijnomzichviaeencolloquiumdoctumtekunnencertificeren.DelaatstejarenishetookmogelijkdatmensenzichkunnenlatencertificerenviaeenEVC-procedure,www.lerenenwerken.nl>Ervaringscertificaat.EVCstaatvoorErkenningvanVerworvenCompetenties.ViaeenEVC-procedurekunnenmensenkennisenervaringofficieellatenerkennenenvastlatenleggenineenervaringscertificaat.
1.2 Toetsen voor het beoordelen van het onderwijsleerproces
Indevorigepararaafhebbenwevoorbeeldenvansummatievetoetsenuitverschillendeonderwijssectorenbesproken.Indezeparagraafgaathetovertoetsenvoorhetbeoordelenvanhetonderwijsleerproces.Dezetoetsenhebbentotdoeldedocentteinformerenoverhetverloopvanhetleerprocesbijdeleerlingenenopbasisvandieinformatiehetonderwijsaanindividueleofgroepenleerlingeneventueelaantepassen.Dezetoetsenwordenookwelaangeduidalsformatievetoetsenof‘toetsenvoorhetleren’(Engels:assessmentforlearning).Voorbeeldenenkenmerkenvandezetoetsenbesprekenwehierna.
Toetsenvoorhetbeoordelenvanhetonderwijsleerprocesmakenveelalonderdeeluitvaneenleerlingvolgsysteem.Inhetbasisonderwijsishetmeestgebruikteleerlingvolgsysteemhet CitoVolgsysteemprimaironderwijsdattoetsenvoordegroepen1totenmet8bevat,zie www.cito.nl>Primairenspeciaalonderwijs>CitoVolgsysteemprimairenspeciaalonderwijs.Detoetsenwordenmeestaltweekeerperschooljaarafgenomenengevendusinformatieoverdevoortgangvanleerlingenovereenlangereperiode.Deleerlingenvangroep1en2makenvooraltoetsenvoortaalenordenen(voorbereidendrekenen)terwijlhetmerendeelvandeleerlingenvangroep3totenmet8toetsenvoorspelling,rekenen/wiskundeentechnischenbegrijpendlezenmaakt.Ooktoetsenophetgebiedvanwoordenschat,luisteren,Engels,sociaal-emotioneelfunctioneren,interesseenstudievaardighedenmakendeeluitvanhetleerling-volgsysteem.
Hetdoelvaneenleerlingvolgsysteemisnategaanofdeschoolzijndoelstellingenhaalttenaanzienvanindividueleleerlingen,groepenleerlingenofdeschoolalsgeheel.Voorindividueleleerlingendoethetleerlingvolgsysteemdatdoorhetgevenvaninformatieover:
1 Deontwikkelingvandeleerlingtenopzichtevanhetvoorgaandetoetsmomentofdevoorgaandetoetsmomenten.Detoetsengevendanantwoordopvragenals:
• Isdematevanvooruitgangvandeleerlingindeafgelopenperiodetevergelijkenmetdematevanvooruitganginvoorafgaandeperiodes?
• Vertoontdeontwikkelingvandeleerlingnogsteedseenopgaandelijnofstagnerendevorderingen?
2 Deontwikkelingvaneenleerlinginvergelijkingmetleeftijds-ofgroepsgenoten.Detoetsengevendanantwoordopvragenals:
• Hoezijndevorderingeninvergelijkingmetdievanandereleerlingenuithetlandovereenlangereperiode?
• Wordteeneventueleachterstandtenopzichtevanandereleerlingensteedsgroterofloopteenleerlingdeachterstandin?
21 Het doel van toetsen < Inhoud Index >
3 Devoortgangvanindividueleleerlingentenopzichtevande(tussen)doelendiemenwilrealiseren.Detoetsengevendanantwoordopvragenals:
• Bereiktdeleerling,alsdiezichindittempoblijftontwikkelen,degesteldetussendoelenofeinddoelen?
• Iswatdeleerlingpresteertinovereenstemmingmetwatjemagverwachten?
Afhankelijkvanhetantwoordopbovenstaandevragenzaldedocentbesluitenzijnonderwijsandersinterichtenvoorindividueleleerlingen,groepenleerlingenofdeklasalsgeheel.Ofeenaanpassingvanonderwijshetgewensteeffectheeft,kandedocentafleidenuitderesultatendiedeleerlingenopeenvolgendtoetsmomentbehalen.
InverbandmethetvoorgaandeishetonderzoekvandeInspectienaarhetprestatiegerichtwerkenvanbasisscholenvanbelang.VolgenshetOnderwijsverslag2008-2009vandeInspectiewerkteenkwartvandebasisscholenvoorrekenenenwiskundeprestatiegerichtofopbrengstgericht.Dezescholenstellenduidelijkedoelenvooralleleerlingen,analyserenproblemenvanleerlingendiededoelenniethalenenslagenervaakindieteverhelpendoorgoedeleerlingenzorg.Lerarenopscholendieprestatiegerichtwerken,hebbeninhunlessenduidelijkvoorogenwatzehunklasmoetenlerenenstemmenhunonderwijseffectiefafopdeverschillentussenleerlingen.Dezescholenkijkenjaarlijkskritischnaarhoeallegroepenleerlingenpresterenenverbeterenzichsnelalsprestatiestegenvallen.Opdezescholenpresterenleerlingenbeterdanopscholendieminderkritischkijkennaarwatzemethunleerlingenbereiken.DeInspectieconstateertookdatzwakkeenzeerzwakkescholendeoorzaakvanslechteprestatiesvaaknietbijzichzelfzoeken,maartenonrechtebijdeleerlingenleggen.DeInspectiepleitdanookvoordeinvoeringvanverplichtetoetsenopverschillendemomentenindeschoolloopbaanvanleerlingen.Datkanscholenhelpenomkritischnaarzichzelftekijkenenzichtevergelijkenmetanderescholen.
OokhetCitoVolgsysteemvoortgezetonderwijsdatweinparagraaf1.1.2besprokenhebben,heeftalstweededoelhetinkaartbrengenvanzwakkeensterkekantenvanleerlingentenbehoevevanbegeleidingen/ofremediëring.Alsblijktdateenleerlingopéénvandekernvaardighedenachterblijft,kandoordedocentgerichteactiewordenondernomen.
Hiervoormerktenweopdattoetsenuitleerlingvolgsystemenbetrekkinghebbenopleerinhoudendiegedurendeeenlangereperiodeonderwezenzijn.Datlaatstekanbetekenendathetenigetijd,enwellichttelang,kandurenvoordatstagnatiesinhetleerprocesvanleerlingengeconstateerdworden.Mettoetsendiebetrekkinghebbenopleerinhoudenvanéénofmeerderelessen,eenbepaaldonderwerpofhoofdstukishetmogelijkomveelsnellerinzichttekrijgeninhetleerprocesenhetonderwijseventueelaantepassenomhetleerprocestebevorderen.
Uitonderzoekblijktdatkenmerkenvantoetsendiehetleerprocesvanleerlingenbevorderentoetsenzijnwaarbijleerlingen:• opdrachtenenvragenvoorgelegdkrijgendieinzichtgeveninhunleerproces;• wetenwathetleerdoelisenwanneerditleerdoelbehaaldis;• effectievefeedbackontvangen;• gestimuleerdwordenheteigenleerprocesvormtegeven;• gestimuleerdwordenomtelerenvanandereleerlingen.
Toetsenmetbovengenoemdekenmerkenwordenookweldiagnostischetoetsengenoemd. Hetdoelvandezetoetsenishetidentificerenvandesterkeenzwakkepuntenvanindividueleleerlingenengroepenleerlingen.Opbasisvandieidentificatiekanhetonderwijsaangepastworden.Dewaardevaneendiagnostischetoetsstaatofvaltmetdekwaliteitvandefeedback.Effectievefeedbackbestaatnietalleenuithetduidelijkmakenvanwelkeleerinhoudende
22 Cito | Toetsen op School < Inhoud Index >
leerlingnognietbeheerst(feedback)maarvooralookuitduidelijkmakenwatdeleerlingconcreetmoetgaandoenomdieleerinhoudenweltebeheersen(feedforward).Uitonderzoeknaarfeedbackindeonderwijspraktijkblijktechterdatfeedbackmeestalalleenbeperktblijfttothetgevenvaneencijfer.Bovendienblijktdathetgevenvaneencijfervooralzwakkeleerlingendemotiveert.Effectievefeedbackvereistdattoetsenopmeerderemomentenafgenomenwordenomdevorderingenvandeleerlingentekunnenblijvenvolgenenoptijdmaatregelentekunnennemenindienervertragingofachterstandoptreedt.Bijhetdiagnostischofformatiefgebruikvantoetsenzienwedatdescheidingtussenonderwijsentoetsingvervaagt.
EenvoorbeeldvaneendiagnostischetoetsisDIALANG,EuropeanSystemforDiagnosticLanguageAssessment,tevindenopdewebsitevanLancasterUniversity,ziewww.lancaster.ac.uk/researchenterprise/dialang/about.htm.DezeonlinediagnostischetaaltoetsisgeëntophetCommonEuropeanFrameworkofReference(CEFR)forLanguagesdatinNederlandbekendisonderdenaamEuropeesReferentiekader(ERK).Voorveertientalenzijndiagnostischetoetsenbeschikbaarvoorlezen,luisteren,schrijven,woordenschatengrammaticalestructuren.GebruikerskrijgenaanhetCEFRgekoppeldefeedbackbijhuntoetsprestatiesnaastadvieshoezijhunhuidigevaardigheidsniveaukunnenverhogen.
1.3 Toetsen voor het beoordelen van groepen leerlingen en scholen
Toetsendievoorhetbeoordelenvangroepenleerlingenenscholengebruiktworden,zijngewoonlijkdezelfdetoetsenalsdiegebruiktwordenvoorhetbeoordelenvanindividueleleerlingen.Deresultatendieindividueleleerlingenvaneenbepaaldegroepofschoolopeentoetsbehaaldhebben,wordendangebruiktominformatieoverdegroepofdeschooltegeven.Wepresenterenvijfvoorbeelden.
HetCitoVolgsysteemprimairenspeciaalonderwijsgeeftinformatieoverdevorderingenvandegroeptenopzichtevandelandelijkevergelijkingsgroepenvandeterealiserenonderwijsdoelen.Deresultatenopdetoetsengevendanantwoordopvragenals:• Isdematevanvooruitgangvandegroepindeafgelopenperiodetevergelijkenmetdemate
vanvooruitgangindedaaraanvoorafgaandeperiodes?• Vertoontdeontwikkelingvandegroepnogsteedseenopgaandelijnofstagnerende
vorderingen?
Deresultatenvanleerlingenvaneengroepkunnennatuurlijkookmetelkaarvergelekenworden.Deresultatenopdetoetsengevendanantwoordopvragenals:• Hoegrootzijndeverschilleninprestatiestussendeleerlingenvandegroep?• Welkeleerlingenpresterenongeveerhetzelfde?• Welkeleerlingenlijkenonvoldoendevanhetonderwijsgeprofiteerdtehebben?
HetCitoVolgsysteemprimairenspeciaalonderwijsgeeftookinformatieoverdekwaliteitvanhetonderwijsopschoolniveau.Deresultatenopdetoetsengevendanantwoordopvragenals:• Hoepresteertdeschoolopbijvoorbeeldrekenen?• Hoeontwikkelenderekenprestatieszich?• Hebbenmaatregelenomderekenprestatiesteverbetereneffectgehad?
De EindtoetsBasisonderwijs,www.citotoets.nl,biedtscholendemogelijkheidomzelfschoolrapportentemakenvanallemogelijkeselectiesvanleerlingenviadeportalvanCito.Behalvedescoresvandeleerlingenzijnookdeachtergrondgegevensvandeleerlingenopgeslagen,zoalsgeboortedatum,leerlinggewicht,e.d.
23 Het doel van toetsen < Inhoud Index >
Drieverschillendeschoolrapportenzijnmogelijk:1 Inhet‘Schoolrapportzondercorrectie’wordendegemiddeldescoresvaneenschool
vergelekenmetdegemiddeldescoresvanalledeelnemendescholen.Hierbijwordtgeenrekeninggehoudenmetkenmerkenvandeschoolofleerlingen.
2 Het‘SchoolrapportcorrectieLG’geefteenvergelijkingvandeschoolgemiddeldenmetdatvanscholendie,geletopdesociaal-cultureleachtergrondvandeleerlingen,metdeschoolvergelijkbaarzijn.Daaromwordenin‘SchoolrapportcorrectieLG’degemiddeldescoresvandeschoolgecorrigeerdvoorhetpercentageleerlingenmeteenbepaaldleerlinggewicht(LG).
3 Het‘SchoolrapportcorrectieLGenBL’corrigeertdeprestatiesvandeschoolvoorzowelhetpercentageleerlingenmeteenbepaaldleerlinggewichtalsdevaardigheidvandeleerlingenopBegrijpendlezen(BL)alsindicatorvoordeintelligentievandeleerlingen.
OokhetCitoVolgsysteemvoortgezetonderwijsdatweinparagraaf1.1.2besprokenhebben,levertgroepsrapportagesdiedeschoolinstaatstellenomklassenen/ofleerjarentevergelijkenmeteenlandelijkgemiddelde.Ditgeeftinzichtinhoedeschoolpresteerttenopzichtevananderescholen.
De InspectievanhetOnderwijs,www.onderwijsinspectie.nl,beoordeeltdescholeninhetbasisonderwijszoweltijdensalsaanheteindevandeschoolperiode.HetoordeeloverderesultatenaanheteindevandeschoolperiodebaseertdeInspectieopderesultatendiedeleerlingenbehaaldhebbenoplandelijke(eind)toetsenvandeafgelopendrieschooljaren.Waarmogelijkzijnderesultatenvaneenschoolafgezettegenderesultatenvanscholenmetvergelijkbareleerlingen.HetoordeeloverderesultatengedurendedeschoolperiodebaseertdeInspectieopderesultatenvanlandelijketoetsenvoortechnischlezen(ingroep3en4),rekenenenwiskunde(ingroep4en6)enbegrijpendlezen(ingroep6).
COOL,www.cool5-18.nl,iseenonderzoekdatbedoeldisomdekwaliteitvanhetonderwijsenvanindividuelescholenteonderzoeken.Hetonderzoekrichtzichopdeleeftijdsgroepvan5tot18jaar.Descholendieaanhetonderzoekmeewerken,ontvangenalstegenprestatieeenschoolspecifiekerapportage.Daarinwordenpermeetjaarde(toets)resultatenvandeleerlingenvandeschoolvergelekenmetandereleerlingenenscholenuithetlandmeteenvergelijkbaresociaal-etnischeachtergrond.Scholenkunnendusderesultatenvanhungroepenleerlingenvergelijkenmetdelandelijkegemiddeldescoresvanvergelijkbaregroepenleerlingen.Ookkunnenscholen,aangenomendatzijaanmeermetingenmeedoen,vergelijkingenmakentussenmeetjarenendeontwikkelingenbijhunleerlingenvolgen.Inhetschoolrapportstaanookderesultatenophetsociaal-emotioneledomein(o.a.werkhouding,welbevinden,gedrag),verschillendeaspectenvanmotivatieenvanburgerschapscompetenties.
1.4 Toetsen voor het beoordelen van de kwaliteit van het onderwijs
HetgebruikvantoetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijsvindtzowelinNederlandalsinternationaalplaats.Hiernawordteerstingegaanophetpeilingonderzoekdatsinds1987naardekwaliteitvanhetbasisonderwijsinNederlandverrichtwordt.Daarnawordteenaantalinternationaleonderzoekenkortbesproken.
Wat is het doel van het zogenaamde Periodiek Peilingonderzoek van het Onderwijsniveau in Nederland (PPON)? Hetdoelvandeopdrachtgever,hetministerievanOnderwijs,CultuurenWetenschap,wasdathetPPON,http://ppon.cito.nl,zoumoetenleidentothetverkrijgenvaninzichtinhetleeraanbodendeleeropbrengstenvanhetbasisonderwijs.Hetpeilingonderzoekgeeftvooreengrootaantalvakkenuithetbasisonderwijsantwoordopdevolgendevragen:• Watproberenscholenhunleerlingenteleren?• Watstekenleerlingenvanhetonderwijsop?
24 Cito | Toetsen op School < Inhoud Index >
• Welkewijzigingenvoltrekkenzichoverdejarenindeonderwijsresultaten?• Inhoeverrewordendekerndoelenbasisonderwijsgehaald?• Welkeverschillenzijnerindeleerresultatentussencategorieënleerlingen?
Aaniederpeilingonderzoekligteendomeinbeschrijving,eenbeschrijvingvanhetleergebiedaandehandvaneenlijstvanleer-envormingsdoelen,tengrondslag.Dezebeschrijvingisgebaseerdopdekerndoelenbasisonderwijs,analysesvanonderwijsmethodesenvak-inhoudelijkeenvakdidactischepublicaties.Uitgaandevandedomeinbeschrijvingwordtnietéénbreedsamengesteldetoetsmaareenreekstoetsenvoorverschillendeonderwerpenvaneenleergebiedontwikkeldenafgenomenbijeengrootaantalleerlingenvanbasisscholen.Zowordenvoorhetpeilingonderzoekrekenen/wiskundebijhetdomein‘getallenenbewerkingen’tienonderwerpengetoetst,bijhetdomein‘verhoudingen,breukenenprocenten’vieronderwerpenenbijhetdomein‘meten’achtonderwerpen.Mettoetsenvoorintotaal22onderwerpenkaneengedetailleerdebeschrijvinggegevenwordenvanwatleerlingenaanheteindevanhetbasisonderwijsvanrekenen/wiskundebeheersen.
Hoe worden de leeropbrengsten beschreven? IndePPON-rapportagesdieopdewebsitevermeldstaan,wordendevaardighedenvandeleerlingenaandehandvanvoorbeeldopgavenbeschreven.Devoorbeeldopgavenillustrerenwatleerlingenmetverschillendevaardighedengoed,matigofinonvoldoendematewetenofkunnen.Uitgaandevandekerndoelenbasisonderwijsgevendeskundigebeoordelaarsvervolgensaanwatnaarhunoordeelhetgewensteniveauvanvaardigheidis.Zijbepalenstandaardenvoorminimaleenvoldoendebeheersingdiefungerenalsreferentieniveaus.Destandaardenkrijgeninhoudelijkbetekenisdoordatzegerelateerdzijnaandevoorbeeldopgaven.Tenslottewordtonderzochthoedeleerresultatenvandeleerlingenzichindeloopdertijdontwikkelen.
Voor wie zijn de peilingresultaten bedoeld? HetPPON-peilingonderzoekiseenvormvansysteemevaluatiewaarbijhetobjectvanevaluatiedekwaliteitvanhetonderwijssysteemis.Deresultatenzijndanooknietbedoeldvoorhetbeoordelenvanleerlingenenscholenmaarombetrokkenenbijhetonderwijsteinformerenoverdestandvanzakenvanhetonderwijs.BelangrijkedoelgroepenvoorderesultatenvanhetpeilingonderzoekzijnonderanderehetministerievanOCW,deInspectievanhetOnderwijs,landelijkeenregionaleonderwijs-enschoolbegeleidingsinstituten,lerarenopleidingenvoorhetbasisonderwijs,lerarenbasisonderwijsenontwikkelaarsenuitgeversvanmethodenvoorhetbasisonderwijs.Alsderesultatennietvoldoenaandeverwachtingen,zijndezebetrokkenenopverschillendemaniereninstaatommaatregelentenemendietotbetereresultatenleiden.
Internationale onderzoeken VoorbeeldenvaninternationaleonderzoekennaardekwaliteitvanhetonderwijszijnPISA,PIRLS en TIMSS.PISA(ProgrammeforInternationalStudentAssessment)iseendriejaarlijkspeilingonderzoekwaarbijdekennisenvaardighedenvan15-jarigenuiteengrootaantallandenophetgebiedvanleesvaardigheid,wiskundigeennatuurwetenschappelijkegeletterdheidvergelekenworden,www.pisa.nl.PIRLS(ProgressinInternationalLiteracyStudy)betreftonderzoeknaardeleesvaardigheidvanleerlingenuitgroep6vanhetbasisonderwijsenTIMSS(TrendsinInternationalMathematicsandScienceStudy)betreftonderzoeknaardewiskundeennatuurkundevaardighedenvan17/18-jarigen,ziewww.pirls.com.Deresultatenopdezeonderzoekenkunnenvoorlandenaanleidingzijnhetonderwijsaantepassen.
2 De inhoud van toetsen
2 De inhoud van toetsen
26 Cito | Toetsen op School < Inhoud Index >
2 Deinhoudvantoetsen Erik Roelofs en Jacqueline Visser
Hetvaststellenvandeinhoudvaneentoetsiszo’nbeetjehethalvewerkvandeconstructievaneentoets.Hoekomtdat?Iseentoetsmakennieteenzaakvandeinhoudbepalenendanovergaantotdekeuzevandetoetsvorm?Jaennee.Ja,globaalgesprokenkomteerstdeinhoudvandetoetsendandevorm.Nee,wantinhoudelijkevragenspelenbijallestappenvantoetsconstructieeenrol,dusookbijhetbepalenvandetoetsvorm.Bijdeuitwerkingvandetoetsinhoudbliktdetoetsconstructeuralvooruitnaardeprestatiediehijvaneenleerlingbijtoetsopgavenwilzien.Enandersom,bijhetkiezenvantoetsvormenenopgavenmoetdeconstructeurnagaanofhijdaarmeedebedoeldeinhoudwelkantoetsen. Hetkomtookvoordateerdervastgesteldetoetsinhoudtijdenshetontwerpenvanopgavenwordtaangescherptomdatdanindepraktijkduidelijkwordtwatmeneigenlijkwiltoetsen.
Stappen van toetsconstructieIndithoofdstukbeschrijvenweindetailvijfstappenvantoetsconstructiediebepalendzijnvoordeinhoudvandetoets:1 Hoewordtbepaaldwatleerlingenaanheteindvaneenopleidingofopleidingsfasemoeten
kennen,kunnenenwillen,oftewelhoekomjetoteenglobaalprogrammavaneinddoelenentussendoelen?
2 Hoekomjevaneenglobaalprogrammavaneinddoelenentussendoelentottoetsbareleerdoelen?
3 Hoekunjetoetsbareleerdoelenomzettenintoetstakendiehetbedoeldegedragoproepenbijdeleerling?
4 Welketoetsvormpasthetbestbijdetetoetsenleerdoelen?5 Hoesteljeeentoetsinhoudelijkcorrectenevenwichtigsamen?
Eensystematischeuitwerkingvandetoetsinhoudzorgtervoordatwatinstap1wordtvastgelegdookfeitelijkaandeordekomtindetoets.Gebeurtditniet,danbestaathetrisicodateendeelvandegesteldeleerdoelenineenonderwijsprogrammanietindetoetsenaandeordekomt.
De eerste stap,deuitwerkingvaneenprogrammavaneinddoelenentussendoelen,gebeurtvaakopbeleidsniveau.Duidelijkmoetwordenwatleerlingenaanheteindvaneenopleidingstraject(basisonderwijs,voortgezetonderwijsenberoepsonderwijs)moetenkennen,kunnenenwillen.Daartoewordenradenofcommissiesinhetlevengeroependiedoelenformulerenineendemocratischprocesvanbijschavenenherformuleren.Daarbijwordendiversedeskundigenenbelanghebbendenbetrokken,zoalsvertegenwoordigersvanuithetministerie,vakdeskundigen,vertegenwoordigersvanonderwijsinstellingen,branche-organisaties(bijberoepsonderwijs),onderwijsgevendenenonderwijsadviesorganisaties. Ditprocesmondtuitin‘kerndoelen’,‘eindtermen’en‘basiskwalificaties’peronderwijstypeenonderwijsfase.
Omdatdeze‘doelen’nogtevaagzijnomertoetsenoptekunnenbaseren,iseentweede stap nodig:deuitwerkingvantoetsbareleerdoelen.Daarinwordtdeaardvandevereisteprestatieverderuitgewerkt.Tebeantwoordenvragenzijn:welkgedragwordtvandeleerlingenverwacht(mentaleprocessen,handelingen,vaardigheden)?Inwelkesituatiesmoetdeleerlingpresteren?Welkehulpmiddelenmageenleerlinggebruiken?Volgenswelkestandaardofnormzoueen
27 De inhoud van toetsen < Inhoud Index >
leerlingmoetenpresteren?Indelingsschema’s(taxonomieën)voormenselijkpresterenvormenhierbijeenhandighulpmiddelomdebeoogdedoelenbijstap1correctenevenwichtiguittewerkentoteenverzamelingtoetsbareleerdoelen.Webeschrijvenindelingsschema’svoorhetuitwerkenvanleerdoelendiebetrekkinghebbenoprespectievelijklosseelementenvaneenvakgebied(zoalshetuitvoerenvaneenstaartdeling)enopcompetenthandeleninechteleef-ofberoepssituaties(hetvoerenvaneenverkoopgesprek).
Zodradetetoetsenleerdoelenhelderzijn,ishetzaakdetehanterentoetstakenoftoetsopgaventekiezen(stap3),eenofmeertoetsvormentekiezen(stap4)endeuiteindelijketoets(en)samentestellen(stap5).Inpraktijkzalvaakeerststap4komen:deuitwerkingvaneenglobaaltoetsplanmetdaarineenoverzichtvantoetsendieopverschillendemomententijdensdeopleidingwordenvoorgelegdaandeleerlingen.Inzo’nplanstaateenmixvantehanterentoetsvormenvermeld.
Indithoofdstukbesprekenweechtereersthoeafzonderlijketoetstakenkunnenwordengekozenbijdetetoetsenleerdoelen,stap 3dus.Daarbijgaanweinopde‘anatomie’vaneentoetsopgaveendedaaruitvoortvloeiendeontwerpkeuzes.Aandeordekomenkeuzesbetreffendedeauthenticiteitofechtheidvandetaaksituatie,desoortentoetsstimuli(foto,film,materiaal,verkoopsituatie),destructureringvandetoetstaak(bijvoorbeeldwelofgeeneigenoplossingenkiezen,alofniettoestaanvanhulpmiddelen)endekenmerkenvandeverlangderespons(bijvoorbeeldeenverbalereactieofeenhandeling).Dezekeuzeszijnvanbelangbijdecorrectevertalingvanafzonderlijkeleerdoelennaarafzonderlijketoetstaken.Ogenschijnlijkkleineaanpassingeninbijvoorbeelddegebruiktetoetsstimulikunnenervoorzorgendathetgesteldeleerdoelnietoptimaalgetoetstkanworden.Gebruikvandia’sinplaatsvanfilmpjesleidtbijverkeerstoetsentoteenwezenlijkandereopgave.
Bijdeuitwerkingvanhettoetsplan(stap 4)gaatheteromtewaarborgendathettotaleprogrammavantetoetsenleerdoelenevenwichtigwordtgedektdooreenmixvantoetsvormen(bijvoorbeeldschriftelijketoetsen,essays,proevenvanbekwaamheid).Elketoetsvormisdaarbijeenverzamelingvantoetsopgavenmetsoortgelijkekenmerken.
Bijhetsamenstellenvanafzonderlijketoetsen(stap 5)ishetdebedoelingdatdebeoogdegroepenleerdoeleninhoudelijkcorrectenafdoendewordenvertegenwoordigdintoetsopgaven.Bijdezestapgaanweinophetgebruikvantoetsmatrijzenwaarinwordtaangegevenhoeveelopgavenineentoetsdienentewordenopgenomenovereenaspectvankennisofbekwaamheid,zoalsverwoordindeleerdoelen.Doorhetgebruikvantoetsmatrijzenwordtvoorkomendatonderdelentenonrechtenietwordengetoetstofdatandereonderdelenonevenredigveelaandachtkrijgen.
Dwarsdooraldezestappenheenspeeltdevisieoplerenentoetseneenrol.Verschillendevisiesleidentotverschillendetoetsen,zoalsweinparagraaf2.1zullenzien.
2.1 Visie op leren en toetsen
Watwewillentoetsenheefttemakenmetonzevisieoplerenentoetsenineenvakdomein.Dezevisieheeftconsequentiesvoordekeuzeswatbetrefttoetsconstructie.
2.1.1 Visie op lerenBijhetontwerpenvantoetsenspeeltdevisieoplereneenbelangrijkerol.Eenvandevragendaarbijisofbijlerendeaandachtvooraluitmoetgaannaarafzonderlijkekennis-ofvaardigheidselementenofjuistuitmoetgaannaargroteregehelen,betekenisvolletakenofcompletetaken.Datlaatstezienwebijvoorbeeldbijcompetentiegerichtleren.
28 Cito | Toetsen op School < Inhoud Index >
Voorbeeldenvandeeerstebenaderingzijn:• hetverklankenvanletterstotwoorden;• hetmakenvanrechtezaagsnedenineenhoutenplank;• hettoepassenvangrammaticaregelsbijwerkwoordspelling;• hetbenoemenvanverschillendetypenbottenineenmenselijkearm;• hetidentificerenvanplaatsnamenopeen(blinde)landkaart.
Voorbeeldenvandetweedebenaderingzijn:• hetschrijvenvaneenbriefaanSinterklaas;• hetaanleggenvaneenelektrischeinstallatieineenschuur;• hetuitzettenvaneentoeristischefietsroute;• eenspreekbeurtgevenoverhetonderwerp‘kilometerheffing’.
Visiesoplerengaanmeestalgepaardmetvakdidactischevisiesdiemedebepalenwatenwanneerergedurendeeenonderwijsprogrammawordtonderwezenengetoetst.Zozaleenleerboek,werkboekofeducatievesoftwaredieeendocentgebruikt,gebaseerdzijnopeenvisieopleren.Intabel2.1staantweevakdidactischevisiesoprekenen-wiskundediegevolgenkunnenhebbenvoorwat,wanneerenhoegetoetstwordt.
Tabel 2.1: Twee vakdidactische visies op rekenen-wiskunde: mechanistische en contextrijke visie
Mechanistisch rekenen/wiskunde Contextrijk rekenen/wiskunde
Visie Bijrekenendientgestreefdtewordennaar
automatiseringvanbasisbewerkingenviahetfoutloos
gebruikvanrekentechnieken.
Getalbegripendenkeninmodellenmoeten
eerstaangelegdwordenvoordat
rekenprocedureswordenaangeleerdenverkort.
Didactiek Lerenvanvoorbeeldenenpreciesnadoenenvolgen
vanregels.
Zorgvuldigrekenenleidendtoteenjuisteuitkomst.
Stapsgewijsverkortenenabstraheren.
Schattendrekenen.
Wat
toetsen
Cijferen,gebruikvanalgoritmenzoalsdestaartdeling.
Rijtjeskalesommen.
Contextgebondenrekentaken.
Bijrekentoetsendiegemaaktzijnvanuiteenrealistischerekendidactischevisiezullenvaakvoorbeeldenuithetdagelijkslevenwordengebruikt.Onderinvloedvandezedidactischevisieisschattendrekenendoorgedrongentothettetoetsenrekenrepertoire.Eenopgavezoals ‘Hoeveelisongeveer19x19?’waarvandeuitkomstgeschatmoetworden,zalnietpassenbijeenformelerekendidactiekwaarbijleerlingendeuitkomstvan‘Hoeveelis19x19?’ cijferendmoetenuitrekenen.VooranderevoorbeeldenvandidactischevisiesziePDF2.1 in de toetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.
Bijhetverderuitwerkenvandetoetsinhoudishetessentieeldatdezeaansluitbijdevisieophetvakgebiedendevakdidactiek.Datlaatsteisbijvoorbeeldniethetgevalalsleerlingenonderwezenwordeninschattendrekenenmaardatzebijhetvanmakenvanrekenopgavengeenschattingenmaarexacteuitkomstenmoetengeven.
29 De inhoud van toetsen < Inhoud Index >
2.1.2 Visie op toetsen en beoordelenDeinhoudvaneentoetswordtnietalleenbeïnvloeddoordevisieoplerenmaarookdoordevisieoptoetsenenbeoordelen.Vandeverschillendevisiesoptoetsendieweinpublicatiesovertoetsenkunnentegenkomen,latenweintabel2.2zienwatdekenmerkenvantoetsenbijdezetweezeerverschillendevisieszijn.
Tabel 2.2: Kenmerken van toetsen bij twee verschillende visies op toetsen
Kenmerken Uiterste zienswijze 1 Uiterste zienswijze 2
Aanbiedingswijze Vooriedereenhetzelfde. Verschillendperkandidaat.
Aardvandeopgaven Losstaandeelementen.
Contextvrijetaken.
Productcentraal.
Samenhangendeelementen.
Takenincontext.
Procescentraal.
Afnamecondities Vooriedereenaltijdhetzelfde.
Opgavengeheim.
Permomentenkandidaatverschillend.
Opgavenopenbaar.
Afnamemoment Openkelevastemomenten.
Gescheidenvanleerproces.
Continu.
Verwevenmetleerproces.
Samenstelling Veelkorteopgaven. Enkelecomplexeopgaven.
Scoring Objectief.
Vastecorrecteantwoordenperopgave.
Automatischescoringprestaties.
Analytischebeoordeling.
Subjectief.
Meerdereoplossingenmogelijkperopgave.
Scoringvanprestatiesdoordomeinexpert.
Holistischebeoordeling.
Eenvoorbeeldvaneentoetsdieaansluitbijvisie1iseentoetswaarbijleerlingenEngelsidioomcorrectmoetenvertalendoorsteedsdejuistevertalinguitviervertalingentekiezen.Dezetoetskangescheidenvanhetleerprocesmetbehulpvandecomputerwordenafgenomenenautomatischwordengescoord.Detakenzijngeïsoleerdeidioomelementendielosvandegebruikscontextstaan.Erkunnenveelidioomelementen,metvastecorrecteantwoordenperopgave,wordengetoetst.Eenvoorbeeldvaneentoetsdieaansluitbijvisie2iseentoetswaaringekozenwordtvoorhetintegratieftoetsenvanidioom,grammaticaenhetgebruikvanschrijfstrategieën.Bijvoorbeeldeenopdrachtwaarbijeenleerlingermeteenmondelingedialoogvoormoetzorgendateenklachtbehandeldwordt.Zo’nopdrachtgeeftdeleerlingveelruimtebijdeuitvoering. Naastanalytischebeoordelingopobjectieftebeoordelendeelaspecten,bijvoorbeeldofdezinsbouwcorrectis,zalerooksprakezijnvaneenholistischebeoordelingdoorbeoordelaarsdiebijvoorbeeldbeoordelenofdeklachtovertuigendgepresenteerdis.
Hetisnietzodattoetsingvolgenseenvandetweeuiterstezienswijzenpersebeterisdandeander.Dekeuzevoordeeneofdeanderemaniervantoetsenzalonderandereafhangenvanhetdoelvandetoetsenwatwewillenmeten.Inveelgevallenzaleenmixvantoetsenvanbeidezienswijzenwenselijkzijn.
30 Cito | Toetsen op School < Inhoud Index >
2.2 Een programma van einddoelen en tussendoelen
Uitgangspuntvoorhetuitwerkenvaneentoetsplanenafzonderlijketoetseniseenvastgesteldprogrammavaneinddoelenentussendoelen.Indeverschillendesectorenvanonsfunderendonderwijs(basisonderwijs,voortgezetonderwijs)enhetberoepsonderwijswordtuiteindelijktoegewerktnaareinddoelenwaarvoorverschillendetermeningebruikzijn:exameneisen(vmbo,havo,vwo),basiskwalificaties(middelbaarberoepsonderwijs),kerndoelen(basis-onderwijs,speciaalbasisonderwijs,speciaalonderwijs,basisvorming).Deleerwegnaardezeeinddoelenisopgesplitstineenaantalstappendatgekenmerktwordtdoorverschillendetussendoelenwaaropiniedergevalsummatievetoetsingplaatsvindt.Bijvoorbeeldaanheteindvaneenopleidingsfase,eentrimesterofeenleerjaar.Dezeeinddoelendienenweerverderuiteengelegdtewordenindoelenvoorbijvoorbeeldonderwijsmodules,blokken,instructie-eenhedenenuiteindelijklessen.Opelkvandieniveauskantoetsingplaatsvinden,summatiefofwelformatiefvanaard.
Examenprogramma’s,kerndoelen,enkwalificatie-eisenzijndoordeoverheidvastgelegd.Gestuurddooreenvisieopmens,maatschappijenwatvanuitstromendeleerlingenmagwordenverwacht,wordteenprogrammavan(algemene)doelengeformuleerd.Bijdetotstandkominghiervanwordendeskundigenopdevakgebieden,vertegenwoordigersvanbrancheorganisatiesenvertegenwoordigersuithetonderwijsveldgeraadpleegd.Inderegelbemoeitdeoverheidzichnietmetdevraaghoediedoelenbereiktdienenteworden,maarwelmetdevraagwatbereiktmoetworden.
Alsvoorbeeldvanhoekerndoelenmeestalgeformuleerdworden,hebbenweenkelekerndoelenvoorschrijfvaardigheidinhetbasisonderwijsenvoortgezetonderwijsgenomen.
Voorbeeld 1: Enkele kerndoelen voor schrijfvaardigheid in het basisonderwijs
4 Deleerlingenlereninformatieteachterhalenininformatieveeninstructieveteksten,waaronderschema’s,tabellenendigitalebronnen.
5 Deleerlingenlerennaarinhoudenvormtekstenteschrijvenmetverschillendefuncties,zoals:informeren,instrueren,overtuigenofplezierverschaffen.
Voorbeeld 2: Enkele kerndoelen voor schrijfvaardigheid in de eerste fase van het voortgezet onderwijs
17Deleerlingenkennenspecifiekekenmerkenvaneenaantaltekstsoortenenkunnendaarbijhetschrijvenrekeningmeehouden.Hetgaatdaarbijom:deadvertentie;debrief;hetformulier;hetverslag;hetwerkstuk.
18Deleerlingenkunnenzichvoorbereidenopeenschrijftaak. Hetgaatdaarbijom:brainstormen;eigenideeënengedachtenordenen;informatie
selecteren,ordenenenverwerken;dehoofdlijnenvandeteschrijventekstuitzetten.19Deleerlingenkunneneentekststructurerenmeteenindelingininleiding,kernstuken
slotendaarbijgebruikmakenvanalinea’sentussenkoppen.
Degeformuleerdedoelenuitbovenvermeldevoorbeeldenzijnnognietvoldoendeuitgewerktomtoetsenoptebaseren.Kijkendnaarkerndoelenvoorhetbasisonderwijsvaltallereerstopdatzeeenstrevenbelichamen(deleerlingenleren…)ennieteenprestatiedoorleerlingen
31 De inhoud van toetsen < Inhoud Index >
(leerlingenkunnen…).Vandekerndoelenvoordeeerstefasevanhetvoortgezetonderwijsvaltdirectopdatkerndoel17vooralalskennisdoelisgeformuleerdenkennisvantekstsoortenbetreft(kennenspecifiekekenmerkenvaneenaantaltekstsoorten),enminderalsvaardigheidsdoel(hetkunnenschrijvenvaneenadvertentie,eenbrief,etc.).Eentweedeobservatieisdatdedoelenindevoorbeeldentealgemeenzijngeformuleerdomerdirect toetsopgavenuittekunnenafleiden.Hoezietbijvoorbeeldeenteksteruitdiezogeschrevenisdatdeinhoudendevormervanovertuigen(voorbeeld1,kerndoel5)?Overwelkeonderwerpenmagdetekstgaan?Hoelangmoetzo’ntekstzijn?Watzijnpreciesdevorm-kenmerkenendeinhoudskenmerkenwaaraandetekstmoetvoldoen?Hoestellenwevastdateenleerlingdezetekstovertuigendschrijft?Eenderdeobservatieisdatindedoelenalleenheteindniveauisuitgewerkt,terwijlmenookoptussenmomentenwiltoetsen,omdatmendaarookbeslissingenwilnemen.Eenlaatsteobservatieisdateenpureopsommingvandoelennogweinigzegtoverdematevanaandachtdieaanelkkerndoelafzonderlijkmoetwordenbesteed.Evenminwordtduidelijkwelkeaspectenvanpresterenmogelijkonderdedoelenverscholenliggen(reproduceren,bedenken,toepassen,overtuigen,informeren),enopwelkeschrijfsituaties(zoalssoortenteksten)dedoelenbetrekkinghebben.
Vanafhetmomentdaterduidelijkheidisoverhetprogrammavaneinddoelenentussendoelen,moetdanooknagedachtwordenoverdeinhoudvantoetsenopdeverschillendemomenteninhetcurriculum.Vragendiedaarbijcentraalstaanzijn:welkeonderdelenvandeinhoudmoetenaandeordekomen?Hoewordtdetetoetsenleerinhoudgeordend?Inwelkeverhoudingenmoetenonderdelenaandeordekomen?Hoekunnenweallerelevanteaspectenvanpresterenopeenpassendemanierinkaartbrengen?Enbelangrijker,hoekunnenwedieverschillendeaspectentoetsen?
2.3 Uitwerking tot toetsbare leerdoelen
Inhetbasisonderwijsenvoortgezetonderwijsisindemethode(inclusiefdocenthandleiding,leerboeken,werkboeken)alveelvoorwerkverrichtalshetgaatomhetuiteenleggenvaneinddoelen,doelenperleerjaar,doelenperinstructie-eenheid,lesdoelenenzelfsdoelenperonderwijsleeractiviteit.Datisimmersnodigomconcretelesactiviteitentekunnenuitwerken.Ookstaaninveelmethodensuggestiesvoortoetsingvanhetgeleerdeineeninstructie-eenheidofzijnmethodegebondentoetsenbijgeleverd.
Tegelijkertijdzijndetebereikenleerdoelenveelalnietuitgewerktinconcretegedragsdoelen.Ookzijnervakgebiedenofsoortenvaardigheden,zoalsinhetmiddelbaarberoepsonderwijsvaakhetgevalis,waarslechtsglobaalaangegevenwordtwatleerlingenmoetenkennenenkunnen.Indatgevalzijndocentenopzichzelfaangewezen,alshetgaatomhetuitwerkenvantoetsbareleerdoelen.
Hettoetsbaarmakenvanleerdoelenvraagtomdeinvullingvantweevoorwaarden.Deeerstevoorwaardeisdatdeinhoudvandetoetsgespecificeerdis.Voorhetspecificerenvandeinhoudvandetoetswordeninparagraaf2.3.1driebenaderingenonderscheiden.Naspecificatievandetoetsinhoudisdetweedevoorwaardedatbepaaldiswelkeonderdelenvandeinhoudgetoetstwordenenwelkeprestatiesmenvandeleerlingenverwacht.Hiervoorwordenveelaltaxonomieënofindelingschema’sgebruiktwaarvanerinparagraaf2.3.2vijfbeschrevenworden.Zodraaandezetweevoorwaardenvoldaanis,kanmendetoetsbareleerdoelenopstellenzoalsbeschreveninparagraaf2.3.3.
32 Cito | Toetsen op School < Inhoud Index >
2.3.1 Specificeren van toetsinhouden: drie benaderingenBijhetuitwerkenvanalgemeneleerdoelentotspecifiekeleerdoelenkunnenwedetetoetseninhoudopverschillendemanierenvoorstellen.Zoalsgeïllustreerdintabel2.3,kunnenwegerichtzijnophettoetsenvanlosseelementen(zoalsopgedeeldekennis,vaardigheden,attitudes),hettoetsenvancompetenthandeleninspecifiekepraktijksituaties(zoalsspreken ineenvreemdetaal)enhettoetsenvanalgemenecompetenties(zoalssamenwerken,onderhandelen).
Tabel 2.3: Drie benaderingen voor het specificeren van de inhoud van de toets
Wat toetsen? Karakterisering Voorbeeld uit schoolse context Voorbeeld uit leefwereld of
beroepscontext
Losseelementen
binneneenvak
Presteren op
afzonderlijke
elementenvaneen
vakgebied.
Tekststructuur doorzien: Deleerling
weethoetekstengestructureerd
kunnenzijnmetbehulpvan
alinea’s,tussenkoppenendoor
middelvaneenindelingin
inleiding,kernenslot.
De kandidaat kent de
verschillendelettertypesdie
gebruiktwordenbijhetopmaken
vanrubriekenvankrantX.
Competent
handelenin
specifieke
praktijksituaties
Prestatie in
authentieke
(beroeps)taken.
Informatie overdragen:Deleerling
kaninklas-ofschoolverbandeen
kortemonolooghoudenmetals
doelinformatiegeven.
Deleerlingkaningesprekmet
sprekersvandemoedertaalin
dagelijkseleefsituaties
informatiegevenoverdeeigen
persoonlijkeachtergrond.
Algemene
competenties
Prestaties in
gevarieerde
taaksituatieswaarin
eenalgemene
competentieingezet
moetworden.
Samenwerken:deleerlingkan
zodanigsamenwerkenmet
medeleerlingendatgezamenlijke
doelenwordenbereiktenieder
eenbijdrageheeftinde
totstandkomingvanderesultaten.
Deaanstaandeleraarisinstaat
samentewerkenmetcollega’sin
deplanningenuitvoeringvan
onderwijsonderdelen.
Aandeeerstebenadering,hettoetsenvangeïsoleerdeelementen(kennis,vaardigheden,attitudes),ligtdegedachtetengrondslagdatdeuitvoeringvancomplexetakendebeheersingvandesamenstellendeonderdelenvereist.Zowordtinhetvoorbeeldintabel2.3hetdoorzienvantekststructurenalsvoorwaardegezienomgoedgestructureerdetekstentelerenschrijven.Zokanookkennisoverlettertypes,alsvoorwaardeomhetvakvanopmakerteleren,afzonderlijkwordengetoetst.Bijdeeerstebenaderingisdegelijkenistussentaaksituatie en leef-ofwerksituatieveelalbeperkt.
Bijdetweedebenadering,competenthandeleninspecifiekepraktijksituaties,moetenleerlingenbijdeuitvoeringvandetakenkennisenvaardighedencombineren.Volgensdezebenaderingbestaatdetetoetseninhouduitclustersvansamenhangendeonderdelen.Deopdelingindeeltakenismindersterkdanbijtoetsingvanlosseelementen.Ditisbijvoorbeeldhetgevalbijeenpresentatieovereenonderwerpmetalsdoelinformatietegeven.Doordekeuzevanpraktijksituatiesisdeafstandtotdewerkelijkheidgering.Degrenzenvanhetschoollokaalenhetschoolvakwordendoorbroken.Ditlaatstezienweinhetberoepsonderwijswaartoetsingindeberoepspraktijkplaatsvindt.
33 De inhoud van toetsen < Inhoud Index >
Inhetbasisonderwijsenvoortgezetonderwijszijnpraktijksituatiesvaakenigszinskunstmatig(eenkortemonolooghoudenineennagespeeldesituatie)omdetoetspraktischuitvoerbaartehouden.
Indederdebenadering,hettoetsenvanalgemenecompetenties,gaathetomgeneriekevaardighedenencompetenties(samenwerken,onderhandelen,onderzoekdoen)diedeleerlingeningevarieerdesituatiesmoetenverwerven.Zezijnnietspecifiekvooréénvakgebiedofberoepsdomein,maarwelvanbelangvoordeontwikkelingvandeleerling.Denkdaarbijaanhetvermogenommetanderensamentewerken,teonderhandelenofhetverrichtenvan(eenvoudig)onderzoek.
Indepraktijkishetmogelijkomhettoetsenvanafzonderlijkeelementenuiteenvakgebiedtecombinerenmethettoetsenvancompetenthandeleninpraktijksituaties.Eenvoorbeeldvanafzonderlijkekenniselementendiegetoetstwordenineenbetekenisvollecontextiseenrekenopgavediegenomenisuithetdagelijkseleven(ineenverhaal-ofcasusvorm).
2.3.2 Indelingsschema’sOmuiteindelijktoetsbareleerdoelentekunnenformuleren,moetbepaaldwordenwelkeprestatiesenonderdelendaarvanpreciesmoetenwordengetoetst.Toetsconstructeursgebruikendaartoevaaktaxonomieënofindelingsschema’sdieaspectenvanmenselijkpresterenbeschrijven.Webeschrijvenvijfindelingsschema’s,waarvanerdrievooralpassenbijhettoetsenvanlossekennis,vaardighedenenattitudes,entweediebetrekkinghebbenoptoetsingvancompetenthandelenenalgemenecompetenties.
Het indelingsschema van Anderson en BloomIndelingsschema’sbevattenmeestaldimensies,waarmeebeoogdeprestatiesnaderkunnenwordengeclassificeerd.HetmeestbekendeclassificatieschemaisdatvanBenjaminBloom. Deeersteversieervanisrecentelijkvernieuwdwaardoorhetmeerbeantwoordtaanhedendaagseeisenvantoetsontwikkelaars(zietabel2.4).Hetclassificatieschemaisvooralbedoeldvoorhetindelenvancognitieveprestaties.IndezelfdeperiodewaarinBloomsschemaverscheen,werdenookschema’svooraffectieveprestatiesenpsychomotorischeprestatiesgepubliceerd.Zievoordezeschema’sPDF2.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.
Tabel 2.4: Het indelingsschema van Anderson en Bloom (2001)
Handelingsdimensie
Kennisdimensie Oproepen Begrijpen Toepassen Analyseren Evalueren Creëren
Feitenkennis
Conceptuelekennis
Procedurelekennis
Metacognitievekennis
a* b c d e f
*a,b,c,etc.verwijzennaarvoorbeeldenindetekst
Inhetschemawordentweedimensiesmetelkaargecombineerd,dekennisdimensie en de handelingsdimensie.
34 Cito | Toetsen op School < Inhoud Index >
De kennisdimensieomvatvierniveaus.Heteerstedaarvanbetreftfeitenkennis.Ditbetreftkennisvanbasiselementen,zoalsterminologie(deelementenvanhetperiodieksysteem,delettersvanhetalfabet),detailsengebeurtenissen(in1986wasereenkernrampinTsjernobyl), dieeenleerlingnodigheeftombekendterakenmeteenvakgebiedofomdedaarinvoorkomendeproblementekunnendoorzienofoptelossen.Hettweedekennisniveaubetreftconceptuele kennisofbegripskennis:hetgaathieromkennisoverelementendieonderdeeluitmakenvaneengroterestructuurenhunonderlingerelaties.Voorbeeldendaarvanzijnabstractebegrippenals‘democratie’metalhaarkenmerkenenrelatiesmetanderebegrippenzoals‘stemrecht’.Ofconcretebegrippenzoals‘dieren’,metalsondergeschiktebegrippen‘vissen’en‘vogels’,hunkenmerkenenderelatiesdaartussen.Kennisvanallerhandeprincipes,wetmatighedenenrelatiestussenbegrippenhorenooktotconceptuelekennis,zoalsoorzaak-gevolg(waterverdamptalshetwordtverwarmd)enmiddel-doel-relaties(omtebepalenwieerindevolksvertegenwoordigingkomt,wordterlandelijkgestemd).Hetderdekennisniveaubehelstprocedurele kennis.Ditbetreftkennisoverhoeietstedoen,zoalsmethodenvanonderzoek(westarteneenonderzoekdoorgaansmeteenprobleemstelling,daarnaonderzoeksvragen,enz.),algoritmen(welkestappenzetjebijhetmakenvaneenstaartdeling?)entechnieken(hoeslijpjeeenbeitel?).Hetlaatstekennisniveaubetreftmetacognitieve kennis,hetbewustzijnvandeeigenkennis,heteigendenkenendesturingvanditdenken.Eenleerlingmaaktbijvoorbeeldeenplanningvoorhetmakenvaneenwerkstuk(eenverwarmingsinstallatie,eengeschrevenwerkstuk)engaattussentijdsnaofdeactiviteitenvolgensplanverlopen,ofenwaarhijmoetbijsturen,ofhetproductinwordingaandegesteldeeisenvoldoetenwaarhijhulpvananderenmoetinroepenofbronnenmoetraadplegen.
DetweededimensieinhetindelingsschemavanAndersonenBloomisdehandelingsdimensie.Dezebeschrijfthetcognitieveniveauofdegevraagde‘kennishandeling’waaropdeleerlingmoetpresteren.Hetniveauvankennishandelingenlooptincomplexiteitopvanhetlagereordeniveau‘oproepen’tothetmeestcomplexeniveauvan‘creëren’.
Wanneerwedezeskennisniveausvandehandelingsdimensiecombinerenmetdevierniveausvandekennisdimensie,danwordendaarmeedecellenvanhetschemaingevuld.Ditgeeftvoorhetkennisniveauconceptuele kennishetvolgenderesultaat.
a Oproepen:herkennen(uiteenreeksgegevenbegrippenhetnaderomschrevenbegripherkennen),benoemenvanbegrippen(Hoenoemtmenhetverschijnseldat…?Wijzendopeenlegendavaneenkaarteenantwoordlatengevenopdevraag:‘Watisdit?’).
b Begrijpen:interpreterenvaneenverband,illustreren,classificerenvanindividuenondereendiersoort,samenvatten(bijvoorbeeldvanuitvoorbeeldenmetbehulpvanéénoverkoepelendbegrip),vergelijken(vantweestaatsvormen),verklaren(waaromeenkurkblijftdrijvenophetwatereneensteenniet),voorspellen(watgebeurteralsmenkoudwaterineenpanmetheetvetgiet).
c Toepassen:gebruikenenuitvoerenvaneenregel,principeofwetmatigheidineennieuwetaaksituatie(bijvoorbeeldhetkiezenvandemeestzonzekerevakantiebestemmingmetbehulpvanklimaatkaartenindewereldatlas).
d Analyseren:onderscheiden(indelenvanwaargenomengebeurtenissennaarbijvoorbeeldtijdgeestenfunctie),organiseren(hetmakenvaneenindelingvooreenopstel),uiteenleggeninonderdelen(bijvoorbeeldeenorganogrammakenopgrondvaninformatievaneenbedrijf).
e Evalueren:waarderen(opgrondvaneenwaarderingssysteemsterkeenzwakkepuntenvaneenwerkwijzeofbenaderingbijelkaarzetten),beoordelen(tegenelkaarafwegenvanplus-enminpuntenenkomentoteenwaarderendeuitspraak),concluderen(doorcombinatievan
35 De inhoud van toetsen < Inhoud Index >
bevindingenenwaarnemingeneenalgemeneuitspraakdoen).f Creëren:plannen(hetmakenvaneenplanvanaanpakopbasisvaneerdergeleerdeprincipes
eneeninschattingvaneentaaksituatie),produceren,ontwerpen(ietsnieuwsmakenopgrondvaneenaantalgeleerdeprincipes),uitvinden(hetbedenkenvaneenorigineleoplossingvaneenprobleemdienognooitiemandandershadbedacht),hypothetiseren(opgrondvaneentheorieeennieuwexperimentbedenkenwaarvoormeneenhypotheseopstelt).
Het vaardighedenschema van RomiszowskiRomiszowskiheefteeninvloedrijketaxonomievoorvaardighedenontwikkeld.Daarinonderscheidthijcognitieve,psychomotorische,affectieveeninteractievevaardigheden.Inhetsysteemwordtverdereenonderscheidgemaakttussenreproductieveenproductievevaardigheden.
Tabel 2.5: Het vaardighedenschema van Romiszowski
Reproductieve vaardigheden Productieve vaardigheden
Cognitieve
vaardigheden
Eenbekendeproceduretoepassenopeen
bekendecategorieproblemen:aantallenop
elkaardelen;despellingregelstoepassenbijhet
schrijvenvaneenzin.
Onbekendeproblemenoplossen,eennieuwe
procedureuitvinden,eentheoretischestelling
bewijzen,eeneigentekstschrijvenovereen
onderwerp.
Psychomotorische
vaardigheden
Sensomotorischevaardigheden;herhaalbareof
geautomatiseerdeactieszoals:typen,koppelen-
schakelen,hardlopen.
Strategischevaardigheden;vakmanschap,
zoals:paginaontwerp,voetballen,eenveilige
routerijden.
Reactieve
vaardigheden
Aangeleerdegewoontenenattitudes,zoals:
aandachtbestedenaan,reagerenop,waarderen
van.
Persoonlijke(zelf)controlevaardigheden,
zoals:emotiesbedwingen,zelfbeheersing,
uitstelvanbehoeftebevrediging.
Interactieve
vaardigheden
Socialegewoontes:aangeleerdereacties,goede
manieren,plezierigetoon.
Interpersoonlijkevaardigheden:overreding,
communicatievevaardigheden,discussiëren.
Reproductieve vaardighedenbetreffenrepeterendeactiviteitendiemetweinigofgeenplanninggepaardgaan.Hetgaatmeestalomstandaardproceduresofregelmatigvoorkomende(geautomatiseerde)handelingen.Integenstellingtotreproductievevaardighedendoenproductieve vaardighedeneenberoepopdecreativiteitenplanningsvaardighedenvandelerende.Zegaangepaardmet(complexe)processendiebewustendeelsonbewustverlopen.Delerendemoetdegeleerdeinformatiespontaantoepasseninnieuwesituaties,waarvoorhijnieuweoplossingenmoetbedenken.Cognitieve vaardighedenverwijzennaarintellectuelevaardighedenzoalsanalyseren,hoofd-enbijzakenonderscheiden,schematiseren,beslissen,voorspellen,evalueren,verklaren,probleemoplossen.Bijpsychomotorische vaardigheden(zoalshetbedienenvaneenvoertuig)issprakevansamenwerkingtussenhoofd(waarnemenenervarenvantijdinderuimte)enlichaam(handelingenuitvoeren).Reactieve vaardighedenverwijzennaargevoelens,attitudes,waarden;kortomhetreagerenopanderenenopgebeurtenissen.Interactieve vaardighedentenslottebetreffenvaardighedenwaarbijdebetrekkingtussenmensencentraalstaat,zoalshetvermogentotcommunicerenensamenwerken.
36 Cito | Toetsen op School < Inhoud Index >
Vakspecifieke indelingsschema’sDetaxonomieënvanAndersonenBloomenRomiszowskizijnnietontwikkeldvooreenbepaaldvakdomein,maarzijnbreedtoepasbaar.Daarnaastbestaanerookvakspecifiekeindelings-schema’swaarinverschillendetypencognitieveoperatieswordenuitgewerktindecontext vaneenvak.Zozijnervoorlezen,rekenenenmodernevreemdetalenvakspecifiekeindelingsschema’smeteenvakspecifieketerminologie.EenvoorbeeldhiervanishetindelingsschemavoorderekentoetsenvanhetCitoVolgsysteemprimaironderwijsdatisopgenomeninPDF2.3indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.
Procesmatige prestatiemodellenBijprocesmatigeprestatiemodellenwordthetpresterenopeenvakofdomeinvoorgesteldalseensamenhangendgeheelvandeelprocessendiedeelsgelijktijdigendeelsvolgtijdelijkwordendoorlopen.Presterenbetekentdatmenzoweldeafzonderlijkedeelprocessenalsdegeheleketenvandeelprocessenmoetkunnendoorlopen.Alserééndeelprocesnietcorrectdoorlopenwordt,isdetotaleuitvoeringinadequaat.Ditbetekentdaterleerdoelenzijndieinfeitedeketenvanalledeelprocessenomvatten.Indetetoetsenleerdoelenvoorautorijdenvindenweeengoedvoorbeeldvanhetgebruikvaneenprocesmatigprestatiemodel.
Hetuitvoerenvaneenverkeersopgave,tedefiniërenalshetuitvoerenvaneenspecifiekegedragskeuzeineenverkeerssituatie,zoalshetinvoegenopeenautosnelweg,wordtdaarbijopgevatalseenhandelingscyclusmetdevolgendeprocessen:waarnemen,voorspellen,evalueren,beslissen.Waarnemenheeftbetrekkingophetzieneninterpreterenvan(steedsveranderende)informatieindeverkeerssituatie(weg,weer,anderverkeer,eigengedragendatvananderen)endefactorendievanbelangzijnomdeverkeersopgaveoptelossen.Hierbijisdoelbewustkijkenvanbelang.Voorspellenheeftbetrekkingophetvoorspellenvanwatergegevendewaargenomensituatiezal/kangebeurenmetbetrekkingtotheteigengedrag,hetgedragvanandereverkeersdeelnemersendeverkeerssituatie.Bijhetevaluerengaathetomhetinschatteninhoeverredebelangenvanveiligheid,doorstroming,milieuensociaalrijgedragingevaarkomenalsdegemaaktevoorspellingenuitkomen.Bijzowelvoorspellenalsevaluerenstaathetcombinerenenintegrerenvanwaargenomeninformatiecentraal.Diewaargenomeninformatiedienttewordenvergelekenmeteerderinhetgeheugenopgeslageninformatie.Dieligtinhetgevalvanautorijdenvaakopgeslageninherkendescenario’sdietijdenshetopdoenvanrijervaringontstaan.Ervarenbestuurdershebbenbijhetautorijdenbovendiendebeschikkingoverhandelingsscripts:eensoortgeautomatiseerdhandelingsprogrammadatrazendsnelbeschikbaarkomtzodraeensituatiewordtherkend.Hetbeslissenisindiegevalleninhogemategeautomatiseerd.Leerling-bestuurdersmoetenbeslissingenvaaknogbewustnemen.Zevallendaarbijterugophetcorrectenverantwoorduitvoerenvandedeelprocessen.Overigens,alssituatiesergingewikkeldworden,zullenzelfservarenbestuurdersterugvallenopdeelprocessen(Watbetekentdezesituatie?Welkeregelsgeldenhier?Watgebeurteralsiknu…?).Inderijopleidingzienwedateenleerwegwordtuitgestippeldwaarbijleerlingenintoenemendematecomplexereverkeersopgavenlerenoplossen(zoalslinksafslaanopeendrukkemeervoudigekruisingmetdaaroptrams,fietsersdiedoorroodrijden,etc.).Tijdenshetaanlereniseraandachtvoordedeelprocessen(waarnemen,voorspellen,etc.),waardeuitvoeringvandeverkeersopgavealspaakkanlopen.Daaromzienwedatinsystematischerijopleidingenzowelleerdoelenwordenonderscheidendiedegehelehandelingscyclusbehelzenalsdoelendieopéénenkeltaakprocesbetrekkinghebben.Vooreenuitgewerktvoorbeeldmetbetrekkingtotdeverkeersopgave‘invoegenopautosnelwegen’ziePDF2.4indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.
37 De inhoud van toetsen < Inhoud Index >
Een model voor competent handelenBijprestereninberoepssituatieswordtvandeleerlingvaakgevraagdomcompetenttehandelen.RoelofsenSandershebbeneenmodelvancompetenthandelenontwikkelddatgebruiktwordtvoorverschillendetoetsenenexamensinhetberoepsonderwijs.Infiguur2.1zijnallecomponentenendesamenhangenertussensamengevat.
Figuur 2.1: Model van competent handelen (Roelofs & Sanders, 2007)
Hetstartpuntomtebepalenofeen(aankomend)beroepsbeoefenaarmeerofmindercompetenthandelt,iseenverzamelingberoepstaken in kritische situaties.Ineenkritische situatiewordtdekandidaatminofmeergedwongenomadequaathandelentelatenzien,opstraffevanernstigenegatievegevolgenvoordebetrokkenen.Daarmeemaaktdesituatiehetonderscheidtussenkandidatendiemeerenminderbekwaamhandelen.Hierbijpasteenanalogiemetskiën:alsergeenbergenzijnen/ofalsergeensneeuwis,dankaneenaspirant-skiërnietlatenziendathijkanskiën.Alseralleenmaarflauwehellingenzijn,dankanergeengoedonderscheidgemaaktwordentussenmatigeengoedeskiërs.Bovendienzijnervoldoendesituatiesnodigomuitsprakentekunnendoenovercompetentieineentaakdomein.Hieronderwordendeonderdelenvanfiguur2.1nadertoegelicht.
Competenthandelende(aankomend)beroepsbeoefenarenkunnenhunhandelenverantwoordenmetbehulpvangeaccepteerdeprofessioneleprincipes.Voorbeeldenhiervaninhetdocentenberoepzijn:leerlingenlerenhetbestineenpositiefenondersteunendgroepsklimaat;voorkenniskanhetaanlerenvannieuwekennisenvaardighedensomsindewegstaan,zodatleerlingenhunbestaandeopvattingenvaakmoetenherstructureren.
Deverantwoordingvanheteigenhandelenstoeltbijvoorkeuropeenpersoonlijkeprofessionele basismetelementenals:• kennis,zoalsbijdocentenhunkennisoverhoeleerlingenlerenlezen,ofoverbegrippenen
wettenindenatuurkunde;• eenontwikkeldrepertoireaanvaardigheden,zoalshetkunnentoepassenvandidactische
werkvormeneninstructiestrategieën,zelfeenaantelerentechniekkunnendemonstreren;• opvattingen en voorkeuren,diemedegestoeldkunnenzijnopberoepsnormen,bijvoorbeeld
bijtandartsenofverpleegkundigen‘hetbevorderenvanhetwelbevindenvancliëntendient
1 Professionele basis • Kennis • Vaardigheden • Opvattingen • Persoonlijke
eigenschappen
3 Handelen
2 Inschatten, afwegen en beslissen
4 Gevolgen
beroepstakenin
kritische situaties
38 Cito | Toetsen op School < Inhoud Index >
alsuitgangpunttewordengenomenbijeenbehandeling’;• persoonlijke eigenschappen,zoalsgeduld,introversie-extraversie.
Eenbekwameberoepsbeoefenaarkaneentaaksituatieinschatteneneenprofessioneleafwegingmakenoverhoehijgaathandelen.Eenvoorbeeldvanzo’nafwegingdooreen(aankomend)docentkanzijn:‘Geefikbijdebegeleidingvaneengroepsamenwerkendestudententipszodatikmisvattingenuitdewereldkanhelpen?’Of‘Laatikdegroepmetrustomhenzelftelatenontdekkenenuitzoekenofenwaarzevakmatiggezienmisvattingenhuldigen?’
Hetdaadwerkelijkehandelenvan(aankomend)beroepsbeoefenarenzalvaakbijnagelijktijdigofafwisselendmethetprocesvaninschatten,afwegenenbeslissenplaatsvinden.Hetgaatbijhethandelenomhetpassendinzettenvaneenprofessioneelrepertoireaanhandelingen.Bijdocentengaatdatbijvoorbeeldomhetmakenvaneenlesplanning,ontwerpenvanopdrachten,organiserenvandeonderwijsleersituatie,verzorgenvaninstructie,voerenvanouder-gesprekken.Dezebredecategorieënkunnenverderuitgewerktwordeninspecifiekeactiviteitenzoalsvragenstellenenfeedbackgeven.
Delaatstecomponentvanhetmodelbetreftdegevolgen.Slaagtdekandidaaterinombijdeuitvoeringvantakenpositievegevolgenteweegtebrengen?Voorbeeldenvanpositievegevolgenvanhethandelenvandocentenzijn:betrokkenwerkendeleerlingen,leerlingendiezichingroepsverbandnieuwebegrippenoftechniekeneigenmaken.Watwepositievegevolgennoemen,hangtmedeafvandevisieophetberoep.Hetismogelijkdateenresultaatindeenevisiealspositieverwordtgeziendanindeanderevisie.VooreenuitgewerktvoorbeeldvanditmodelziePDF2.5indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.
Allebeschrevenindelingsschema’sdrageneraanbijdattoetsbareleerdoelenkunnenwordengeformuleerddievariërennaarinhoudenniveauvancognitief,affectief,psychomotorischofinteractiefpresteren.
2.3.3 Toetsbare leerdoelen opstellenZodraduidelijkisopwelkedomeinengepresteerdgaatwordenenwelkindelingsschemadaarvoorhetbestkanwordengebruikt,kunnendealgemenedoelenwordenuitgewerkttottoetsbareleerdoelen.Deverzamelingenvanleerdoelenwerkenalseenkompasvoordetoetsconstructeur.Inhetoverzichtvandeleerdoelenwordtduidelijkwatmenwiltoetsen.
Wileenleerdoeltoetsbaarzijn,danzalhetmoetenvoldoenaaneenaantalkenmerken.Formeeluitgedruktzieteenleerdoeleralsvolgtuit:deleerlinginstadiumAingroepBvanonderwijssoortCvertoontgedrag P in situatiesQ,onderconditiesR,waarbijhulpmiddelen S wordengehanteerd,volgensprestatiestandaardT.
Webesprekenhiernaallecursiefgedruktecomponentenvaneentoetsbaarleerdoel.
De leerling.Hetgaatbijdeformuleringvaneenleerdoelaltijdomeenleerlingofcursistdiezichineenbepaaldefasevaneenopleidingbevindt.
Gedrag.Devraagishier:watmoetdeleerlingkunnentonen,beheersenofweten?Hetgaatomobserveerbaar,aantoonbaargedrag.Gebruikmakendvandewerkwoordenindeindelingsschema’skanmenaangevenwatvandeleerlingwordtverwacht.Uitdrukkingenals‘herkennen’,‘classificeren’en‘plannen’worden
39 De inhoud van toetsen < Inhoud Index >
gebruiktinhetformulerenvantoetsbareleerdoelen.Dewerkwoordengevenaanwatdeleerlingmoetkunnentonennaafloopvaneenles,eenlessenreeksofeenopleidingsfase.Hetkomtnogaleensvoordatdezewerkwoordenofweltealgemeenofweltespecifiekzijngekozen.Intabel2.6zijnvoorbeeldenopgenomenvanwerkwoordenwaarvanwordtaangenomendatzeachtereenvolgensvoldoendespecifiek,tespecifiekoftealgemeenvanaardzijn.
Tabel 2.6: Minder en meer geschikte werkwoorden bij het formuleren van toetsbare doelen
Te algemene werkwoorden
Bestuderen
Genereren
Afleiden
Interpreteren
Observeren
Testen
Gebruiken
Toepassen
Reageren
Voldoende specifieke werkwoorden
Sorterenopalfabetischevolgorde
Kiezen
Tellen
Beschrijven
Tekenen
Verklaren
Opsommen
Meten
Ineigenwoordennavertellen
Wegen
Groeperen
Ordenen
Te specifieke werkwoorden
Omcirkelen
Aanvinken
Eenlijntrekkentussen
Eencirkelzettenom
Eenkruisjezettenbij
Onderstrepen
Dezelfdekleurgevenals
Deeersteletteropschrijven
Eenkaderzettenom
Degebruiktewerkwoordenzijnaltijdverbondenmeteeninhouduiteenvakgebied,eenberoepstaakofeenalgemenekwaliteit,zoalshetverzorgenvandieren,hetuitvoerenvaneenrijtaak,hetverrichtenvanonderzoek,hetschrijvenvanovertuigendeteksten,enz.
Situaties.Devraagishier:inwelkesituatiesmoetdeleerlingpresteren?Omdatprestatiessterksituatieafhankelijkkunnenzijn,ishetvanbelanguittewerkenwelketaaksituatiesweaanleerlingenwillenvoorleggen.Ofhetnugaatompresterenbinneneenschoolvakofbinneneenberoepscontext,duidelijkmoetzijninwelketaaksituatiesditmoetgebeuren.Omietstekunnenzeggenoverwateenleerlingkan,dientmeninhetleerdoelaantegeveninwelketaaksituatieshetgedraggetoondmoetworden.
Zowordenbijhettoetsenvandoeleninhettaalonderwijsvaakverschillendesoortentekstenonderscheidenwaarinhetdoelgedragmoetwordengetoond.NeemalsvoorbeeldhetluisterennaargesprokenEngelsetekstenmethetdoeldetekstineigenwoordennatevertellen.Ditgerichtluisterenkanbijvoorbeeldgebeurenbijhetnavertellenvanverhalen,betogen,dialogen,enmonologen.Detebeluisterentekstkanbovendienafkomstigzijnuiteenauthentiekedagelijksesituatie(bijvoorbeeldeenopnamevaneennieuwsuitzending),vaneennagespeeldesituatiedieverwijstnaardewerkelijkheid,ofdoordeleraarwordenvoorgelezen.Hetisnietvanzelfsprekenddatleerlingendieerinslageneenvoorgelezentekstineigenwoordennatevertellenditookkunnennahetbeluisterenvaneenauthentiekenieuwsuitzending.Hetisdusvanbelangindedoelstellingaantegeveninwelkesituatiesdeleerlingdienttepresteren.Andersgezegd,daarmeewordendegrenzenvanhetsituatiedomeinwaarbinneneenleerling
40 Cito | Toetsen op School < Inhoud Index >
moetpresterenbepaald.
Condities.Devraagishier:onderwelkeomstandighedenmoetdeleerlingpresteren?Deomstandighedenwaaronderleerlingenmoetenpresteren,deprestatiecondities,hangensterksamenmetdetekiezentaaksituaties,maarvallenernietmeesamen.Deuitwerkingvandeprestatieconditiesindetetoetsenleerdoelendientervooraltoeomvariatietekunnenaanbrengenindegewenstemoeilijkheidsgraadvaneentoetstaak.Indeleerdoelenmoetduidelijkwordenonderwelkeomstandighedeneenleerlinghetgevraagdegedragmoetkunnentonen.BijhettoetsenvandoelenvoorbijvoorbeeldhetbegrijpendlezenvanEngelstaligetekstenwordentekstengebruiktdievariëreninmoeilijkheidsgraadvanwegehunlengte,hetgebruikvancomplexezinsconstructies,enalofnietbekendebegrippen.Ditallesomerzekervantezijndatleerlingendebetekenisvantekstenlerendoorgronden,ookalzijndezesomsmoeilijkgeschreven.Doordeprestatieconditiestevermeldenwordtduidelijkbinnenwelkegrenzenvantaakcomplexiteitleerlingengeachtwordentepresteren.
Hulpmiddelen.Devraagishier:welkehulpmiddelenmag/moetdeleerlinginzettenbijhetuitvoerenvanhetgevraagdegedrag?Hetkanzijndathulpmiddelenjuistnietgewenstzijn,wanneerwebijvoorbeeldverlangendatleerlingenkennisdirectparaathebbenofwanneereenbewerking‘uithethoofd’moetwordengedaan,zoalsbijhoofdrekenenofschattendrekenen.Inanderegevallenishetgebruikvanhulpmiddelenjuistnodigomeenhogereordevaardigheidtetonen,zoalshetgebruikenvaneenspreadsheetomingewikkelderekenbewerkingenteorganiseren.Inhetlaatstegevalteltnietdeparatekennisofdefoutlozebewerkingmaardehogereordevaardigheidomeengeschiktspreadsheetoptezetten.Anderevoorbeeldenvanhulpmiddelenzijneenatlas,eenroutenavigator,eenstukgereedschap.Eendoelstellingverandertinhoudelijksterkwanneerhulpmiddelenwelofjuistnietwordenopgenomen.Neemalsvoorbeeldeendoelstellingwaarinhetoplossenvaneencontextrijknatuurkundigprobleemcentraalstaat.Wanneergeenformule-informatiemagwordengeraadpleegd,wordteenzwaarberoepgedaanopreproductievanformulekennis.Leerlingendiedezekennisnietparaathebben,zullenhetprobleemnietadequaatkunnenoplossen,terwijlzedatmogelijkwelhaddengekundalsdeformulesbeschikbaarwarengeweest.Wanneerdiereproductievandeformuleessentieelwordtgeacht,moetdatindegesteldetoetsdoelenvoorafduidelijkwordengemaakt.Dedocentmoetindatgevalkunnenverantwoordenwaaromparateformulekennisnoodzakelijkis.Gaathetdenatuurkundeleraareromdatzijnleerlingenhetprobleemjuistkunnenplaatsendanisparateformulekennisnietnoodzakelijk.
Prestatiestandaard.Centraalstaanhierdevragen:hoegoedmoetietswordenbeheerst? Welkecriteriageldenvoorde(goede)uitvoering?Wanneerisdedocenttevredenoverhetgetoondegedragofdegedemonstreerdekennis?Wanneerniet?Hetlaatsteonderdeeldateenleerdoeltoetsbaarmaakt,betreftdeprestatiestandaard waartegenhetgedragvandeleerlingwordtafgemeten.Zokaneenleerdoeloverhetschrijvenvantekstenindeeigenmoedertaalinformatiebevattenoverdekwaliteitvandegeschreventekst(hetproduct),zoalsdematevangestructureerdheid,degebruikteinterpunctieendeovertuigingskracht.Ookzouhierbijdeaanpakomtekomentoteengeschreventeksteentetoetsenleerdoelkunnenvormen,zoalshetaantalgehanteerdeinformatiebronnen(zoalsobservaties,gesprekken,tijdschriftartikelen),dekwaliteitwaarmeedekernvandeinformatieisgeorganiseerdineenschema,enz.
Bijhetspecificerenvandeprestatiestandaardinhetleerdoelhelpthetomtebedenkenwatdegevolgenvanadequatetaakuitvoeringzoudenmoetenzijn.Diewenselijkegevolgenkunnenvervolgensalselementenvandeprestatiestandaardwordenvermeld.Ditisvooralaandeordebijtalvan(praktische)vaardighedenzoalsuittevoereninleef-enwerksituaties.Bijvoorbeeld
41 De inhoud van toetsen < Inhoud Index >
bijspreekvaardigheidindeEngelsetaaliseenwerkelijkgevolgdatdesprekerietsgedaankrijgtvandeander.Deautomobilistlostverkeersopgavenzoopdatzevooranderengeenhinderofgevaaropleveren.Deleerlingbaktfritesdiedekoperlekkervindt.
Watwemethetvoorgaandewillenbenadrukkenisdathetuitwerkenvantoetsbareleerdoelengeenwoordenspelis,maareennoodzakelijkevoorbereidingvoorhetuitwerkenvantoetsenentoetsopgaven.
Hieronderzijn,geletopdebovengenoemdekenmerken,enkelevoorbeeldenvanmeerenminderadequaatgeformuleerdeleerdoelenweergegeven.Wemerkenerbijopdatookdeverbeterdeformuleringennogverderkunnenwordengespecificeerd.
Voorbeeld 1Te specifiek:deleerlingkaneenkruisjezettenopeenafbeeldingteraanduidingvandecorrectemeetkundigevorm(cirkel,driehoek,rechthoek,vierkant,ellips).Beter:deleerlingkaneenafbeeldingvaneengeometrischevorm(cirkel,driehoek,rechthoek,vierkant,ellips)identificerenalsdenaamvandezevormwordtgenoemd.
Voorbeeld 2Geen situatie genoemd:derijinstructeurordentdeaantelerenrijtakenvaneenvoudignaarcomplex.Beter:derijinstructeurordentdeaantelerenrijtakeninhetkadervaneenregulierrijlesprogrammavaneenvoudignaarcomplex.Metprestatieconditie:inhetkadervaneenregulierrijlesprogrammamaaktderijinstructeur,afhankelijkvandebeginsituatievandeleerling,eenbijdeleerlingpassendeordeninginaantelerenrijtakenvaneenvoudignaarcomplex.
Voorbeeld 3Gedrag te algemeen:deleerlingbaseertzijnconclusiesopbevindingenuitzijnonderzoek.Beter:ineendiscussieparagraafvaneenonderzoeksverslagonderbouwtdeleerlingzijnonderzoeksconclusiesmetempirischebevindingenuithetverrichteonderzoek.
Voorbeeld 4Prestatiestandaard te vaag:deaspirantbestuurdervoegtopjuistewijzeinopdoorgaandewegenenautosnelwegen.Beter:deaspirantbestuurdervoegtopeenzodanigewijzeinopdoorgaandewegenenautosnelwegendatandereverkeersdeelnemersniethoevenintehoudenofuittewijken.
42 Cito | Toetsen op School < Inhoud Index >
2.4 Bepalen van toetstaken
Eenvolgendestapindeuitwerkingvandetoetsinhoudisdekeuzevantoetstaken.Hoebeterdetoetstakenaansluitenbijdeleerdoelen,destebeterisdekwaliteitvandeuiteindelijketoets.Meteentoetstaakbedoelenweéénopgavewaarinminstenséénleerdoelwordtgetoetst.
Omnategaanofeentoetstaaktoetstwatinhetleerdoelstaatvermeld,moetenwedusantwoordkunnengevenopdevragen:• Noodzaaktdetoetstaakdeleerlingomhetbedoeldegedragtetonen?• Komtdeindetoetstaakaangebodentaaksituatieovereenmetdebeoogdetaaksituaties?• Komenindetoetstaakdebedoeldeprestatieconditiesnaarvoren?• Krijgtdeleerlingindetoetstaakdekanstevoldoenaandebedoeldeprestatiestandaard?
Wateentoetstaakfeitelijktoetst,hangtafvandekenmerkenvandietoetstaak.Kleineveranderingenintoetstakenkunnendanookgrotegevolgenhebbenvoorwatgetoetstwordt.Daaromzettenwedebelangrijkstekenmerkenvantoetstakenopeenrij.Weonderscheidenzeshoofdkenmerken.
1 Authenticiteit2 Kritiekefactoren3 Soortenstimuli4 Taakstructurering5 Responskenmerken6 Gevolgenvantaakuitvoering
AuthenticiteitHeteerstekenmerkbetreftdeauthenticiteitvandetaaksituatiediekanuiteenlopenvanonveranderdecht,gereduceerdecht,gesimuleerd,hands-offtotformeel.Onveranderd echte taaksituatieswordengebruiktvoorhetbeoordelenvanprestatiesinreëlewerksituaties.Kenmerkendvoordezetaaksituatiesisdatzewordenuitgevoerdindecomplexeonveranderdewerk-ofleefsituatie.Indiereëlesituatiedienenzichmeestalmeerdereproblementegelijkertijdaan.Erkunnenredenenzijnomkandidatentoetstakenvoorteleggenwaarbijsprakeisvaneengereduceerd echte taaksituatie.Indezesituatieisdeomvangvandetaaksituatiebeperkter. Degevolgenvangoedeofzwakkeuitvoeringzijnnogsteedsmerkbaarvoordeuitvoerendezelf,deontvangers,anderenofobjecten.Verschillendestorendebronnenkunnenechterwordenuitgeschakeld.Bijvoorbeeldhetvoerenvantelefoongesprekkenineenrustigeruimteinplaatsvanineenruimtewaaranderenpratenenbinnenlopen.Dereductieheeftbetrekkingopdeomvangvandesocialecontextwaaringewerktwordt.Tegelijkertijdmoetbeseftwordendatdemoeilijkheidgraadvandetoetstaakhierdoorook(ongewenst)kanverminderen.Bijgesimuleerde taaksituatiesmoeteenkandidaatpresterendooreentaakuittevoerenondernagebootsteomstandigheden.Inditsoorttaaksituatieswordenaspectenvandenatuurlijkewerk-ofleefsituatievereenvoudigd,gemanipuleerdofzelfsweggelaten.Vaakbestaatdemogelijkheiddesituatie‘stiltezetten’,zoalsineenrijsimulatorofbijeenrollenspelmetacteurs.Vergelekenmetechtetaaksituatiesishetaantalgelijktijdigegebeurtenissenkleiner,ookalzijndesimulatieszeerintelligentopgezetofgeprogrammeerd.Bijhands-off taaksituatiesissprakevanbeschreven,geïllustreerdeofgefilmdetaaksituatiesdiezichnietinhethier-en-nuvoordoen.Deleerlinghandeltnietindesituatiezelf.Erzijndanookgeendirectegevolgenvanhethandelenomdatergeensprakeisvanrechtstreekseinteractie.Tevenswordtdecomplexiteituitdewerkelijkheidgereduceerdtotdevoordetaakessentiëleinformatie.Bijhands-offtaaksituatiesissprakevaneenrelatieopafstandmetsituatiesuitde
43 De inhoud van toetsen < Inhoud Index >
werkelijkheid:detakenzijningebedineengebruikscontext.Voorbeeldenvanhands-offtaaksituatieszijn:contextrijkerekensommen,waarbijeenleerlinguiteendenkbeeldigesituatiederekenopgavemoetherkennenenoplossenofhetluisterennaareenopgenomenradio-uitzendingindeklasenhetbeantwoordenvanvragendaarover.Totslotonderscheidenweformele taaksituaties,waarineenrelatiemeteenleef-ofwerksituatieontbreekt.Toetstakeninformeletaaksituatieskunnennietteminafhankelijkvandedoelstellingzeergoedwordeningezet.Denkaanhettechnischlezenvanwoordenenzinnendatindeeerstejarenvanhetbasisonderwijsgeautomatiseerdensneldienttegaanverlopen.Anderevoorbeeldenzijninvuloefeningenwaaringrammaticaregelswordengeoefendofhetuitwerkenvanspecifiekeformulesineenrekenblad.
Kritieke factorenHettweedekenmerkvandetoetstaak,dekritiekefactorenindetaaksituatie,wordtsterkbepaalddoordeindetoetsdoelenvastgesteldeprestatiecondities.Alshettoetsdoeldaaromvraagt,moeteninbijvoorbeeldeentoetstaakvoorrijvaardigheidverschillendeprestatie-conditiesvertegenwoordigdzijn,zoalsuiteenlopendewegtypen,verschillendeaantallenverkeersdeelnemers,variërendeweersomstandigheden.
Soorten stimuliHetderdekenmerkbetreftdetegebruikensoortenstimuliindetoetstaak.Destimulivormenhetconcretetoetsmateriaalwaarindeopdrachtvervatligt.Hethangtsterkvanhettetoetsenleerdoelafwelkestimulimoetenwordengekozen.Alseentetoetsendoelindecriterium-situatieeendynamischesituatievraagt,zoalshetopmerkenvanveranderingenindeverkeers-situatie,danvolstaateentoetstaakmeteenfotoniet,maarmoetminimaaleenfilmpjegebruiktworden.Eentoetstaakalshetbenoemenvanverschillendetypenbottenengewrichtenvanhetmenselijklichaamkanmetbehulpvanfoto’sof3Dmodellen,maarmoetsomsaandehand vaneenechtepersoon,wanneerhetbenoemenbijvoorbeeldgaatinhetkadervanhetdiagnosticerenvaneengewrichtsblessure.Hetkiezenvandepassendestimuliiscruciaal,omdathetgebruikervanmedebepaaltwaterfeitelijkgetoetstwordt.Alsdemeestgewenstetoetsstimulinietbeschikbaarzijnofbijvoorbeeldteduur,dankaneengevolgzijndatbepaaldeleerdoelennietgetoetstkunnenworden.
TaakstructureringHetvierdekenmerkvaneentoetstaak,taakstructurering,endedaarmeeinverbandstaandekenmerkenvanderesponsendeaardvandegevolgenvandetaakuitvoering,ishetmeestcomplexekenmerkvaneentoetstaak.HiernawordenelfaspectenvanditkenmerkgenoemdwaarvaneenschematischoverzichttevindenisinPDF2.6indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.InPDF2.7wordendekenmerkentoegelichtaandehandvantweevoorbeelden.
• Duur:hoelangmoeteentaakdurenomhetindedoelstellinggevraagdetekunnenaantonen:kortetaken,uittevoerenbinnenéénlesuur,langetermijntaken,dieenkelewekentoteenhalfjaarinbeslagkunnennemenoftussenvormen?
• Opgeroepen/spontaan:moethetindedoelstellinggevraagdewordenaangetoondintakenopaanvraagofintakendieineennatuurlijkesituatieoptreden?
• Structurering probleemdefinitie:welkestructuurindeprobleemdefinitiemoetgegevenwordengezienhetgevraagdeindedoelstelling:eenongestructureerde,matigofsterkgestructureerdeprobleemdefinitie?Bijtoetstakenmeteenongestructureerdeprobleem-definitiemoetdeleerlinghetprobleemeerstzelfinkaartbrengenalvorenshetoptelossen.
• Taakinstructies:inwelkematemoetentaakinstructieswordengegevenopdathetindedoelstellinggevraagdewordtgemeten?Moetenveelofweinigaanwijzingenworden
44 Cito | Toetsen op School < Inhoud Index >
gegevenwatbetreftdetevolgenwerkwijze,hetmateriaalgebruik,hetgereedschapgebruik,hethulpmiddelengebruikendeaardvandegewensteoplossing?
• Alternatieve werkwijzen:vereisthetindedoelstellinggevraagdeéénvastewerkwijzeofzijnermeerderemogelijkewerkwijzen?
• Alternatieve oplossingen/producten:vereisthetindedoelstellinggevraagdeéénspecifiekecorrecteoplossingofproductofzijnmeerderecorrecteoplossingen/productenmogelijk?
• Groepsprestaties:verwijsthetgevraagdeindedoelstellingnaareentoetstaakwaarinkandidatenindividueelwerken,ingroepenofcombinatiesdaarvan?
• Interactiviteit:vereisthetindedoelstellinggevraagdedathethandelenvandekandidaatleidttotveranderingindetaaksituatie?
• Materiaalgebruik:vereisthetindedoelstellinggevraagdebepaaldetegebruiken/bewerkenmaterialen(bijvoorbeeldpapier,klei,voer,hout)ofjuistniet?
• Gereedschappen:vereisthetindedoelstellinggevraagdealofniethetgebruikvaninstrumenten(meters,potlood,pen,messen,rekenmachine,computer),machinesofvoertuigen?
• Strategische hulpmiddelen:vereisthetindedoelstellinggevraagdehetalofnietgebruikenvanstrategischehulpmiddelen(bijvoorbeeld:atlas,woordenboek,tabellenboek,stappenplan,internetbronnenzoalswikipedia,gebruikershandleiding,routenavigator).
ResponskenmerkenHetvijfdekenmerkvantoetstakenbetreftdegevraagderespons.Allereerstbetreftditderesponsmodaliteit.Devraaghierbijiswelkemodaliteithetbestpastbijhetindedoelstellinggevraagde:moetdekandidaatverbaal(schriftelijk-mondeling),non-verbaal,symbolisch,performaal(grafisch,fysiek,beeldend)presterenindetoetstaak?Daarnaastkanderesponsstructuurvandetoetstaakvariëren.Issprakevaneenopenofeengeslotenrespons(bijvoorbeeldantwoordoptiesbijmeerkeuze-opgavenoftekiezenmeervoudigerespons).Eenvolgendaspectbetreftderesponstijd:vereistdetoetstaakdateronmiddellijkeenactie/antwoordkomt?Isdetoetstijdbeperkt?Totslotiserdevereiste mate van verfijning:hoeverfijnddientderesponstezijngezienhetindedoelstellinggevraagde.Daarbijvalttedenkenaandelengte(bijvoorbeeldeenkortantwoord,eenkortessay,eenlangessay,eenverslag),degevraagdematevannauwkeurigheidinrespons(bijvoorbeeldeenglobaalofexactantwoord),deeisvanvaktaal.
Gevolgen van taakuitvoeringHetlaatstekenmerkvandetoetstaakbetreftdegevolgenvantaakuitvoering:inhoeverrehebbendevolgensdedoelstellinguittevoerentakenwelofgeendirectegevolgenvoordeuitvoerendezelf,ontvangers,anderenofobjecten?Ookwanneerdekenmerkenvantoetstakenwordengevarieerd,heeftdatgevolgenvoorwatfeitelijkgemetenwordt.Hetisdanookzaaktezorgenvoorgelijkvormigheidtussenhettetoetsenleerdoelendetoetstaak.HetschematischoverzichtinPDF2.6kandaarbijhelpen.
2.5 Opstellen van een toetsplan
Nadatdedoelenvandetoetszijnuitgewerkt,kanhettoetsplanwordenopgesteld.Daarinstaatwelketoetsvormenwanneergebruiktgaanwordenvoorsummatieveofformatievedoeleinden.Hettoetsplansteltdocenteninstaatregelmatigterugkoppelingtegevenaandeleerlingenenhunonderwijsaantepassenaanwatdeleerlingennodighebben.Bovendienkrijgenleerlingenmaarookoudersduidelijkheidoverwatdeschoolbelangrijkachtomteleren.
Bijdeuitwerkingvanhettoetsplanstaandevolgendevragencentraal:• Metwelketoetsvormenwordendeverschillendeleerdoelengemeten?
45 De inhoud van toetsen < Inhoud Index >
• Hoewordentoetsengespreidoverdetijd?• Welkgewichtkrijgendeverschillendetoetsvormenbijdebeoordelingvanleerlingen?
Bijhetopstellenvaneentoetsplanishetzaakeenevenwichttevindeninhetgebruikvanverschillendetoetsvormen.Omwelkeinhoudvaneentoetshetookgaat,aangeradenwordtomgebruiktemakenvaneenevenwichtigemixvantoetsvormen.Eenevenwichtigemixvantoetsvormenzorgtervoordatpotentieelzwakkekantenvandeenetoetsvormgecompenseerdwordendoordepotentieelsterkekantenvandeandere.‘Sterk’en‘zwak’hebbenbetrekkingopde betrouwbaarheidenvaliditeitvandeverschillendetoetsvormen.Zozaleentoetsbestaandeuit meerkeuzevragenmeestalbetrouwbaarderzijndaneenproevevanbekwaamheidterwijldezelaatstetoetsvormveelauthentiekeris.
Zoalsinparagraaf2.4werdbetoogd,ishetverstandigstiltestaanbijdegewenstetypentoetstakenvoordatmendefinitiefvooreenbepaaldetoetsvormkiest.Hetkanheelverhelderendzijnombijdevaststellingvantoetsvormeneersteenaantalprototypischeopgaventeontwikkelendiemenindegewenstetoetsvormengaatgebruiken.Daarbijstaatdevraagcentraalofdegesteldeleerdoelenmetdebeoogdetoetstakenkunnenwordengetoetst.Veelhangtdanafvandekenmerkenvandeopgaven.Vervolgenskanalofnietbeslotenwordenomdoortegaanmeteentoetsvorm.
Eenvoorbeeldvaneentoetsprogrammavooraspirantrijinstructeursstaatinfiguur2.2.Hierinstaandevierverschillendetoetsvormendieafgenomenwordenomdekennisbasisendecompetentievanaspirantrijinstructeursvasttestellen.Indefiguurzienwedat‘verantwoordrijdenalseerstebestuurder’doormiddelvaneencasustoetseneenpraktijkritbeoordeeldwordtterwijlhet‘verwoordenvandetaakprocessen’alleendoormiddelvandepraktijkritbeoordeeldwordt.Voormeerinformatieoverdetoetsvormenendetoetstakendieindetoetsengebruiktworden,verwijzenwenaarVissers,NägeleenRoelofs(2006).
Competentiedomeinen Kennisbasis Beroepstaken
Casustoets Situatie-
beoordelings-
toets
Praktijkrit Proeven van
bekwaamheid/
videodossiers
Cluster 1 Competent in verkeersdeelname
1.1 Verantwoordrijdenalseerstebestuurder
1.2 Verwoordenvandetaakprocessen
1.3 Voertuigbeheersingalstweedebestuurder
X
X
X
X
X
Cluster 2 Competent in voorbereiden van lessen
2.1 Lesplanningopmaatmaken
2.2 Uitwerkenvanrijvaardigheidsdidactiek
2.3 Organiseren
X
X
X
X
X
X
Cluster 3 Competent in uitvoeren van lessen
3.1 Instructiegeven
3.2 Coachenvanhetleerproces
X
X
X
X
X
X
Cluster 4 Competent in evalueren en bijstellen
4.1 Beoordelenvanrijvorderingen
4.2 Reflectieenbijstellingeigenhandelen
X X X
X
Figuur 2.2: Toetsplan voor aspirant rijinstructeurs (Vissers, Nägele & Roelofs, 2006)
46 Cito | Toetsen op School < Inhoud Index >
Deplanningvandeverschillendetoetsvormenkanzichuitstrekkenoververschillendetijdseenheden:eenschooljaar,eentrimester,eeninstructie-eenheidofeenles.Ineentoetsplankunnenenkelemalenperschooljaarlandelijketoetsenwordenopgenomenomdealgemenevoortgangvanleerlingentetoetsenentrendstesignaleren(bijvoorbeeldeenopgelopenachterstand),leerlingenteplaatsenofhenadviestegeven.Opscholenvoorprimaironderwijswordtinditverbandveelgebruikgemaaktvaneenleerlingvolgsysteemwaarintoetsenzijnopgenomenvoortaal(technischlezen,begrijpendlezen,spellen),rekenen(zoalsgetallen,bewerkingen,breuken,meten)ofstudievaardigheden.Inhetvorigehoofdstukzagenwedaterookvoorhetvoortgezetonderwijsenhetberoepsonderwijstoetsenbeschikbaarzijnwaarmeelerarendestudievoortgangvanhunleerlingenkunnennagaanenwaarmeeleerlingenbeterekeuzesvoorvervolgonderwijskunnenmaken.
Eengrootdeelvaneentoetsplanbehelstdeplanningvansummatievetoetsenwaarmeenagegaanwordtof(detussen)doelenbereiktzijn.Dezetoetsenkunneneeninstructie-eenheid,eentrimesterofeenschooljaarbetreffen.Aandehandvandezetoetsenwordenleerlingenbeoordeeld,wordtbeslotenhenaldanniettebevorderenoftecertificeren.InscholenvoorvoortgezetonderwijszienwedatdegeplandetoetsenwordensamengevatineenzogehetenProgrammavanToetsingenAfsluiting(PTA).Hetgaathiermeestalomzelfontwikkeldetoetsen,maarookcommercieelverkrijgbaretoetsenkunnenonderdeelvormenvaneenPTA. VooreenvoorbeeldvaneenPTAziePDF2.8indetoetsspecialopdewebsiteToetswijzer, http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk2.
Bijdeplanningvaneentoetsplanmogenformatievetoetsennatuurlijknietontbreken.Zoalsweinhoofdstuk1reedsopmerkten,gevenderesultatenopformatievetoetseninzichtinsterkeenzwakkepuntenvandeleerlingenondersteunenhetnemenvandidactischemaatregelenopvrijkortetermijn.
Indepraktijkkomthetnogaleensvoordatmentoetsendiemeteenformatiefoogmerkwerdenafgenomenlatertochlaatmeetellenbijeeneindbeoordeling.Omdezepraktijktevoorkomen,moetineentoetsplanstaanwelketoetsenwelenwelketoetsennietgebruiktzullenwordenbijhetvaststellenvaneeneindbeoordeling.
2.6 Samenstellen van afzonderlijke toetsen
Delaatstevoorbereidendestapvoordeeigenlijkeconstructievantoetsopgavenishetmakenvaneenblauwdrukvoordesamenstellingvandetoets(en).
Omervoortezorgendateentoetseenrepresentatieveafspiegelingisvanwatgetoetstmoetworden,dientmendevolgendevragentebeantwoorden:• Welkgewichtkrijgendeverschillendeleerdoelenindetoets?• Hoebereikenweeengoededekkingvandoelenenonderwerpen?• Hoebereikenweeengoededekkingvanzowellagerealshogereordeprocessen?• Hoebereikenweeengoededekkingvanbeoogdetoepassingssituaties?• Hoebereikenwedatdeprestatieookechtvandeleerlingzelfis?
Demeestevandezevragenkunnenmetbehulpvaneentoetsmatrijsbeantwoordworden. Webeschrijvenditaandehandvaneenvoorbeeld.Tabel2.7toonteenvoorbeeldvaneenbeknoptetoetsmatrijs,zoalsdieisgehanteerdbijdeconstructievantheorie-examensvoorkandidaat-rijinstructeurs.Hettetoetsendomein,theorievanderijtaak,isvoorafgaandhieraanuiteengelegdineenbeschrijvingvanderijtaakvolgensmodernegedragswetenschappelijke
47 De inhoud van toetsen < Inhoud Index >
modellenophetterreinvanrijvaardigheid.Ditresulteerdeineenonderscheidinhoofdtaken(hierafgebeeldindelinkerkolom)endeeltaken,kwaliteitscriteriawaaropdeadequaatheidvandetaakuitvoeringdiendetewordenbeoordeeldendeaardvanhettebevragentaakproces.
Tabel 2.7: Toetsmatrijs examenthema ‘Theorie van de rijtaak’: aantal waarneem- en voorspel/evalueeropgaven (VE) en aantal handelingskeuzeopgaven (H) per hoofdrijtaak (aangepast naar Roelofs & Vissers, 2007)
Kwaliteitscriteria van autorijden
Veiligheid Doorstroming Milieu Sociaal rijgedrag Totaal
VE H VE H VE H VE H
Voorbereidenenafsluiten
vanverkeersdeelname
2 0 2 0 1 0 0 0 5
Stromen 4 2 4 1 1 1 1 1 15
Kruisen 7 3 5 1 0 0 3 1 20
Zijdelingsverplaatsen 7 3 3 1 1 1 3 1 20
Totaal 20 8 14 3 3 2 7 3 60
Ineenbijeenkomstmetvertegenwoordigersvaneenexamenopgavencommissieisbepaaldwelkgewichtiederecombinatievankwaliteitscriteriaentaakprocessenenerzijdsenrijtakenanderzijdszoumoetenkrijgen.Veiligheidwerdhierbijbeschouwdalshetbelangrijkstecriterium,gevolgddoorachtereenvolgensdoorstroming(vlotrijden),sociaalrijgedragenmilieusparendrijden.Bijdetaakuitvoeringwerden‘kruisen’en‘zijdelingsverplaatsen’alsmeestcrucialerijtakenvandetotalerijtaakbeschouwd,omdatdaarbijdemeesteontmoetingenmetanderenplaatshebben.Uitgaandevaneenaantalvan60opgavenzijnnahetverkrijgenvanconsensusdeaantallenteontwikkelenopgavenverdeeldoverdecellen.Indetabelzienwedathetgrotetoegekendegewichtaanveiligheidzichtbaarterugtezienisinhetaantalvan28itemsdatbesteedmoetwordenaanditonderdeel.Ookzienwedatvoorderijtaak‘Voorbereidenenafsluitenvanverkeersdeelname’geenhandelingskeuzeopgavenwordenontwikkeld.Meerinhetalgemeenzijnermeervoorspel-enevalueeropgavengeconstrueerddanhandelingskeuzeopgaven.Ookditiseengevolgvaneenkeuzevandeexamenopgavencommissie.
Hoewelditvoorbeeldisgenomenuitdecontextvanprofessioneletoetsconstructie,geldendehiervoorgenoemdevragenookvoortoetsendieindeschoolpraktijkgebruiktworden,zoalseenschriftelijkeoverhoring,eenproefwerkofeenoptegevenwerkstuk.Hetgebruikvaneentoetsmatrijsvoorkomtdatonevenredigveelofjuistteweinigaandachtbesteedwordtaanbepaaldeleerdoelenofdatdetoetseenzijdiggerichtisoplagereofjuisthogereordedenkprocessen.
Tot slotTerugkerendnaardeopzetvandithoofdstukkunnenweconstaterendatdebelangrijkstestappenvandebepalingvantoetsinhoudzijnbeschreven.Wezijnindetailingegaanopindelingsschema’somprestatiesvanleerlingensystematischuittewerken,zodatdaaroptoetsbareleerdoelenkunnenwordengebaseerd.Aandeordekwamenvervolgensdeelementendieineentoetsbaarleerdoelthuishoren.Daarnaiseenmethodiekbeschrevenomtebepalenhoeeentoetstaakeruitzoumoetenzien,wilhetbeoogdeleerlinggedragdaarmeeopgeroepenworden.Totslotisingegaanopdeplanningvantoetsvormenendesamenstellingvanafzonderlijketoetsen,omdewat-vraagvantoetsingverdergestaltetegeven.
48 Cito | Toetsen op School < Inhoud Index >
Indehoofdstukken6,7en8komenenkeleveelgebruiktetoetsvormenaandeorde(zoalstoetsenmetopenengeslotenvragenenpraktijktoetsen),waarbijmetnameinhoofdstuk8allestappenvantoetsspecificatienogeensderevuepasseren.Ookdanzalblijkendatinhoudelijkeafstemmingtussendetezettenstappeneenbelangrijkevoorwaardeisvoorkwalitatiefgoedetoetsen.
3 De betrouw
baarheid van toetsscores
3 De betrouwbaarheid van toetsscores
50 Cito | Toetsen op School < Inhoud Index >
3 Debetrouwbaarheidvan toetsscores
Piet Sanders
De betrouwbaarheidvantoetsscoresishetonderwerpvandithoofdstuk.Watindetheorieovertoetsendieaangeduidwordtmetklassieketesttheorieonderdebetrouwbaarheidvantoetsscoresverstaanwordtenhoediebetrouwbaarheidmeteenbetrouwbaarheidscoëfficiëntgekwantificeerdkanworden,wordtinparagraaf1uiteengezet.Hoemetbehulpvandestandaardmeetfoutdebetrouwbaarheidvanindividueletoetsscoresbepaaldkanworden,wordtinparagraaf2behandeld.Devraaghoedebetrouwbaarheidvantoetsscoresgekwantificeerdkanwordenintermenvanmisclassificaties,datwilzeggentenonrechtegezakteofgeslaagdeleerlingen,staatcentraalinparagraaf3.Dezelfdevraagkomtinparagraaf4aandeordeingevalersprakeisvanmeerderetoetsenzoalsbijeenhavo-examen.Opwatdeinvloedvanbeoordelaarsisopdebetrouwbaarheidvantoetsscores,wordtinparagraaf5ingegaan.Hoedebetrouwbaarheidvantoetsscoresverhoogdkanworden,komtinparagraaf6aandeorde. Tenslottewordeninparagraaf7adviezengegevenvoordedagelijksetoetspraktijk.Vooreengoedbegripvandithoofdstukisenigekennisvaneenbeperktaantalstatistischebegrippengewenst.Voorzoverdiebegrippennietindetekstuitgelegdworden,verwijzenwenaarWikipedia,GoogleofdeToetstechnischeBegrippenlijstvanCito,tevindenopwww.cito.nl > Onderzoekenwetenschap>Kenniscentrum>ToetstechnischeBegrippenlijst.
3.1 Betrouwbaarheid van toetsscores
Ondertoetsscoresverstaanwedescoresdieleerlingenopeentoetskunnenbehalen.Alsvoorbeeldvaneentoetsnemenwedehavo-toetsEngels2009dieeenvandetoetsenvanhethavo-examen2009was.OpdewebsitevanCitozijndeexamengegevensvandelaatstedriejaarbeschikbaar.Daaromverwijzenwevoordeteksten,devragenenhetcorrectievoorschriftvandehavo-toetsEngels2009naarwww.alleexamens.nl>HAVO>Engels:2009–Tijdvak1. Dehavo-toetsEngelsuit2009bestaatuit43vragenwaarvan34meerkeuzevragenen9open vragen.Opdevragenkunnen1of2scorepuntenbehaaldwordenenintotaalkunnen49scorepuntenbehaaldworden.Inplaatsvandetermenvragen,opdrachten,takenofonderdelenwordtindithoofdstukendeanderehoofdstukkenookweldegenerieketerm‘items’gebruikt.
Opdehavo-toetsEngels2009kunnendusminimaal0scorepuntenenmaximaal49score-puntenbehaaldworden.VerondersteldateenleerlinggenaamdJan42scorepuntenbehaalt.Die42scorepuntennoemenwezijngeobserveerdetoetsscore.AlswedezetoetseentweedekeerbijJanzoudenafnemendanishetnietwaarschijnlijkdathijopnieuw42scorepuntenzoubehalen.Dehavo-toetsEngelsofeenanderetoetseenaantalkerenafnemen,kannatuurlijknooitinwerkelijkheidplaatsvinden.Hetiseengedachte-experimentomeenbelangrijkbegripteintroduceren,namelijkdatvaneenverdelingvanmogelijkegeobserveerdescoresvaneenleerling.Elkeleerlingdiedehavo-toetsEngelsaflegt,heeftzo’nverdelingdiewezoudenkunnenaanduidenalsde‘privéverdeling’vandieleerling.Alswedehavo-toetsEngelseengrootaantalkeren,bijvoorbeeld1000keer,bijJanhaddenkunnenafnemen,danzoudatindevolgendeprivéverdelingvanJangeresulteerdkunnenhebben:100keer36scorepunten,200keer38score-punten,400keer40scorepunten,200keer42scorepuntenen100keer44scorepunten.
51 De betrouwbaarheid van toetsscores < Inhoud Index >
De gemiddeldetoetsscorevandie1000geobserveerdetoetsscoresdefiniërenwealsdewarescorevanJanendieisgelijkaan40scorepunten.
Omdatdetoetsmaaréénkeerbijdezelfdeleerlingafgenomenwordt,wordtdegeobserveerdescorevandieleerlingalseentoevalligetrekkinguitdeprivéverdelingvandieleerlingbeschouwd.InhetgevalvanJanhaddenwebijvoorbeeldookdescore36,38,40,42of44kunnentrekken.Degeobserveerdescorevandeleerlingkangelijk,groterofkleinerzijndandienswarescore.Hetverschiltussendegeobserveerdescoreendewarescorewordtdemeetfoutgenoemd.Isdegeobserveerdescoregroterdandewarescore,danisdemeetfoutpositief.IngevalvaneenpositievemeetfoutbehaaltJaneenscorediegroterisdanwathijgemiddeldgenomenopdezetoetszoubehalen.Isdegeobserveerdescorekleinerdandewarescoredanisersprakevaneennegatievemeetfout.
Demeetfoutheeftbetrekkingopalleswatdegeobserveerdetoetsscorevaneenleerlingdoetverschillenvanzijnofhaarwarescore.Meetfoutenkunnenveroorzaaktwordendoorzakendietemakenhebbenmetdeleerling.Hetkanzijndattoevalligopdedagdatdetoetsafgenomenwordtdeleerlingzichnietlekkervoelt,slechtgeslapenheeft,nietgemotiveerdis,mindergeconcentreerdisofpechofgelukheeftbijhetbeantwoordenvanbepaaldeitems.Toets-ofexamenangstwordtvaaktenonrechteookwelalsmeetfoutaangeduidmaartoetsangstmoetalseeneigenschapvandeleerlingbeschouwdwordendietotonderpresterenleidtopalletoetsendiebijdeleerlingafgenomenworden.Meetfoutenkunnenookveroorzaaktwordendoorzakendiemetdetoetstemakenhebben.Indiendetoetsdoorbeoordelaarsbeoordeeldengescoordwordt,ishetmogelijkdatdetoetsvansommigeleerlingendooreenmildebeoordelaarendievanandereleerlingendooreenstrengebeoordelaarbeoordeeldwordt. Tenslottekunnenmeetfoutenveroorzaaktwordendooromstandighedenwaaronderdetoetswordtafgenomen.Juistopdedagdatdetoetsafgenomenwordt,iserbijvoorbeeldietsmismetdeverlichting,isersprakevangeluidsoverlast,isdeexamenzaaltekoudoftewarmenisereensurveillantbijwiehetmogelijkisomaftekijken.
Dehavo-toetsEngelseengrootaantalkerenbijJanafnemen,heeftzoweleentheoretischalseenpraktischbezwaar.HettheoretischbezwaarisdatJanzichdeitemszalherinnerenendeantwoordentewetenkankomenindetijdtussenverschillendeafnamenwaardoorzijnwarescoreperafnamezalverschillen.HetpraktischebezwaarisnatuurlijkdatweJannietvelemalendehavo-toetsEngelskunnenlatenafleggen.DetweebezwarenimplicerendatwedewarescorevanJannietkennenenooknietdewarescorevanandereleerlingendiedetoetsmaken.Enomdatwedewarescorenietkennen,kennenweookdemeetfoutniet.Wezittendusmeteenonoplosbaarprobleem.Hetenigedatwekennenisdegeobserveerdescoreendieissamengestelduiteenwarescoreeneenmeetfout.Wekunnenditprobleemformulerenmeteeneenvoudigewiskundigevergelijking.Steldatwevandaagdehavo-toetsEngelsbijJanafnemen.WestellendescoredieJangaatbehalenvoormetdehoofdletterX,enomduidelijktemakendathetomdegeobserveerdescorevanJangaat,plakkenwezijnnaamendedagalseenindexaanhetscoresymboolvast: ,Jan vandaagX .VolgensdeklassieketesttheorieheeftJanookeenwarescoreopdetoets.DezewarescoreiseenvastgetaldatwekunnenopvattenalseenvasteeigenschapvanJan.Alssymboolvoordezewarescoregebruikenwedekleine(Griekse)lettertauenwestellendewarescorevanJanvoorals Janτ .Maarerkomtookeenmeetfoutvoordieweaanduidenmet ,Jan vandaagE endiewenietkennen.Indeklassieketesttheoriewordtdegeobserveerdescoregedefinieerdalsdesomvandewarescoreendemeetfoutenditwordtweergegevenmetdevolgendevergelijking:
52 Cito | Toetsen op School < Inhoud Index >
τ= +Jan,vandaag Jan Jan,vandaagX E (1)
Dezevergelijkinglaatziendatwemeteenonoplosbaarprobleemtemakenhebben.Hetenigewatwenadeafnamevandetoetskennen,isdegeobserveerdescore,endieisdesomvantweegroothedendiewenietkennen.Wehebbenduséénvergelijkingmettweeonbekendenendiekunnenwenieteenduidigoplossen.
HetvoorgaandeisnietalleenvantoepassingopJanmaaropiedereleerlinguitdepopulatieleerlingenvoorwiedehavo-toetsEngels2009bedoeldis.Vandaardatwevooriedereleerlinguitdepopulatiedevergelijkingvandeklassieketesttheoriekunnenopschrijvenals:
= +X T E (2)
Volgensformule(2)isdegeobserveerdescorevaniedereleerlinguitdepopulatiedesomvandewarescorevandieleerlingendemeetfoutdiewemakenophetmomentvandetoetsafname.Informule(2)staathetsymboolTvoorhetEngelse‘truescore’ofwarescoreenishetsymboolEdeafkortingvanhetEngelse‘error’datinhetNederlandsmeestalaangeduidwordtmetmeetfout.
Voordatwedeformulevandebetrouwbaarheidvantoetsscorespresenteren,dienenweeerstdebegrippen‘variantie’en‘standaardafwijking’of‘standaarddeviatie’teintroduceren. Devariantieenstandaardafwijkingvandetoetsscoresdieleerlingenopeentoetsbehaaldhebben,kunneninvijfstappenberekendworden:1 Berekendegemiddeldetoetsscore.2 Trekvandetoetsscorevanelkeleerlingdegemiddeldetoetsscoreaf.Ditresulteertin
negatieveenpositieveverschillen.3 Kwadrateerdieverschillenentelzeop.4 Deeldeuitkomstvanstap3doorhetaantalleerlingen.Dezeuitkomstgeeftdevariantie.5 Neemdevierkantswortelvandevariantieendieuitkomstisdestandaardafwijking.
Destandaardafwijkingiseenveelgebruiktemaatvoordeverdelingofspreidingvanscores.Dezemaatheeftalsvoordeeldatzeuitgedruktwordtindezelfdeeenheidalsdescores.Eenanderemaatvoordespreidingvanscoresishetkwadraatvandestandaardafwijkingofdevariantie.Hoeweldezemaatalsnadeelheeftdatzenietuitgedruktwordtindezelfdeeenheidalsdescores,hebbenvariantiesinsommigegevallenwelalseigenschapdatzeopeenzinvollemanierbijelkaarkunnenwordenopgeteld.Datisookhetgevalindeklassieketesttheoriewaardevariantievandegeobserveerdescoresgelijkisaandesomvandevariantievandewarescoresplusdevariantievandemeetfouten.Alsformulewordtditgeschrevenals:
= +Var( ) Var( ) Var( )X T E (3)
Hetbelangrijkstebegripuitdeklassieketesttheorieisdebetrouwbaarheidvandetoetsscores.Dieheeftdirecttemakenmetformule(3):devariantievandegeobserveerdescoreskanopgedeeldwordenintweedelen,enwatwewillenisdathetdeeldattoeteschrijvenisaandemeetfoutrelatiefkleinis,waardoorhetgedeeltedatdevariantievandewarescoresuitdruktrelatiefgrootwordt.
53 De betrouwbaarheid van toetsscores < Inhoud Index >
DeformulevoordebetrouwbaarheidvandetoetsscoresXisgedefinieerdals:
ρ = =+
Var( ) Var( )Var( ) Var( ) Var( )
T TX T E (4)
Informule(4)staathetsymbool ρ (ρ staatvoordeGriekseletterrho)voordebetrouwbaarheidvandetoetsscores.DeEngelsetermvoorbetrouwbaarheidis‘reliability’.Uitformule(3)valtonmiddellijkafteleidendatVar(X)evengrootisalsofgroterisdanVar(T).Ditbetekentdatdenoemerindebreukvanformule(4)evengrootofgroterisdandetellerenditbetekentdatdebetrouwbaarheidnietgroterkanzijndan1.Omdatvariantiesnietnegatiefkunnenzijnendeverhoudingtussenvariantiesdusookniet,kanookdebetrouwbaarheidnietnegatiefzijn,waaruitweervolgtdatdebetrouwbaarheideengetalistussen0en1.
Formule(4)iseenzogenaamdedefinitieformule.Deformuledruktpreciesuitwatmenindeklassieketesttheoriebedoeltmetbetrouwbaarheidmaarzekannietgebruiktwordenomdebetrouwbaarheidvantoetsscoresteberekenen.Deformulebevatnamelijkeengrootheid,Var(T),diewenietkunnenberekenenomdatwedewarescoresvandeleerlingennietkennen.Gelukkigzijnermethodenontwikkeldwaarmeewedebetrouwbaarheidkunnenschattenzonderdewarescoresvandeleerlingentekennen.Demeestbekendemethode,deinterne-consistentiemethode,besprekenwehierna.
Tenslotteishetvanbelanghieroptemerkendatweindithoofdstuksomskortheidshalveover‘betrouwbaarheid’sprekenterwijlweover‘betrouwbaarheidvantoetsscores’zoudenmoetenspreken.Toetsenkunnennamelijknietbetrouwbaarofonbetrouwbaarzijnmaartoetsscoreswel.
3.1.1 Schatting van de betrouwbaarheid van toetsscoresDeinterne-consistentiemethodevoorhetschattenvandebetrouwbaarheidvantoetsscoresheeftzijnpopulariteitvooraltedankenaanhetfeitdatdemethodetegemoetkomtaanwatindepraktijkgebruikelijkis,namelijkdatdetoetsmaaréénkeerbijeensteekproefvanleerlingenwordtafgenomen.Bijdezemethodevormendeopdeitemsbehaaldescoresdebasisvoordeschattingvandebetrouwbaarheid.Debekendsteschattingvandebetrouwbaarheidvantoets-scores,veelalaangeduidmetbetrouwbaarheidscoëfficiënt,isCronbach’salfadiegedefinieerdisals:
α = − −
∑ Var( )1
1 Var( )
ii
Xk
k X (5)
Informule(5)wordthetaantalitemsindetoetsvoorgesteldmetk.Indehavo-toetsEngelsisk gelijkaan43,hetaantalitemsindetoets.Tussendevierkantehakenstaateenbreuk;denoemervandebreukisdevariantievandegeobserveerdetoetsscoresX.OmdetelleruitterekenenmoetenwevanelkitemdevariantievandegeobserveerdeitemscoresXiberekenenenoptellen(hetsymboolsigmastaatvooroptellen).Indehavo-toetsEngelsisdatdusdesomvandevariantiesvan43items,namelijkdevariantievanitemi=1,itemi=2,item i=3,totenmetitemi=43.Aangezienformule(5)geenonbekendegroothedenbevat,kunnenwealfauitrekenen.Cronbach’salfakanvoortoetsenbestaandeuitdichotomeen/ofpolytomeitemsgebruiktworden.Indiendetoetsalleenuitdichotomeitemsbestaat,isCronbach’salfagelijkaandebetrouwbaarheidscoëfficiëntdiealsdeKR20bekendstaat.
54 Cito | Toetsen op School < Inhoud Index >
3.1.2 Interpretatie van de betrouwbaarheid van toetsscoresDebetrouwbaarheidkunnenweinterpreterenalseenproportieofalseenpercentagedoordeproportiemet100tevermenigvuldigen.Volgensdeformulesinvoorgaandeparagraafbetekenteenbetrouwbaarheidvan0,90dateenproportievan0,90of90%vandevariantievandegeobserveerdescorestoegeschrevenkanwordenaanverschillentussendewarescoresvanleerlingenen0,10of10%aanmeetfouten.Eenhogebetrouwbaarheidbetekentdusdatverschilleningeobserveerdetoetsscoresvanleerlingenvooraltemakenhebbenmetverschillenindewarescoresvanleerlingen.Eenhogebetrouwbaarheidimpliceertdatwedewarescorevaneenleerlingbeterkunnenvoorspellen(zieparagraaf3.2).Eenhogebetrouwbaarheidimpliceertookdat–wanneerwebijdezelfdeleerlingentweevergelijkbare(parallelle)toetsenzoudenafnemen,bijvoorbeelddehavo-toetsenEngels2009vanheteersteentweedetijdvak–leerlingenmeteenhogetoetsscoreopdetoetsvanheteerstetijdvaknaarverwachtingookeenhogeretoetsscoreopdetoetsvanhettweedetijdvakzullenbehalen,terwijlleerlingenmeteenlagetoetsscoreopdetoetsvanheteerstetijdvakookeenlageretoetsscoreopdetoetsvanhettweedetijdvakzullenbehalen.
Watacceptabelewaardenvoordebetrouwbaarheidvaneentoetszijn,hangtafwaarvoordetoetsgebruiktwordt.Indienmeteentoetsbelangrijkebeslissingenoverindividueleleerlingengenomenworden,wordteenbetrouwbaarheidvanminstens0,90alswenselijkbeschouwd.Indieneentoetsechtergebruiktwordtomdeprestatiesvangroepenleerlingen–bijvoorbeeldklassenofscholen–tebeschrijvenoftevergelijken,wordtalsvuistregeleenbetrouwbaarheidvan0,70alsacceptabelbeschouwd.Ziehieroverookhoofdstuk10.
AangezienCronbach’salfanogsteedsdepopulairstebetrouwbaarheidscoëfficiëntis,ishetbelangrijkomtweekanttekeningenbijhetgebruikvandezecoëfficiëntteplaatsen.De eerstekanttekeningisdatbewezenkanwordendatalfaeenondergrensvandebetrouwbaarheidis.Ditbetekentdatalsdetoetseenalfavan0,70heeft,menzekerweetdatdebetrouwbaarheidvandetoetsgelijkisaanofgroterisdan0,70,maarmenweetnietofdebetrouwbaarheidnu0,70is,of0,80ofzelfsgelijkaan1is.Alsmeneenhogealfavindt,bijvoorbeeld0,95,danisdatgeengrootprobleem,maaralsalfalaagis,bijvoorbeeld0,30,danzoudebetrouwbaarheidweleensgroterkunnenzijn.Erzijncoëfficiëntenontwikkelddievooralbijtoetsenmeteengeringaantalitemsinhogereondergrenzenresulteren.Infeiteisdebetrouwbaarheiddiebijdehavo-toetsEngelsgerapporteerdwordt(zieparagraaf3.1.3)nietcoëfficiëntalfamaardehoogstmogelijkeondergrensvandebetrouwbaarheid.Detweedekanttekeningbetreftdeinterpretatievancoëfficiëntalfaalsmaatvoordeinterne consistentie ofhomogeniteitvaneentoets.Metbeidetermenwordtbedoelddatalfazouaangeveninwelkematedeitemsvaneentoets‘hetzelfde’zoudenmetenongeachtwat‘hetzelfde’ookzoumogenzijn.Hetfeitechterdatalfaookeenhogewaardekanhebbenterwijldetoetsuitheterogeneitemsbestaat,datwilzeggenitemsdieniet‘hetzelfde’meten,bewijstdatdieinterpretatieonjuistis.
Alswedehavo-toetsEngels2009zoudenafnemenbijstudentendieEngelsstuderenaaneenuniversitairelerarenopleidingzaldebetrouwbaarheidvandehavo-toetsnaarverwachtinglagerzijndanbijdehavisten.DeredenvoordezelagerebetrouwbaarheidisdatdewarescoresvandestudentenEngelsminderzullenverschillendandewarescoresvandehavisten.Terwijldewarevariantiesvandetweegroepenveelzullenverschillen,zullendevariantiesvandemeetfoutenweinigverschillenomdatverwachtmagwordendatdevariantievandemeetfoutennietafhankelijkisvandegroepenleerlingenwaarbijdetoetsafgenomenwordt.Ditbetekentvolgensformule(4)datdebetrouwbaarheidvandetoetsdieafgenomenisbijdehavistengroterzalzijndandezelfdetoetsafgenomenbijdestudentenEngels.ZekerwetendoenwehetechternietwantdaarvoorzoudenwedetoetsdaadwerkelijkbijdestudentenEngelsmoetenafnemen.
55 De betrouwbaarheid van toetsscores < Inhoud Index >
Hiervoormerktenweopdateenhogerebetrouwbaarheidimpliceertdatwedewarescorevaneenleerlingbeterkunnenvoorspellen.Alsdiewarescoreookbetrekkingheeftopwaarwegeïnteresseerdinzijn,bijvoorbeeldhoedeschriftelijkebeheersingvanhetEngelsvanhavistennavijfjaaronderwijsis,danheeftdetoetsookeenhogevaliditeit.Validiteitishetonderwerpvanhoofdstuk4.
3.1.3 Havo-toets Engels 2009Eenaantalbegrippendathiervoorbesprokenis,lichtenwetoeaandehandvandehavo-toetsEngels2009.Daarnaastwordtookeenaantalanderebegrippentoegelicht.InonderstaandetabelstaandegegevensdieontleendzijnaanhetExamenverslag2009,ganaarwww.cito.nl > Voortgezetonderwijs>Centraleexamens>Examenverslagen>Oudeverslagen:2009,Resultatenperexamen,Applicatie(Excel),Toevoegen,OpleidingstypeHAVO,HAVOCSEEngels.
Havo Engels 2009 tijdvak 1totaalaantalvo-kandidaten 47648steekproefgrootte 2353aantalitems 43p’-waardetotalesteekproef 0,64maximumscore 49gemiddeldescore 31,4normeringsterm 0,4gemiddeldcijfer 6,2percentageonvoldoendes 28standaardafwijking 6,7betrouwbaarheid 0,83standaardmeetfout 2,8
Indetabelkunnenwelezendatdehavo-toetsEngelsbijeenpopulatievan47648leerlingenafgenomenis.Degegevensindetabelzijngebaseerdopeensteekproefvan2353leerlingen.
Detoetsbestaatuit43itemswaaropeenmaximumscorevan49scorepuntenbehaaldkanworden.
Hetgemiddeldeaantalscorepuntendatopdezetoetsbehaaldwerd,wasgelijkaan31,4score-punten.Hetgemiddeldeisberekenddoordescoresvande2353leerlingenoptetellenentedelendoor2353.
De P’-waardetotalesteekproefwordtberekenddoordegemiddeldescoretedelendoordemaximumscore.DeP’-waardeiseenindicatievandemoeilijkheidsgraadvanhetexamenendaarmeeookvandegemiddeldemoeilijkheidsgraadvandeafzonderlijkeitems.Binnendeklassieketesttheoriewordtdemoeilijkheidvaneenitemgedefinieerdalszijnp-waarde.Bijeenbinairofdichotoomitem,datwilzeggeneenitemwaaropalleeneenscorevannuloféénkanwordenbehaald,isdep-waardedeproportiepersonendathetitemcorrectbeantwoordt.Bijpolytomeitems,datwilzeggenitemswaaropmeerdanéénscorepuntbehaaldkanworden,isdep-waardegedefinieerdalsdegemiddeldescorebehaaldopdatitemgedeelddoordemaximumscoredieopdatitembehaaldkanworden.Degemiddeldemoeilijkheidsgraadvandehavo-toetsEngelswas0,64.
Opdehavo-toetsEngelswerdeengemiddeldcijfervan6,2behaald.Hoedecijfersopdezetoetsbepaaldwerden,plusderolvandenormeringstermdaarbij,kanmennalezeninhoofdstuk9.Hetgemiddeldecijferisberekenddoordecijfersvan2353leerlingenoptetellenentedelendoor2353.
56 Cito | Toetsen op School < Inhoud Index >
De cesuur,datwilzeggenhetaantalscorepuntenwaaraanhetlaagstevoldoendecijfer5,5toegekendwordt,staatnietindetabelvermeld.Decesuurvoordehavo-toetsEngels2009wasgelijkaan28scorepunten,watlagerisdandegemiddeldescoreopdetoetsdie,zoalswehiervoorzagen,gelijkwasaan31,4scorepunten.
De standaardafwijkingvandehavo-toetsisgelijkaan6,7scorepunt.Hoedestandaardafwijkinginvijfstappenberekendwordt,hebbenwebeschreveninparagraaf3.1.Destandaardafwijkingiseenhandigemaatomdeverdelingvandetoetsscorestebeschrijven.Indiendegeobserveerdescoresvaneentoetseennormaleverdelinghebbenofnormaalverdeeldzijn(zieo.a.Wikipedia,http://nl.wikipedia.org/wiki/Normale_verdeling),danbevindt:• 68%vandescoreszichtussenéénstandaardafwijkingbovenenéénstandaardafwijking
benedendegemiddeldescore;• 90%vandescoreszichtussen1,645standaardafwijkingbovenen1,645standaardafwijking
benedendegemiddeldescore;• 95%vandescoreszichtussen1,96,zegtwee,standaardafwijkingenbovenenbenedende
gemiddeldescore;• 99%vandescoreszichtussen2,58standaardafwijkingenbovenen2,58standaard-
afwijkingenbenedendegemiddeldescore.
Indiendescoresopdehavo-toetsEngelsnormaalverdeeldgeweestzoudenzijn,danzoubij eenstandaardafwijkingvan6,7scorepunt68%vandescoreszichtussende38,1scorepunten(31,4+6,7),afgerond38scorepunten,en24,7scorepunten(31,4–6,7),afgerond25score-punten,bevondenhebben.Omdatdefrequentieverdelinglaatziendatdescoresnietperfectnormaalverdeeldzijn,isditbijdehavo-toetsEngelsechterongeveer62%.
De betrouwbaarheidscoëfficiëntvandehavo-toetsEngelsisgelijkaan0,83.Decoëfficiëntkunnenwegebruikenomdebetrouwbaarheidvanverschillendetoetsentevergelijken. Dievergelijkingisalleenzinvolalsopdeverschillendetoetsenhetzelfdeaantalscorepuntenbehaaldkanworden.Ondanksdatopdehavo-toetsDuits2009tweescorepuntenminderbehaaldkondenworden,kunnenweechterwelzeggendatdehavo-toetsEngels2009betrouwbaarderwasdandehavo-toetsDuits2009dieeenbetrouwbaarheidscoëfficiëntvan0,74had.
Destandaardmeetfoutvandehavo-toetsEngels2009isgelijkaan2,8scorepunt.Hoewedestandaardmeetfoutkunnengebruikenbijhetbepalenvandebetrouwbaarheidvanindividueletoetsscoresbehandelenweindevolgendeparagraaf.
3.2 Standaardmeetfout
Metdebetrouwbaarheidscoëfficiëntishetnietmogelijkdebetrouwbaarheidvandetoetsscoresvanindividueleleerlingentebepalen.Metdestandaardmeetfout,symbolischvoorgesteldalsSE(X)enhettweedebelangrijkstebegripuitdeklassieketesttheorie,kandatwel.Destandaard-meetfoutisdestandaardafwijkingvandemeetfoutenvandetoetsscoresvandeleerlingenbijwiedetoetsisafgenomen.Deformulevoordestandaardmeetfoutisgedefinieerdals:
ρ= −SE( ) SD( ) 1X X (6)
waarbijSD(X)destandaardafwijkingvandegeobserveerdescoresisvandeleerlingendiedetoetsgemaakthebben.Uitformule(6)blijktdatereenbelangrijkerelatietussendestandaardmeetfoutendebetrouwbaarheidbestaat.Alsdebetrouwbaarheidvaneentoetsgelijkisaan0danisdestandaardmeetfoutgelijkaandestandaardafwijkingvandetoetsscores.
57 De betrouwbaarheid van toetsscores < Inhoud Index >
Alsdebetrouwbaarheidgelijkisaan1danisdestandaardmeetfoutgelijkaan0.Alsdebetrouwbaarheidinformule6, ρ ,geschatismetalfadanbevatdeformulegeenonbekendegroothedenenkandestandaardmeetfoutberekendworden.
Erbestaatookeenvuistregelomdestandaardmeetfoutteschatten.Hetblijktdatbijeenniettemoeilijketoets,datwilzeggeneentoetswaarbijdegemiddeldetoetsscoreongeveer50%vandemaximumscoreis,eenredelijkeschattingvandestandaardmeetfoutverkregenkanwordendoordevierkantswortelvandemaximumscoretevermenigvuldigenmethetgetal0,45.Indiendetoetsmoeilijk(er)is,moetmeneenhogergetaldan0,45nemenenalsdetoetsmakkelijk(er)iseenlagergetaldan0,45.Degemiddeldescorevandehavo-toetsEngelsis64%vandemaximumscorevan49scorepunten.Toepassingvandevuistregelgeefteenschattingvandestandaardmeetfoutvanongeveer7x0,40=2,8watgelijkisaandestandaardmeetfoutuitvoorgaandetabel.Dezevuistregelzougebruiktkunnenwordenindienwedoorbijvoorbeeldervaringzoudenwetenhoemoeilijkdetoetsongeveerzalzijn.Voorafgaandeaandeafnamevandetoetszoumendanovereenschattingvandestandaardmeetfoutbeschikkenenopbasisdaarvankunnenbepalenofmendebetrouwbaarheidvandeindividueletoetsscoresalofnietvoldoendevindt.Inhetlaatstegevalzoumendankunnenbesluitendetoetsuitmeeritemstelatenbestaan.
HetgebruikvandestandaardmeetfoutlichtenwetoeaandehandvanJandieopdehavo-toetsEngels42vandeintotaal49mogelijkescorepuntenbehaaldewathemhetcijfervan8,1opleverde.DestandaardmeetfoutgeeftonsdemogelijkheidomtweevragenoverdescorepuntenenhetcijfervanJantebeantwoorden.
De eerste vraag is: Wat is de ware score van Jan op de havo-toets Engels 2009?
HiervoorconstateerdenwedatJaneenscorevan42opdetoetsbehaaldemaardatalswedetoets1000keerbijJanhaddenkunnenafnemenhijnietiederekeereenscorevan42behaaldzouhebben,maarsomseenhogerescoredan42ensomseenlagerescoredan42.Omdatwedetoetsgeen1000keerkunnenafnemen,constateerdenwehiervoorookdatwedewarescorevanJanofeenandereleerlingnooitzullenweten.Doorgebruiktemakenvandestatistiekkunnenweechterweleenzogenaamdbetrouwbaarheidsintervalopstellenwaarbinnendewarescorezoukunnenliggen.LetweldatdetermbetrouwbaarheidsintervaldeEngelsevertalingvan‘confidenceinterval’isenniethetzelfdeisalsdebetrouwbaarheidvantoetsscoreswatzoalsweeerderalopmerktendeEngelsevertalingvan‘reliability’is.
OmeenbetrouwbaarheidsintervalvoordewarescorevanJantekunnenopstellen,dienenwedekanstespecificerendathetbetrouwbaarheidsintervaldewarescorebevat.Inonderstaandeformulevoorhetbetrouwbaarheidsinterval,formule(7),hebbenwediekansop90%gesteld.
τ− × ≤ ≤ + × =Jan Jan JanP( 1,645 SE( ) 1,645 SE( )) 0,90X X X X (7)
Tussendehakeninformule(7)staatdatdewarescorevanJangroterofgelijkisaandegeobserveerdescorevanJanminus1,645maaldestandaardmeetfoutofdatdewarescorevanJankleinerofgelijkisaandegeobserveerdescorevanJanplus1,645maaldestandaardmeetfout.TussenhakenwordtdushetbetrouwbaarheidsintervalvoordewarescorevanJangegeven.Voordehakeninformule(7)staatP,watdeafkortingvandeEngelsetermvoor‘probability’is,enwatinhetNederlandskansbetekent.Formule(7)moetenwelezenalsdatwanneerwedetoetseengrootaantalkerenbijJanzoudenafnemeneniederekeerhetbetrouwbaarheids-intervaluitrekenen,in90%vandiekerenzijnwarescorebinnenhetberekendeintervalzalliggenenin10%vandiekerenerbuiten.DatlaatstezalhetgevalzijnalsJanbijvoorbeeldeenkeereenhelelagescoreofeenkeereenhelehogescoreopdetoetsbehaalt.
58 Cito | Toetsen op School < Inhoud Index >
Meteenstandaardmeetfoutvan2,8scorepuntvoordehavo-toetsEngelseneengeobserveerdescorevanJanvan42scorepunten,ishet90%-betrouwbaarheidsintervalvoordewarescorevanJangelijkaan:
( )τ× ≤ ≤ + × =JanP 42 – 1,645 2,8 42 1,645 2,8
( )τ≤ ≤ =JanP 37,4 46,6 0,90
Het90%-betrouwbaarheidsintervalvandewarescorevanJanheeftalsgrenzen37,4en46,6watbetekentdatallewaardenindatintervalalsschattingenvoordewarescorevanJaninaanmerkingzoudenkunnenkomen.Hoeweldieschattingenmetverschillendeschattings-methodenverkregenkunnenworden,beperkenweonshiertottweeschattingsmethoden. Deeersteschattingsmethodebestaathieruitdatmendegeobserveerdescorealsschattingvandewarescoreneemt.Bijdetweedeschattingsmethodehoudtmennaastdegeobserveerdescoreookrekeningmetdebetrouwbaarheidvandetoetsendegemiddeldescoreopdetoets. InhetgevalvanJankomtdatneerop:31,4+rhox(42–31,4)wateenschattingoplevertvan31,4+0,83x10,6=40,2scorepunten.Inhetgevalvaneenhogebetrouwbaarheidvandetoetszullendetweeschattingenweinigverschilleneninhetgevalvaneenperfectetoetsbetrouwbaarheidzijnzeuiteraardidentiek.
WekunnenhetvoorgaandeooktoepassenophetcijfervanJandat8,1is.IndeapplicatievanCitolezenwebijGrafiekendatdestandaardafwijkingvandecijfersvandehavo-toetsEngelsgelijkisaan1,2.Gegevendatdebetrouwbaarheidvandetoets0,83is,isdestandaardmeetfoutvandecijfersvolgensformule(6)gelijkaan0,49enishet90%-betrouwbaarheidsintervalgelijkaan:
( )τ− × ≤ ≤ + × =JanP 8,1 1,645 0,49 8,1 1,645 0,49
( )τ≤ ≤ =JanP 7,30 8,90 0,90
Weziendatondankseenredelijkhogebetrouwbaarheidvan0,83,het90%-betrouwbaarheids-intervalvanhetwarecijfervanJanalsgrenzen7,30en8,90heeft.
Hetismogelijkomvooreenkleinerofgroterbetrouwbaarheidsintervaltekiezenwaarbinnendewarescoreofhetwarecijferzichbevindt.Indienwevooreen68%-betrouwbaarheidsintervalkiezendanmoetenweinformule(7)1,645vervangendoor1,endoor1,96of2,58alswevoorrespectievelijkeen95%-of99%-betrouwbaarheidsintervalkiezen.Weziendusdathetbetrouwbaarheidsintervalbrederwordtalswezekerderuitsprakenwillendoen.
De tweede vraag is: Is het ware cijfer van Jan hoger dan dat van Angela?
Angelaheeftopdehavo-toetsEngelshetcijfer6,3behaald.Het90%-betrouwbaarheidsintervalvanhetwarecijfervanAngelais5,5–7,10.OmdatdebetrouwbaarheidsintervallenvanJanenAngelaelkaarnietoverlappen,mogenweconcluderendathetwarecijfervanJanhogerisdandatvanAngela.HadAngelaechterhetcijfer6,8behaalddanhaddenwedieconclusienietkunnentrekkenomdathetbetrouwbaarheidsintervalvanAngeladangelijkisaan6,0–7,6endatintervaloverlaptmethetintervalvanJan.
59 De betrouwbaarheid van toetsscores < Inhoud Index >
Voorgaandevoorbeeldenlatenziendatbijtoetsenmeteenbetrouwbaarheidvan0,83,maarookbijtoetsenmeteenhogerebetrouwbaarheid,debetrouwbaarheidsintervallenvanscoresencijfersnietgeringzijn.Ditbetekentdatdegeobserveerdescoresofcijfersnogalonbetrouwbareschattingenvandewarescoreofhetwarecijferzijn.Watbetekentditvoordepraktijkvanhetbeoordelenvanleerlingen?Deeersteconclusieisdatdebetrouwbaarheidvaneentoetszeerhoogzalmoetenzijnalswebelangrijkebeslissingenoverleerlingenopbasisvaneenenkeletoetsnemen.Inparagraaf3.6zullenwelatenziendatverlengingvandetoetsdemeesteffectievemanierisomdebetrouwbaarheidvaneentoetsteverhogen.Detweedeconclusieisdatwebelangrijkebeslissingenoverleerlingennietmoetenbaserenopeenenkeletoetsmaardatweookresultatenopanderetoetsenenmogelijkanderegegevensoverdeleerlingbijdebeoordelingmoetenbetrekken.Datlaatstegebeurtbijvoorbeeldinhetvoortgezetonderwijswaarbijdemeestevakkenzoweleencentraalexamenalseenschoolexamenafgenomenwordt.
Totnutoezijnweerimplicietvanuitgegaandatdestandaardmeetfoutvooralleleerlingengelijkis.Dezeaannameisintegenspraakmetwatweindeeersteparagraafoverdeprivéverdelingvanelkeleerlingopmerkten.Inwerkelijkheidzaldestandaardmeetfoutvanleerlingendieeenhogeofeenlagetoetsscoreopdetoetshebben,kleinerzijndandestandaardmeetfoutvanleerlingendieeenscoreronddegemiddeldetoetsscorehebben.Hetzalookzonderbewijstebegrijpenzijndatwevanleerlingendieopdehavo-toetsEngels47vandemogelijke 49scorepuntenbehalenheelzekerwetendatwatzeopdetoetsgevraagdwordtheelgoedbeheersen.Enzowetenweookvanleerlingendieslechts2scorepuntenbehalenheelzekerdatzenietbeheersenwatopdetoetsgevraagdwordt.Watgeldtvoordescoresgeldtookvoordecijfers.
3.3 Misclassificaties bij één toets
Eenvandebelangrijkstebeslissingendiemettoetsengenomenwordt,betrefthetslagenofzakkenvanleerlingen.Hetzouwenselijkzijndathetaantalterechtebeslissingendatmetdetoetsgenomenwordt,datwilzeggenhetaantalleerlingendatterechtgeslaagdengezaktis, zogrootmogelijkis.Inhetgevaldebetrouwbaarheidgelijkisaan1,wetenwedatdegeobserveerdescoresvandeleerlingengelijkzijnaanhunwarescoresenwetenwedusookdatdeleerlingendiegeslaagdzijnterechtgeslaagdzijnendatdeleerlingendiegezaktzijnterecht gezaktzijn.Inhetgevalvaneenbetrouwbaarheidlagerdan1,kunnenleerlingenmetverschillendegeobserveerdescoresechterdezelfdewarescorehebbenenkunnenleerlingenmetverschillendewarescoresdezelfdegeobserveerdescorehebben.Hoewelwedandusnietwetenwelkeleerlingenterechtgeslaagdofgezaktzijn,kunnenweechterweleenschattingmakenvanhetaantalleerlingendatterechtgeslaagdofgezaktis.
Verondersteldatwedehavo-toetsEngels2009alleenzoudengebruikenomtebepalenwelkeleerlingenzoudenmoetenslagenenwelkeleerlingenzoudenmoetenzakken.Devraagisdanhoebetrouwbaardiebeslissingenmetdehavo-toetsEngelsgenomenkunnenworden.Inhetgevalvandehavo-toetsEngelswasdecesuur,datwilzeggendelaagstescorewaareenvoldoendecijferaantoegekendwordt,detoetsscore28waarhetcijfer5,5aantoegekendwerd.Hetfeitdatdehavo-toetsEngelseenbetrouwbaarheidvan0,83had,betekentdaterleerlingenzijndieopbasisvanhungeobserveerdescoreeenonvoldoendecijferkrijgenterwijlzeopbasisvandewarescoresdiezehaddenkunnenhebbeneenvoldoendecijferhaddenkunnenkrijgen.Inditgevalhebbendeleerlingendiehetbetrefttenonrechteeenonvoldoendecijfergekregen.Hetomgekeerde,leerlingendieopbasisvanhungeobserveerdescoreeenvoldoendecijferkrijgenterwijlzewarescoreszoudenkunnenhebbenwaarmeezeeenonvoldoendecijfer
60 Cito | Toetsen op School < Inhoud Index >
haddenkunnenkrijgen,komtookvoor.Inditgevalhebbendeleerlingendiehetbetrefttenonrechteeenvoldoendecijfergekregen.Leerlingendietenonrechteeenonvoldoendecijferkrijgenoftenonrechteeenvoldoendecijferkrijgen,noemenwemisclassificaties.Bijredelijkbetrouwbaretoetsenzijnhetvooraldeleerlingendieeenscoreronddecesuurhebbendietenonrechteeenvoldoendeofonvoldoendecijferkrijgen.
Hetismogelijkomgegevendebetrouwbaarheidendecesuurvaneentoetsendeaannamedatdetoetsscoresvandeleerlingennormaalverdeeldzijn,eenschattingtemakenvanhetaantalterechteentenonrechtegezakteengeslaagdeleerlingen.Wanneerzoweldewarealsdegeobserveerdescorestotdezelfdeuitslagleiden,terechtonvoldoendedanwelterechtvoldoende,isersprakevanjuisteclassificaties.Wanneerdewareengeobserveerdescorestotverschillendeuitslagenleiden,isersprakevanmisclassificaties.
Vandehavo-toetsEngels2009meteenbetrouwbaarheidvan0,83eneentoetsscorevan28alscesuur,staandepercentagesleerlingenmeteenterechtonvoldoendecijfer,eenterechtvoldoendecijferendepercentagesmisclassificatiesinonderstaandebeslissingstabel. Dezetabelkanverkregenwordendoordetoetsmetbehulpvaneencomputerprogrammateanalyseren.
Ware score T Ware score T
onvoldoende voldoende
Geobserveerde score X onvoldoende terechtonvoldoende22,2% misclassificatie5,6%
Geobserveerde score X voldoende misclassificatie6% terechtvoldoende66,2%
Detabellaatziendatuitgaandevandegeobserveerdescores27,8%(22,2%+5,6%)vandeleerlingeneenonvoldoendeheeften72,2%(66,2%+6%)eenvoldoende.Hetpercentagemisclassificatiesisgelijkaan11,6%(5,6%+6%)watneerkomtop273vandeintotaal2353leerlingen.Bijhetbeantwoordenvandevraagofmetdehavo-toetsEngels2009betrouwbarezak/slaagbeslissingenkunnenwordengenomen,moetenwewelbedenkendatvooraldeleerlingenmeteentenonrechteonvoldoendebenadeeldzijn.Dezeleerlingen,intotaal6%vandeleerlingen,kunnenechterbijeenherkansingbewijzendatzeweleenvoldoendeverdienen.
Erzijntweefactorendiehetaantalmisclassificatiesbeïnvloeden.Deeerstefactorisdebetrouwbaarheidvandetoets.Hoelagerdebetrouwbaarheidvandetoetshoegroterhetaantalmisclassificaties.Detweedefactorisdehoogtevandecesuur.Indiendecesuurerglaagis,zullenerveelleerlingenslagenmaarzullenerrelatiefveelleerlingentenonrechteslagen. Ditlaatsteisenigszinshetgevalinbovenstaandvoorbeeldwaardecesuurvan28scorepuntenlagerisdandegemiddeldescorevan31,4scorepunten.Indiendecesuurerghoogis,zullenerveelleerlingenzakkenmaarzullenerrelatiefveelleerlingentenonrechtezakken.
Debesprekingvandehavo-toetsbeperktezichtotmisclassificatiesinhetgevalvanzak/slaag-beslissingen.Wezoudenechterookvoorallecijferskunnennagaanofleerlingenterechtoftenonrechtehetcijferhebbendathentoegekendis.Ookvoortoetsenwaarleerlingenopbasisvanhunscoresingedeeldwordeningroepenofcategorieën,kannagegaanwordenofleerlingenterechtoftenonrechteaaneenbepaaldegroepofcategorietoegewezenzijn.
61 De betrouwbaarheid van toetsscores < Inhoud Index >
3.4 Misclassificaties bij meerdere toetsen
Indevorigeparagraafwerdmetbehulpvaneenbeslissingstabelgedemonstreerdhoeinhetgevalvaneenenkeletoetsmisclassificatiesgekwantificeerdkunnenworden.Indezeparagraaflatenwezienhoemisclassificatiesgekwantificeerdkunnenwordenindienersprakeisvanmeerderetoetsen.Ditishetgevalbijexamensdiemeestaluittoetsenvoorverschillendevakkenbestaan.Opdietoetsenkunjeeenvoldoendeofonvoldoendecijferbehalenmaarjezaktofslaagtnietvooreenenkeletoets.Inhetvoortgezetonderwijskunjewelzakkenofslagenvoorhetvmbo-,havo-ofvwo-examen.Zakkenenslagenvooreenexamengebeurtopbasisvanuitslagregels.Driesoortenuitslagregelskunnenonderscheidenworden:1 Conjunctieveuitslagregels–opalletoetsenmoeteenvoldoendecijferbehaaldworden.2 Complementaireuitslagregels–nietopalletoetsenmoeteenvoldoendecijferbehaald
worden.3 Compensatorischeuitslagregels–onvoldoendecijfersopsommigetoetsenkunnen
gecompenseerdwordenmetvoldoendecijfersopanderetoetsen.
Uitslagregelswordenhiernavergelekenmetbetrekkingtothetpercentagegezakteleerlingenenhetpercentagemisclassificaties.Misclassificatiesingevalvaneenexamenmethetzelfdeprofiellichtenwetoemetonderstaandebeslissingstabel.Debeslissingstabelvooreenexameniseenvariantopdebeslissingstabelvaneenenkeletoets.Degeobserveerdeuitkomstisnuechternietééntoetsscoreofcijfermaareenuitslagophetgeheleexamen,namelijkgezaktofgeslaagd.Inhetvoortgezetonderwijswordtdeexamenuitslagbepaalddoordeuitslagregeltoetepassenopdeexamenresultatenvanzowelschoolexamenalscentraalexamenvanallevakkendiedeexaminandusheeftgedaan.
Ware scores op toetsen Ware scores op toetsen
onvoldoende voldoende
Examenuitslag gezakt juisteclassificatie misclassificatie
Examenuitslag geslaagd misclassificatie juisteclassificatie
Onzebesprekinghierbeperkenwetotdevergelijkingvandrieuitslagregelsvoorhetvwo-examen.Hetvwo-examenkendetotmethetschooljaar2008-2009devolgendeuitslagregel.Omteslagenvoorhetexamenmochteenleerlingmaximaalééneindcijfervierenééneindcijfervijfhalen,metmaximaaléénonvoldoendeopdevakkenvanhetgekozenprofiel.Metingangvanhetschooljaar2009-2010werddezeoudeuitslagregelvervangendooreennieuweuitslagregel.Hoeweldeeisvanmaximaaléénonvoldoendeopdeprofielvakkenkwamtevervallen,mochthetgemiddeldeeindcijfernietlagerdan6,0zijnalseenleerlingalscijferopeenoftweevandetoetsenéénvier,tweevijven,oféénvierenéénvijfhad.Deoudeuitslagregelvoorhetvwo-exameniszowelcompensatorischalscomplementair. Deregeliscompensatorischomdatdecijfersvanhetschoolexamenencentraalexamenpervakwordengemiddeld.Deregeliscomplementairomdateengeringaantalonvoldoendecijfersophetexamentoegestaanis.Denieuweuitslagregelvoorhetvwo-examenisookcompensatorischenwelindezindatonvoldoendesvoorbepaaldevakkengecompenseerdkunnenwordenmetruimevoldoendesopanderevakken.
Naastdezeoudeennieuweuitslagregelzijnookdeeffectenvananderevoorstellenvooruitslagregelsonderzocht.Eenvandievoorstellen,dederdeuitslagregel,bestonduitdeoudeuitslagregelpluseenvoldoendeophetcentraaleindexamenvoordetoetsenvandevakkenNederlands,Engelsenwiskunde.
62 Cito | Toetsen op School < Inhoud Index >
Watbetekenendezedrieuitslagregelsvoordepercentagesgezakteleerlingenenmisclassificaties?Voorhetbeantwoordenvandezevraagwerdgebruikgemaaktvandeexamengegevensvandedrieexamenjaren2004-2006.Onderstaandetabelgeeftderesultaten.
Percentage gezakten Percentage misclassificaties
Oudeuitslagregel 6,4 6,0
Nieuweuitslagregel 6,2 5,2
Derdeuitslagregel 46,2 17,7
Detabellaatziendatverschillendeuitslagregelstotgroteverschilleninpercentagesgezakteleerlingenenmisclassificatieskunnenleiden.Vooraldederdeuitslagregelleidttoteenzeerhoogpercentagegezakteleerlingenenmededaardoortoteenhoogpercentagemisclassificaties.DederdeuitslagregelisconjunctiefindezindateenvoldoendecijferopdetoetsenvoordevakkenNederlands,Engelsenwiskundeverlangdwordt.Compensatorischeuitslagregelshebbenmeestaldevoorkeurbovenconjunctieveuitslagregelsomdatbijdetoepassingvanconjunctieveuitslagregelsleerlingendoorpechofeenanderemeetfouttenonrechteeenonvoldoendecijferkunnenhalenopeenvandetoetsenendaardoortenonrechtekunnenzakken.Menzouookkunnenzeggendaterbijdetoepassingvanconjunctieveuitslagregelstenonrechtevanwordtuitgegaandattoetseneenzeerhogebetrouwbaarheidhebben.
Hetpercentagemisclassificatieskanmengebruikenvoorhetbeantwoordenvandevraagofmenmetexamensbetrouwbarezak/slaagbeslissingenoverleerlingenkannemen.Inbovenstaandetabelzienwedatbijdeoudeendenieuweuitslagregelhetpercentagemisclassificatiesnietmeerdan6%isendaarbijdientopgemerkttewordendatpercentagesmisclassificatieszowelleerlingenbevattendietenonrechtegeslaagdalstenonrechtegezaktzijn.Datlaatstewordtmeestalkwalijkergevondendanheteerste.
Bijexamensheeftnaastdegehanteerdeuitslagregelookdebetrouwbaarheidvandeindividueletoetseneeneffectophetaantalmisclassificaties.Meerbetrouwbaretoetsendoenhetaantalmisclassificatiesdalen.Bijdeexamensinhetvoortgezetonderwijshebbenwemetredelijkbetrouwbaretoetsentemaken.Vooreenoverzichtganaarwww.cito.nl>Voortgezetonderwijs>Centraleexamens>Examenverslagen.
Bijexamenshebbengezakteleerlingendemogelijkheidomvakkenteherkansen.Diemogelijkheidleidttoteenlagerpercentagegezakteleerlingen.Watechterheteffectisophetpercentagemisclassificatiesisonduidelijkomdatzoweltenonrechtealsterechtgezakteleerlingenherkansen.Leerlingendietenonrechtegezaktzijnenalsnogslagen,doenhetaantalmisclassificatiesdalen.Hetomgekeerdegeldtechtervoordeleerlingendieterechtgezaktwaren.Alszijnaherkansingalsnogslagendoetdathetaantalmisclassificatiesstijgen.Wewetenechterniethoeveelterechtenonterechtgezakteleerlingenherkansenendaardoorwetenweooknietwatheteffectvaneenherkansingisophetpercentagemisclassificaties.Eenherkansingleidtweltoteendalingvanhetpercentageonterechtgezakteleerlingenentoteenstijgingvanhetpercentageonterechtgeslaagdeleerlingen.
3.5 Betrouwbaarheid van beoordelingen door beoordelaars
Demeestetoetsenbestaanuitvragenen/ofopdrachtendieleerlingenmoetenbeantwoordenen/ofuitvoeren.Deantwoordenopdevragenofdeuitvoeringvandeopdrachtenwordendoor
63 De betrouwbaarheid van toetsscores < Inhoud Index >
beoordelaarsbeoordeeld.Bijdiebeoordelingkanzowelhetaantalbeoordelaarsalsde (on)afhankelijkheidvandebeoordelaarsverschillen.Eenveelvoorkomendeafhankelijkebeoordelingssituatieisdesituatiewaarbijdedocentdeenigebeoordelaarisvandeleerlingendiezijofhijonderwezenheeft.Erzijnechterookbeoordelingssituatieswaarbijersprakeisvanmeerdereonafhankelijkebeoordelaarsdiedeleerlingennietkennen.Eenvoorbeeldinhetvoortgezetonderwijsishetstaatsexamenwaar,inplaatsvanhetschoolexamen,eencommissie-examendoortweeonafhankelijkebeoordelaarsafgenomenenbeoordeeldwordt.
Debeoordelingdieeenleerlingvoordebeantwoordingvaneenvraagofdeuitvoeringvaneenopdrachtontvangt,zoualleenbepaaldmoetenwordendoordekwaliteitvandebeantwoordingofdeuitvoering.Datbetekentookdathetnietzoumogenuitmakendoorwiedeleerlingbeoordeeldwordt.Indienerbijdebeoordelingengeenverschillenzoudenbestaantussendeoordelenvanverschillendebeoordelaarskunnenwesprekenvanobjectievebeoordeling.Objectievebeoordelingisechtereenideaaldatbijnagenoeggeenenkelebeoordelingssituatiegerealiseerdzalworden.Indienbeoordelaarsaanhetzelfdeantwoordopeenvraagofdezelfdeuitvoeringvaneenopdrachtverschillendebeoordelingengeven,veroorzaaktdateenmeetfoutdiedebetrouwbaarheidvandetoetsscoresnegatiefzalbeïnvloeden.Hoegrootdieinvloedis,hangtafvandematewaarindebeoordelingenverschillen.Voorhetkwantificerenvanverschillentussenbeoordelaarswordentweematengebruikt:beoordelaarsbetrouwbaarheidenbeoordelaarsovereenstemming.Deberekeningvandezematenisgelijkaandeberekeningvandebetrouwbaarheidvaneentoets,datwilzeggendatdebeoordelaarsnuderolvanitemsvervullen,enbeidehebbenookeenondergrensvan0eneenbovengrensvan1.Detwee matenwordentoegelichtmetbehulpvanonderstaandetweevoorbeeldendieindepraktijkzeldenzullenvoorkomenmaarweldeverschillentussendetweematenduidelijkmaken. Devoorbeeldenbetreffendebeoordelingenvantweebeoordelaarsvandeuitvoeringvaneenopdrachtdoorvijfleerlingen.
Voorbeeld 1: beoordelaar Voorbeeld 2: beoordelaar
1 2 3 4
Leerling
1 1 3 1 1
2 2 4 2 2
3 3 5 3 3
4 4 6 4 4
5 5 7 5 5
Gemiddeldebeoordeling 3 5 3 3
Invoorbeeld1zienwedatbeoordelaar1enbeoordelaar2iedereleerlingverschillendbeoordelen.Wezienechterookdatersprakeisvaneensystematischverschilindebeoordelingenvanbeoordelaar1enbeoordelaar2.Beoordelaar2geeftelkestudent2score-puntenmeerdanbeoordelaar1.Hoeweldeabsolutebeoordelingenvanbeoordelaar1enbeoordelaar2dus2scorepuntenverschillen,zijnhunrelatievebeoordelingenaanelkaargelijk.Beidebeoordelaarsbeoordelendeuitvoeringvandeopdrachtdoorleerling5alsdebeste,leerling4alsdeopeennadebesteenleerling1alsdeslechtste.Inbeoordelingssituatieszoalsinvoorbeeld1hebbenwetemakenmeteenperfectebeoordelaarsbetrouwbaarheiddiegelijkisaan1.Ondankseenperfectebeoordelaarsbetrouwbaarheidmaakthetvoordeleerlingenechterweldegelijkuitdoorwiezebeoordeeldworden.Indienersprakezouzijnvanslechtséénbeoordelaarheeftvooreenleerlingbeoordelingdoorbeoordelaar2duidelijkdevoorkeuromdatbeoordelaar2,gegevenzijngemiddeldebeoordeling,eenmilderebeoordelaarisdanbeoordelaar1.Ookwanneerdevijfleerlingendoorbeoordelaar1enbeoordelaar2beoordeeldwordenenhunoordelengemiddeldofgesommeerdworden,kanhetuitmakendatde
64 Cito | Toetsen op School < Inhoud Index >
beoordelaarssystematischtweescorepuntenverschillen.Indieneenexamenalleenuitdezeopdrachtzoubestaanendecesuurligtbij4scorepunten,dankrijgtleerling2eenonvoldoendebeoordelingvanbeoordelaar1,eenvoldoendebeoordelingvanbeoordelaar2ofeenonvoldoendegemiddeldebeoordelingvanbeoordelaar1en2.Voorbeeld1laatziendatdestudentenondankseenperfectebeoordelaarsbetrouwbaarheidongelijkebeoordelingenkunnenkrijgen.Hoewelsystematischeverschillenzeldenzullenvoorkomen,komenverschillentussenbeoordelaarsveelvuldigvoor.
Invoorbeeld2zienwedatbeoordelaar3enbeoordelaar4ookvindendatdeuitvoeringvandeopdrachtdoorleerling5debeste,endeuitvoeringdoorleerling1deslechtsteis.Indatopzichtzijndebeoordelingeninvoorbeeld2gelijkaandieinvoorbeeld1.Invoorbeeld2zijnechterookdeindividuelebeoordelingenvandeleerlingendoordetweebeoordelaarsidentiek.Invoorbeeld2hebbenwetemakenmetzoweleenperfectebetrouwbaarheidalseenperfectebeoordelaars-overeenstemming.Invoorbeeld2maakthetvoordeleerlingennietuitofzeeenbeoordelingvanbeoordelaar3,beoordelaar4ofeengemiddeldebeoordelingvanbeoordelaar3en4krijgen.Voorbeeld2laatziendatleerlingenalleenbijeenperfectebeoordelaarsovereenstemminggelijkebeoordelingenkrijgen.
Watlerendezetweevoorbeeldenonsoverbeoordelaarsenbeoordelen?1 Dat we moeten streven naar een hoge beoordelaarsovereenstemmming.
Eénvandemanierenvoorhetrealiserenvaneenhogeovereenstemmingisdoorbijdebeoordelinggebruiktemakenvaneencorrectievoorschriftdatuiteenantwoordmodelofbeoordelingsschema,scoringsvoorschrifteneenbeoordelaarsinstructiebestaat(ziedehoofdstukken6,7en8).Eenanderemanierisdoortrainingencertificeringvanbeoordelaarsofassessoren.
2 Dat we antwoordmodellen of beoordelingsschema’s voor vragen en opdrachten moeten ontwikkelen die tot een hoge beoordelaarsovereenstemming tussen beoordelaars leiden. Datlaatstezaluitonderzoekmoetenblijken.
3 Dat we beoordelaarsbetrouwbaarheid of beoordelaarsovereenstemming niet moeten interpreteren als de betrouwbaarheid van een toets. Eenhogebeoordelaarsovereenstemmingiseennoodzakelijkemaargeenvoldoendevoorwaardevoorhetrealiserenvaneenhogetoetsbetrouwbaarheid.Debelangrijkstefactorvoorhetrealiserenvaneenhogetoetsbetrouwbaarheidishetaantalvragenofopdrachtendatweeenleerlinglatenbeantwoordenofuitvoeren.Dewarescorevaneenleerlingkanmetveelopdrachtenveelbetrouwbaardergeschatwordendanmetweinigopdrachten.Verschillentussenbeoordelaarszullendoorhetlatenuitvoerenvanmeerdereopdrachtenookminderinvloedhebbenopdescoreofhetcijferdatdeleerlingkrijgtdanwanneerslechtséénopdrachtafgenomenwordt.
4 Dat we leerlingen door twee of liever nog meer onafhankelijke beoordelaars zouden moeten laten beoordelen. Indepraktijkechterzalzelfsdeinzetvantweeonafhankelijkebeoordelaarsvaaknietmogelijkzijn.Somswordtdooréénonafhankelijkeenéénafhankelijkebeoordelaarbeoordeeld,ziedeexamensinhetvoortgezetonderwijs,ensomswordtdoormaarslechtséénonafhankelijkeoféénafhankelijkebeoordelaarbeoordeeld.Verwachtmagwordendatdeinzetvanéénonafhankelijkeoféénafhankelijkebeoordelaardebetrouwbaarheidvaneentoetsnegatieverzalbeïnvloedendandeinzetvanmeerdereonafhankelijkebeoordelaars.Ofdieinvloedverwaarloosbaarofgrootis,kanechteralleenviaonderzoekvastgesteldworden.WatbetreftdeexamensinhetvoortgezetonderwijskunnenweinditverbandverwijzennaarhetCito-rapport‘Depraktijkvandeeersteentweedecorrectie’(2013)waarinKuhlemeierenKremersverslagdoenvanonderzoeknaarhetfunctionerenvanhetCSE.Zoalshiervoorreedsopgemerktwerd,kunnengoedecorrectievoorschriften,getraindebeoordelaarsenhetafnemenvanveelitemservoorzorgendateentoetsvoldoendebetrouwbaaris.
65 De betrouwbaarheid van toetsscores < Inhoud Index >
3.6 Hoe worden toetsscores betrouwbaarder?
Debetrouwbaarheidvantoetsscores,destandaardmeetfout,hetaantalmisclassificatiesbijééntoetsenmeerderetoetsenendematevanovereenstemmingtussenbeoordelaarswordendooreendrietalmetelkaarsamenhangendefactorenbeïnvloed:dekenmerkenvandetoets,deconditieswaaronderdetoetswordtafgenomenendesamenstellingvandegroepleerlingenwaarbijdetoetswordtafgenomen.
ToetskenmerkenKenmerkenvandetoetsbetreffendelengtevandetoets,devormvandevragenendekwaliteitvandeitems.
Lengte van de toetsLangetoetsenzullenbijnaaltijdbetrouwbaarderetoetsscoresopleverendankortetoetsen. Deverklaringhiervoorisdatiederetoetsuiteenverzamelingitemsbestaatenalsdieverzamelingtekleinis,speeltdespecifiekekeuzevandeitemseentegroterolbijhetbepalenvandescoresdiedeleerlingenkrijgen.DerelatietussenbetrouwbaarheidendelengtevandetoetswordtuitgedruktdoordeSpearman-Brownformule:
ρρρ
×=
+ − ×(1)( )
1 ( 1) (1)fff
Indeformulestaathetsymbool ρ voordebetrouwbaarheidvandetoets.Deletterfstaatvoordefactorwaarmeedetoetsverlengdwordtwaarbijfeenwillekeurigpositiefgetalis.WelichtendetoepassingvandeSpearman-Brownformulemettweevoorbeeldentoe.Heteerstevoorbeeldbetrefteentoetsdie24itemsbevateneenbetrouwbaarheidvan0,63heeft.Watwordtdebetrouwbaarheidvandetoetsalswedetoetsanderhalfkeerzolangmakenzodatweeentoetsmet36itemskrijgen?Metf=1,5geefttoepassingvandeSpearman-Brownformulevoorhomogenetoetsverlengingeenbetrouwbaarheidvan:
ρ ×= =
+ − ×1,5 0,63(1,5) 0,72
1 (1,5 1) 0,63
ToepassingvandeSpearman-Brownformulelaatziendathettoevoegenvan10itemsaaneentoetsvan30itemsmeerbetrouwbaarheidswinstoplevertdanhettoevoegenvan10itemsaaneentoetsvan50items.Meestalheefthetverlengenvaneentoetszinalsdetoetsuitrelatiefweinigitemsbestaatenalsdebetrouwbaarheidvandetoetsniettelaagis.Eenvoorbeeldvandatlaatsteiseentoetsvan15itemsmeteenbetrouwbaarheidvan0,40.Dietoetszoumet 75itemsverlengdmoetenwordenomeenbetrouwbaarheidvan0,80terealiseren.
Letweldatdoordetoetsteverlengennietalleendebetrouwbaarheidmaarookdestandaard-meetfoutgroterwordt.Zokanbewezenwordendatwanneerwedetoetsvierkeerzolangmaken,bijvoorbeeld64itemsinplaatsvan16items,destandaardmeetfouttweekeerzogrootwordt.Dateenhogerebetrouwbaarheidgepaardgaatmeteengroterestandaardmeetfoutlijktmetelkaarintegenspraak.Ondankseengroterestandaardmeetfoutneemtdenauwkeurigheidvandemetingechtertoeomdateentweemaalzogrotestandaardmeetfoutgebruiktwordtomtoetsscorestevergelijkenopeenviermaalzolangescoreschaal.Toetsscoresvanverschillendeleerlingenkunnenwebetrouwbaardervergelijkenopeenschaalvan64scorepuntendanopeenschaalvan16scorepunten.
ToepassingvandeSpearman-Brownformulelaatookziendatintheorieelketoetsscoreperfectbetrouwbaargemetenkanworden.Wanneerdehavo-toetsEngels2009nietuit43itemsmaar
66 Cito | Toetsen op School < Inhoud Index >
uit430itemszoubestaan,zoudenwedewaretoetsscoreofhetwarecijfervandeleerlingenveelnauwkeurigerkunnenbepalen.
Hettweedevoorbeeldbetrefthetkortermakenvandetoets.Watwordtdebetrouwbaarheidvandetoetsalswedetoetsvan24itemsinkortentot18items?Metf=0,75geefttoepassingvandeSpearman-Brownformuleeenbetrouwbaarheidvan:
ρ ×= =
+ − ×0,75 0,63(0,75) 0,56
1 (0,75 1) 0,63
Wathiervoorbijhetverlengenvandetoetsopgemerktwerdoverderelatietusseneenhogerebetrouwbaarheideneengroterestandaardmeetfout,geldtookvoorhetverkortenvandetoets.
VraagvormToetsendieuitobjectiefscoorbarevragenbestaan,zoalsmeerkeuzevragenenkort-antwoordvragen,zullenmeestalbetrouwbaarderetoetsscoresopleverendantoetsenbestaandeuitlang-antwoordvragenwaarvandeantwoordendoorbeoordelaarsgescoordmoetenworden. Tweeverklaringenhiervoorzijndatbijgelijketoetstijdmeermeerkeuzevragenenkort-antwoordvragendanlang-antwoordvragenafgenomenkunnenwordenendatverschillendebeoordelingenvanbeoordelaarsbijlang-antwoordvragenbijdragenaandemeetfout. Bijtoetsenmetlang-antwoordvragenkaneengeringeraantalvragenechterwelgecompenseerdwordendoorvragenmetveelscorepuntenwaardoordescoreschaalgroterwordtwaardoorhetweermogelijkisomleerlingenbetrouwbaardertevergelijken.
Kwaliteit van de itemsItemsdietemoeilijkoftemakkelijkzijnvoorleerlingenzullenmeestalweinigbijdragenaandebetrouwbaarheidvandetoetsscores.Daarentegenwordtdebetrouwbaarheidverhoogddooritemsvaneengemiddeldemoeilijkheidsgraadenitemsdiegoedtussendeslechteenbetereleerlingenkunnenonderscheiden.
AfnameconditiesInparagraaf3.1merktenwereedsopdatindienfysiekeafnamecondities–zoalsdeverlichting,hetgeluidendetemperatuurvanexamenzalen–(opverschillendetijdstippen)verschillen,ditmeetfoutentotgevolgkanhebbenendebetrouwbaarheiddusnegatiefkanbeïnvloeden. Datgeldtookvoordeinstructiesdieervoormoetenzorgendatalleleerlingendezelfdekansenhebbenomdevragengoedtebeantwoorden.Ditbetekentbijvoorbeelddataanleerlingenverteldmoetwordendatzeallemeerkeuzevragenmoetenbeantwoordenendusnooitmeerkeuzevragenmoetenoverslaan.
Samenstelling van de groep leerlingenDegroottevandebetrouwbaarheidscoëfficiëntisafhankelijkvandewareverschilleninwatdetoetsmeetbijdegroepleerlingenwaarbijdetoetswordtafgenomen.Ditbetekentdatdebetrouwbaarheidlagerzalzijnbijeengroepleerlingenwaardewareverschillenkleinzijndanbijeengroepleerlingenwaardewareverschillengrootzijn.Bijdelaatstegroepisdeverhoudingtussendevariantiesvanwareengeobserveerdescoresgroterdanbijdeeerstegroep(zieookparagraaf3.1.2).Watwelkanvoorkomenisdatdeverschillentussendeleerlingenzeergeringzijnendatdaardoordebetrouwbaarheidvandetoetslaagis.Alsdiegeringeverschillenhetgevolgzijnvanzeergoedonderwijs,zouhetechteronjuistzijnomaaneenlagebetrouwbaarheiddeconclusieteverbindendatdetoetsonbruikbaarofongeschiktzouzijn.
67 De betrouwbaarheid van toetsscores < Inhoud Index >
3.7 Betrouwbaarheid van toetsscores en de dagelijkse toetspraktijk
Indeparagrafenhiervoorisdebetrouwbaarheidvantoetsscoresvanuitverschillendegezichtspuntenbesproken.Opbasisvanonderanderediebesprekingensluitenwedithoofdstukafmetadviezenvoordedagelijksetoetspraktijk.
1 Toetsenenbeoordelingenvanbeoordelaarszijnfeilbaremetingenvandeprestatiesvanleerlingen.Metdiefeilbaarheiddientmenrekeningtehoudenbijdeinterpretatie en het gebruikvandegeobserveerdescoresdiehetresultaatzijnvandietoetsenofbeoordelingen.
2 Indienmenmaaréénenkeletoetsgebruiktvoorhetnemenvanbelangrijkebeslissingenoverleerlingendanmoetdietoetseenhogebetrouwbaarheidhebben.Debestegarantievooreenhogetoetsbetrouwbaarheidiseentoetsdieveelitemsvandejuistekwaliteitbevat.
3 Ookbijtoetsenmeteenhogebetrouwbaarheidzalvooreenaantalleerlingendebeslissingvaneenonvoldoendecijferofzakkenopdetoetseenfoutebeslissingzijn.Omhetaantaltenonrechtegezakteleerlingenzokleinmogelijktelatenzijn,moetmenruimhartigzijnmethetgevenvanherkansingen.
4 Gegevendatdemeestetoetsengeenhogebetrouwbaarhedenhebben,kanmenvoorhetnemenvanbelangrijkebeslissingenoverleerlingennietvolstaanmethetafnemenvaneenenkeletoetsmaarzalmenmeerderetoetsenmoetenafnemen.
5 Indienverschillendetoetsenmeteenredelijkebetrouwbaarheidtotvergelijkbarebeslissingenoverleerlingenleiden,kunnenwevertrouwenhebbenindebeslissingen.Indiendebeslissingenvanverschillendetoetsenelkaarechtertegenspreken,moetenwevoorzichtigzijnmethetnemenvanbeslissingen.
6 Ooktoetsenvoorhetlerenofformatievetoetsenmoetenvoldoendebetrouwbaarzijnomdatonbetrouwbaretoetsentotonbetrouwbarebeslissingenoverdevoortgangvanhetonderwijsleiden.
68 Cito | Toetsen op School < Inhoud Index >
4 De validiteit van toetsscores
4 De validiteit van toetsscores
70 Cito | Toetsen op School < Inhoud Index >
4 Devaliditeitvantoetsscores Saskia Wools
Waaromvindenstudentenhetoneerlijkwanneererinhettentamenalleenvragenoverhetlaatstehoofdstukzijnopgenomen?Kunnenwemetbehulpvaneenbepaalderekentoetsuitsprakendoenoverrekenvaardigheidénruimtelijkinzicht?Klopthetadviesdatweleerlingenuitgroep8gevenoverhetvervolgonderwijs?Ditzijnallemaalvragendietemakenhebbenmetdevaliditeitvantoetsscores.
Dithoofdstukoverdevaliditeitvantoetsscoresbestaatuitdriedelen.Heteerstedeelgaatoverwatvaliditeitisenhoevaliditeitaangetoondkanworden.Welkebewijzengeschiktzijnomvaliditeitaantetonenwordtindeeltweebesproken,terwijlindeeldriedetheorieuitdetweevoorgaandedelenaandehandvantweepraktijkvoorbeeldenwordttoegelicht.
4.1 Wat is validiteit?
Validiteitgaatoverdeinterpretatieenhetgebruikvantoetsscores.DenkbijvoorbeeldaaneenluistertoetsFrans.HetisdebedoelingdatdescoresopdezetoetsietszeggenoverdeluistervaardigheidFransvandeleerlingendiedetoetsmaken.Weinterpreterendescoreopdetoetsdusalseenmaatvoorluistervaardigheid.Vervolgensgebruikenwedescoreomtebeslissenofeenleerlingvoldoendeluistervaardigisomnaardevolgendeklasovertegaan.Andersgezegdgaathetbijvaliditeitdusomdevraagofdetoetsscoresdeinformatiebiedenwaarinwegeïnteresseerdzijnenofopbasisvandezescoresdegewenstebeslissingengenomenkunnenworden.
Validiteitisafhankelijkvanhetdoelvaneentoetsendaaromishetmogelijkdateentoetsvoorhetenedoelvalideisenvooreenanderdoelniet.Denkbijvoorbeeldaaneentoetsdiedoorleerlingengemaaktwordtterafsluitingvaneencursusendiedaarnaastookgebruiktwordtomhetfunctionerenvandedocentteevalueren.Dezetoetsdientdustweedoelenenomerzekervantezijndatwedetoetsscoresvoorbeidedoelenkunnengebruiken,zullenwedevaliditeitvoorbeidedoelenmoetenaantonen.
Voorhetaantonenvandevaliditeitvantoetsscoreskunnenverschillendebewijzengebruiktworden.Gezamenlijklatendezebewijzenziendatdetoetsscoresmeerofmindergeschiktzijnvooreenbepaaldeinterpretatieofeenbepaaldgebruik.Hetverzamelen,combinerenenpresenterenvandezebewijzennoemenwevalideren.
4.1.1 Interpretatie en gebruik van toetsscoresBijhetvaliderenvantoetsscoresmakenweeenonderscheidtussendeinterpretatievantoetsscores(welkebetekenisheefteenscore?)enhetgebruikvantoetsscores(welkebeslissingenneemikopgrondvandetoetsscores?).
Deinterpretatievantoetsscoresisalleenvalidewanneererbewijzenbeschikbaarzijndiedezeinterpretatieondersteunen.DenkbijvoorbeeldaandeEindtoetsBasisonderwijs,ookwelCitotoetsgenoemd,waarmeevolgensdemakersvandetoetsleervorderingengemetenworden.Ditbetekentdatdetoetsscoregeïnterpreteerdkanwordenalseenmaatvoorwatde
71 De validiteit van toetsscores < Inhoud Index >
leerlingenopdebasisschoolgeleerdhebben.Eenbeschrijvingvandeinhoudvandetoetskanalsbewijsvoorhetvaliderenvandezeinterpretatiegelden.
NaastdeinterpretatievandetoetsscoreskaninhetgevalvandeEindtoetsBasisonderwijsookhetgebruikvandescoresgevalideerdworden.DescoresvandeEindtoetsBasisonderwijswordengebruiktomleerlingenteadviserenoverhetbestpassendeschooltypenadebasisschool.Datdetoetsscoresgeschiktzijnvoorditgebruikmoetdusaangetoondworden.Onderzoekwaaruitblijktdatleerlingennaeenaantaljarennogsteedsophetgeadviseerdeschooltypezitten,kanalsbewijsdienenvoorhetgebruikvandeEindtoetsBasisonderwijs.DeEindtoetsBasisonderwijskannatuurlijkalleenalsadviesinstrumentgebruiktwordenalsweerzekervanzijndatdetoetsleervorderingenmeet.Daarommoetenzoweldeinterpretatiealshetgebruikvandetoetsscoresgevalideerdworden.Eenvalideinterpretatievandetoetsscoresisnamelijkeenvoorwaardevooreenvalidegebruik.InhetgevalvandeEindtoetsBasisonderwijszaldanookeerstaangetoondmoetenwordendatdetoetsscoresleervorderingenuitdrukken.Wanneerdeinterpretatievandetoetsnietkanwordengevalideerd,kanookhetgebruikvandetoetsnietgevalideerdworden.
Voorhetvaliderenvaneentoetszijnbewijzennodigdiezowelkwalitatiefalskwantitatiefvanaardkunnenzijn.Indevolgendeparagraafwordenverschillendecategorieënvaliditeits-bewijzenonderscheiden.Wekunnendevaliditeitvaneentoetshetbesteaantonendoorbewijzenuitverschillendecategorieënteverzamelen.Hetisnietnoodzakelijkombewijzenuitallecategorieënteverzamelenomdathetaantalenhetsoortbewijzenvooralafhankelijkisvandeinterpretatieenhetgebruikvandetoetsscores.
Tenslottewillenweopmerkendatweindithoofdstukkortheidshalvesomsoverdevaliditeitvaneentoetssprekenterwijlweoverdevaliditeitvantoetsscoreszoudenmoetenspreken.Toetsenzelfkunnennamelijknietvalidezijnmaardetoetsscoreswel.
4.2 Validiteitsbewijzen
Hiervoorhebbenwealuitgelegddatdevaliditeitvantoetsscoresbewezenmoetworden.Indezeparagraafbesprekenwezevencategorieënvanvaliditeitsbewijzen.
4.2.1 InhoudsbewijzenBijdeconstructievaneentoetswordenkeuzesgemaakttenaanzienvandeonderwerpenofonderdelenuitdeleerstofdieindetoetsopgenomenworden.Dezekeuzesbepalenvooreengrootdeelofdeinhoudvaneentoetsrepresentatiefisvoorhetleerstofdomeinofdevaardigheidwaaroveruitsprakengedaanmoetenworden.Alswebijvoorbeelduitsprakenwillendoenoverdebeheersingvandeleerstofuiteenbepaaldhoofdstukvaneenboek,stellenwenietalleenvragenoverdeeerstetweepagina’sofoverwatindeconclusiestaat.Inhoudsbewijzenlatenziendatdeitemsdieindetoetsopgenomenzijn,representatiefzijnvoorhetleerstofdomeinofdevaardigheidwaaroverweuitsprakenwillendoen.Figuur4.1bevatdriescenario’sdiederepresentativiteitvaneentoetsovertopografiepresenteren.DezetopografietoetswordtafgenomenomnategaaninhoeverredeleerlingendetopografievanNederlandkennen.InheteerstescenarioisteziendaterslechtseengedeeltevanhetleerstofdomeingedektwordtomdatalleenplaatseninGelderland(aangeduidmetzwartebolletjes)bevraagdworden.InhettweedescenariowordtjuistteveelvanhetleerstofdomeingevraagdomdatnietalleenkennisvandetopografievanNederlandmaarookvanEuropabevraagdwordt.InhetderdescenarioisersprakevaneenrepresentatievedomeindekkingvanhetleerstofdomeinomdatplaatsenuitgeheelNederlandbevraagdworden.
72 Cito | Toetsen op School < Inhoud Index >
Figuur 4.1: Drie scenario’s voor de domeindekking van een topografietoets
Eeninhoudsbewijsvoordetopografietoetsisdetoetsmatrijswaarinaangegevenwordthoedeitemsoverdeverschillendeonderdelenvanhetleerstofdomeinverdeeldzijn.Hiermeekanaangetoondwordendatallebelangrijkeonderdelenuithetdomeinindetoetsbevraagdworden.Eenanderinhoudsbewijsvoordetopografietoetszijnbijvoorbeeldoordelenvandocentenaardrijkskundeoverderepresentativiteitenrelevantievandeitemsuitdetoets.
Inhoudsbewijzenzijnkwalitatiefvanaardenmoetengebaseerdzijnopanalysesvaninhoudelijkdeskundigen.
Waarom vinden studenten het oneerlijk wanneer er in het tentamen alleen vragen over het laatste hoofdstuk opgenomen zijn?
Alserineententamenalleenvragenoverhetlaatstehoofdstukopgenomenzijn,betekentditdatderepresentativiteitvanhettentamennietgoedis.Ofandersgezegd,dedomeindekkingvandezetoetsisonvoldoendeaangetoond.Studentenzullenhierdoorhetgevoelkrijgendatzijmaareenkleindeelvanhetgeleerdekunnendemonstreren.Voorhetdoenvaneerlijkeuitsprakenoverdevaardigheidvanstudentenishetbelangrijkdatoveralleonderdelenvandebehandeldeleerstofvragengesteldworden.Hetisnietnoodzakelijkdatoveralleonderdelenevenveelvragengesteldwordenomdathetaantalvragenookafhangtvanhetbelangvanhetdeelonderwerp.
4.2.2 ComplexiteitsbewijzenEentoetsmoetnietalleenhetleerstofdomeindekkenintermenvaninhoudmaarookintermenvankennishandelingendiedeleerlingenmoetenbeheersenomeentaakgoedtekunnenuitvoeren.Leerlingenmoetenbijvoorbeelddeleerstofkunnenoproepen,toepassen en analyserenenhetisvanbelangdatdiekennishandelingenindetoetsaandeordekomen. Opdezemanierkunnenweervoorzorgendatdecomplexiteitvandetakenindetoetshetzelfdeisalsdecomplexiteitvandetakeninhetleerstofdomein.Complexiteitsbewijzenlatendusziendatdecomplexiteitvandecognitieveprocessendietijdensdetoetsverlangdwordenvergelijkbaarzijnmetdecomplexiteitvancognitieveprocessendienodigzijnindetetoetsenvaardigheid.Omaantetonendatdetakenindetoetsoverdejuistecomplexiteitbeschikkenisopdeeersteplaatseenbeschrijvingvandevaardigheidwaarbijdekennishandelingeneenrolspelenvereist.Daarnaastmoetbewezenwordendatdeleerlingenbedoeldekennishandelingendaadwerkelijkgebruikenbijhetoplossenvandetaak.Eénvandemanierenomditaantetonenisdoormiddelvan‘hardop-denk’-protocollenwaarbijaanleerlingengevraagdwordtombijhetmakenvande
73 De validiteit van toetsscores < Inhoud Index >
toetshardoptedenken.Doorditaanmeerdereleerlingentevragen,kannagegaanwordenofdebedoeldekennishandelingengebruiktworden.
Complexiteitsbewijzenzijnkwalitatiefvanaardenmoetengebaseerdzijnopanalysesvaninhoudelijkdeskundigen.
4.2.3 Interne structuur bewijzenMetdeinternestructuurvaneentoetsbedoelenwederelatietussende(scoresopde)vragenonderlingentussende(scoresopde)vragenende(scoresopde)completetoets.Steldatwedekennisvanwerkwoordspellingwillentoetsenwaarbijweervanuitgaandatwerkwoordspellingéénvaardigheidisendatallevragenindetoetseropgerichtzijnomdezevaardigheidtemeten.Alsdatlaatstehetgevalis,zaldesamenhangtussendevragenerggrootzijn.Dematevansamenhangtussen(descoresop)devragenkunnenwekwantitatiefbepalendoordecorrelatietussen(descoresop)devragenteberekenen.Voorwatcorrelatieisenhoedieberekendkanworden,verwijzenwenaar http://nl.wikipedia.org/wiki/Correlatie.
Hetisoverigensookmogelijkdatweeenaantaltoetsengebruikenomnietéénmaarmeerderevaardighedentemeten.DenkbijvoorbeeldaandeEindtoetsBasisonderwijs.DezetoetsbevatopgavenophetgebiedvanTaal,Rekenen-Wiskunde,StudievaardighedenenWereldoriëntatie.Uitonderzoeknaardeinternestructuurvandezetoetsblijktdatdesamenhangtussende(scoresopde)itemsvanhetzelfdeonderdeelhoogis,terwijldesamenhangtussende(scoresopde)itemsvanverschillendeonderdelenminderhoogis. HetvoorgaandeisereenbewijsvandatmetdeEindtoetsBasisonderwijsnietéénmaarmeerderevaardighedengemetenworden.Hetisoverigensnietaltijdnoodzakelijkomverschillendevaardighedeninapartetoetsonderdelenteverwerkendieopverschillendemomentenwordenafgenomen.
Internestructuurbewijzenzijnzowelkwantitatiefalskwalitatiefvanaard.Enerzijdswordendestructurenweergegevendoorcorrelatiecoëfficiënten,anderzijdsishetvanbelangomvoorhetbestaanofontbrekenvansamenhangtussenscoresopdeitemsvandezelfdeenverschillendeonderdelenplausibeleinhoudelijkeverklaringentegeven.
Kunnen we met behulp van een bepaalde rekentoets uitspraken doen over rekenvaardigheid én over ruimtelijk inzicht?
Wanneerwemetééntoetstweevaardighedenwillenbeoordelen,zullenwemoetenonderzoekenoferindeinternestructuurvandetoetsscoreseentweedelingtevindenis.Alsweeentweedelingvinden,kunnenwenagaanofdezeovereenkomtmetdeverwachtetweedelinginbijvoorbeeldrekenvaardigheidenruimtelijkinzicht.Eenbewijsvoordezetweedelingisdatdeitems‘rekenvaardigheid’meermetelkaarsamenhangendanmetdeitems‘ruimtelijkeordening’.
4.2.4 Externe structuur bewijzen Metdeexternestructuurvaneentoetsbedoelenwedesamenhangtussendescoresvanleerlingenopeenbepaaldetoetsenhunscoresopanderetoetsenofbijvoorbeelddeoordelenvandocenten.Detoetsscoreopeenanderetoetsofhetoordeelvaneendocentwordtookweleen externcriteriumgenoemd.Welkexterncriteriumofwelkeexternecriteriajekuntgebruikenomdevaliditeitvandetoetsscoresaantetonen,isafhankelijkvandeinterpretatie en hetgebruikvandetoetsscores.Zoisbijdeontwikkelingvaneenkortscreeningsinstrumentvoorhetsignalerenvantaal-
74 Cito | Toetsen op School < Inhoud Index >
achterstandbijkleutersonderzochtofdeuitkomstenvanditinstrumentverschillendofgelijkzijnaandeuitkomstenvaneenuitgebreid,meerdaagsonderzoekvoorhetsignalerenvantaalachterstand.Wanneerdeuitkomstenvanhetkorteinstrumentenhetexternecriterium(d.w.z.hetmeerdaagseonderzoek)overeenkomen,bewijstditdathetkorteinstrumentookkanwordeningezetomtaalachterstandenbijkleuterstesignaleren.Hetisookmogelijkomdetoetsscoresvandeleerlingentevergelijkenmethetoordeelvandedocent.Opbasisscholenwordtbijvoorbeeldweleensgetoetsthoedesocialeverhoudingenindeklasliggen.Omdevaliditeitvandezetoetsscoresteonderzoeken,wordtookaandocentengevraagdomopbasisvanhunervaringendesocialeverhoudingentebeschrijven.Dezebeschrijvingkandanalsexterncriteriumvoordetoetsdienen.Totnutoehebbenwevoorbeeldenbesprokenwaarindesamenhangtussendetoetsscoreenhetexterncriteriumgrootzoumoetenzijn,maarhetisookmogelijkdatdesamenhangmeteenexterncriteriumgeringzoumoetenzijn.Zokunnenweonderzoekenofdescoresopeenrekenvaardigheidstoetssamenhangenmetdescoresopeenexterncriterium,bijvoorbeelddescoresopeenleesvaardigheidstoets.Wanneerwedanvindendatdesamenhangtussendezetweetoetsengeringis,danhebbenweaannemelijkgemaaktdatderekenvaardigheidstoetsrekenvaardigheidennietleesvaardigheidmeet.
Externestructuurbewijzenzijnzowelkwalitatiefalskwantitatiefvanaard.Enerzijdswordendestructurenweergegevendoorcorrelatiecoëfficiënten,anderzijdsishetvanbelangomvoorhetbestaanofontbrekenvansamenhangtussendescoreseneenexterncriteriumplausibeleinhoudelijkeverklaringentegeven.
Klopt het advies dat we leerlingen uit groep 8 geven over het vervolgonderwijs?
Omditteonderzoekenzullenwemoetennagaanofleerlingenmeteenbepaaldschooladviesookdaadwerkelijkeendiplomahalenbijhetgeadviseerdeonderwijstype.Ditkanbijvoorbeelddoorvanleerlingennategaaninwelkschooltypezijuiteindelijkterechtkomenenofzijditmetsuccesafsluiten.
4.2.5 BetrouwbaarheidsbewijzenBetrouwbaretoetsscoreszijneennoodzakelijkemaarnieteenvoldoendevoorwaardevoorvalidetoetsscores.Dezestellingimpliceertdateenonbetrouwbaretoetsscorenooiteenvalidetoetsscorekanzijn.Eentoetsscoredievooreengrootdeelbestaatuitmeetfoutenkannamelijknooiteengoedeweergavezijnvandevaardigheiddiewewillenmeten.Destellingimpliceertookdathetnietzoisdateenbetrouwbaretoetsscoreautomatischeenvalidetoetsscoreis. Eentoetskannamelijkietsandersmetendandebedoelingismaarkanditwelheelbetrouwbaardoen.Ditkomtwelvoorbijtoetsendieopmeerderevaardighedeneenberoepblijkentedoen,bijvoorbeeldeenrekentoetsdieookeenberoepdoetopdetaalvaardigheidvanleerlingen.
Voorgaandestellingdatdebetrouwbaarheidvaneentoetseennoodzakelijkemaargeenvoldoendevoorwaardeisvoorvaliditeitvaneentoets,willenweooknogeensillustrerenaandehandvaneenanalogiemetschietschijven.Indezeanalogiebeschouwenwetoetsenalshetschietenopeenschietschijf.Telkensalsweeentoetsafnemen,beschouwenweditalséénschotenalswedusvijfkeerdezelfdeofeenvergelijkbaretoetsafnemen,betekentditvijfschotenopdeschietschijf.Hetrakenvanderoosstaatindezeanalogievoorhetzogoedmogelijkmetenvandevaardigheiddiewemetdetoetsbeogentemeten.Infiguur4.2isteziendatdeschutterbijdeeersteschietschijfnietergpreciesschiet,datwilzeggendatverschillendeplaatsenvandeschietschijfgeraaktwordenendatookderoosniet(vijfkeer)geraaktwordt.Bijdetweede
75 De validiteit van toetsscores < Inhoud Index >
schietschijfisdeschutterechterwelergprecies,datwilzeggendatdevijfschotenzeerdichtbijelkaarliggen,maarhijraaktderoosniet.Bijdederdeschietschijfschietdeschutterergpreciesenraakthijbovendienderoos.
Figuur 4.2: Drie schietschijven als analogie voor de betrouwbaarheid en validiteit van toetsscores
Deanalogievandeschietschijvengeeftderelatietussendebetrouwbaarheidendevaliditeitvaneentoetsweer.Deeersteschietschijfgeeftaandatalswedevaardigheidnietprecies (=onbetrouwbaar)meten,wedevaardigheidooknietvalidekunnenmeten.Detweedeschietschijflaatziendathetmogelijkisomdevaardigheidheelprecies(=betrouwbaar)maarnietvalidetemeten.Dederdeschietschijfgeeftaandatdevaardigheidnietalleenprecies (=betrouwbaar)maarookvalidegemetenwordt.
Betrouwbaarheidsbewijzenzijnmatenvoordebetrouwbaarheidvaneentoetsdieinhetvorigehoofdstukbesprokenzijn,zoalsCronbach’salfa,destandaardmeetfoutenhetpercentagemisclassificaties.
4.2.6 ExtrapoleerbaarheidsbewijzenMetdeextrapoleerbaarheidvantoetsenbedoelenwedatdeopeentoetsbehaaldeprestatiesnietalleenbetekenishebbenindecontextvandetoets,maardatdieprestatiesookbetekenishebbenvoorsituatiesbuitendetoetszoalsdeberoepspraktijk.LijkendetoetsenwaarmeedePabo-studenteopdePabobeoordeeldisopwatzijmoetdoentijdensdelio-stageenopwatzijuiteindelijknadeafrondingvanhaaropleidingindeberoepspraktijkmoetdoen?Lijkendetoetsenwaarmeedeleerlingvanhetmbotijdensdestukadoorsopleidingbeoordeeldisopwathijmoetdoenindeberoepspraktijk?
Bijdeextrapoleerbaarheidvaneentoetsisdeauthenticiteitvandevragenenopdrachtenvanbelang.Authenticiteithoudtindatderesponsdiewevandestudentvragen,datwilzeggenhetbeantwoordenvaneenvraag,hetdemonstrerenvaneenvaardigheid,hetschrijvenvaneenverslag,moetlijkenopwathijinde(beroeps)praktijkmoetdoen.Hetlaatsteisdanookderedenwaaromveeltoetsenindepraktijkwordenafgenomen.Vandaarookdatwanneeriemandinaanmerkingmeenttekomenvooreenrijbewijs,zijnrijgedragindeverkeerspraktijkbeoordeeldwordt.Tochisauthentiektoetsennietzovanzelfsprekendalshetlijktomdathetbijvoorbeeldgevaarlijkkanzijnomeenstudentineenauthentiekesituatietetoetsen.Erzullendaaromregelmatigconcessiesgedaanmoetenwordenaandeauthenticiteitvaneentoetswaardoordeextrapoleerbaarheidvandetoetsbeperktwordt.
Extrapoleerbaarheidsbewijzenzullenkwalitatiefvanaardzijnenbestaanuitvergelijkingentussenderesponsendiedoordetoetsgevraagdwordenenwatinde(beroeps)praktijkgevraagd
76 Cito | Toetsen op School < Inhoud Index >
wordt.Bedoeldebewijzenkunnenzoweldoorbetrokkenenuithetonderwijsalsdoorbetrokkenenuitde(beroeps)praktijkgeleverdworden.
4.2.7 Consequentiële bewijzenEentoetskanverwachteenonverwachteconsequentiesvoorleerlingenendocentenhebben. Zokandeafnamevaneentussentijdsetoetserbijvoorbeeldvoorzorgendatdestudentalhalverwegehetsemesterhardergaatstudereninplaatsvantewachtentotheteindvanhetsemester.Zokaneendocentextraaandachtgevenaanbepaaldeonderdelenvandeleerstofomdathijverwachtdatdezeonderdelengetoetstzullenworden.
Eentoetsdierecentelijkingevoerdis,isdeWISCAT-pabo.DezerekentoetswordtingezetomtebepalenofPabo-studentenovervoldoenderekenvaardigheidbeschikkenominvierjaarvoldoendekennisoptedoenzodatzijnahunopleidingrekenonderwijskunnengeven.DetoetsisingevoerdindehoopdatdezeingangseisvoorPabo-studentenervoorzorgtdathetniveauvanhetrekenonderwijsopbasisscholenindetoekomstzalstijgen.Eengevolgdaarvankanweerzijndatuiteindelijkhetrekenniveauvanbasisschoolleerlingenookzalstijgen.Ofdatlaatstehetgevalis,kunnenwepasovereenaantaljarennagaan.MochtdatinderdaadhetgevalzijndangeldtdestijgingvanderekenvaardigheidvanbasisschoolleerlingenalsconsequentieelbewijsvoordeWISCAT-pabo.
Consequentiëlebewijzenzullenveelalkwantitatiefvanaardzijnomdatbijvoorbeeldbetereleerprestatiesvanleerlingenofbetereonderwijsprestatiesvandocentenkwantitatiefbepaaldworden.
4.3 Valideren in de praktijk
Indezeparagraafwordtaandehandvantweevoorbeeldengeïllustreerdhoetoetsengevalideerdkunnenworden.Beidevoorbeeldenbeginnenmeteenbeschrijvingvandetoetswaarnaindegrijzevlakkeningegaanwordtophetvaliditeitsbewijswatdaarbijhoort.
4.3.1 Eindtoets BasisonderwijsNadebasisschoolgaanallekindereninNederlandnaarhetvoortgezetonderwijs.Wanneereenkindzichaanmeldtbijeenschoolvoorvoortgezetonderwijs,isdebasisschoolbijwetverplichteenadviesuittebrengenoverhetvervolgonderwijs.Naasthetadviesvandebasisschoolzelfiservoortoelatingtothetvoortgezetonderwijsookeenzogehetenonafhankelijkadviesnodig.Datonafhankelijkadvieskandescoreopeentestoftoetsvaneenonafhankelijkeinstantiezijn. ErzijnverschillendetestenentoetsendievoorditdoelgebruiktkunnenwordenwaaronderdeEindtoetsBasisonderwijsvanCito.Hetadviesopbasisvandescoreopdetoets,hetadviesvandebasisschoolendewensenenideeënvandeouders,moetenermetelkaarvoorzorgendathetkindnaareenschooltypegaatdatgoedbijhemofhaarpast.
DevragenvandeEindtoetsBasisonderwijsgaanoverTaal,Rekenen-WiskundeenStudie-vaardigheden.VoorTaalmaakthetkind100vragen,voorRekenen-Wiskunde60envoorStudievaardigheden40.Hetzijnallemaalmeerkeuzevragen.DemeestebasisscholendoenooknogmeeaanhetfacultatieveonderdeelWereldoriëntatie.Ditonderdeelbestaatuit90meer-keuzevragen.
77 De validiteit van toetsscores < Inhoud Index >
De interpretatie van de scores op de Eindtoets Basisonderwijs
DeEindtoetsBasisonderwijsiseenleervorderingentoets.Ditbetekentdatwedescoresopdetoetsinterpreterenalsmaatvoorleervorderingen,oftewel‘watleerlingeninachtjaarbasisonderwijsgeleerdhebben’.Hiertoewordenleerlingenvragenuitverschillendeleerstofdomeinenvoorgelegdwaarbijhetvanbelangisdatervragenuitalleleerstofdomeinenindetoetsopgenomenzijnzodatereenvolledigbeeldontstaatvandeleervorderingenvaneenleerling.
OmaantetonendatdescoresopdeEindtoetsBasisonderwijsgeïnterpreteerdkunnenwordenalseenmaatvoorleervorderingenishetvanbelangdatdeitemsrepresentatiefverdeeldzijnoverdeleerstofdomeinen.DevragenuitdeEindtoetsBasisonderwijswordendaaromontwikkeldopbasisvaneentoetsmatrijs.DetoetsmatrijsdientalsbewijsdaterindeEindtoetsBasisonderwijsvoldoendeopgavenuitalleleerstofdomeinenzijnopgenomenzodateenuitspraakoverdeleervorderingenvanleerlingenopalleonderdelenvandedriedomeinenmogelijkis.MenkanvanmeningverschillenoverdegehanteerdetoetsmatrijsmaardoordezeopenbaartemakenweetmenopwelkeleerstofdomeinendescoreopdeEindtoetsBasisonderwijsgebaseerdis.
Toetsmatrijs van de Eindtoets Basisonderwijs – bewijs voor de interpretatie van de scores van de Eindtoets Basisonderwijs
PerleerstofdomeinstaanhieronderdeonderdelenuitdeEindtoetsBasisonderwijsmettussenhaakjeshetaantalopgaven.
Taal(totaal100) Rekenen-Wiskunde(totaal60)- Schrijvenvanteksten(30) - Getallenenbewerkingen(25)- Spelling(20) - Verhoudingen,breukenen- Begrijpendlezen(30) procenten(20)- Woordenschat(20) - Meten,meetkunde,tijdengeld(15)
Studievaardigheden(totaal40) Wereldoriëntatie(totaal90)- Hanterenvanstudieteksten(10) - Aardrijkskunde(30)- Hanterenvaninformatiebronnen(10) - Geschiedenis(30)- Lezenvanschema’s,tabellenen grafieken(10)
- Natuuronderwijs(30)
- Kaartlezen(10)
VoorelkkinddatheeftmeegedaanaandeEindtoetsBasisonderwijssteltCitoeenLeerling-rapportopzoalsweergegeveninfiguur4.3.Bovenaanstaandeverschillendeonderdelenvandetoetsvermeld,met–opderegelseronder–hetaantalopgavendathetonderdeelbevat,hoeveelopgavengoedzijnbeantwoordenwelkepercentielscoredaarbijhoort.IndekolomTotaalstaatdezelfdeinformatiemaardanoveralleopgavensamen.InhetvoorbeeldziejedatAlexanderbijhetonderdeelTaal75vande100opgavengoedheeftbeantwoord.Bij75vande100opgavengoedhoorteenpercentielscorevan46.Diescorebetekentdat46%vanallekinderendiemeededenaandeEindtoetsBasisonderwijsnetalsAlexander75ofminderdan75vragengoedhaddenbeantwoordendat54%vandekinderenmeerdan75vragengoedhaddenbeantwoord.HeelbelangrijkophetLeerlingrapportisdestandaardscoredieindelaatstekolombovenaan
78 Cito | Toetsen op School < Inhoud Index >
staat.Destandaardscoreiseengetaltussende501en550datisgebaseerdophetaantalgoedbeantwoordevragenbijTaal,Rekenen-WiskundeenStudievaardigheden.InhetvoorbeeldziejedatAlexandereenstandaardscoreheeftvan536.IndezogehetenpoppetjesgrafiekkunjelezenhoeAlexanderhetmeteenstandaardscorevan536naarverwachtingzaldoenindeverschillendetypenvanhetvoortgezetonderwijs.
DegegevensindepoppetjesgrafiekzijngebaseerdoponderzoekvanCitonaardetoelatingendoorstromingvanleerlingeninhetvoortgezetonderwijs.Indelinkerkolomstaandeverschillendeschooltypenvermeld.JezietdatAlexandermetzijnscorevan536indebasisberoepsgerichte,debasis-enkaderberoepsgerichteendekaderberoepsgerichteleerwegvanhetvmbototdehelegoedeleerlingenbehoort:slechtsenkeleleerlingenhebbeneenhogerestandaardscore(0-3%).Indebrugklastypengemengde/theoretischeleerwegenhavoengemengde/theoretischeleerwegenhavo/vwobehoorthijtotdemiddenmoot.OphetvwozouAlexandertotdeleerlingenbehorendiehetlaagstscoren:99%vandeleerlingenophetvwoscoorthoger.
Figuur 4.3: Voorbeeld van een Leerlingrapport
Het gebruik van de scores op de Eindtoets Basisonderwijs
DescoresvandeEindtoetsBasisonderwijswordengebruiktomleerlingenteadviserenoverdejuisteschoolkeuze.Hetisbelangrijkomaantetonendatdezescoresookgeschiktzijnvoorditgebruik.Wewillenbijvoorbeeldwetenofleerlingenmeteenhavo/vwo-adviesookechtinstaatzijnombinnenditschooltypesuccesvoltezijn.OmhetgebruikvandescoresopdeEindtoetsBasisonderwijstevalideren,zullenwedusbewijzenmoetenaanleverenwaaruitblijktdathetadviesdatgegevenwordtookklopt.
Primair onderwijs | Leerling- en onderwijsvolgsysteem
gemengde/theoretische leerwegen havo
Leerling 123456Alexander
School 12.345.67890CITOSCHOOLSchoolstraat 1231234 AB CITOCITY
basisberoepsgerichte leerweg
basis- en kaderberoepsgerichte leerweg
kaderberoepsgerichte leerweg
gemengde/theoretische leerwegen havo/vwo
gemengde/theoretische leerweg
havo/vwo
havo
vwo
Resultaten Taal Rekenen- Studie- Wereld- Totaal Wiskunde vaardigheden oriëntatie
Aantal opgaven 100 60 40 90 290Aantal goed 75 47 28 67 217Percentielscore 46 60 37 58 52
100%
98%
97%
86%
67%
41%
28%
12%
1%
0% 20% 40% 60% 80% 100%% met eenzelfdeof lagere score
Standaardscore
536
0%
2%
3%
14%
33%
59%
72%
88%
99%
% met eenhogere score
ToelichtingOp basis van de standaardscore komt een keuze voor een school met een gemengde/theoretische leerweg het meest in aanmerking: de brugklastypen ‘gemengde/theoretische leerweg en havo’ en ‘gemengde/ theoretische leerweg en havo/vwo’ lijken het meest geschikt. Van de leerlingen die tot het eerstgenoemde brugklastype worden toegelaten, heeft 67% eenzelfde of lagere standaardscore en 33% een hogere. Voor het tweede type is dat 41% en 59%. De leerkracht kan op basis van de informatie waarover hij of zij beschikt, een ander brugklastype adviseren.
Eindtoets Basisonderwijs 2010Leerlingrapport
79 De validiteit van toetsscores < Inhoud Index >
OmaantetonendathetadviesdathoortbijeenbepaaldescoreopdeEindtoetsBasisonderwijsklopt,voertCitohetToelatings-endoorstroomonderzoekEindtoetsBasisonderwijsuit. EenbeschrijvingdaarvanwordtalsbewijsvoorhetgebruikvandeEindtoetsBasisonderwijsaangevoerd.
Toelatings- en doorstroomonderzoek Eindtoets Basisonderwijs – bewijs voor het gebruik van de scores op de Eindtoets Basisonderwijs
Inhetnajaarvan2006zijndegegevensvan135.442leerlingendiein2005aandeEindtoetsBasisonderwijsdeelnamen,gekoppeldaandeleerlinggegevensvanhetCentraalBureauvoordeStatistiek(CBS).Voordezeleerlingengeldtdat80%vandeleerlingengeplaatstisinhetophetLeerlingrapportEindtoetsBasisonderwijsgeadviseerdeschooltype.Bij13%vandeleerlingenadviseertdeEindtoets‘hoger’enbij7%‘lager’danhetschooltypewaarindeleerlingenwordentoegelaten.
Onderstaandetabelgeefthetpercentageleerlingenzoalsgeplaatstindeverschillendeschooltypen.
Advies Lager Overeenkomstig Hoger
501–523 BB nvt 78 22
524–528 KB 6 44 50
529–536 GT 12 74 14
537–544 Havo 6 87 7
545–550 Vwo 2 98 nvt
Voorbeeld:VoorAlexander,dieeenstandaardscorevan536heeft,komteenkeuzevooreenschoolmeteengemengde/theoretischeleerweghetmeestinaanmerking.Indetabelzienwedat74%vandeleerlingendieeenstandaardscoreinhetinterval529-536heeftbehaald,ookdaadwerkelijkinditschooltypegeplaatstis.Wezienookdat14%ineenhogerschooltype(havoofvwo)en12%ineenlagerschooltype(basis-ofkaderberoeps-gerichteleerweg)geplaatstis.
OmdevaliditeitvandescoresopdeEindtoetsBasisonderwijsaantetonen,hebbenwebewijzenuittweevandezevenbesprokencategorieëngepresenteerd.OmdeinterpretatievandescoresopdeEindtoetsBasisonderwijsalsmaatvoorleervorderingenaantetonen,iseersteen inhoudsbewijsgepresenteerd(zieparagraaf4.2.1).Ditbewijsbestonduiteentoetsmatrijswaarmeedetoetsconstructeurslatenzienwelkeonderdelenerindetoetszijnopgenomen.DaarnahebbenwehetgebruikvandescoresopdeEindtoetsBasisonderwijsvooradviseringaanleerlingenoverhetbijhunbestpassendeschooltypegevalideerdaandehandvanhetToelatings-endoorstroomonderzoek.Ditonderzoekkandienenalseenexternestructuurbewijs(zieparagraaf4.2.4).Indebeschrijvingvanditvoorbeeldisvoorzoweldeinterpretatiealsvoorhetgebruikslechtséénbewijsstukopgenomen.VoorhetvaliderenvaneenbelangrijketoetsalsdeEindtoetsBasisonderwijszijnechterooknogbewijzenuitanderecategorieënbeschikbaardiewehierechterverderbuitenbeschouwinglaten.
80 Cito | Toetsen op School < Inhoud Index >
4.3.2 WISCAT-pabo – Adaptieve Rekentoets voor Pabo-studentenWISCAT-paboiseentoetspakketvoorrekenenenwiskundedatkanwordeningezetindelerarenopleidingvoorhetbasisonderwijsomvasttestellenofinstromendestudentenvoldoendevoorkennisvanrekenenenwiskundehebbenomdeopleidingtotdocentgoedtekunnendoorlopen.WISCAT-paboiseenadaptieftoetspakket.Ditbetekentdatelkestudentinprincipeeen(gedeeltelijk)anderetoetsmaakt.Datlaatstekomtdoordatbijeencomputer-gestuurdeadaptievetoetsafname(CAT)hetniveauvandetoetszogoedmogelijkafgestemdwordtopdevaardigheidvandestudent.Helerekenvaardigestudentenkrijgenmoeilijkereitemsdanstudentenmeteengemiddeldeoflagerekenvaardigheid.Omdateencomputer-gestuurdeadaptievetoetsafnamegebruikmaaktvaneenverzamelingitemswaarvandemoeilijkheidsgraadbekendis,kunnendeprestatiesvanstudentenop(gedeeltelijk)verschillendetoetsentochdirectmetelkaarvergelekenworden.VoormeerinformatieovereenCATzie:www.cito.nl>Onderwijs>Hogeronderwijs>Toetsenvoorpabo’s>WISCAT-pabo.
De interpretatie van de scores op de WISCAT-pabo
DescoresopdetoetsenuithettoetspakketWISCAT-pabogevenaanwatderekenvaardigheidvanstudentenvandelerarenopleidingbasisonderwijsis.
OnderrekenvaardigheidverstaatdeVerenigingHogescholendebasalebekwaamheiddienodigisommetsuccesopgavenuitdevolgende(sub)domeinentekunnenmaken:a basisvaardigheden:tellen,optellen,aftrekken,vermenigvuldigen,delen,machten,
schatten,afronden;b breuken,procenten,verhoudingen,decimalegetallen;c metenenmeetkunde;d informatieverwerking,kans,statistiek(zeerbeperkt);e (woord)algebra,verbanden,grafieken,tabellenenenfuncties(zeerbeperkt).
Ondercategorieaenbvallentevensopgavendiehoofdrekenendgemaaktmoetenworden.
DeWISCAT-pabomoetnaasteentotaalscoreookeenprofielscoregevenvoordevolgende,doordeVerenigingHogescholen,www.vereniginghogescholen.nl,aangegeven(sub)domeinen:• hoofdrekenen;• basisbewerkingen;• breuken,procenten,verhoudingenendecimalegetallen;• metenenmeetkunde.
Omeenbetrouwbareprofielscoretekunnengeven,moetelketoetsvoldoendeopgavenuitdeze(sub)domeinenbevatten.OmervoortezorgendatdetoetsscorevolgensdedefinitievandeVerenigingHogescholengeïnterpreteerdkanworden,isvoordetoetseenaantalvasteeigenschappenvastgesteld.Dezeeigenschappenkunnengebruiktwordenalsbewijsvoordeinterpretatievandetoetsscorealsmaatvoorrekenvaardigheid.
81 De validiteit van toetsscores < Inhoud Index >
Gegarandeerde domeindekking – bewijs voor de interpretatie van de scores op de WISCAT-pabo
Vasteeigenschappenvandetoets:
1 Eriseenvastetoetslengtevan50opgaven.2 Ermoetaltijdbegonnenwordenmet15hoofdrekenopgaven.3 De15hoofdrekenopgavenwordengeselecteerduitde(sub)domeinen1.1(7opgaven),
1.3(7opgaven)en1.4of2(1opgave).4 Vervolgenswordennog35opgavengeselecteerduitde(sub)domeinen: • subdomein1.1:basisbewerkingen(8opgaven); • subdomein1.3:breuken,procenten,verhoudingenendecimalegetallen
(8opgaven); • subdomein1.4endomein2:metenenmeetkunde(14opgaven); • domein3:informatieverwerking,kansenstatistiek,endomein4:woordalgebra,
verbanden,grafiekenenfuncties(5opgaven). Dezeopgavenwordendoorelkaarendusnietper(sub)domeingeordendaangeboden.
Devragendieindetoetsopgenomenworden,zijnafkomstiguiteenopgavenbank.Ditiseendatabasemetdaarinallemogelijkevragendiedoordeadaptievetoetsgeselecteerdkunnenworden.DeopgavenbankvoordeWISCAT-pabobestaatuitmeerkeuzevragenenkort-antwoordvragen.Beidevraagtypenwordenautomatischgescoord.
DeWISCAT-pabowordtgebruiktomtebeslissenofPabo-studentenvoldoenderekenvaardigzijnomindetoekomstbasisschoolleerlingenrekenenteleren.ErisdaarombepaalddatdePabo-studentenophetzelfdeniveaumoetenkunnenrekenenalseengoedeleerlinguitgroep8.DitlaatstekomteropneerdatdePabo-studentmoetkunnenrekenenophetniveauvande20%besteleerlingenvandebasisschool. OmaantetonendatdeWISCAT-pabogeschiktisvoorhetvoorgesteldegebruikishetnoodzakelijkomaantetonendateenleerlingdiezaktvoordeWISCAT-pabomindergoedkanrekenendandebeste20%leerlingenvangroep8.Eenvoorbeeldvaneenbewijsdathiervoorkandienen,iseenbeschrijvingvandeprocedurediegevolgdisomerzekervantezijndatdezak/slaaggrenszodanigisgestelddatdestudentendiebeterofevengoedrekenenalsde20%besteleerlingenuitgroep8zullenslagenendatdeleerlingendiemindergoedrekenenzullenzakken.
82 Cito | Toetsen op School < Inhoud Index >
Het gebruik van de scores op de WISCAT-pabo
In2005sprakdetoenmaligeministervanonderwijsmetdePabo’safdatstudentenvoortaaneenbindendstudie-adviesmoetenkrijgenomdeopleidingteverlatenalszenaheteerstestudiejaarernietingeslaagdzijneenvoldoendetehalenopeentoetswaarmeedeeigenvaardigheidvoordevakgebiedenNederlandsenrekeneninkaartwordtgebracht.Elkeopleidingmochttoenzelfbepalenwelkniveaudestudentenmoestenhalen.In2005verscheeninhetTijdschriftvoorHogerOnderwijseenartikelwaarinwerdaangetoonddatmeerdandehelftvaneerstejaarsPabo-studentenslechterrekendedaneengoedeleerlinguitgroep8vanhetbasisonderwijs(Straetmans&Eggen,2005).DedaaropvolgendediscussieleiddeertoedatderekenvaardigheidvaneerstejaarsPabo-studentenvoortaangetoetstzoumoetenwordenmeteenlandelijketoetsinclusiefeenlandelijkgeldendeprestatiestandaard.
BijhetvaliderenvandeWISCAT-pabozijntweemogelijkebewijzenbesproken.Heteerstebewijsdatdienttervalideringvandeinterpretatievandetoetsscorealsmaatvoorreken-vaardigheidiseentoetsmatrijs.Hetgebruikvandetoetsscoresisgevalideerddooreenproceduretebeschrijvendieervoorzorgtdatdezak/slaaggrenszorgvuldigisvastgesteld.Doordatdezak/slaaggrensopdezemanierisvastgesteld,ishetmogelijkomdeprestatievanstudentenopdeWISCAT-pabotevergelijkenmethetniveauvanleerlingeningroep8vanhetbasisonderwijs.Hetbewijsvoordeinterpretatieisbewijsuitdecategorieinhoudsbewijs(paragraaf4.2.1),terwijlhetbewijsvoorhetgebruikvandetoetsscoresalsbewijsuitdecategorieexternestructuur(paragraaf4.2.4)opgevatzoukunnenworden.
4.4 Validiteit van toetsscores in de dagelijkse toetspraktijk
Indeparagrafenhiervoorisdevaliditeitvantoetsscoresbesproken.Opbasisvanonderanderediebesprekingensluitenwedithoofdstukafmetadviezenvoordedagelijksetoetspraktijk.
1 Wanneerwedevaliditeitvantoetsscoreswillenonderzoeken,ishetnoodzakelijkombewijzenteverzamelendiemoetenaantonendatdetoetsscoresgeschiktzijnvoorhetvoorafvastgesteldedoelvandetoets.Hetzorgvuldigvaststellenvanhetdoelvandetoetsisdanookvangrootbelang.
2 Omerzekervantezijndatjemeteentoetsdejuistebeslissingneemt,moetenzoweldebetrouwbaarheidalsdevaliditeitvantoetsscoresaangetoondworden.Eenmetingkanimmersalleenvalidezijnalsdezeookbetrouwbaaris.
3 Hetisbelangrijkomhetaantalvragenindetoetstemaximaliseren.Ditkomtnietalleentengoedeaandebetrouwbaarheid,maarkanerookvoorzorgendatdevaliditeitvandebeslissingaannemelijkerwordt.
4 Eénvandebelangrijkstebewijzenvoordevaliditeitvantoetsendieinhetonderwijsgebruiktworden,ishetinhoudsbewijs.Ditbewijskantijdenshetconstructieprocesvandetoetsalgrotendeelsgeconstrueerdwordendoortewerkenmeteentoetsmatrijs.Ineentoetsmatrijswordtiniedergevalbepaaldwelkeonderdelenindetoetszullenwordenopgenomenenkanookaangegevenwordenwelkekennishandelingeneenrolspelen.Doordeitemsteconstruerenvolgensdetoetsmatrijskaneengoededomeindekkingbereiktworden.
83 De validiteit van toetsscores < Inhoud Index >
5 Hetvaliderenvaneentoetsisveelwerkenvereistkennisvanveelverschillendeaspecten.Naastinhoudelijkekennisoverhetonderwerpvandetoetsishetookvanbelangdatermettoetstechnischekennisnaardetoetsgekekenwordt.Validerenisdusteamsport.
6 Nietalleenindividueletoetsen,examensofassessmentsdienengevalideerdtewordenmaarookexamenplannen,toetsplannenofcompetentieassessmentprogramma’sdieuitmeerderetoetsenbestaan.Eenbekendvoorbeeldisheteindexameninhetvoortgezetonderwijsdatuitmeerderetoetsenbestaatdietoteendiplomaleiden.Voordezegecombineerdetoetsenishetvanbelangdatzoweldeafzonderlijkeonderdelenalsdecombinatievandeafzonderlijketoetsengevalideerdworden.
84 Cito | Toetsen op School < Inhoud Index >
5 Inform
atie over toetsen en examineren
5 Informatie over toetsen en examineren
86 Cito | Toetsen op School < Inhoud Index >
5 Informatieovertoetsenen examineren
Erna Meijer
Ophetinternetisveelinformatiebeschikbaarovertoetsingenexaminering.Maarwaariswelkeinformatietevinden?Indithoofdstukmaakjeeerstkennismetdebelangrijksteinformatiebronovertoetsingenexamineringophetinternet,dewebsiteToetswijzer.Daarnalatenwezienhoejeinformatieoverschooltoetsenenliteratuurovertoetsingenexamineringkuntvinden.
5.1 Toetswijzer, gids op internet voor toetsing en examinering
Alsjeietswiltwetenophetgebiedvantoetsingofexamineringkunjeterechtop www.toetswijzer.nl.DewebsiteToetswijzerbevatinformatieoveronderanderetoets-constructie,vraagvormenzoalsgeslotenenopenvragen,praktischeopdrachten,beoordelenmetportfolio’s,leerlingvolgsystemen,toetsenvoorbegrijpendlezen,deEindtoetsBasisonderwijs,eindexamensinhetvoortgezetonderwijs,beoordelenvantoetsen,centraleexamenstaalenrekenenvoorhetmiddelbaarberoepsonderwijsenbeoordelenvandocentbekwaamheid.
Homepage van de website Toetswijzer
87 Informatie over toetsen en examineren < Inhoud Index >
Breed aanbodDeinformatieopToetswijzerisafkomstigvanallerleiorganisatieszoalshetministerievanOCW,deOnderwijsraad,deInspectievanhetOnderwijs,instellingenuitdeonderwijsverzorgingzoalsSLO,KPC,CPS,APSenCito,onderwijsradenzoalsPO-Raad,VO-raad,MBORaaden VerenigingHogescholen,uitgevers,universiteitenenonderwijsinstellingen.ToetswijzeriseenonderdeelvanKennisnetendecontentvanToetswijzerisdanookspeciaalgerichtopdegebruikersvanwww.kennisnet.nl:docentenenmanagersinhetonderwijs.Maareigenlijkisdesiteboeiendvooriedereendiegeïnteresseerdisintoetsingenevaluatie,zoalsonderwijsadviesorganisaties,lerarenopleidingen,leerlingenenhunouders.OmdatToetswijzeronderdeelisvanKennisnet,isdewebsiteooktevindenophttp://toetswijzer.kennisnet.nl.
OnderwijssectorenDeinformatieopToetswijzerisgeordendnaarschooltype:primaironderwijs,voortgezetonderwijs,bveenleraren(opleidingen).Jekomtbijdegegevensdooropwww.toetswijzer.nl een schooltypeteselecterenenvervolgenslinksophetschermopeenonderwerpteklikken. Eengreepuitdeonderwerpen:• OnderdeknopAlgemeenisalgemeneinformatieovertoetsingtevindenzoals
deskundigheidsbevordering,organisatiesinbinnen-enbuitenlandentoetsconstructie. ZovindjeindeDatabank algemeen > Toetsing > Toetsconstructiebijvoorbeeldeenbrochureoverhettoetsenmetopenvragen,eenliteratuurlijstoverdeconstructievangeslotenvragen,deToetstechnischeBegrippenlijsteneenspecialoverhettoetsconstructieproces.
• DerubriekPrimair onderwijsinformeertovertoetsinginhetbasisonderwijs.De‘Databankprimaironderwijs’bevatverwijzingennaaronderandereobservatie-instrumentenvoorpeutersenkleuters,leerlingvolgsystemen,eindtoetsenvoorgroep8,eenspecialoverdeCitotoetsentoetsenvoortaal,rekenen-wiskunde,wereldoriëntatieenEngels.
• ViadeknopVoortgezet onderwijsvindjeinformatieoverondermeervolg-enadvies-systemenvoordeonderbouwvoortgezetonderwijs,schoolexamensencentraleeind-examens.Klikinde‘Databankvoortgezetonderwijs’bijvoorbeeldop2e fase HAVO/VWO > Algemeenvoordeexamenprogramma’svoorhavoenvwovanhetCollegevoorExamens(CvE),dehandreikingenvoordeschoolexamensvanSLOofhetdossiervandeOnderwijsraadmetadviezenoverexamens.BijVakkentrefjeondermeerinformatieaanoverhetEuropeesReferentiekaderTalen(ERK),hetDIALANGtoetssysteemvoormodernevreemdetalenenonlinewiskundetoetseninWisBase.
• InderubriekBVEvindjeinde‘DatabankBVE’verwijzingennaarbijvoorbeelddewebsitevanhetKenniscentrumEVC(ErkenningvanVerworvenCompetenties),hetExamenverslagmbovandeOnderwijsinspectieendelandelijkeexamineringvantaalenrekeneninhetmbo.
• DerubriekLeraren(opleidingen)bevatallerhandeinformatieophetgebiedvandocent-bekwaamheid.De‘Databankleraren(opleidingen)’verwijstondermeernaarinformatieoverdebekwaamheidseisenvoorhetonderwijs(wetBIO)endebekwaamheidsinstrumentenvandeOnderwijscoöperatie.
ToetsspecialsInteressantvoordocenten(inopleiding)zijndetoetsspecials,waarindeskundigenophetgebiedvantoetsingenexamineringdieperingaanopeenspecifiekonderwerp.Zoisereenspecialover:• hettoetsconstructieproces;• observatie-instrumentenvoorhetvolgenvandeontwikkelingvanjongekinderen;• deEindtoetsBasisonderwijs(Citotoets);• deinstrumentenbijindicatiestellinginhetleerwegondersteunendonderwijs(LWOO)en
praktijkonderwijs(PrO)inhetvoortgezetonderwijs;• praktijktoetsenenpraktischeopdrachtenindeonderbouwvanhetvoortgezetonderwijs;
88 Cito | Toetsen op School < Inhoud Index >
• deeindexamensinhetvoortgezetonderwijs(dezespecialbevatondermeereenoverzichtvanwebsiteswaarleerlingenoudeexamenopgavenkunnenoefenen);
• deleeropbrengstvanfeedbackincomputergestuurdetoetsen;• lerenvantoetsen:hetgebruikvantoetsenvoorformatievedoeleinden.EenoverzichtvanallespecialsvindjeviahetstartschermvanToetswijzer.
ToetsgidsInderubriekToetsgidsvindjeinformatieoverschooltoetsen.Toetsgidsbevatbeschrijvingenvande inhoud en kwaliteitvanschooltoetsendieindehandelverkrijgbaarzijn.Detoetsenkunnenopbasisvankwaliteitsbeoordelingenmetelkaarvergelekenworden.DekwaliteitsbeoordelingeninToetsgidszijnontleendaandeCommissieTestaangelegenhedenNederland(COTAN).Toetsgidsiseenhulpmiddelvoordocenten,onderwijsadviesbureausenorthopedagogendievanplanzijneentoetstegebruikenoftekopen.InformatieoverdewerkwijzevandeCOTANistevindeninhoofdstuk10.
Zoekactie in Toetsgids: klik op de naam voor meer informatie over de toets
5.2 Informatie over schooltoetsen
Opverschillendeplaatsenophetinternetisinformatietevindenoverschooltoetsen.Bijtoetsenvancommerciëleuitgeversgaathetombetaaldeproducten,watderedenisdatdeinformatieophetinternetzichveelalbeperkttoteenbeschrijvingofdemovanhettoetsproduct.Naastinformatieoverbetaaldetoetsproductenzijnophetinternetookveelgratisschriftelijke,elek-tronischeenonlinetoetsentevinden.Hiernabesprekenweeenaantalbronnenophetinternetdiejekuntraadplegenalsjejewiltoriënterenophetaanbodvantoetsenvoorgebruikopschool.
89 Informatie over toetsen en examineren < Inhoud Index >
COTAN
www.cotandocumentatie.nl
COTANstaatvoorCommissieTestaangelegenhedenNederland.DecommissieisonderdeelvanhetNederlandsInstituutvanPsychologen(NIP).COTANwildekwaliteitvantestsentestgebruikinNederlandbevorderen.Zijdoetditondermeerdoorpsychodiagnostischeinstrumenten,waaronderookschooltoetsen,tebeoordelenaandehandvancriteriaalsuitgangspuntenvandetestconstructie,kwaliteitvanhettestmateriaalendehandleiding,normen,betrouwbaarheiden validiteit.Detestbeschrijvingenen-beoordelingenvanCOTANzijngepubliceerdinhetnaslagwerk‘DocumentatievantestsentestresearchinNederland’(2delen,NIP/VanGorcum,2000) en‘COTANTestboekvoorhetonderwijs’(NDC-Boom,2002).Metingangvan2009isde COTAN-documentatieviaeenabonnementensysteemonlinebeschikbaarvia www.cotandocumentatie.nl.MeerinformatieoverdeCOTANistevindeninhoofdstuk10en op www.psynip.nl/tests_cotan.html.
Kennisnet
www.kennisnet.nl
Kennisnetfaciliteertinstellingeninhetprimaironderwijs,voortgezetonderwijsenberoepsonderwijsbijhetbenuttenvandekrachtvanICT.SamenmethaarpartnersenhetonderwijsheeftKennisnetpraktischetoepassingenendienstenontwikkelddietevindenzijnviade knop DienstenopdewebsitevanKennisnet.Wenoemenhierenkelewebsitesdieookinformatiebevattenoverschooltoetsen,oefenmateriaal,toetsingofbeoordeling.
WikiwijsleermiddelenpleinOphetWikiwijsleermiddelenplein,www.wikiwijsleermiddelenplein.nl,kunnenleermiddelen–waaronderevaluatie-entoetsmateriaal–gezocht,vergeleken,gemaaktengedeeldworden.
Edurep, de educatieve zoekmachineEdurepiseengratis,centralevoorzieningdie(digitaal)leermateriaalopinternetvindbaarmaakt,ziehttp://edurep.kennisnet.nl.HiervoorverzameltEdurepgegevensoverleermateriaaluiteengrootaantalcollecties.Dezecollectieszijnafkomstigvanbijvoorbeelduitgeverijen,onderwijsinstellingenencultureel-maatschappelijkeorganisaties.
Kennisnet FederatieIndeKennisnetFederatiezijnonderwijsinstellingenenleveranciersvaneducatievecontentverenigd.Viadezedienstkunnenscholenmetéénlogindeleermiddelenvandeaangeslotenleveranciersbereiken.Kijkopwww.kennisnetfederatie.nl.
Leraar24Leraar24iseenonlineplatform,voorendoorleraren,omhenteondersteunenbijhetuitoefenenvanhunberoep,ziewww.leraar24.nl.Leraar24iseeninitiatiefvanKennisnet,WetenschappelijkCentrumLerarenOnderzoek(LOOK)endeOnderwijscoöperatie.
90 Cito | Toetsen op School < Inhoud Index >
DavindiDavindiisdezoekmachinevoorleerlingeninhetbasisonderwijs,ziewww.davindi.nl.Davindibevatleer-eninformatiebronnenvoorhetbasisonderwijsophetinternetdiezorgvuldigzijngeselecteerddooreenredactievandocenten.
Nederlands Jeugd instituut
www.nji.nl
HetNederlandsJeugdinstituut(NJi)ishetlandelijkkennisinstituutvoorjeugd-enopvoedingsvraagstukken.HetNJihelptorganisatiesindejeugdsectordekwaliteitvandedienstverleningteverbeteren.OpdehomepagevandeNJi-siteiseenoverzichttevindenvandossiersoverondermeerADHD,autisme,gedragsstoornissenenvoor-envroegschoolseeducatie(vve).Enindatabankenopwww.nji.nl>Kennis>Databankenisinformatiebeschikbaaroverinterventies,onderzoek,instrumentenenna-enbijscholing,ziebijvoorbeeld:• DatabankEffectieveJeugdinterventies• DatabankInstrumentenenRichtlijnen• DatabankMethodiekenPedagogischeKwaliteit• DatabankNederlandsOnderzoekJeugdenOpvoeding
Toetsgids ToetsGidshttp://toetswijzer.kennisnet.nl/main.asp?Sector=TG
ViadeknopToetsgids op de websitevanToetswijzerkunjeinformatievindenoverschooltoetsenvoorhetprimairenvoortgezetonderwijsdieindehandelverkrijgbaarzijn.Toetsgidsbevateenselectievandetoetsenuithet‘COTANTestboekvoorhetonderwijs’(NDC-Boom,2002).NaasteeninhoudelijkebeschrijvingisvandemeestetoetseneenvoorbeelditemeninformatieoverdeCOTAN-beoordelingopgenomen.NaastdeuitgebreideinformatieoverschooltoetsenvancommerciëleuitgeversinhetonderdeelToetsgids,kunjeookviadesectorenopwww.toetswijzer.nlverwijzingenvindennaarallerleitoetsen.KijkinderubriekAlgemeenbijvoorbeeldeensindedatabankbijToetsing > ToetsenofindeonderdelenPrimair onderwijs en Voortgezet onderwijsbijVakken.
91 Informatie over toetsen en examineren < Inhoud Index >
Wikiwijsleermiddelenplein
www.wikiwijsleermiddelenplein.nl
OphetWikiwijsleermiddelenpleinkunnenleermiddelen–waaronderookevaluatie-entoetsmateriaal–gezocht,vergeleken,gemaaktengedeeldworden.Zokanvooriedereonderwijssituatieeenoptimaleleermiddelenmixwordensamengesteld.Wikiwijsleermiddelenpleiniseenpubliekenonafhankelijkonderwijsplatform,bedoeldvooriedereendiebetrokkenisbijhetkeuzeprocesendeinzetvanleermiddelenindedagelijkselespraktijkinprimaironderwijs,voortgezetonderwijs,middelbaarberoepsonderwijsenhogeronderwijs:vandocenten,afdelingshoofden,ICT-coördinatorentotonderwijsbeslissers.WikiwijsleermiddelenpleiniseengezamenlijkinitiatiefvanKennisnet,OpenUniversiteitenSLO.
Onderwijsbegeleidingsdiensten
De onderwijsbegeleidingsdienstenbeschikkentenbehoevevanadviesendienstverlening aanscholenovercollectiesmetinformatie-,toets-enhulpmaterialen.Dezecollectieszijnin demeestegevallenopafspraakterinzage.Eenoverzichtvanonderwijsbegeleidingsdiensteneneducatievecentraistevindenop:• www.edventure.nu>Keurmerk&Lidmaatschap>Leden• www.internetwijzer-bao.nl>Allerubrieken:E>Educatievecentra• www.telefoongids.nl>GoudenGids>Zoek:onderwijsbegeleiding
Testotheken van universiteitsbibliotheken
Eenaantaluniversiteitsbibliothekenbeschiktovereentestotheek.Indetestotheekzijntestmaterialenverzameldterondersteuningvanhetonderwijsenonderzoekaandeuniversiteit.Voordemeesteuniversiteitsbibliothekengeldtdatalleenstudentenenmedewerkersvandeuniversiteitdetestskunneninzienenlenen.Opwww.toetswijzer.nl kun jeeenoverzichtvindenvantestothekenvanuniversiteitsbibliothekendoortezoekenoptestotheek.
92 Cito | Toetsen op School < Inhoud Index >
Uitgevers
Eenoverzichtvandegrootstecommerciëletoets-entestuitgeversinNederland:• www.drempelonderzoek.nl | 678OnderwijsAdviseringgeefttoetsenuitvoorgebruikin
primairenvoortgezetonderwijstenbehoevevandidactischeplaatsbepalingvanleerlingen.• www.a-vision.nu | A-VISIONiseenonderwijsadviesbureaudatzichheeftgespecialiseerdin
hetontwikkelenenafnemenvandigitaleteststenbehoevevanhetonderwijsenvanstudie-enloopbaanadviezen.
• www.bsl.nl | BohnStafleuVanLoghumbiedttestsaanvoordiagnose,vroegsignaleringenpsychosocialescreening.
• www.boomtestuitgevers.nl | Boomtestuitgeversontwikkelttestsenvragenlijstenvoorondermeerprimairenvoortgezetonderwijs.
• www.cito.nl|Citoontwikkelttoetsen,examensenvolgsystemenvoorbasisonderwijs,voortgezetonderwijsenberoepsonderwijs.
• www.pearsonclinical.nl | Pearsonisuitgevervanwetenschappelijkonderbouwdepsychologischemeetinstrumentenophetgebiedvangezondheidszorg,humanresourcemanagement,onderwijsenlogopedie.
Let op bij gratis toetsmaterialen Ophetinternetzijnveelgratistoetsenbeschikbaar.Maarletop,wanttenaanzienvandegratismaterialeniseenkritischehoudinggewenst:• Wieisdeaanbieder?Welkeorganisatiegaatschuilachterhetgratisproduct?
Betreftheteenbekende,gerenommeerdeuitgeveroforganisatie?• Geeftdeaanbiederaanwathetdoelisvanhetgratisproduct?• Moetenpersoonlijkegegevenswordeningevuld?Geeftdeaanbiederaanwathet
doelisvanregistratievandegegevensdoordewebsitebezoeker?Iseenprivacyverklaringbeschikbaar?
AlsvoorbeeldnemenweeenkijkjeopdewebsitesvanDeNederlandseTaaltestenExamenbundel.nl.
De Nederlandse TaaltestOpwww.nederlandsetaaltest.nlkaniedereengratiszijn/haarkennisvandeNederlandsetaaltesten.Erzijnonlinetoetsenvoorspelling,zinsbouw,woordenschat,uitdrukkingenengrammatica.Bijdetestuitslagontvangtdedeelnemereenadviesvoorhetverbeterenofhetoppeilhoudenvanzijn/haarkennisvandeNederlandsetaal.DewebsiteiseeninitiatiefvanUitgeverijPak,specialistinstudieboekenNederlandsvoorVO,MBOenHBO.
Examenbundel.nlOpwww.examenbundel.nlkunnenscholierengratisoefenenvoordecentraleeindexamensmetbehulpvanexamensvanvoorgaandejaren.ButtonsopdesiteattenderenscholierenopdemogelijkheidominteschrijvenvoordeExamentrainingofomuitgavenvandeExamenbundelofSamengevattebestellenviabol.comofVanDijk.nl.DewebsiteiseigendomvanThiemeMeulenhoff,uitgevervandeExamenbundel-boeken.
93 Informatie over toetsen en examineren < Inhoud Index >
5.3 Literatuur over toetsing
Alsjejenaderwiltverdiepeninliteratuurovertoetsingenevaluatiekunjeverschillendebronnenraadplegen.
Toetswijzer ToetsWijzerhttp://toetswijzer.kennisnet.nl
De websiteToetswijzerisaanhetbeginvandithoofdstukaluitgebreidbesproken.IndeverschillenderubriekenopToetswijzerisallerhandeinformatietevindenovertoetsingentoetsgerelateerdeonderwerpen.VoorinformatieovertoetsconstructieentoetstechnischeonderwerpenneemjeeenkijkjeinderubriekAlgemeenbijDatabank algemeen > Toetsing > Toetsconstructie.
Cito Kenniscentrum
http://www.cito.nl/nl/Onderzoek%20en%20wetenschap/kenniscentrum.aspx
HetKenniscentrumvanCitoisgespecialiseerdininformatieovertoetsingenonderwijs-evaluatie.DeinformatieisbeschikbaarviadewebsiteToetswijzerendebibliotheekvanhetKenniscentrum.VoorinformatieoverdedienstverleningvanhetKenniscentrumneemjeeenkijkjeopwww.cito.nl>Onderzoekenwetenschap>Kenniscentrum.HetKenniscentrumondersteuntineersteinstantiehetwerkvandeCito-medewerkers,maarookgeïnteresseerdenuithetonderwijskunnengebruikmakenvandedienstverlening. Debibliotheekcataloguskangeraadpleegdwordenviahttp://catalogus.cito.nlendebibliotheekisopafspraakopenvoorbezoekers.
Education Resources Information Center (ERIC)
www.eric.ed.gov
ERICiseenbelangrijkebronvoorinternationaleonderwijsliteratuur.ERICiseenonlinebibliotheekvooronderwijsonderzoeken-informatiemetbeschrijvingenvanboeken,rapportenenartikelenuitEngelstaligeonderwijsvakbladen,waaronderooktijdschriftenophetgebiedvanassessment.Eengrootdeelvandepublicatiesisfulltextbeschikbaar.VoorinternationaleliteratuurophetgebiedvantoetsingisERICeenuitstekendeinformatiebron.ERICisonderdeelvanhetAmerikaanseInstituteofEducationSciences(IES)endeU.S.DepartmentofEducation.
94 Cito | Toetsen op School < Inhoud Index >
British Education Index (BEI)
www.leeds.ac.uk/bei
EenanderebronvoorinternationaleonderwijsliteratuurisdeBritishEducationIndex(BEI). Eendeelvandeaangebodeninformatieisuitsluitendtoegankelijkopbasisvanbetaaldelogin-abonnementen.ViaderubriekenEducation-lineenPartnershipsisgratisonlineinformatiebeschikbaar.BEIiseeninitiatiefvandeUniversity ofLeeds.
www.google.nl
Naastdegespecialiseerdeonderwijsinformatiebestandendieindithoofdstukstaangenoemd,kanookmetbehulpvanzoekmachineszoalsGooglenaarinformatieophetinternetwordengezocht.MetGooglekanhetworldwidewebwordendoorzocht,maarhetisookmogelijkomgerichttezoekennaar:• boekpublicatiesinGoogleBooksophttp://books.google.nl;• wetenschappelijkepublicatiesenartikeleninGoogleScholarophttp://scholar.google.nl.Zoektip:klikinGoogleeensopGeavanceerd zoekenenbekijkdemogelijkhedendieGooglebiedtomheelgerichtenspecifiektezoekennaarinformatie(enhetzoekresultaatteverkleinen).
Koninklijke Bibliotheek
www.kb.nl
De KoninklijkeBibliotheek(KB)inDenHaagisdenationalebibliotheekvanNederland.OpdehomepagevandeKB-siteishetmogelijkomtezoekeninzo’n6miljoenitemsofwel110kmboeken,krantenentijdschriften.Leneneninzienvanmaterialenisalleenmogelijkvoor KB-pashouders.Niet-pashouderskunnendezoekmogelijkheidopdewebsitevandeKoninklijkeBibliotheekgebruikenomzichteoriënterenophetaanbodvantitelsopeenbepaaldvakgebied.
95 Informatie over toetsen en examineren < Inhoud Index >
WorldCat
www.worldcat.org
EenandervoorbeeldvaneenonlinecollectieinformatiematerialenoveruiteenlopendeonderwerpenisWorldCat.Dewebsitegeefttoegangtotdecollectiesvanmeerdan10.000bibliothekenoverdehelewereld.Opdehomepagevindjehetzoekschermwaarmeejeitemskuntvindeninbibliothekenbijjouindebuurt.
Toetstermen Nederlands – Engels Alsjeindedatabankenwiltzoekennaarbuitenlandseliteratuur,verdienthetdevoorkeuromEngelsezoektermentegebruiken.HetoverzichtvanNederlandsetoets-enonderwijstermenmetdeEngelsevertaling,tevindenophttp://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk5,kanhierbijvanpaskomen.Opdezewebpaginastaanookenkelehandigevertaalhulpmiddelengenoemd.
Uitleg toetstermenVooreenuitlegvantoetstechnischebegrippenkunjeterechtopverschillendewebsites.OpdewebsitevanCitoisdeToetstechnischeBegrippenlijstbeschikbaar,ganaarwww.cito.nl>Onderzoekenwetenschap>Kenniscentrum:ToetstechnischeBegrippenlijst. En op http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk5vindjeeenoverzichtvandiversebegrippenlijstenophetweb.
96 Cito | Toetsen op School < Inhoud Index >
6 H
et construeren van gesloten vragen
6 Het construeren van gesloten vragen
98 Cito | Toetsen op School < Inhoud Index >
6 Hetconstruerenvangeslotenvragen
José Noijons
Dithoofdstukgaatoverhetconstruerenvangeslotenvragen,datwilzeggenvragenwaarbijdeleerlinguittweeofmeeralternatievenhetgoedealternatiefdienttekiezen.Wijhebbenonsnietgeconcentreerdopbepaaldevakken,wantinprincipekandegeslotenvraaggebruiktwordenbijalleleerstof.Natuurlijkzaleenaantalpraktischevaardighedenmoeilijkmetbehulpvangeslotenvragenbevraagdkunnenworden,maardathoeftniettebetekenendatdievragendaargeheelniettoepasbaarzijn.Devoorbeeldendiehiergepresenteerdworden,beogenduidelijktemakenhoemengeslotenvragenconstrueert.Deoplossingendievoorallerleiproblemengebodenworden,kunnenzowelbijtheoretischevakkenalsbijpraktijkvakkengebruiktworden.
Watondereengeslotenvraagverstaanwordt,komtindeeersteparagraafaandeorde.Wanneerenhoegeslotenvragengebruiktkunnenworden,behandelenwedaarna.Vervolgensgaanweinopdevoor-ennadelenvandegeslotenvraag.Daarnabesprekenweverschillendesoortengeslotenvragen,welkesoortenmeerofmindergeschiktzijnenwelkesoorteneigenlijkmaarbeternietgebruiktkunnenworden.Indeparagraafoverdeconstructievangeslotenvragenbesprekenwehoewevragenzoduidelijkmogelijkkunnenformulerenenwaaraangoedeantwoordenenafleidersdienentevoldoen.Hethoofdstukwordtafgeslotenmeteenparagraafovereisenwaaraangeslotenvragenmoetenvoldoen.
6.1 Wat is een gesloten vraag?
Wijgaanuitvandevolgendedefinitievaneengeslotenvraag:eengeslotenvraagiseenvraagwaarbijdeleerlinguittweeofmeerreedsgeformuleerdeantwoorden(alternatieven)dienttekiezen.Meerkeuzevraagenmultiplechoicevraagzijnanderetermenvoordegeslotenvraag.Indithoofdstuksprekenweechtersteedsoverdegeslotenvraag.
Bijdegeslotenvraagonderscheidenwedestamendealternatieven:
Stam: InwelkeplaatsisCitogevestigd?Alternatieven: A Amersfoort B Amsterdam C Arnhem D Rotterdam E Utrecht
Eenvandealternatievenishetgoedeantwoord(deantwoordsleutel).Deoverigealternatievennoemenwedeafleiders.
99 Het construeren van gesloten vragen < Inhoud Index >
Indestamvandegeslotenvraagstaateenhelderevraagofprobleemstelling.Nabeantwoordingvandevraagofnahetoplossenvandeprobleemstellingvergelijktdeleerlingzijn/haarantwoordmetdealternatievenenmaakteenkeuzeuitdealternatieven.Invrijwelallegevallenisdeantwoordsleutelhetgoedeantwoord.Insommigegevallenzalhetgoedeantwoordhetbesteantwoordzijntussendeanderealternatieven.Ditisbijvoorbeeldhetgevalalshetgoedeantwoordeensamenvattingisvanwaterineentekstgezegdwordteneenletterlijkeaanhalingeentelangalternatiefzouopleveren.Ookbestaanergeslotenvragenmetmeerderegoedeantwoorden.Wijgevendevoorkeuraanvragenmetééngoedantwoordofmethetbesteantwoord.
Afleiderszijnindeeersteplaatsbedoeldalsalternatieve(foute)antwoordennaasthetgoedeantwoord.Dathoudtindatjenietzondernadenkeneenalternatiefalsfoutantwoordmagkunnenherkennen.Deleerlingmoetopgrondvanrelevantekennis,inzichtenofvaardighedenziendatdealternatievengeengoedeantwoordenzijn.Relevantbetekentinditverbanddatdealternatievenbetrekkingmoetenhebbenopdestofdiebeheerstmoetworden.Dekeuzevooreenbepaaldalternatiefmoetterugtevoerenzijnopeenonvoldoendebeheersingvaneenvaardigheidbijdeleerling.Eenanalysevandedoordeleerlinggekozenantwoordengeeftdedocent feedbackvoorhetinrichtenvanzijnvervolgonderwijs.
6.2 Voordelen en nadelen van gesloten vragen
Dekeuzevoorgeslotenvragenineentoetsisvaakeenonderwerpvandiscussie.Voorstandersroemendeefficiëntievanzulkevragen:deleerlingverliestgeentijdbijhetformulerenvanhetantwoord,dedocentwinttijdbijdecorrectievandeantwoorden.Ookzijnermogelijkhedenomdeantwoordenelektronischteverwerken.Tegenstandersmerkenopdatvaakalleenreproductievankenniswordtgemeten.Enzogenaamdegoedeantwoordenblijkenbijnaderinzientochnietzogoedofronduitfouttezijn.Ookblijkenafleidersvaakzofoutnogniet,endusnietaftewijzen.Detegenstanderszulleninveelgevallengelijkgehadhebben.Hetconstruerenvangeslotenvragenisnamelijkeenlastigezaakenveeltoetsenmetgeslotenvragenvoldoendanooknietaandeeisendieinparagraaf6.6staanbeschreven. Maarmetdegeslotenvraagisnietsmisenerkanmeermeegetoetstwordendanvaakwordtgedachtengedaan.Welmoethijvoorgeschiktedoeleindenwordengebruikten,nogmaals,hijmoetzorgvuldiggeconstrueerdworden.
Devoordelenhebbendusnietalleentemakenmetefficiëntie,maarookmetdebetrouwbaarheidvandemeting.Geslotenvragenmakenhetmogelijkomveelvragentestellenenzulleninhetalgemeengeenbeoordelingsproblemenopleverenomdatvantevorenisbepaaldwatdegoedeantwoordenzijn.Denadelenkomenvooraltijdensdeconstructiefasenaarvoren,hoewelzeookbijhetscorenvandeantwoordenkunnenblijken.
Eenvoordeelvantoetsenmetgeslotenvragenisdatje–vergelekenmettoetsenmetopen vragen–ineenrelatiefkortetijdeengrootdeelvandeleerstofkuntbevragen.Zowordtvoorhetbeantwoordenvaneenwaar/onwaarvraag50secondengerekend,terwijlvooreenmeerkeuzevraagmet4of5alternatieven75secondengerekendwordt.Eennadeelisdatbepaaldeonderdelenvandeleerstofzichmisschienmindergoedlenenvoorgeslotenvragen,waardoorgenoemdvoordeelweerkomttevervallen.Tochishetnietjuistdatwemetgeslotenvragenalleenmaarreproductievankenniskunnenbevragen,hoeweldatindepraktijkwelergvaakgebeurt.
100 Cito | Toetsen op School < Inhoud Index >
Somsiseenkort-antwoordvraagteprefererenbovenhetstellenvaneengeslotenvraag. Meteenkort-antwoordvraagkaneenleerlingnamelijkhetantwoordnietherkennenomdathijhetantwoordmoetgeven.Kort-antwoordvragenhebbendevoorkeurbovengeslotenvragenals:• devraagmaarééngoedantwoordheeft;• hetgoedeantwoorduiteenoftweewoordenbestaat;• hetgoedeantwoordsteedseenvantweemogelijkhedenis(bijvoorbeeldmannelijkof
vrouwelijkbijeenkeuzevangeslacht).Alskort-antwoordvragendezekenmerkenhebben,hoeftdeleerlingnauwelijksietsopteschrijvenenzaldeinterpretatieenbeoordelingvanhetgegevenantwoordergeenvoudigzijn.
Leerlingenvragennogweleensofhetzinheeftomdeantwoordenopgeslotenvragenopheteindvaneentoetsnogeenstecontrolereneneventueeleenanderantwoordtegeven. Hetblijktdatdemeesteleerlingenenookveeltoetsdeskundigendenkendathetveranderenvandeantwoordengeenzinheeft.Tochishetvasthoudenaandeeersteingevingnietaltijdhetbeste.Uitonderzoekhiernaarblijkthetvolgende:• hetloontdemoeiteomantwoordenteveranderenomdatgeblekenisdattweeopdedrie
veranderingeneengoedantwoordoplevert;• naarmateopgavenmoeilijkerzijn,hebbenveranderingenmindersucces;• mindergoedeleerlingenprofiterenmindervanveranderingendangoedeleerlingen.
6.3 Soorten gesloten vragen
Weonderscheidenhierdevolgendeveelvoorkomendesoortengeslotenvragen:• Standaardtype• Vraagmettweeuitspraken• Vraagmetmeerdantweeuitspraken• Herordeningsvraag• Combinatievraag• Waar/onwaarvraag
StandaardtypeEenvoorbeeldvaneenstandaardtypevandegeslotenvraaghebbenweeerderallatenzien:
Stam: InwelkeplaatsisCitogevestigd?Alternatieven: A Amsterdam afleider B Arnhem juiste antwoord (antwoordsleutel) C Enschede afleider D ‘s-Gravenhage afleider E Zaandam afleider
Bijhetstandaardtypegaathetomgeslotenvragenwaarbijhetaantalalternatievenkanvariërenvantweetot(meerdan)vijf.Dealternatievenstaanbijvoorkeurinalfabetischevolgordealsdealternatievenbeginnenmeteenwoord.Alsdealternatievengetallenzijn,danisdevolgordevankleinnaargrootgetal.
Overhetaantalalternatievenhetvolgende.Deraadkansneemtafnaarmateermeeralternatievenzijn,maardeleesdrukopdeleerlingneemttoe.Bedenkookdatefficiëntiejuisteenvandevoordelenvandegeslotenvraagis.Bijvijfofmeeralternatievenzienwevaakdatsommigevandiealternatievenermetdeharenzijnbijgesleeptennauwelijksgeloofwaardig
101 Het construeren van gesloten vragen < Inhoud Index >
zijn.Eengoeduitgangspuntbijdeconstructieistebeginnenmetdriealternatievenenalleenalternatieventoetevoegenwaarmeewekunnenvaststellenofleerlingendeleerstofalofnietbeheersen.
Vraag met twee uitspraken Ditvraagtypewordtgerekendtotdegroepvandezogenaamdestellingvragen.Hetiseenmoeilijkvraagtype,zowelomteconstruerenalsomtebeantwoorden.Eenvoorbeeld:
Watgeldtvoordevolgendebeweringen? 1 Erissprakevaneenduidelijkesamenhangtussenzoutgebruikendehoogtevande
bloeddruk. 2 Hetisgoedommensenmetverhoogdebloeddrukaanteradenveelzoutepinda’steeten.
A 1en2zijnjuist B Alleen1isjuist C Alleen2isjuist D 1en2zijnnietjuist
Bijditvraagtypegeldtdeafspraakdatdebeweringen1en2nietlosvanelkaarmogenstaan. Ermoetsprakezijnvaneensamenhang.Isdatniethetgeval,danzijnhetfeitelijktweewaar/onwaarvragenonderelkaar(ziehierna)endanzoudenerookantwoordenvoordehelftgoedkunnenzijn.Uitdetoetspraktijkisbekenddatleerlingenproblemenhebbenmetdittypevragen.Dieproblemenhebbennietzozeertemakenmethunbeheersingvandeleerstof,maarmetdelees-endenktijddiehetkostomdeformuleringvanhetprobleemtebegrijpenenhetprobleemoptelossen.Wijradendaaromaandittypevraagniettegebruikenomdathetnietalleenmoeilijkteconstruerenismaardatmenerookvaakietsmeetoetstdatmennietwiltoetsen.
Vraag met meer dan twee uitsprakenOokdezevraagwordtgerekendtotdegroepvanstellingvragen.Ditvraagtypeleentzicherheelgoedvooromovereenbepaaldeprobleemstellingmeeruitsprakentedoenentelatenbeoordelenwelkeuitsprakenbetrekkinghebbenofvantoepassingzijnopdegeschetsteprobleemstelling.Hierondervolgteenvoorbeeldvanditvraagtype:
Welkemanier(en)is(zijn)juistomeenongegrondeklachttebehandelen? 1 Deklantbeleefddoeninziendatdeklachtongegrondiseneenregelingtreffen. 2 Deklantduidelijkmakendatalleengegrondeklachteninbehandelingwordengenomen. 3 Deklantopzijn/haarongelijkwijzenengeenenkelevormvanschadeloosstelling
aanbieden.
A Alleen1 B Alleen2 C Alleen3 D Zowel1als2 E Zowel1als3 F Zowel1,2als3
102 Cito | Toetsen op School < Inhoud Index >
Bijnaalledenkbarealternatievenzijnhiergeformuleerd.Dithoudtnietindataldiedenkbarealternatievenaangebodendienenteworden.Alleendiealternatievenkomeninaanmerkingdieaantrekkelijkzijnvoorleerlingenmetonvoldoendekennisen/ofdieeenindicatiekunnengevenvanmogelijkekennistekortenbijdeleerling.
HerordeningsvraagDenaamgeeftalaanwaarhetomgaat.Leerstofisvolgensbepaaldeordeningsprincipesopgebouwdendeleerlingmoetderelevanteordeningsprincipestonen.Eenvoorbeeldvaneenherordeningsvraag:
Hieronderstaaninwillekeurigevolgordezeshistorischegebeurtenissen. Vierdaarvanhebbenmetelkaartemaken.
1 AanvalopPearlHarbor 2 BezettingvanhetRuhrgebied 3 Herstelbetalingen 4 SlagomStalingrad 5 VerdragvanLocarno 6 VredesverdragvanVersailles
Welkeviergebeurtenissenhorenbijelkaarenstaaninchronologischevolgorde? A 1–2–5–3 B 1–4–5–6 C 2–1–4–5 D 2–1–5–3 E 4–1–5–3
Eerderhebbenwealgeziendatwedealternatievenbijvoorkeursystematischmoetenordenen,alfabetischofopnumeriekevolgorde.Uitdestamvandezevraagblijktdatdatordenings-principeookkanwordentoegepastvoordestamalsdaarsprakeisvanopsommingenendergelijke.Inditgevalzijndezeshistorischegebeurtenissenalfabetischgeordend.Ditvoorbeeldmaaktookduidelijkdatditvraagtypealleentoegepastkanwordenindieneenaantalgegevensineenbepaaldevolgordegezetkanworden(historischegebeurtenissen,handelingenbijeenproces).Houderrekeningmeedatditsoortvragenlastigzijnvoorleerlingen.
103 Het construeren van gesloten vragen < Inhoud Index >
CombinatievraagDitiseenvraagtypedatvergelijkbaarismetdeherordeningsvraag.Alleenmoetennuopeenanderemanierdegegevensuitdeenerijgecombineerdwordenmetdieuiteenandererij. Eenvoorbeeldvaneencombinatievraagisdevolgende:
Hieronderstaandenamenvanzesdieren. A Beer B Ezel C Hond D Kat E Leeuw F Varken
Vulbijdevolgendegezegdendeletter(A–F)voorhetjuistedierin. Eendierkanmeerderemalenvoorkomen!
1 Zoziekalseen.... 2 Zosterkalseen.... 3 Zotrouwalseen.... 4 Zodomalseen....
Dezogeheten‘matching’vraagisookeencombinatievraag.Deleerlingmoet‘matchen’,datwilzeggentweedingenbijelkaarplaatsen.Voorbeeldiseenvraagwaarbijlinkseenaantalhoofdstedenstaanenrechtseenaantallanden.Deleerlingmoetaangevenwelkehoofdstadbijwelklandhoort.Een‘matching’vraagkanomgevormdwordentoteenaantalgeslotenvragen.
Waar/onwaar vraagBijeenwaar/onwaarvraagwordteenuitspraakofbeweringgedaanenmoetaangegevenwordenofdiebeweringkloptofnietklopt.Destandaardvormvanditvraagtypeisalsvolgt:
Inalleslagadersstroomthetbloedvanhethartaf. Dezestellingis: A Waar B Onwaar
Bijhetgebruikvanditvraagtypeisgrotevoorzichtigheidgeboden.Zoblijkthetheelmoeilijktezijnomvolledigwarealternatieventeconstrueren.Sommigeleerlingenwijzeneenals‘waar’bedoeldalternatiefbijvoorbeeldafomdathetnietvolledigis.Hetpresenterenvaneenonwarebeweringisbovendiennietgebruikelijkinhetonderwijs,waardedocenttochinhetalgemeengeassocieerdwordtmethetoverdragenvanfeitenenwatwaarschijnlijkis.Ditvraagtypeblijktbijsommigeleerlingenbepaaldeantwoordtendentiesopteroepen,datwilzeggendatsommigeleerlingengeneigdzijnombijnaallevragenmet‘waar’tebeantwoordenterwijlandereleerlingenbijnaaltijd‘onwaar’antwoorden.
104 Cito | Toetsen op School < Inhoud Index >
6.4 De constructie van gesloten vragen
Aanbevolenwordtomsamenmetcollega’stoetsvragenteconstrueren,ofiniedergevalcollega’sdeconceptvragentelatenbeoordelen.Nogbeterishetomcollega’sbijdezelfdeleerstofiedervoorzichvragentelatenmakenendiedanmetelkaartebespreken.Zoleertmenvanelkaar.Datlijktminderefficiënt,maaromdaterbijdezelfdeleerstoftochvaakmeerdereversiesvaneentoetsmoetenwordengemaakt,kunnendemeestevandegeconstrueerdevragenopeenlatertijdstipgebruiktworden. Hetverdientaanbevelingombijiederegeslotenvraageersteengoedantwoordteformulerenenomvoordetoetsalsgeheeleenantwoordsleutel,datwilzeggeneenlijstmetdegoedeantwoorden,temaken.Wanneermenconceptvragenaancollega’svoorlegt,vraagzedanookomeerstdeantwoordsleutelbijdevragentemakenvoordatmendetailkritiekgeeft.Bijhetconstruerenvandefouteantwoordenishetmogelijkgebruiktemakenvaneerderefouteantwoordenvanleerlingenbijeenopenvariantvandevraag.Ookkunnenbekendeproblemendieleerlingenmetdeleerstofhebben,gebruiktwordenvoordefouteantwoordenindegeslotenvraag.Omfouteantwoordennietdirectalsfoutteherkennen,zalookaandeformuleringvandefouteantwoordendenodigezorgbesteedmoetenworden.
De stamBijhetformulerenvandestamineengeslotenvraagmoetenweervoorzorgendatereenhelderevraagofopdrachtindestamkomttestaan.Bijhetbeantwoordenvandevraagofhetuitvoerenvandeopdrachtbestaanervoordeleerlingtweemogelijkheden:1 Nahetdoornemenvandestamformuleertdeleerlingvoorzichzelfhetgoedeantwoorden
selecteerthetjuisteantwoordbijdealternatieven.2 Nahetdoornemenvandestamselecteertdeleerlingopbasisvandegegevenalternatieven
hetgoedeantwoord.
Manierenomdestamvaneengeslotenvraagteformulerenzijn:• Eenpositieveofnegatieveformulering.• Eenmeerofminderdirectevraagstelling.
Positieve formulering in de stam Alshetmaarenigszinsmogelijkis,verdienthetdevoorkeuromdestamvaneenvraagofopdrachtpositiefteformuleren.Eennegatieveformuleringvandestamroeptvaakproblemenop.Hetisnamelijkmoeilijkertebepalenwathetgoedeantwoordisalsdevraagnegatiefgeformuleerdis,terwijldiemoeilijkheidnietsmetdeleerstoftemakenheeft.Indienmennietaannegatieveformuleringenontkomt,laatdandenegatiefgeformuleerdevraagstellingduidelijkzien,bijvoorbeelddoorhetnegatieveelementvettedrukken,tekapitaliseren,tecursiverenofteonderstrepen,ofdooreencombinatiehiervan.Zovaltduidelijkeropdatdevraagstellingnegatiefgeformuleerdis.Eenvoorbeeldvaneenvraagmeteennegatiefgeformuleerdestam:
WatisGEENgoedadviesbijeenvermoedenvanMexicaansegriep? A Gazogauwmogelijknaarhetspreekuurvandehuisarts. B Probeerzoveelmogelijkuitdebuurtvananderemensenteblijven. C Wassteedsgoeduwhandenenraakzominmogelijkobjectenmetuwhandenaan.
Naaraanleidingvanditvoorbeelddientopgemerkttewordendatmenseninhetalgemeengeïnteresseerdzijningoedeadviezen.Daarnaast,zoalsaleerderopgemerktwerd,wordt
105 Het construeren van gesloten vragen < Inhoud Index >
meestalineersteinstantieonderwezenwatgoedisenzettenvragennaarwatnietgoedisdeleerlingenvaakophetverkeerdebeen.EennietgoedlezendeleerlingzalgeneigdzijnomAalsfoutantwoordtekiezen,omdathijgeleerdheeftdathetgeengoedideeisomnaarhetspreekuurvandehuisartstegaan.Hetisdanookgoedmogelijkdatsommigegoedeleerlingenhiereenfoutantwoordgeven.
Directe vraagstellingHetverdientdevoorkeuromdevragenalsdirectevragenteformuleren,datwilzeggenvragenwaarbijaanheteindvandevraagduidelijkiswatvandeleerlingverwachtwordt.Eenvoorbeeldvanzo’ndirectevraagis:
Opwelkedatumbegintdezomer? A 1juni B 21juni C 1juli D 21juli
Hetisgeengoedideeombijditvraagtypezinnenletterlijkuiteenleerboekovertenemenenuiteenzineenwoordjewegtelatenendattelateninvullen.Dekansbestaatdatdanhetvisueelgeheugenvandeleerlingeninplaatsvanhunbeheersingvandeleerstofgetoetstwordt.
De alternatievenBijdealternatievengaathetomhetformulerenvanhetgoedeantwoordendeafleiders.
Formuleren van het goede antwoord Vaakvindtmenhetmoeilijkombijeengeslotenvraagwaarschijnlijkealternatieventebedenken.Hetbelangrijkstealternatief,hetgoedeantwoord,levertdoorgaansgeenproblemenop.Menmoetechterwelmetdeformuleringdaarvanbeginnenomdatmendezekerheidmoethebbendaterookwerkelijkeengoedantwoordopdevraagteformulerenvalt.Eengoedantwoordmagnietopvallendoorzijnformulering.Bijhettheoretischegedeeltevanhetvroegererijexamenbestondhetgoedeantwoordnogweleensuiteenletterlijkcitaatuitdewetstekstenwarendefoutealternatievenvlotgeformuleerdevariantendaarop.ZieonderstaandvoorbeeldwaaralternatiefCopvaltdoorhetformeletaalgebruiken alternatiefBdoordevlotteformulering.
Watduidtditbordaan? A Alleentoegangvoorvoetgangers. B Nietinrijden,behalvealsmenhierwoont. C Verbodeninterijdenvoorallegemotoriseerdverkeer.
Tenslottedientmeninhetgoedeantwoordecho’s,datwilzeggenletterlijkegedeeltenvandeuitgangstekst,tevermijdenwanneerindeanderealternatievengeenecho’svoorkomen. Hetblijktnamelijkdateenantwoordmeteenechoeenextragroteaantrekkingskrachtopleerlingenheeft.Deleerlinggeeftdanmogelijkhetgoedeantwoordterwijlhijhetgoedeantwoordopdevraagnietweet.Ditmoeternatuurlijkniettoeleidendatmeninhetgoedeantwoordgeenechoopneemtenindeanderealternatievenjuistwel.Alseendefinitiegevraagdwordt,zalhetgebruikvandeletterlijketekstsomsonvermijdelijkzijn.Zorgerdanvoordatookindeafleidersminofmeerletterlijkedefinitiesgegevenworden.
106 Cito | Toetsen op School < Inhoud Index >
Formuleren van de afleiders Afleiderszijnindeeersteplaatsbedoeldalsalternatieve(foute)antwoordennaasthetgoedeantwoord.Dathoudtindatzenietoverduidelijkalsfoutantwoordteherkennenmogenzijn. Deleerlingmoetopgrondvanrelevantekennis,inzichtofvaardighedenconcluderendatdealternatieveantwoordennietdegoedeantwoordenzijn.Afleidersmoetenaantrekkelijkzijnvoorleerlingendiedeleerstofinonvoldoendematebeheersen.
Voordeconstructievandeafleidersgeldendevolgenderegels:
• Deformuleringvandeafleidersmoetzodanigzijndatdeessentiëleverschillentussendeafleidersduidelijkuitkomen.Hetverschiltussendeeneendeandereafleidermagdusnietbepaaldwordendoorwoordenals‘ongeveer’en‘ruim’.Diewoordenmogennatuurlijkwelgebruiktwordenmaarzemogenniethetenigeverschilzijntussentweeafleiders.
• Hetgebruikvanabsolutewoordenals‘altijd’,‘nooit’en‘zeker’inalternatievenwijstbijna
altijdopafleiders.Immers,opdemeesteuitsprakenofonderzoeksresultatendieindealternatievengenoemdworden,komenweluitzonderingenvoor.Absolutewoordengevendaardoorvaakdirectaandathetalternatiefniethetgoedeantwoordzalzijn.
• Alsbijnageenleerlingvooreenbepaaldeafleiderkiest,haddieafleidernetzogoedweggelatenkunnenworden.Datlaatstegeldtvoorsummatievetoetsenmaarhoeftnietvoordiagnostischetoetsentegeldenwaarafleidersdedocentinformatiegevenoverdieonderdelenvandeleerstofdiedeleerlingeninvoldoendeofonvoldoendematebeheersen.
• Dealternatievendienenineenvastevolgordegerangschikttewordenomdatleerlingenanderswellichtinformatieuitdevolgordekunnenafleiden.Deafleiderskunnenopalfabetischevolgordewordengezet,inopklimmendegetalgrootteofchronologisch.
• Allealternatievenmoetenovereenkomeninbasisidee,uitgangspunt,grammaticalestructuurenlengte.InhetvolgendevoorbeeldwordtdoordegrammaticaleconstructieenwoordkeusvanzoweldestamalsvanalternatiefDeenverwijzinggegevennaarhetgoedeantwoord.
Watbetekenthetspreekwoord‘Wieeenssteelt,isaltijdeendief?’ A Alsjeiemandbedriegt,wordjezelfookbedrogen. B Alsjenieteerlijkbent,kunjedatnooitmeervergeten. C Alsjezelfslechtbent,zuljeookslechtoveranderendenken. D Wieeenmaaleenmisstapbegaat,isaltijdonbetrouwbaar.
• Hetgebruikvanhetalternatief‘geenvanbovengenoemde’of‘allebovengenoemde’wordtafgeraden.
107 Het construeren van gesloten vragen < Inhoud Index >
• Afleidersmoetenelkaaruitsluiten.InhetvolgendevoorbeeldimpliceertalternatiefCook AenB,dusalsCgoedis,zalookA,maarookBgoedgerekendmoetenworden.
Watzegtdesprekerhieroverdegeschiktheidvoorpiloot? A Mannenzijngeschikt. B Vrouwenzijngeschikt. C Mannenenvrouwenzijngeschikt.
• Deverschillentussendealternatievendienenniettegroottezijn. Deopdrachtkantegemakkelijkwordenwanneerhetgoedeantwoorderalshetware
uitspringt.Menkandevraagmoeilijkermakendoordeverschillentussendealternatieventeverfijnen.Leterechterwelopdatdevraagdangeenleesoefeningwordt.
Eerstnadatdeleerlingendevragenhebbenbeantwoord,kanbepaaldwordenofalleafleidersinvoldoendemategekozenzijn.Isdatniethetgevalenwordtdevraagopnieuwgebruikt,dankunnendenietvoldoendegekozenafleidersweggelatenworden.Ookkanmendeafleiderdiehetmeestgekozenisbijstellen.
Wevattenvoorgaandeadviezenhierondernogeenssamen.
Tips voor het construeren van gesloten vragen
• Formuleerdevragenbijvoorkeuralsdirectevragen.• Steleenvraagindestam,gebruikdaarbijvolledigezinnenensluitafmeteen
vraagteken.Maakdusgeenonvolledigezinnendieindealternatievenmoetenwordenafgemaakt.
• Formuleerdestambijvoorkeurpositief.• Accentueereennegatiefgeformuleerdevraagstellingdoorhetnegatieveelementvet
tedrukken,tekapitaliseren,tecursiverenofteonderstrepen.• Beginmethetopschrijvenvanhetgoedeofbesteantwoord.• Gebruikalsafleidersookbekendeproblemenmetdeleerstofenveelvoorkomende
foutenvanleerlingen.• Gebruikalleenafleiderswaarvanweverwachtendatleerlingendieookwerkelijk
zullenkiezen.• Maakinprincipevragenmetdriealternatievenwaarvanermaaréénhetgoede
antwoordis.• Weeserzekervandathetgoedeantwoordookwerkelijkhetgoedeofbesteantwoord
is.• Vermijdformuleringenwaarbijhetgoedeantwoordopvalt.• Neembijvragenmetweglatingenindetekst,geenzinnenletterlijkoveruiteen
leerboek.
6.5 Taalgebruik
Eenjuisttaalgebruikisbelangrijkbijhetformulerenvanvragen.Voorkomenmoetwordendatdemoeilijkheidvandevraagveroorzaaktwordtdoordeformulering.Natuurlijkmoetendeformuleringenvoldoenaandealgemenespellings-engrammaticaregelsvandetaalwaarindevraaggesteldis.Alsdatnietdemoedertaalvandeconstructeuris,verdienthetaanbeveling
108 Cito | Toetsen op School < Inhoud Index >
omeen‘nativespeaker’naardevragentelatenkijken.Deevaringleertdatvragenvaakmoeilijkhedenbevattendienietstemakenhebbenmetdebevraagdeleerstof.
Watdestijlvanschrijvenbetreft,ishetvanbelangdatdetekstindestamenindealternatievenniettelangis.Wanneerdestamtelangdreigtteworden,ishetbeteromeeninleidingbijdestamtemakenendestamzelfdankorttehouden.Probeerhetalternatief‘binnenderegel’tehoudenwantdatvergemakkelijkthetlezen.Vermijd,ookweerterbevorderingvandebeknoptheid,constructiesmetbijzinnen.Indealternatievenverdienteenniet-samengestelde,korte,krachtigezindevoorkeur.Herhaalgeenzakenindealternatievendieookéénmaalindestamgenoemdkunnenworden.Vermijdverder‘weggevertjes’indeformuleringvandeafleiders–zoals‘nooit’,‘altijd’,‘alle’,etc.–wantzoalsweeerderalopmerkten,zijnabsoluteuitsprakenmaarzeldenwaar.
Hetgoedeantwoordmoetnietopvallendoorhetletterlijkciterenuitdeuitgangstekst.Alsmengedwongenisdeletterlijketekstinhetgoedeantwoordoptenemen,neemdanookindeafleidersletterlijkecitatenop.
Gebruikgeendubbeleontkenningen.Voorleerlingenishetuiterstverwarrendomzinnentemoetenlezenmet‘nooitgeen’of‘nietonmogelijk’,hoejuisteendergelijkebeweringopzichookkanzijn.Dekansisgrootdateenfoutantwoordgekozenwordtomdatdeleerlingdevraagnietgoedgelezenheeftennietomdathijofzijdeleerstofnietbeheerst.
Watbetrefthetgebruikvanhoofdlettersaanhetbeginvanalternatieven,hetvolgende:• Alsdealternatievenuithelezinnenbestaan,beginnenallealternatievenmeteenhoofdletter
eneindigenmeteenpunt.• Alsdestamdoorlooptindealternatieven,beginnendealternatievenmeteenkleineletteren
eindigenmeteenpunt.• Inanderegevallenliggenderegelsmindervast.Vaakbeginnendealternatievendanmeteen
kleinelettereneindigenzonderpunt.
6.6 Eisen voor gesloten vragen
Wehebbenonstotnutoevooralgerichtopdemeertechnischeaspectenvandeconstructievangeslotenvragen.Erzijnechterooknogenkelealgemeneeisendieaangeslotenvragengesteldmoetenworden.Opdebelangrijksteeisenwordthiernaingegaan,methierendaareenverwijzingnaardegevolgenvandieeisenmetbetrekkingtotdeconstructievandezevragen.
SpecificiteitDezeeishoudtindatdevragenalleenmaargoedbeantwoordzoudenmoetenkunnenwordendoordegenendiedeleerstofbestudeerdhebben.Voordegenendiedeleerstofnietbestudeerdhebben,magdevraaggeenzogeheten‘indicatoren’(d.w.z.onbedoeldeaanwijzingen)bevattenwaardoorzijhetgoedeantwoordopdevraagkunnengeven.DeGrootenVanNaerssen(1969)onderscheidendevolgendesoortenindicatoren:
• Herhalingvaneenwoorduitdestaminhetjuistealternatief.
• Eenofmeervande(foute)alternatievensluitengrammaticaaloflogischnietaanopdestamvandevraag.
• Een(ofmeer)vandealternatievenvandevraagis,logischgezien,volstrektnietmogelijkwaardoorhetzondermeerdoordeleerlinguitgeschakeldkanworden.
109 Het construeren van gesloten vragen < Inhoud Index >
• Hetgoedealternatiefisteherkennendoordathetveellangerofkorterisdandeandere. Eenvoorbeeld:
Eenvandebelangrijkstebezwarenvanstemplicht(inplaatsvanstemrecht)isdathet A duurderis. B ertoeleidtdatmeermensenonnadenkendhunstemuitbrengen,alleenmaaromte
voldoenaandewettelijkeverplichting. C moeilijkuitvoerbaaris. D vreemdelingenervanweerhoudtstaatsburgertewillenworden.
• Deonjuistealternatievenoverlappenelkaarofsluitenelkaarin.Eenvoorbeeld:
Katoenkomtvaneen A dier B mineraal C plant D schaap
• Devraagkanopgelostwordenmetzeeralgemenekennis,terwijlhetdebedoelingwasomopgelosttewordenmetzeerspecifiekekennisvandegeleerdeleerstof.Eenvoorbeeld:
Debakermatvandedemocratieligtin A Carthago B Griekenland C Frankrijk D Uruguay
RelevantieMetrelevantiebedoelenwedatdevragenrelevantmoetenzijnvoorwatwewillenmeten.Relevantevragenzijnvragendiebetrekkinghebbenop:• deleerstofdiedeleerlingenmoetenbeheersen;• dekennishandelingen(kennis,inzicht,toepassing,etc.)diedeleerlingenmoetenbeheersen;• dehoofdzakenvandeleerstof.
ObjectiviteitEenvraagwordtalsobjectiefgezienalsverschillendedeskundigenhetzelfdealternatiefalshetgoedeantwoordopdievraagaanwijzen.Objectiviteitheeftindezebetekenisnietstemakenmetdeinhoudvandevraag,diekan,enzalsoms,zeersubjectiefzijn.Vanproblemenmetdeobjectiviteitisonderanderesprakeindevolgendegevallen:• Alsdeskundigenverschillenoverhetgoedeantwoord.Alsdathetgevalis,ishetaanteraden
omdevraagmaartelatenvervallenomdatuitervaringblijktdatherstelwerkzaamhedenaandevraagmeestalniethetgewensteeffecthebben.
• Alseronbedoeldmeeralternatievenjuistzijndieookallealsjuistwordenaangeduiddoordeskundigen.
• Alsvolgensdedeskundigenhetgoedeantwoordernietbijstaat.
110 Cito | Toetsen op School < Inhoud Index >
• Alsergevraagdwordtnaardemeningvaneenleerling.Vragenals‘Watvindjijvan...?’of ‘Watzoujijdoenals...?’zijninprincipenooitobjectiefeniederantwoordisjuist.
EfficiëntieEenvraagisefficiëntwanneerdevraagrelevanteinformatieoverdeleerlingverschaftendetijddiedeleerlingnodigheeftomdevraagtekunnenoplossenkortis.Minderefficiëntzijnvragenwaarbij:• ersprakeisvannodeloosingewikkeldezinsconstructies;• deinleidingvandevraagtelangis;• woordenwordengebruiktwaarvannietverwachtmagwordendatleerlingendiekennen;• deaansluitingtussendestamenéénofmeeralternatieventaalkundignietcorrectis;• ersprakeisvanoverbodigeinformatie;• eenontkenningvoorkomtdienietduidelijkalszodanigaangegevenis;• dubbeleontkenningenvoorkomen.
AfbeeldingenHetgebruikvanafbeeldingenkaninbepaaldegevallenzinvollerzijndanalleenomschrijvingen.Defunctionaliteitvandeafbeeldingdientvooroptestaanwaarbijeropgeletmoetwordendat:• hetgebruikvanplaatjesengrafiekenzinvolis,datwilzeggendatzenoodzakelijkzijnvoor
eengoedbegripvandevraagofvoordebeantwoordingervan;• deplaatjes,grafiekenendergelijkeduidelijkzijn;• detekeningencorrectzijn;• detoelichtingbijdeafbeeldingenduidelijk,kortenhelderis.
PresentatieEengoedelay-outvantoetsmateriaaliseenbelangrijkerandvoorwaardevoorhetmakenvaneentoets.Delay-outisnietfunctioneelals:• devragennietduidelijkvanelkaarteonderscheidenzijn;• denummeringvandevragennietinzichtelijkis;• deverwijzingindevraagnaareentekstofafbeeldingnietjuistis;• hetgebruiktelettertypemoeilijkleesbaaroftekleinis.
7 H
et construeren van open vragen
7 Het construeren van open vragen
112 Cito | Toetsen op School < Inhoud Index >
7 Hetconstruerenvanopen vragen
Tom Erkens
Dithoofdstukgaatoveropenvragen,datwilzeggenvragen,takenenopdrachtenwaarbijdeleerlingzelfhetantwoordmoetformuleren.Eerstwordendeverschillendesoortenopenvragenendevoordelenennadelenvanopenvragenbehandeld.Daarnawordtingegaanophetconstructieprocesvanopenvragen.Eenaparteparagraafisgewijdaandeproblemendiezichvoordoenbijhetcorrigerenvanopenvragenendemogelijkeoplossingenvoordezeproblemen.
Opdiverseplaatseninhethoofdstukstaantipsdienuttigkunnenzijnbijhetconstruerenvanopenvragen.Aanheteindevanhethoofdstukvindtmeneenchecklistdiegebruiktkanwordenbijhetsamenstellen,beoordelenenredigerenvanopenvragen.
7.1 Soorten open vragen
Openvragenzijnvragenwaarbijleerlingenzelfhetantwoordmoetenformuleren.Datantwoordkaninlengtevariërenvanéénwoordofenkelewoordentoteenvolledigbetoog.Decorrectievanopenvragendientdoor(vak)deskundigentegebeuren.Deopenvraagwordtinhetonderwijsveelgebruikt.Eendocentsteltbijvoorbeeldopenvragentijdenshetonderwijs-leergesprek,tijdensmondelingeofschriftelijkeoverhoringen,alsonderdeelvanproefwerkenenbijtoetsenofexamens.Indecentraleexamensvanvmbo,havoenvwozijndemeestevragenopenvragen.
Deopenvraagheeftweliswaarvoordelen,zieparagraaf7.2,maargeeftookproblemendiedoorgaanspaswordenontdekttijdensofnadeafnamevandetoets.Deproblemenzijnvooreennietonbelangrijkdeelterugtevoerentotkwestiesdiemetformulerentemakenhebben.Metanderewoorden:hetgaatveelalomtaalproblemen.Eennietjuistofnietvolledigjuistgeformuleerdevraagleverteennietverwachtofgewenstantwoordopvandeleerlingenenveroorzaaktdaardoorproblemenbijdebeoordeling.
Openvragenzijnbijuitstekgeschiktomhogerecognitievevaardighedentetoetsen.Datbetreffenvaardighedenalstoepassen,analyseren,synthetiserenenevalueren.IndeNederlandseonderwijspraktijkzienweechterdatopenvragenookgebruiktwordenvoorhettoetsenvanfeitenkennis.Menkanzichafvragenofopenvragendaarvoorgebruiktmoetenworden.Hetisgeblekendatfeitenkennisopeenveelefficiëntereenbetrouwbaarderewijzemetbehulpvangeslotenvragenkanwordenbevraagd.Inhoofdstuk2zagenweechterdatbijdekeuzevooreenbepaaldevraagvormsomsandereoverwegingeneenrolkunnenspelen.
Openvragenkomenindiversevormenvoor.Erisdaarbijeenonderscheidtemakennaardelengtevanhetantwoord,ennaardebenodigdetijdvoordebeantwoording.
113 Het construeren van open vragen < Inhoud Index >
In- en aanvul vragenBijditsoortvragenwordtvanleerlingenverwachtdatzijeenonvolledigezin,berekeningoftekeningcompleteren.Lezenenbeantwoordenvaneendergelijkevraagkostweinigtijd.
Voorbeeldenvaneenin-enaanvulvraagzijn:
DelangsteriviervanEuropaisde...
Demoordop...vormdededirecteaanleidingtotdeEersteWereldoorlog.
Kort-antwoord vragen Opkort-antwoordvragenmoetmeteencitaat,metenkelewoorden,eenenkelvoudigezin,eengetal,een(eenvoudige)tekeningofformulewordengeantwoord.Detijdvoorhetlezenendebeantwoordingzalmeestalnietmeerdaneenminuutvergen.
Eenvoorbeeldvaneenkort-antwoordvraag,gesteldaandehandvaneencontext,is:
Vanwelkevormvanwerkloosheidishiersprake?
Lang-antwoord vragen Leerlingendienenlang-antwoordvragentebeantwoordenmetsamenhangendezinnen. Ookeentoelichting,eengecompliceerdeberekening,tekeningofeenbewijsbestaandeuitverschillendestappen,zijnvoorbeeldenvanantwoordmogelijkheden.Voorhetlezenenbeantwoordenvaneendergelijkevraagisalgauwdrietotvijfminutennodig.
Eenvoorbeeldvaneenlang-antwoordvraag,gesteldaandehandvaneencontext,is:
Leguitwaaromhetvoorsommigebedrijveneconomischgezienvoordeligkanzijnafvalopnieuwtegebruiken.
Opstel en betoog vragenTypischeantwoordenopopstelenbetoogvragenzijn:eensamenhangendetekst,gestructureerdbijvoorbeeldnaarinleiding,middenenslot,ofeenzeergedetailleerdetekeningofberekeningdiebeidealseenafgerondgeheelwordenbeschouwd.Hetlezenenantwoordenvaneendergelijkevraagiseentijdrovendeaangelegenheid.Vijftientotdertigminutenvooreendergelijkeopdrachtisnietongebruikelijk.
114 Cito | Toetsen op School < Inhoud Index >
Eenvoorbeeldvaneenopstelvraagis:
DeheerAndersreageerdemeteeningezondenbriefopeenartikelinHetHollandsDagbladoverbijbaantjesvoorscholieren.Zijnbriefbegonalsvolgt:
‘InuwkrantverscheenonlangseenartikelwaarindeministervanOnderwijs,CultuurenWetenschappenzijnbezwarentegenbijbaantjesvanscholierenuiteenzet.HieronderwilikdevoordelenvanbijbaantjesvoorscholierenvoordeNederlandseeconomieuiteenzetten…’
Schrijfhetvervolgvandebrief.
Indebriefmoetendevolgendeaspectenaandeordekomen: a debijdragevanbijbaantjesvanscholierenaanhetterugdringenvande
frictiewerkloosheidindetoekomst b hetmultipliereffectvandestijgendebestedingenvanscholieren
Openvragenkunnenookonderscheidenwordennaardeomvangvanhetantwoordendebenodigdeantwoordtijd.Veelalblijkenleerlingenmeertijdvoordebeantwoordingnodigtehebbendanwordtaangenomen.Degemiddeldeantwoordtijdopvragenstaatweergegeveninonderstaandetabel.
Vraagtype Beantwoordingstijd
Openvraag,antwoordvergtéénwoordofzin 1minuut
Openvraag,antwoordvergt1/4pagina-A4 5minuten
Openvraag,antwoordvergt1/2pagina-A4 10minuten
Openvraag,antwoordvergtéénpagina-A4 25minuten
Openvraag,antwoordvergttweepagina’s-A4 60minuten
7.2 Voordelen van open vragen
Sommigedoelstellingenzijnbetertetoetsenmetopenvragendanmetgeslotenvragen. Ditgeldtvoordoelenwaarbijoriginaliteitofcreativiteiteenrolspelen(bijvoorbeeldbijhetontwerpenvaneenonderzoeksopzet),bijdetoetsingvancomplexerevaardighedenofwanneerhettetoetsenkennisdomeinomvangrijkis.Datwilzeggen:
• Bijdebeantwoordingvaneenopenvraag(vooraldelang-antwoordvraag)hoevendeleerlingennietinhunvrijheidtewordenbeperkt.Bijdebeantwoordingkunnendeleerlingenvoldoendecreativiteitaandedagleggen.
Eenvoorbeeldvaneenvraagdiemetbehulpvantweebronnenmoetwordenbeantwoord,is:
Gebruikbron16(prent)en17(toespraak). IndeprentgeeftdetekenaarzijnmeningoverdetoespraakvanpresidentTruman.
Watisdemeningvandetekenaar? Ondersteunjeantwoorddoortweeelementenuitdeprentteverbindenmettweeelementenuitdetoespraak.
115 Het construeren van open vragen < Inhoud Index >
• Daarwaartaalvaardigheidaspectenbijdetoetsingeenrolspelen,verdientdeopenvraagdevoorkeurbovendegeslotenvraag.Deleerlingenkunnenimmersbijdebeantwoordingvanopenvragenproductiefgebruikmakenvandetaal.
Eenvoorbeeldvaneendergelijkevraagis:
MaakeengoedlopendesamenvattingincorrectNederlandsvanmaximaal200woordenvandetekst‘Deliefdetotzijnlandisiederaangeboren’.Zorgervoordatjesamenvattingbegrijpelijkisvooriemanddiedeoorspronkelijketekstnietkent.
Uitjesamenvattingmoetduidelijkworden: - welkeovereenkomstenerzijntussendeidentiteitvanhetgezinendenatie; - welkgevaarzichvoordoetophetniveauvandeidentiteitvandenatie; - welkefactorenditgevaarbeperkenenwaardoordezefactorenremmendwerken; - metwelkeredeneringkosmopolitismegeenalternatiefwordtgevondenvoorde
behoefteaaneennationaleidentiteit; - watwordtgeconcludeerdtenaanzienvanhettrotszijnopdeeigennationale
identiteit.
7.3 Nadelen van open vragen
• Voortaalzwakkeleerlingenleverenopenvragenextraproblemenop.Hetisnietaltijdduidelijkofeen‘foute’beantwoordingvandevraaguitsluitendtewijtenisaanonvoldoendekennisdanwel(mede)hetgevolgisvaneenonvoldoendetaalbeheersing.Metanderewoorden:isdetaalofdevakinhoudhetprobleem?
• Heteenduidigformulerenvanopenvragenislastig.Nieteenduidiggeformuleerdevragenzijnvoorleerlingenopmeermanierenteinterpreteren.Zodraleerlingenmoeteninterpreteren,zalhetdoordedocentgewensteofverwachteantwoordwaarschijnlijknietwordengegeven.
• Nieteenduidiggeformuleerdeopenvragenleverenbeoordelingsproblemenopomdatdeleerlingeneenanderantwoordgedragvertonendanwasbeoogd.
• Ookindiendevraageenduidigisgeformuleerd,kunnenverschillenontstaantussenbeoordelaars.Beoordelaarsdiebijvoorbeeldvanmeningverschillenoverhetjuisteantwoord.Ofeenbeoordelingvanééndocentdienietconsistentophetantwoordvaniedereleerlingwordttoegepast.
• Debeantwoordingvanopenvragenkostmeertijddandebeantwoordingvangeslotenvragen.Voorhetbeantwoordenvaneengeslotenvraagiseenminuutmeestalvoldoende.Hiervoorzagenwedat,afhankelijkvandevraagstelling,hetbeantwoordenvanopenvragenvaakveelmeertijdkost.Ditheeftnadeligegevolgenvoorhetaantalvragendat,gegevendebeschikbaretoetstijd,gesteldkanworden.
• Hetbeoordelenvandeantwoordenopopenvrageniszeerarbeidsintensief.
7.4 Constructieregels voor open vragen
Eenaantalproblemenmetopenvragenkunnenwordenvoorkomenindiendeconstructeurvandevragenzichhoudtaaneenaantalregels.
Regel 1: Formuleer bij open vragen eerst het modelantwoord en vervolgens de vraagEenvraagkanuiteenlopendeantwoordenuitlokkendiestukvoorstukteverdedigenzijn.
116 Cito | Toetsen op School < Inhoud Index >
Ditkomtomdatdeantwoordenterugzijntevoerenopuiteenlopendeinterpretatiesvandevraag.Hetprobleemwordtvoorkomendoorandersomtewerktegaan.Formuleereersthetwenselijkeantwoord,hetzogenoemdemodelantwoord,endanpasdebijbehorendevraag.
Eenvoorbeeldvaneendergelijkevraagis:
Bedenkeenredenwaaromeenpolitiemanofvrouwdiezijnofhaarwerkdoet,tochvoor eenrechtermoetkunnenverklarenwaaromhijofzijgeweldheeftgebruikt.
Regel 2: Voeg zo nodig antwoordrestricties aan de vraag toeEenanderprobleemdatzichvoordoet,isdatleerlingeninhunantwoorduitvoerigerdanwelbeknopterzijndandedocentverwacht.Ditgebeurtvooralbijvragenwaarbijdedocentgeenofonvoldoendeantwoordrestrictiesvoordeleerlingenheeftgeformuleerd,zoalshoeveelvoorbeeldenmoetenerwordengegeven,uithoeveelwoordenhetantwoordmaximaalmagbestaan,enz.
Eenvoorbeeldvaneendergelijkevraagis:
Erzijnmeerdereredenenomalcoholofdrugstegaangebruiken.Noemerenkele.
Regel 3: Geef bij iedere toets(deel)vraag aan hoeveel punten kunnen worden behaaldLeerlingenzijnnietaltijdinstaateeninschattingtemakenvanhetrelatievebelangvandevraagrespectievelijkdevraagonderdelen.Hierdoorkomthetvoordatleerlingenaanbepaaldetoetsvragenofvraagonderdelendieslechtseenbeperktaantalscorepuntenopleveren,relatiefveeltijdbesteden.
Regel 4: Ontwikkel open vragen samen met collega’s Bijhetformulerenvaneenopenvraagrealiserendocentenzichnietaltijddatleerlingeneenbepaaldemaniervanlezenhebben.Zodoendezijndocentenzichnietbewustvandeveleinterpretatiesdiemogelijkzijn.
Hetvolgende,aandeexamenpraktijkontleendevoorbeeld,isinditverbandillustratief. Devraagluidde:
WaarombepaalthetKNMIelkuurdetemperatuuropeengrootaantalmeetpunten?
Bijdecorrectievandezevraagsignaleerdendocentenverschillendeantwoorden.Dieantwoordenblekenafhankelijktezijnvandewijzewaaropleerlingendevraaghaddengelezen:
• Nadrukopwaarom:datlevertnuttigeinformatieopvoorboerenentuinders.• NadrukopKNMI:datbehoorttotdetakenvandatinstituut.• Nadrukopelkuur:datleverteengroterebetrouwbaarheidvandemetingopinvergelijking
meteenkleineraantalmeetmomenten.• Nadrukoptemperatuur:voorhetdoenvaneengoedeweersvoorspellingzijntemperatuur-
gegevensonmisbaar.• Nadrukopeengrootaantalmeetpunten:temperaturenkunnenvanplaatstotplaatsnogal
verschillen.
117 Het construeren van open vragen < Inhoud Index >
Hetprobleemmetdezevraaghadwaarschijnlijkvoorkomenkunnenwordendoordevraagtelatenbeoordelenenbeantwoordendoorverschillendedeskundigen/docenten,ookdocentenvanbuitenhetvakgebied.Hetissteedsweerverrassendomtezienhoeverschillendedeskundigen/docentendevraaginterpreteren.Laatdocentendevragenbeantwoordenzonderdatzijbeschikkenovereenmodelantwoord.Verzamelhunantwoordeneneventueleop-enaanmerkingen.Gebruikdezeinformatieomdevraagenhetantwoordbijtestellen.
Regel 5: Splits de vraag op in een informatiegedeelte en een vraaggedeelteHetprobleemhiervoorhadookvoorkomenkunnenwordendoordevraagtesplitsenineeninformatiegedeelteeneenvraaggedeelte.
ZozoudeKNMI-vraagalsvolgtkunnenwordenopgesplitst:
HetKNMIbepaaltelkuurdetemperatuurvaneengrootaantalmeetpunten. a Geeféénredenwaaromdatelkuurgebeurt. b Geeféénredenwaaromdatopeengrootaantalmeetpuntengebeurt.
Regel 6: Hanteer concrete opdrachten en vragen en vermijd formuleringen die het gewenste antwoord niet oproepenSommigevraagformuleringenleidentotongewenstedanwelontwijkendeantwoordenomdatzeonduidelijkeantwoordinstructiesbevatteneneenconcreteopdrachtontbreekt.
Voorbeeldenvandergelijkeformuleringenzijn:
‘Probeereensuitteleggenwaarom…’ Devraagsuggereerteenpogingmaarhetgaatomdeuitleg.
‘Kunjeaangevenopwelkemanier…’ Devraagsuggereertdatdeleerlingenietskunnenaangevenmaarhetgaateromof
leerlingendemanieraangeven.
‘Zaldemaatregelleidentoteenstijgingofeendaling…’ Leerlingenvolstaanmethetantwoord‘ja’omdatbeideontwikkelingenimmers
mogelijkzijn.
Regel 7: Kom tot afspraken voor wat betreft vraagformuleringen: gebruik een beperkt aantal vraagformuleringen en geef aan vraagformuleringen steeds eenzelfde betekenisIndepraktijkwordenvoorhetzelfdetypeopenvragenverschillendeformuleringengebruikt.Dezeverschillendeformuleringenkunnenbijleerlingeneen,nietbeoogd,verschillendantwoordgedragoproepen.Enerkunnenzichproblemenvoordoenalsbepaaldeformuleringennietsteedsconsequentgebruiktworden.Ookisuitonderzoekgeblekendatnietalleformuleringenhetgewenstegedragvanleerlingendaadwerkelijkoproepen.
Voorleerlingenishetprettigalszijbijeenbepaaldeopdracht-ofvraagvormbijallevakkeneenzelfdesoortantwoordmoetengeven.Hetisdaaromgoedtekomentoteengemeenschappelijkelijstvanvraagformuleringen.Doorhethanterenvaneendergelijkelijstontstaatervoordeleerlingenduidelijkheidoverhetpervraagvereisteantwoord.Alsvoorbeeldvaneendergelijkeafspraakgevenwehiernahetoverzichtvanformuleringendatbijdecentraleexamensvmbo,havoenvwowordtgebruikt:
118 Cito | Toetsen op School < Inhoud Index >
Standaardformuleringen voor kort-antwoord vragen
Formulering Toelichting en/of voorbeeld
Noem/schrijf
op
Tegebruikenbijeenvraagnaarietsconcreetszoalstermijn,plaats,gebeurtenis,kenmerk,aspect.
Voorbeeld:
• Noemtweegasvormigeafvalproductenvanelektriciteitscentralesdie,zondertegenmaatregelen,de
voornaamstebijdrageleverenaandeverzuringvanhetmilieu.
Geef(aan) Ditkaneenkort-oflang-antwoordvraagzijn,moetdusnadergespecificeerdworden.Alskort-
antwoordvraagtegebruikenvoorconcretezaken.
Voorbeeld:
• Geefdeformulevandeprijselasticiteitvandevraag.
• Geeféénvoorbeeldvaneenwinkelketendieaan…voldoet.
• Geefaanofdevolgendebeweringenjuistzijnofonjuist.
Hoe Tegebruikenbijkwantitatievevragenenvragennaarconcretezakenofverschijnselen.
Voorbeeld:
•Hoeveel%vandepakkenzalminderdan1kgbevatten?
• Hoegrootisdeafstandvan…naar…?
• Hoevaak…?
• Hoelangduurt…?
•Ineenwinkelwordenschappenopdrieverschillendehoogtenonderscheiden.Bukhoogteen
grijphoogtezijnertweevan.Hoeheetdederdehoogte?
Wie Tegebruikenbijreproductie-ofidentificatievragen.
Voorbeeld:
• Wieheefthetbuskruituitgevonden?
Wat • WatisdebetekenisvandeafkortingAIVD?Of:WaarvanisAIVDeenafkorting?
• Watwordtverstaanonderarbeidsproductiviteit?
Waar Tegebruikenbijeenconcreteplaatsaanduiding.
Voorbeeld:
• Waarheeft…plaatsgevonden?
Welke Tegebruikenbijeenvraagnaareenconcreetobjectofconcretecategorie.
Voorbeeld:
• Welkedriemuziekinstrumentenhoorjeachtereenvolgens?
• InwelkevierdelenvanNederlandisvolgensdekaartdevervuilingdoorammoniakuitstoothet
grootst?
• Voorwelkewaardevan…geldt…?
Wanneer • WanneervonddeTweedeWereldoorlogplaats?
Arceer • Arceerophetuitwerkbladhetgebieddatonderwaterlooptalsdedijkdoorbreekt.
Journaliseer Tegebruikenvoorhetdebiterenencrediterenvanbedrageningrootboekrekeningen.
Voorbeeld:
• XenYbrengenhunzakenbijeenineenVOF.JournaliseerdeinbrengvanX.
Citeer • Citeerheteersteenlaatstewoordvandezinwaarindatstaat.
119 Het construeren van open vragen < Inhoud Index >
Standaardformuleringen voor lang-antwoord vragen
Formulering Toelichting en/of voorbeeld
Geef(aan) Kankort-oflang-antwoordvraagzijn,moetdusnadergespecificeerdworden.
Alslang-antwoordvraagtegebruikenbijeenvraagnaarietsabstractszoalsreden
ofoorzaak(dusniet:waarom…).
Voorbeeld:
• Geefdeoorzaakvoorhetontstaanvanconjuncturelewerkloosheid.
• Geefeenverklaringvoorhetontstaanvan….
Geefdeberekening
van
Bijdezevraagmoetookdeberekeningzelfgegevenenbeoordeeldworden.
Voorbeeld:
• Geefdeberekeningvandetotaleconstantekostenperjaar.
Laatmeteen
berekeningzien
Tegebruikenwanneerdeuitkomstvandeberekeningalindevraagstaataangegeven.
Voorbeeld:
• Laatmeteenberekeningziendatdeprijs€10,25is.
Stelop/samen Tegebruikenbijhetopstellenvanvergelijkingen.
Voorbeeld:
• Steldebalanssamen.
Leidaf Tegebruikenomopbasisvanverstrektegegevenshetgevraagdeafteleiden.
Voorbeeld:
• Leiduithetmodeldehoogtevanhetnationaleinkomenafwaarbijsprakeisvan
inkomensevenwicht.
Onderzoek Tegebruikenvoorhetonderzoekenvaneenserieeigenschappenvaneenfunctieofvoor
beweringen,o.a.indestatistiek.
Voorbeeld:
• Onderzoekofdesteekproefgrootgenoegisomdevereistenauwkeurigheidtebereiken.
Bewijs Tegebruikenwanneeropdeductievewijzebewezenmoetwordendateenbeweringwaaris
doordezeteherleidentotdefinities,stellingenofaxioma’s.
Voorbeeld:
• Bewijsdatdesteekproefgrootgenoegisomdevereistenauwkeurigheidtebereiken.
Toonaan Tegebruikenwanneereenbeweringaannemelijkmoetwordengemaaktzonderdeductieve
redenering.
Voorbeeld:
• Gegevenis….Toonaandatbijhetinkomensevenwichtsprakeisvaneentekortopde
overheidsbegroting.
Leguit(waarom) Tegebruikenwanneereenredeneringofargumentatiegegevenmoetwordendieuitenkele
afzonderlijkedenkstappenbestaat.
Voorbeeld:
• Leguitwaaromhetvoorsommigebedrijveneconomischgezienvoordeligkanzijnomafval
opnieuwtegebruiken.
Zie vervolg tabel op volgende pagina.
120 Cito | Toetsen op School < Inhoud Index >
Formulering Toelichting en/of voorbeeld
Beschrijf Bij‘beschrijf’moeteenantwoordrestrictiewordenopgenomen.Inhetvolgendevoorbeeldis
deantwoordrestrictie:‘ineengesloteneconomiezonderoverheid’.
Voorbeeld:
• Beschrijfdewerkingvandemultiplierineengesloteneconomiezonderoverheid.
Beredeneer
Beargumenteer
Beoordeel/geefeen
beoordeling
Vatsamen
Geefeenverklaring
voor
DezestandaardformuleringenkomenvoorindeexamensNederlands,enwordenvaak
gevolgddooreenaanwijzingoverdelengtevanhetantwoord.
Voorbeeld:
• Beredeneerdatvoorlichtingoverdegevarenvanrokeneenaverechtseffectkanhebben.
Gebruikmaximaal40woorden.
• Deschrijvervanfragment2maakteenverwijtnaardeschrijvervanfragment1.
Beoordeelofditverwijtterechtofnietterechtis.Geefbijjestandpuntéénopdetekst
gebaseerdargument.
• MaakeensamenvattingincorrectNederlandsvanmaximaal180woordenvandetekst…
Zorgervoordatdezesamenvattingbegrijpelijkisvooriemanddiedeoorspronkelijketekst
nietkent.
Regel 8: Formuleer de vraag zodanig dat leerlingen de vraag taalkundig begrijpen. Laat de conceptvragen zo nodig beoordelen door ter zake deskundigen.Indepraktijkiserineenaantalgevallensprakevangeringeretoetsprestatiesvanallochtoneenvrouwelijkeleerlingen.Uitonderzoekisgeblekendatsommigeopgavenmoeilijkerwarenvoorallochtonedanvoorautochtoneleerlingen.Ditalsgevolgvanhunanderecultureleenlinguïstischeachtergrond.Ookbleekdatsommigeopgavenmoeilijkerwarenvoormeisjesdanvoorjongensalsgevolgvanhunandereinteressesenachtergrondkennis.Hetverschijnseldateenverschilinmoeilijkheidsgraadvaneenopgavevoorverschillendegroepenleerlingenveroorzaaktwordtdooraspectenvandeopgavedienietrelevantzijnvoorwatdeopgavebeoogttemeten,wordtindetestliteratuur‘itembias’genoemd.ZiedewebsitevanCitowaaroverditonderwerpeenpublicatievanK.BügelenP.F.Sanders(1998)kanwordengedownload,getiteld‘Richtlijnenvoordeontwikkelingvanonpartijdigetoetsen’,www.cito.nl>Onderzoekenwetenschap>Psychometrie>Richtlijnenontwikkelingtoetsen.
Allochtoneleerlingenofleerlingendienietergtaalvaardigzijn,mogennietbenadeeldwordendooronnodigcomplexofaltezeercultuurgebondentaalgebruikineentoets.Menmoetzicheraltijdbewustvanzijndateronbedoeldeenongewenstecultureleaspectengetoetstkunnenworden.Datgevaardreigtvooralalsermeerderecultureninhetspelzijn.Toetsconstructeursmoetenvoorkomendatleerlingenfoutenmakendiehetgevolgzijnvantemoeilijkoftevaagtaalgebruik.Cultuurgebondenverwijzingen,(te)langezinnenenteksten,figuurlijktaalgebruikenhetgebruikvanverwijswoordenleverenbijmindertaalvaardigeleerlingenproblemenop.Hettaalgebruikmoetechterookweernietzoversimpeldwordendathetinhoudelijkeniveauvaneentoetsofexamenomlaaggaat.
Regel 9: Gebruik contexten die aansluiten op het algemene niveau dat van de leerlingen verwacht mag worden. Let daarbij in het bijzonder op de aansluiting van het materiaal bij de voorkennis en het taalniveau van de doelgroep. Gebruik geen contexten en voorbeelden die overwegend inspelen op de belangstelling en ervaring van bepaalde groepen leerlingen.Bijveelopenvragenwordendevragengesteldnaaraanleidingvaneencontext,bijvoorbeeldeensituatie,eentekst,afbeelding,cartoon,tekeningofadvertentie.Voordecontextgeldtdatdezefunctioneelmoetzijnmetbetrekkingtotwatwewillentoetsen.Ookmoetdecontext(binnengrafischebeperkingen)inhoudelijkenquavormgevingovereenkomenmettekstenen
121 Het construeren van open vragen < Inhoud Index >
afbeeldingenzoalsmendezeinwerkelijkheidtegenkomt.Hetmagnietzozijndatdeleerlingenzonderzichindecontextteverdiependevraagkunnenmaken.Ookdientvoorkomentewordendatdecontextofhetvoorbeeldoverwegendaansluitenbijdevoorkennisvaneenbepaaldegroepleerlingen,bijvoorbeelduitsluitendbijvrouwenofmannen.Wanneertoetsvragenoverwegendaansluitenbijdevoorkennis,ervaringenbelangstellingvansteedsdezelfdegroepleerlingen,wordtdezegroepbevoordeeldtenopzichtevananderegroepenleerlingen.
7.5 Verschillen bij de beoordeling van open vragen
Bijopenvragenwordteenzoobjectiefmogelijkebeoordelingnagestreefd.Hetisbelangrijkdatbeoordelaarsdeantwoordenvandeleerlingenzonauwkeurigmogelijkensteedsopgelijkewijzebeoordelen.Datverhoogtdebetrouwbaarheidvandetoets(ziehoofdstuk3).Uitdiverseonderzoekenblijktdaterindepraktijkgroteverschillenbestaantussendewijzewaaropdeantwoordenvanleerlingenoptoetsvragenwordenbeoordeeld.Debelangrijksteoorzakenvoordieverschillen,dezogehetenbeoordelaarseffecten,wordeninonderstaandeparagraafbesproken.Oplossingenomdezeverschillenteverminderenenhetgebruikvanhetcorrectie-voorschriftwordendaarnabesproken.
7.5.1 Verschillen tussen beoordelaarsWebesprekenhiernegenbeoordelaarseffectenbijdebeoordelingvanopenvragen.
Lage intra- en interbeoordelaarsovereenstemmingDebeoordelaardiehetzelfdeantwoordopeenlatertijdstipopnieuwbeoordeelt,bijvoorbeeldomdatleerlingenhebbengeprotesteerdtegendeuitslag,komtnogaleenstoteenanderoordeel.Wesprekendanvaneengeringeintrabeoordelaarsovereenstemming.Vaneengeringeinterbeoordelaarsovereenstemmingissprakeindientweeofmeerbeoordelaarsonafhankelijkvanelkaartotaanzienlijkverschillendebeoordelingenvandezelfdetoetsvragenkomen(zieookhoofdstuk3). Strengheid en mildheidHiermeebedoelenwedeneigingvanbeoordelaarsomconsequentstrengofmildtebeoordelen.
NormverschuivingMetnormverschuivingbedoelenwedeneigingvandebeoordelaaromdebeoordelingenaantepassenaanhetgemiddeldeniveauvandegroepleerlingen.Zokanhetvoorkomendateenaanvankelijkstrengebeoordelaartijdenshetbeoordelengaandewegmilderwordt.
Centrale tendentie Hiervanissprakealsbeoordelaarsgeenextreemhogeoflagescoresgevenmaarvoornamelijkhetmiddenvandebeoordelingsschaalgebruiken.Zogevensommigedocentennooitcijfershogerdan8oflagerdan4.
Sequentie-effectHiervanissprakealsdebeoordelingbeïnvloedwordtdoorvoorafgaandebeoordelingen.Beoordelaarshebbendeneigingomnaeen(groot)aantalslechteprestatieseenrelatiefgoedeprestatieovertewaarderen.Hetomgekeerde,naeen(groot)aantalgoedeprestatieseenrelatiefslechteprestatieonderwaarderen,komtookvoor.
122 Cito | Toetsen op School < Inhoud Index >
Contaminatie-effectIndienbeoordelaarsaandebeoordelingenvandeleerlingennoganderefunctiestoekennendanlouterdebeoordelingvandeprestatiesvandeleerlingen,sprekenwevanhetcontaminatie-effect.Zokunnendocentenderesultatenvan‘hun’leerlingenbeschouwenalseenmaatstafvoordekwaliteitvanhunonderwijsenhierbijhetgevenvanscoresrekeningmeehouden.
Halo-effectHiermeebedoelenwedeneigingvanbeoordelaarsomalsgevolgvaneenpositievebeoordelingvaneerderevragen/toetsenvanleerlingen,ookanderevragen/toetsenvandieleerlingenpositieftebeoordelen.
Horn-effectHiermeebedoelenwedeneigingvanbeoordelaarsomalsgevolgvaneennegatievebeoordelingvaneerderevragen/toetsenvanleerlingen,ookanderevragen/toetsenvandieleerlingennegatieftebeoordelen.
Signifisch effectHiervanissprakealsbeoordelaarsdebeoordelaarstaakeigenzinnig,datwilzeggenandersdananderebeoordelaars,opvattenZokaneendocentdiebijdebeoordelingvaneenopsteluitsluitendopinhoudenopbouwleteenopsteldaardoorveelhogerwaarderendananderedocentendieookandereaspectenvanhetopstelbeoordelen.
7.5.2 Oplossingen voor beoordelaarseffecten Hetiseenutopietegelovendatdesituatiezoukunnenontstaandatbeoordelaarsvolledigmetelkaarovereenstemmen.Tegendeongewenstebeoordelaarseffectenzijnechtereenaantaloplossingenvoorhandendiedeeffectenenigszinstenietkunnendoen:
• Omnormverschuivingtevoorkomen,moetnietsteedshetwerkvandezelfdeleerlingenalseerstenagekekenworden.Aanbevolenwordtomdevolgordevanbeoordelenregelmatigtewijzigen.
• Hetsequentie-effectkanbeperktwordendoorpervraaginplaatsvanperleerlingdeantwoordenvandeleerlingentebeoordelen.
• Hetcontaminatie-effectismoeilijkoplosbaarzolangergeenscheidingisaangebrachttussendocerenenbeoordelen.Intercollegiaaluitwisselenvanbeoordelingsactiviteiten,docentAbeoordeeltdetoetsvanleerlingenvandocentB,enandersom,biedteenoplossing.
• Hethalo-effectkanbeperktwordendoordetoetsanoniemnatekijken.Aanleerlingenwordtgevraagdomniethunnaamopdetoetstezettenmaarhunidentificatienummer.Hethalo-effectkaneveneenswordengematigddoorhetinschakelenvaneenonafhankelijketweedebeoordelaar.Eentweedebeoordelaarbeperktookhetcontaminatie-effect.Indieninplaatsvandeeigendocenteenbuitenstaanderalsbeoordelaaroptreedt,doenbeidegenoemdeeffectenzichnietvoor.Hetinzettenvaneentweedebeoordelaarzaldebeoordelingnietalleenduurdermakenmaarooklangerlatenduren.Ofeentweededanwelonafhankelijkebeoordelingechtnodigis,hangtafvandefunctievandetoets.Debetrouwbaarheidvansummatievetoetsenopgrondwaarvanwordtbepaaldofeenleerlingslaagtofzakt,danwelofeenleerlingwelofnietwordttoegelatentoteenvervolgstudie,moetuiteraardhogerzijndandievanformatievetoetsen.Dusvooralbijtoetsenwaarvandeuitslagvergaandegevolgenheeftvoordeleerling,iseenbetrouwbareuitspraakovereenvoldoendeofonvoldoendevangrootbelang.Hetisdaaromaantebevelenomdetoetsvanleerlingenmeteen toetsscore rond de zak/slaaggrensdooreentweedebeoordelaartelatennakijken.
123 Het construeren van open vragen < Inhoud Index >
7.5.3 CorrectievoorschriftWanneerbeoordelaarseencorrectievoorschrifthanteren,verkleintdatdeverschillentussenbeoordelaars.Eencorrectievoorschriftleidtertoedat(extreem)strengeen(extreem)mildebeoordelaarszichmatigen.Hetgebruikvaneendergelijkvoorschriftvoorkomtookdatdocentenverschillendecriteriahanterenbijdebeoordeling.
Eencorrectievoorschriftismeerdaneeneenvoudigechecklistaandehandwaarvandebeoordelaardeantwoordennaloopt.Eencorrectievoorschriftbevatalgemeneenvakspecifiekeregelsvoordebeoordelingenvoorbeeldenvanjuiste,gedeeltelijkjuisteen(voordehandliggende)onjuisteantwoorden.Ookbevathetmodelantwoorddemaximaaltebehalenscorepervraagen(waarzinvolenmogelijk)deverdelingvandezemaximumscoresindeelscores. Dealgemeneregelsgaaninopdewijzevanbeoordelenenhoedebeoordelaarmoetomgaanmetgedeeltelijkjuisteantwoordenenantwoordendienietinhetmodelantwoordvoorkomen,zoalsdoorwerkendefouten(d.w.z.eeneerdergemaaktefoutdiederestvanhetantwoordookfoutmaakt),identiekefoutenentaalfouten.Daarnaastkunnendealgemeneregelsenkeletipsbevattendiebeoordelaarseffectentegengaan.
7.6 Checklist
Wesluitendithoofdstukafmeteenchecklistdiegebruiktkanwordenbijdecontrolevanvragen.Diecontrolekangedaanwordendoordesamenstellervandetoetsofdooreencollegadiedetoetsscreent.Demeestevandegenoemdepuntenzijnookalbijhetonderdeeloverdeconstructieregelsbesproken.
124 Cito | Toetsen op School < Inhoud Index >
Checklist voor het samenstellen, beoordelen en redigeren van open vragen
Taalgebruik• Isdevraaggrammaticaaljuistgeformuleerd?• Bevatdevraagingewikkeldezinsconstructies?• Bevatdevraageendubbeleontkenning?• Bevatdevraagonnodigetussenvoegsels?• Isdevraagonnodignegatiefgesteld?• Kandeformuleringvandevraagaanleidinggeventotmisverstanden?• Kandevraagdooreenverschuivingvandeklemtooneenanderebetekeniskrijgen?
Informatie• Bevatdevraagvoldoendeinformatievoorbeantwoording?• Geeftdevraagvoldoendeinformatieoverdegewenstelengteenvormvanhet
antwoord?• Isduidelijkdateenantwoordmoetwordenverklaard/toegelicht?• Zijninformatieenprobleemstellingduidelijkgescheiden?
Relevantie• Kandevraagmetgebruikvananderedandebeoogdekenniswordenbeantwoord?• Suggereertdevraageenprobleemdatnietaandeordeis?• Bevatdevraagonbedoeldehintsvoordebeantwoording?• Isdemoeilijkheidsgraadvandevraagrespectievelijkvandegeheletoetsacceptabel?• Wordtdemoeilijkheidsgraadvandevraagonnodigverhoogddoorirrelevante
gegevens?
Context• Ishetgebruikvancontext(tekeningen,grafieken,teksten,afbeeldingen)functioneel?• Isdecontextduidelijkencorrectweergegeven?• Bevatdecontextirrelevanteinformatie?
Presentatie• Zijndevragenendevraagonderdelenduidelijkvanelkaarteonderscheiden?• Isdenummeringvandevragenlogischenoverzichtelijk?• Zijndeconventieswatbetreftspelling,symboolgebruik,interpunctie,e.d.inacht
genomen?• Zijndeverwijzingenindevraagnaarteksten,tekeningen,e.d.juist?
8 H
et construeren van praktijktoetsen
8 Het construeren van praktijktoetsen
126 Cito | Toetsen op School < Inhoud Index >
8 Hetconstruerenvanpraktijk-toetsen
Hans Kuhlemeier
Een praktijktoetsiseentoetswaarvandeopdrachteneenminofmeernatuurgetrouweweerspiegelingvormenvantakenofproblemenuithetdagelijkslevenofdelatereberoeps-praktijk.Overhetalgemeendoeteenpraktijktoetseenberoepoppraktischhandelen.Praktijktoetsenzijnvooralbruikbaarvoorhetvaststellenvancompetenties.Zestellendocenteninstaatomdekennis,vaardighedenenhoudingenvandeleerlingengeïntegreerdtetoetsen.Praktijktoetsendoeneensterkberoepopdebeoordelingsdeskundigheidvandedocent. Dehandelingenenproductenvandeleerlingenzijnmeestalnietobjectiefscoorbaar,maarmoetengeobserveerdenbeoordeeldworden.Daardoorisdekansgrootdatleerlingenmeteenvergelijkbareprestatiegeheelverschillendebeoordelingenkrijgenofdatverschillendedocentenaaneenzelfdeprestatieeenverschillendescoretoekennen.Metdeopkomstvancompetentie-gerichttoetsenheeftookdebeoordelingsschaalzijnintredegedaaninhetonderwijs. Eenbeoordelingsschaalisvaakhetmeestgeëigendemiddelomtoteenobjectievebeoordelingvaneencompetentietekomen.
Watdekenmerkenvanpraktijktoetsenzijn,besprekenweinparagraaf8.1.Hetontwikkelenvanpraktijktoetsenishetonderwerpvanparagraaf8.2eninparagraaf8.3besprekenwehetontwikkelenvanbeoordelingsschalen.Hethoofdstukbeoogtpraktischehandvatenaantereikendiebeginnendeenpraktiserendedocenteninstaatstellendecompetentiesvanleerlingenbetertebeoordelen.
8.1 Wat is een praktijktoets?
Erbestaanverschillendemeningenoverwatnupreciesondereenpraktijktoetsmoetwordenverstaan(Engels:performancetestofcompetence-basedtest).Ookinhetonderwijswordthetbegrippraktijktoetsopverschillendemanierengebruikt.Eenpraktijktoetswordtvaakomschrevendooraantegevenwathetnietis.Eenpraktijktoetsisgeenschriftelijketoetsmetmeerkeuzevragen.Enhetisookgeentoetsdiedeleerlingenvooreenprobleemsteltwaarvoormaarééngoedeoplossingbestaat.Watiseenpraktijktoetsdanwel?Alsmeneengrootaantalvoorbeeldenvanpraktijktoetsenbekijkt,blijkendezeeenaantalkenmerkengemeenschappelijktehebben.Dezeparagraafbegintmeteenbesprekingvandekenmerkenvaneenpraktijktoets,gevolgddooreenvoorbeeldvaneenpraktijktoets,eneindigtmetoverwegingenomalofnietvooreenpraktijktoetstekiezen.
8.1.1 Kenmerken van een praktijktoetsDertienkenmerkendieeenpraktijktoetsinmeerofminderematekanbezitten.
Open vraag- of probleemstellingKenmerkendvooreenpraktijktoetsisdeopenheidvandevraag-ofprobleemstelling.Erzijnmeergoedeantwoordenofoplossingenmogelijk.Deleerlingenmoetenzelfietsbedenken,ontwerpen,onderzoekenofpresentereninplaatsvanhet(meest)juisteantwoordtekiezenuit
127 Het construeren van praktijktoetsen < Inhoud Index >
eenaantalaangebodenalternatieven.Hetuitbeeldenvaneenmuzikaalfragmentdoormiddelvanbewegingofdansishiervaneentreffendvoorbeeld.
Authentiek Devraag-enprobleemstellingzijnrealistischenauthentiek.Deopdrachtenineenpraktijktoetshebbeneengroteovereenkomstmettakenofproblemeninhetalledaagselevenofdelatereberoepspraktijk.Ookdecriteriawaaraandeprestatievandeleerlingmoetvoldoen,kunnenauthentiekzijnindezindatzegelijkenisvertonenmetdeeisendieookgeldeninalledaagsesituatiesenindewereldvanarbeidenberoep.EenbekendvoorbeeldvaneenauthentiekepraktijktoetsishetrijexamenvanhetCentraalBureauRijvaardigheidsbewijzen(CBR).
Integraal onderdeel van het leerprocesEenpraktijktoetsisvaakeenintegraalonderdeelvanhetonderwijsleerproces.Detoetsiserdannietalleenomwillevandetoetsing,maarookomdeleerlingenwaardevolleleerervaringenoptelatendoen.Schriftelijketoetsenenproefwerkenwordenmeestalafgenomenterafsluitingvaneenserielessen.Ineenpraktijktoetsvormeninstructie,oefeningentoetsingechterééngeheel.Eenpraktijktoetsismeerdanalleenmaareenmiddelomdeprestatiesvandeleerlingenvasttestellen.Tijdensdetoetsingkunnenleerlingeneenschataanleerervaringenopdoendiebijdragenaanhetbereikenvanleerdoelen.
Langere toetsduur Eenschriftelijketoetsofproefwerkneemthooguitéénoftweelesureninbeslag.Hetbeantwoordenvaneenmeerkeuzevraagkostmeestalnietmeerdanéénminuut.Eenpraktijk-toetsduurtvaakmeerdanéénlesuur.Hetmakenvandeopdrachtenkanzichzelfsuitstrekkenovereenperiodevanmeerderewekentotzelfsmaanden.Leerlingenkrijgendaarbijvoldoendetijdomhunwerkteplannen,uittevoeren,verschillendebronnenteraadplegen,zichzelfteevaluerenenhunwerktereviseren.Eenbekendvoorbeeldvaneenpraktijktoetsishetzogehetenbeoordelingsportfolio.Datbevatondermeereenverzamelingvanhet(beste)werkvaneenleerlingovereenlangereperiode.Hiermeelaatdeleerlingzienhoecompetenthijofzijisenhoedekennis,vaardighedenenhoudingenzichindeloopvandetijdhebbenontwikkeld.Vaakbevateenportfolioookinformatieoverdeinzetvandeleerling.Voorbeeldenvanportfolio’szijndemapmettekeningenzoalswedieuithetkunstonderwijskennenenhetEuropeestaalportfoliovooropleidingenenbedrijven,ziewww.europeestaalportfolio.nl.
Complexe vaardighedenEenpraktijktoetsdoetvaakeenberoepopcomplexevaardighedendiehogeredenkprocessenvereisen.Daarbijverbindtdeleerlingeerderopgedanekennis,persoonlijkeervaringeneninteressesmetnieuweinformatie.Hiervankansprakezijnalseenleerlingietsontwerpt,eenprobleemoplost,eenonderzoekdoet,samenwerktofietspresenteert.Praktijktoetsenvormenhetmiddelbijuitstekomzogehetenhogereordevaardighedentetoetsen,zoalskritischdenken,problemenoplossenenICTkunnentoepassen.
Integratie van vakken of vaardighedenPraktijktoetsendoenvaakeenberoepopkennisenvaardighedenuitverschillendevakken. Ookmoetenleerlingendikwijlseenaantalvaardighedeninonderlingesamenhangtoepassen.Bijdetoetsingvanonderzoeksvaardighedenmoeteenleerlingbijvoorbeeldnietalleeneenaantaldeelvaardighedenineenbepaaldevolgordekunnenuitvoerenzoalseenonderzoeksvraagformuleren,eenhypotheseopstellen,eenonderzoeksopzetmaken,eenexperimentuitvoeren,observeren,conclusiestrekkenuitobservatieseneenverslagmaken.Deleerlingmoetaldezedeelvaardighedenookalseensamenhangendeactiviteitkunnentoepassen.Onderzoekdoenverondersteltoverigensnietalleenbeheersingenintegratievanvaardigheden.Deleerlingmoetookeenzekerematevannieuwsgierigheideneenpositieveonderzoekshoudingbezitten.
128 Cito | Toetsen op School < Inhoud Index >
Praktisch handelenDeuitvoeringvaneenpraktijktoetsvereistpraktischhandelen.Deleerlingen‘stekendehandenuitdemouwen’.Demanueleofmotorischecomponentisdaarbijessentieel.Aldoendeleertmenimmersvaakhetbest.Eenvoorbeeldvaneenechtepraktijktoetsishetmetselenvaneenbloembakwaarbijdeleerlingineenwerkplanningeenaantalwerkzaamhedenindejuistevolgordezet,debloembakopeenschaalvan1:10tekent,hetaantalbenodigdestenen,dehoeveelheidspecieendekostenberekent,preciesaangeeftopwelkeplaatsdeprofielenmoetenwordengeplaatst,samenmeteenklasgenooteengedeeltevandebloembakmetselt,eennacalculatiemaakteneenfotovanhetwerkstukneemt.
Samenwerking tussen leerlingenPraktijktoetsenwordenvaakuitgevoerddoorgroepjesleerlingen.Leerlingenoefenendaarbijallerleisamenwerkingsvaardigheden,zoalsnaarelkaarluisteren,metelkaarrekeninghouden,sameneenplanningmakenentakenverdelen.Dekwaliteitvandesamenwerkingvormteenintegraalonderdeelvandebeoordeling.EenvoorbeeldvaneenpraktijktoetsdiesamenwerkingvereistishetEHBO-examenterverkrijgingvanhetdiplomaJeugdEersteHulpB,zie www.ehbo.nl.TotdegeëxamineerdestofbehoortbijvoorbeeldeenbewusteloosslachtofferindestabielezijliggingleggeneniemanddiezichversliktenkelestevigestotentussendeschouderbladengevenenalsdatniethelptdehandgreepvanHeimlichtoepassen.
Meerdere opdrachtenVooreenbetrouwbarevaststellingvaneenpraktischevaardigheidzijnmeestalmeerderemetingennoodzakelijk.Vandaardateenpraktijktoetsdoorgaansuiteenaantalopdrachtenbestaat(Engels:performancetask).Deopdrachtenkunnendeleerlingenmeerofmindervrijlateninhetbepalenvandewerkwijze,debenodigdematerialenengereedschappen,hetuiteindelijkeproducten/ofdeverwerkings-ofpresentatievorm.Hiermeekandetoetsingwordenafgestemdopdebelangstelling,hetvaardigheidsniveauofdefavorieteleerstijlvandeleerlingen.
Beoordelingscriteria vooraf bekendBijeenpraktijktoetswordendeeisenwaaraandeprestatiesvandeleerlingenmoetenvoldoenvóórdeafnamevandetoetsbekendgemaaktenmetdeleerlingenbesproken.Leerlingenlerennamelijkmeeralszijwetenwathetleerdoelis,alszijwetenwatvoorbeeldenvangoedeenslechteprestatieszijnenalszijwetenaanwelkeeisenhunprestatiemoetvoldoen.
Zelfreflectie en zelfevaluatiePraktijktoetsenstimulerendeleerlingentotzelfreflectieenzelfevaluatie.Deleerlingoefentmetacognitievevaardighedenzoalshetkritischbeschouwenvaneigenwerk,hetzichbewustwordenvandetoegepasteactiesofhandelingenenhetherzienvaneigenwerkopgrondvanandermanscommentaar.
Voortgang vaststellenNaasthetaanbrengenvanfeitenkennisenvaardighedenstimuleerthetonderwijsdeontwikkelingvanuniverseleenbreedtoepasbarevaardighedenzoalskritischdenken,problemenoplossen,onderzoekdoen,ontwerpenensamenwerken.Praktijktoetsenzijnuitermategeschiktomdeontwikkelingvanditsoortvaardighedenovereenlangereperiodeinbeeldtebrengen.
Subjectieve beoordelingPraktijktoetsenzijnsterkafhankelijkvanmenselijkeoordelen.Beoordelaarsofdocentenmoetendeantwoorden,oplossingen,handelingenenproductenvandeleerlingenbeoordelen. Ditbetekentspecialeaandachtvoordeobjectiviteitvandebeoordelingdoorduidelijke
129 Het construeren van praktijktoetsen < Inhoud Index >
beoordelingsvoorschriften,hetinzettenvanonafhankelijkebeoordelaarsenhetverhogenvandedeskundigheidvandebeoordelaars.Hetverhogenvandevakinhoudelijkeenbeoordelings-technischedeskundigheidkanondermeerplaatsvindendoormiddelvantraining,intervisieenexternebeoordeling.
8.1.2 Voorbeeld van een praktijktoetsDeessentiëlekenmerkenvaneenpraktijktoetskunnenwehetbestetoelichtendoortweevoorbeeldenmetelkaartevergelijken:eentraditionele,meerschoolsestelopdrachteneenzogehetenfunctionele,meerauthentiekestelopdracht.BeideopdrachtenzijnafkomstiguitdepraktijkvanhetvakNederlandsinhetvoortgezetonderwijs.
Voorbeeld 1
Traditionele stelopdrachtSchrijfeenopsteloverdezinofonzinvanhuiswerk.Jehebtpreciesveertigminutendetijd.Jetijdgaatnuin.Succes!
Voorbeeld 2
Functionele stelopdrachtSchrijfeenartikeloverdezinenonzinvanhuiswerkvoordeschoolkrant.Jekrijgttweewekendetijd.Eerstgajenaardebibliotheekenkijkjeopinternet.Hebjevoldoendeinformatieverzameld?Schrijfdanthuiseenruweversievanjeartikel.Vervolgensbespreekjejouwconceptmettweeandereleerlingenuitjouwklas. Opbasisvanhuncommentaarschrijfjeeendefinitieveversie.Debeoordelingsschaalbevatdeeisenwaaraanjouwartikelmoetvoldoen.
Devergelijkingvandetweeopdrachtenlaatziendatbeideonmiskenbaareenberoepdoenopdestelvaardigheidvandeleerlingendatbeideontegenzeggelijkvoorbeeldenvanpraktijktoetsingzijn.Immers,inbeidegevallenisdevraag-ofprobleemstellingopenenzijnerverschillendeuitwerkingenmogelijk.Daarnaastdoenbeideopdrachteneenberoepopeencomplexevaardigheidwaarvandedocentdebeheersingsubjectiefmoetbeoordelen.Erzijnechterookverschillendiemakendatdefunctionelestelopdrachtmeerkenmerkenvaneenpraktijktoetsbezitdandetraditionelestelopdracht.Debelangrijksteverschillenkunnenweaandehandvandevolgendezeskenmerkenalsvolgtomschrijven. AuthentiekDefunctionelestelopdrachtomvathetschrijvenvaneenlevensechtartikelvoordeschoolkrant,terwijldeleerlingbijdetraditionelestelopdrachteenschoolsopstelvoordedocentNederlandsschrijft.Daarnaastoefentdeleerlingbijdefunctionelestelopdrachtmeerstappenvanhetschrijfproces,zoalsplannen,informatieverzamelen,analyseren,schrijven,evaluerenenreviseren.Deschrijfactiviteitenvertonendaardooreengroteregelijkenismetdievanprofessioneleschrijverszoalsjournalisten.
Meer toetstijdVoordefunctionelestelopdrachtkrijgendeleerlingentweewekendetijd,terwijldatbijdetraditionelestelopdrachtslechtsveertigminutenis.Ditmaaktdetweedeopdrachttevensrealistischerenauthentiekerdandeeerste.
130 Cito | Toetsen op School < Inhoud Index >
Integratie van vakken of vaardighedenDe traditionelestelopdrachtdoetinhoofdzaakeenberoepopschrijfvaardigheid,terwijldeleerlingindefunctionelestelopdrachtookanderevaardighedentoepast,zoalshetverwervenenverwerkenvaninformatie.Alvorensmetschrijventebeginnen,gaatdeleerlingimmerseerstnaardebibliotheekenverzameltinformatieophetinternet.
SamenwerkingDetraditionelestelopdrachtvoertdeleerlinggeheelzelfstandiguit,terwijldefunctioneleopdrachtgelegenheidbiedttotoverleg,intervisieensamenwerkingmetklasgenoten.
Criteria vooraf bekend Detraditionelestelopdrachtlaatdeleerlinginhetongewisseoverdeeisenwaaraanhetopstelmoetvoldoen.Bijdefunctionelestelopdrachtkrijgendeleerlingenechtereenbeoordelingsschaalaangereiktdieinformatieoverdebeoordelingscriteriabevat.Defunctionelestelopdrachtscheptdusvanafhetbeginduidelijkheidoverdekwaliteitseisenwaaraanhetschrijfproductmoetvoldoen.
Zelfreflectie en zelfevaluatieAndersdandetraditionelestelopdrachtstimuleertdefunctioneleopdrachthettoepassenvanmetacognitievevaardighedenzoalshetkritischbeschouwenvaneigenwerkenhetreviserenervanopgrondvanandermanscommentaar.
8.1.3 Wanneer een praktijktoets?Inhoofdstuk2zagenwedatonderwijsentoetsingopelkaarafgestemddienentezijn.Telkensstaatmenvoordeuitdagingompreciesdietoetsvormtekiezendiegegevendesituatiehetmeestgeschiktis.Elketoetsvormheeftzijnvoor-ennadelen.Nietiederetoetsvormisgeschiktvoorelktypedocent,elktypedoelstellingofvoorelktypeleerling.Hiernabesprekenwevieroverwegingendieeenrolspelenbijdekeuzevooreenpraktijktoets.
Visie op onderwijs en lerenVoorwelketoetsvormeendocentkiest,heeftdeelstemakenmetdiensvisieoponderwijsenleren.Tegenwoordigwetenwedatlerenmeerisdanhetsimpelwegontvangenvaninformatie.Deleerlingenmoetendieinformatieookzelfstandiginterpreterenenverbindenmetdekennisenvaardighedendiezijalhebben.Ookmoetenzijwetenwanneerenhoezijdezekennisenvaardighedenkunnentoepassenbijhetoplossenvanproblemen.Zietmenonderwijsvooralalshetoverdragenvankennis,danzalmenmeergeneigdzijnschriftelijketoetsenintezetten.Ismeneenvoorstandervanactief,zelfstandigenzelfverantwoordelijkleren,danliggenpraktijktoetsenmeervoordehand.
Doel van de toetsOfmenvooreenpraktijktoetsofeenschriftelijketoetskiest,hangtondermeerafvanhetdoelvandetoets.Schriftelijketoetsenwordenvaakgebruiktvoorresultaatbepaling.Naafloopvaneenserielessenwildedocentbijvoorbeelddeprestatiesvandeleerlingenmeteencijferwaarderen.Erkunnenbelangrijkebeslissingeninhetgedingzijn,metgroteconsequentiesvoordetoekomstvandeleerlingen.Denkbijvoorbeeldaanovergangsbeslissingenofaandetoewijzingvanleerlingenaanopleidingen,leerwegenofprofielen.Praktijktoetsenzijnbijuitstekbruikbaarvoorvoortgangscontroleenremediëring.Dedocentwildeleerlingenlatenzienwaarhunsterkepuntenliggenenhoezijdezwakkepuntenkunnenverbeteren. Daartoewordendeeisenwaaraanhetwerkmoetvoldoenvantevorenbekendgemaaktenmetdeleerlingenbesproken.Doorleerlingenzelfmetbeoordelingsschalentelatenwerken,krijgenzijfeedbackoverhoeverzijzijninvergelijkingmetdeverwachtingeneneisen.Debeoordelings-schalenbiedenmetanderewoordeneeninhoudelijkkaderomdevooruitgangvanhetlerente
131 Het construeren van praktijktoetsen < Inhoud Index >
volgen.Echter,ookvoorbeslissingenmetverregaandeconsequentiesvoordeleerlingenzijnpraktijktoetsenbruikbaar.
LeerdoelenDe toetsvormmoetpassenbijwatmenwilonderwijzen.Schriftelijketoetsenzijnhetmeestophunplaatsalsmenkennisvanfeiten,concepten,principes,proceduresendergelijkewiltoetsen.Zezijnvooralgeschiktvoorhetbevragenvandekennisvanafgebakendeleerstofonderdelen.Praktijktoetsenzijndaarentegenvooralbruikbaarvoorhetvaststellenvancompetenties,ditwilzeggenkennis,vaardighedenenhoudingen.
Beschikbare tijdDevoorbereiding,afnameenbeoordelingvaneenpraktijktoetskostendedocentdoorgaansmeertijddanbijeenschriftelijketoetshetgevalis.Hetzelfontwikkelenvanopdrachtenenbeoordelingsschaleniszelfszeerarbeidsintensief.Gebruikpraktijktoetsendaaromvooralvoorhetbeoordelenvancompetentiesdievanbelangzijnvoorhetlevenvanalledag,devervolg-opleidingofdelatereberoepspraktijk.
8.2 Het ontwikkelen van een praktijktoets
Hetontwikkelenvaneenpraktijktoetsisnieteenvoudig.Zedoeneensterkberoepopdeprofessionaliteitende(vrije)tijdvandedocent.Indezeparagraafbesprekenweenkelebelangrijkestappendiededocenteeneindopwegkunnenhelpen.Alvorensdattedoen,gaanweeerstnaderinopenkelekwaliteitseisenwaarpraktijktoetsenaanmoetenvoldoen.
8.2.1 Wat is een goede praktijktoets?Eengoedepraktijktoetsvoldoetaandeeisenwaaraantoetsenmoetenvoldoen.Dieeisenwordeninhoofdstuk10beschrevenenbesproken.Eenaantaleisenisinvoorgaandehoofdstukkenalaandeordegeweest.Deeersteeisisdathetduidelijkmoetzijnwathetdoelvandepraktijktoetsis(hoofdstuk1).Eenpraktijktoetsmoetookbetrouwbaar(hoofdstuk3)envalide(hoofdstuk4)zijn.Ookmoetdezak/slaagbeslissingonderbouwdzijn(hoofdstuk9).
8.2.2 Hoe ontwikkel je een praktijktoets? Indezeparagraafbeschrijvenwedeontwikkelingvaneenpraktijktoetsaandehandvanzesstappen.
Doel-
specificatie
→ Toets-
specificatie
→ Opdrachten → Criteria → Beoordeling → Try-outen
revisie
Stap 1: DoelspecificatieDeeerstefasevanhetconstructieprocesbestaatuithetspecificerenvanwaaromenwatergetoetstgaatworden(zieookhoofdstuk1en2).
Waarom toetsen?Praktijktoetsenkunnenvoorverschillendedoelenwordeningezet(zieookhoofdstuk1).Voordedocentdiezelfeenpraktijktoetswilontwikkelenzijnsummatieveenformatieveevaluatiedebelangrijkstefuncties,ookwelresultaatbepalingenvoortgangscontrolegenoemd.Praktijktoetsenzijnuitstekendbruikbaarvoorresultaatbepaling.Zegevendaninzichtindekennis,vaardighedenenattitudenvanleerlingenaanheteindevaneenafgerond
132 Cito | Toetsen op School < Inhoud Index >
onderwijsleerproces.Eenpraktijktoetskanechterookmeerzijndanalleenmaareenmiddelomdeprestatiesvandeleerlingenvasttestellen.Eenpraktijktoetsisvaakeenintegraalonderdeelvanhetonderwijsleerproces.Tijdenshetuitvoerenvaneenlangerepraktijktoetskunnenleerlingeneenschataanleerervaringenopdoenenzichbelangrijkeonderwijsdoeleneigenmaken.Praktijktoetsenzijnhiermeebijuitstekbruikbaarvoorvoortgangscontroleenremediëring.Zegevendocentenleerlingentussentijdseinformatieoverdeverworvenkennis,vaardighedenenattituden.Hetdoelisdeleerlingenaldoendetelatenzienwaarzijgoedenmindergoedinzijn,welkeonderdelenalbeheerstwordenenwelkenogniet,zodatzijhuntekortengerichtkunnenwegwerken.Samenkunnendocentenenleerlingenhiermeenagaaninhoeverreextrauitleg,oefeningofbegeleidingnodigzijn.
Wat toetsen?Eentweedeaandachtspuntindeontwikkelingvaneenpraktijktoetsishetspecificerenvanwatergetoetstgaatworden(zieookhoofdstuk2).Menkannietstoetsenalsernieteerstgoedisnagedachtoverwatmenpreciesmethetonderwijswilbereiken.Leerdoelenzijnmeestalvrijabstracteuitsprakenoverdeveranderingendiemenbijdeleerlingenwilbewerkstelligen.Zemoeteneerstconcreetgemaaktwordenalvorensbegonnenkanwordenmethetontwikkelenvanles-entoetsmateriaal.Hetiszaakleerdoelenzoteformulerendatduidelijkiswatdeleerlingenpreciesmoetenkennenenkunnen.
Stap 2: ToetsspecificatieNadatdoelendeinhoudvandepraktijktoetsduidelijkis,ishetzaakderandvoorwaardenvoordeafname,scoringenbeoordelingnadertespecificeren.Webeperkenonshiertotdrievragendievoordespecificatievaneenpraktijktoetsvancruciaalbelangzijn.
Aantal opdrachten?Eenpraktijktoetsbestaatdoorgaansuitmeerdereopdrachten.Hoeveelopdrachtenernodigzijn,isvanverschillendezakenafhankelijk.Hoecomplexerdevaardigheid,hoemeeropdrachtenernodigzijnvooreenadequatedekking.Voorhetvaststellenvandebeheersingvaneeneenvoudigevaardigheiddiedeleerlingslechtsinéénsituatiehoefttoetepassen,zijnminderopdrachtennodigdanvooreencomplexe,breedtoepasbarevaardigheid.
Omvang van de opdrachten?Praktijktoetsennemenvaakveeltijdinbeslag.Watreëelis,zalookafhangenvanhetbelangvandeteontwikkelenvaardigheidinhetleerplan.Overhetalgemeengeldt:hoejongerdeleerlingen,hoekorterdeopdrachten.Gaathetomeennietaltecomplexevaardigheiddankanmendeleerlingensomsmeeropdrachteninéénlesuurlatenmaken.Doetdepraktijktoetsechtereenberoepopvakoverstijgendevaardighedenenmoetdeleerlingleerinhoudenvanverschillendevakkenintegreren,dandientmenmeertijdinteplannen.Eendocentdienogmaarnetmetpraktijktoetsenbezigis,dienttebeseffendathetontwikkelenvaneenpraktijktoetsveeltijdenenergiekost.Aangeradenwordtomtebeginnenmeteenkortepraktijktoetswaarvandeleerlingendeopdrachteninhooguitenkelelessenkunnenuitvoeren.
Leerlingen samenwerken?Bijdeontwikkelingvaneenpraktijktoetsstaatdedocentvoordekeuzedeopdrachtenindividueeldanwelingroepjestelatenmaken.Samenwerkenvanleerlingenkanondermeerzinvolzijnindevolgendedriegevallen:• Alsdeschoolhetbelangrijkvindtdatleerlingenlerenommetelkaarsamentewerken.• Alsergroteverschilleninvoorkenniszijnendedocentdezeverschillenwilnivellerenvoordat
deleerlingenaandepraktijktoetsbeginnen.Steleendocentwildeleerlingeneenpresentatieovereentechnischonderwerplatenverzorgen.Sommigeleerlingenwetenoverdatonderwerpechterveelmeerdananderen.Groepswerkisdaneenmiddelomleerlingen
133 Het construeren van praktijktoetsen < Inhoud Index >
elkaarsvoorkennistelatendelen.• Alsverdelingvanrollenentakenfunctioneelisenvoordeeloplevert.Alseengroepje
leerlingenbijvoorbeeldinformatiemoetopzoekenovereenveelzijdigonderwerp,ishetverstandigdatnietalleleerlingentegelijkertijdnaardezelfdeinformatieopzoekgaan.Ookishetvanbelangdatnietaltijddezelfdeleerlingendezelfderollenvervullenofdezelfdetakenuitvoeren.
Stap 3: Ontwikkeling van de opdrachtenNadetoetsspecificatievolgtdeontwikkelingvandeopdrachtenvandepraktijktoets. Deactiviteitendiedeleerlingentijdensdeopdrachtuitvoeren,moetennatuurlijkpassenbijwat dedocentwilonderwijzenentoetsen.Wilmenbijvoorbeeldtoetseninhoeverreleerlingenkunnensamenwerken,moetmendeleerlingenopdrachtenvoorleggenwaarbijzijmoetensamenwerken.Wilmenkritischdenkentoetsen,danmoetendeopdrachtenkritischdenkenoproepen.Goedeopdrachtenvoorpraktijktoetsenzijnondermeerauthentiek,nodigenuittotactiefleren,roepenbijleerlingenwaardevolleleeractiviteitenopenzijnuitvoerbaarbinnen detijddieervoorstaat.Inditopzichtlijkthetontwikkelenvaneenpraktijktoetssterkop hetontwikkelenvan‘gewoon’lesmateriaal.Voorhandreikingenvoorhetontwikkelenvanauthentieke,motiverendeenleerzameopdrachtenverwijzenwedelezernaarhethoofdstukGeraadpleegdeliteratuur.
Stap 4: Wat zijn de beoordelingscriteria? Eenbelangrijkaandachtspunttijdenshetontwikkelenvaneenpraktijktoetsishetspecificerenvandecriteria,datwilzeggendeeisenwaaraandeproductenenwerkprocessenvandeleerlingenmoetenvoldoen.Deleerlingenmoetennietalleenwetenwatergetoetstwordtenwaarom,maarookwanneerersprakeisvaneenonvoldoende,netvoldoende,goedeofexcellenteprestatie.Beoordelingscriteriamakenduidelijkwatervandeleerlingenwordtverwacht.Zegeveneenantwoordopdevraag:‘Hoegoedisgoedgenoeg?’Criteriazijnernietalleenomhetwerkvandeleerlingenobjectievertekunnenbeoordelen.Zekunnenookeenbelangrijkepositievebijdrageleverenaanhetleren.Duidelijkecriteriagevendeleerlingenaanwijzingenoverwatzijmoetendoenomkwalitatiefhoogwaardigeprestatiesteleveren. Zebiedenleerlingenmeteennognietvoldoendeprestatiegerichteinformatieoverwatzijnogmoetenverbeteren.
Stap 5: Welke beoordelingsmiddelen? Debeoordelingscriteriazijnuitgewerktineenbeoordelingsmiddel.Totdebelangrijkstebeoordelingsmiddelenomeenobjectievebeoordelingterealiseren,behoreneenantwoord-sleutel,correctievoorschrift,antwoordmodel,checklistenbeoordelingsschaal.Praktijktoetsenleidenbijleerlingendoorgaanstotsterkuiteenlopendeprestaties.Ditbetekentdaterbijdocenteneengroterberoepgedaanwordtophunvakinhoudelijkeexpertiseenhundeskundig-heidophetgebiedvanbeoordelen.Beoordelingsmiddelenvoorhetnakijkenvanschriftelijketoetsenmetgeslotenofopenvragen,zoalseenantwoordsleutel,correctievoorschriftofantwoordmodel,biedendebeoordelaarteweinigsturing.Tweebeoordelingsmiddelendiededocentmeersteunkunnenbiedenbijhetobserverenenbeoordelenzijndechecklistendebeoordelingsschaal.
134 Cito | Toetsen op School < Inhoud Index >
Checklist of observatieschemaHeteindresultaatvaneenpraktijktoetsismeestaleenwerkwijzeofeenproduct.Hetbeoordelenvandekwaliteitvergtvaaknauwkeurigeobservatievandeuitvoering(procesevaluatie)en/ofhetopgeleverdeproduct(productevaluatie).Alsdeeisenvandewerkwijzenofdeproductenonmiddellijkwaarneembaarzijn,iseenchecklisteengeëigendbeoordelingsmiddel.Meteenchecklistkandedocentafvinkenofbepaaldekenmerkenvandewerkwijzeofhetproductaldannietaanwezigzijn.Veelgebruikteantwoordmogelijkhedenzijn‘jaofnee’,‘aanwezigofafwezig’en‘uitgevoerdofnietuitgevoerd’.
BeoordelingsschaalEenbeoordelingsschaalisvaakhetmeestgeëigendemiddelomtoteenobjectievebeoordelingtekomen.Paragraaf8.3bevatachtergronden,vuistregelsentipsvoorhetontwikkelenvanbeoordelingsschalen.
Stap 6: Try-out en bijstellenAlsdepraktijktoetsinconceptvormgereedis,ishetverstandigdezeopzijndeugdelijkheidtebeproeven.Uiteraardkandedocentcollega’svragenhetmateriaalvancommentaartevoorzien.Een try-outisechterhetbestemiddelomtekomentotkwaliteitsverbetering.Doordeopdrachtenbijwijzevanproefaaneenaantalleerlingenvoorteleggen,kandedocentgegevensverzamelenoverondermeerdemoeilijkheidenuitvoerbaarheidvandeopdrachten,dekwaliteitvandeinhoud,debetrouwbaarheid,deafnametijdendeproceduresvoorafname,scoring,beoordeling,verwerking,analyseenrapportage(zieookhoofdstuk10).
8.3 Het ontwikkelen van een beoordelingsschaal
8.3.1 Wat is een beoordelingsschaal?Eenbeoordelingsschaalbeschrijfteenwerkwijzeofeenproductvaneenleerlingopverschillendeprestatieniveaus.Meteenbeoordelingsschaalkandedocentaangeveninwelkematekennis,vaardighedenofhoudingenaanwezigzijn.Deschaalbestaatuitmeerdereschaalpuntendieeenbepaaldepositieofrangordeaangeven.Eengoedebeoordelingsschaalscheptduidelijkheidoverwatenhoeerbeoordeeldmoetworden.Andersgezegd:hetgeeftdedocenteeneenduidigantwoordoptweevragen:• Watmoetikbeoordelen?• Hoekanikdeverschillendeprestatieniveausbijleerlingenherkennenenmetscorepunten
waarderen?
Deobjectiviteitvanhetobserverenenbeoordelenvancompetentiesheeftvaakteleidenonderstorendebeoordelingsfouten.Ditgeldtinhetbijzonderalsdebeoordelingnietwordtuitgevoerddooreen‘onafhankelijke’beoordelaar,maarinhandenisvande‘eigen’docentdiedeleerlingheeftopgeleid.Beoordelingsschalenlevereneenbelangrijkebijdrageaanhetbestrijdenvanbeoordelingsfoutendieinhoofdstuk7uitgebreidaandeordezijngeweest,
Eengoedebeoordelingsschaalmaaktdebeoordelingnietalleenobjectievermaarkanookeenkrachtigonderwijsleermiddelzijn.Mitsgoedgeconstrueerdenverstandiggebruikt,zijnbeoordelingsschalenookbruikbaarvooranderedoelendanalleentoetsing.Totdevoordelenvoordocentenbehorendatbeoordelingsschalenhelpenbijhetverduidelijkenvandebeoordelingscriteriaendatzebruikbarefeedbackleverenoverdeeffectiviteitvanhetonderwijzenenleren.Voorleerlingenzijndevoordelenvanbeoordelingsschalendatzehen:• informatiegevenoverhoehunwerkbeoordeeldwordtenwatervanhenverwachtwordt;• bewustmakenvandebeoordelingscriteria;• helpenbijhettoepassenvandecriteriaophuneigenwerk(zelfevaluatie)eninvoorkomende
135 Het construeren van praktijktoetsen < Inhoud Index >
gevallenvanhunklasgenoten(zogeheten‘peerevaluation’);• eeninhoudelijkkaderbiedenomdevoortgangvanhetlerenvasttestellen.
Hetinpassenvanbeoordelingscriteriaen-schaleninhetonderwijsgaatnietvanzelf.Voortipsdiedocenteneeneindopwegkunnenhelpen,ziePDF8.1indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk8.
Menkantegenwoordigkiezenuiteengroteverscheidenheidaanbeoordelingsschalen,ziebijvoorbeelddewebsitehttp://rubistar.4teachers.org.Eenonderscheidwordtwelgemaakttussenopdrachtspecifiekeengeneriekeschalenentussenholistischeenanalytischeschalen. Elktypeschaalheeftzijneigengebruiksmogelijkheden.Dedocentstaatvoordemoeilijketaaksteedsdiebeoordelingsschaaltekiezendiegeziendespecifiekeomstandighedenhetbestepast.Debestebeoordelingsschalenzijndoordocentenzelfontworpenensluitendaardoornaadloosaanophetgegevenonderwijs.Inparagraaf8.3.2behandelenweeenaantalkeuzenwaarvoordedocentbijhetontwerpenvaneenbeoordelingsschaalkomttestaan.
8.3.2 Het ontwikkelen van een beoordelingsschaalVoorhetontwikkelenvaneenbeoordelingsschaalzijndevolgendevragenvanbelang:• Opdrachtspecifiekeofgeneriekebeoordelingsschaal?• Holistischeofanalytischebeoordelingsschaal?• Hoeveelschaalpunten?• Deomschrijvingvandeschaalpunten:normatief,descriptiefofmetankers?
Opdrachtspecifieke of generieke beoordelingsschaal? Deeerstebeslissingbijhetontwikkelenisdekeuzetusseneenopdrachtspecifiekeeneengeneriekebeoordelingsschaal.
Opdrachtspecifieke beoordelingsschaalDezebeoordelingsschaalisgeschiktvoordebeoordelingvandeprestatiesopéénspecifiekeopdracht.Deschaalisvooralbruikbaaralshetgaatomduidelijkafgebakendekenniselementenofomproceduresdieineenvastevolgordemoetenwordendoorlopen.Hetgebruikervaniszinvolalseenhogebetrouwbaarheidvandepraktijktoetsgewenstisomdaterbijvoorbeeldbelangrijkebeslissingeninhetgedingzijn.Deprestatieniveauszijnomschrevenintermenvanopdrachtspecifiekekenmerkenofproducteigenschappen.Hetvoorbeeldhiernaisafkomstiguitdesectorgroenvanhetvmboenbetrefthetoppottenvaneenplant.Overeenkomstighettaakspecifiekekarakterisdezeschaalnietvoorandereopdrachtenbruikbaar.
136 Cito | Toetsen op School < Inhoud Index >
Het oppotten van een plant Score
Vullen van de pot Halfvolmetgrovedelen,aangevuldmetgezeefdepotgrond 2 Meerdandehelftmetgrovedelengevuld 1 Depotisalleenmetgrovedelengevuld 0
Afwerken potgrond op (juiste) hoogte Potgrondprecies1cmonderderand 2 Potgrondonderderand,maarminderdan1centimeter 1 Potgrondmeerdan1cmonderrandOFkomtbovenpotuit 0
Vastheid grond Lichtjesaangedrukt,hetoppervlakisnagenoeggelijk 2 Nietaangedrukt 1 Testevigaangedrukt 0
Aanbrengen steunmateriaal, d.w.z. 1 cm naast de plant, stok reikt tot bodem en plant onbeschadigd aangebonden Steunmateriaalvoldoetaanalledrieeisen 2 Steunmateriaalvoldoetaantweeeisen 1 Steunmateriaalvoldoetaanhooguitééneis 0
Generieke beoordelingsschaalDezebeoordelingsschaalisuitdrukkelijkbedoeldvoorherhaaldetoepassinggedurendeeenlangereperiode.Deleerlingenpassendezelfdecriteriatoeopverschillendeopdrachten,problemenencontexten.Daardoorrakendekwaliteitseisenopdenduurgeïnternaliseerd. Deleerlingleertzozijneigenwerktebeoordelen,ookalzijndeopdrachtenandersenookalhebbenzedebeoordelingsschaalnietoppapiervoorzich.Generiekebeoordelingsschalenkunnenleerlingenhelpenbijdetransfervankennisenvaardighedennaarnieuwesituatiesmetnieuweproblemen.Onderstaandvoorbeeldisafkomstiguitdebeginfasevanhetvoortgezetonderwijsenbetrefthetbeoordelenvandeschriftelijkeuitdrukkingsvaardigheidvandeleerling.
137 Het construeren van praktijktoetsen < Inhoud Index >
Schriftelijk presenteren Score
Communicatieve strekking Detekstalsgeheelisvolledigbegrijpelijk,deboodschapkomthelemaalover 2Boodschapkomtniethelemaalover 1Boodschapkomtnietover 0
Briefconventies: aanhef en afsluiting Zowelaanhefalsafsluitingzijnpassend 2Ofaanhefofafsluitingisnietpassend 1Nochaanhefnochafsluitingispassend 0
Indeling tekst Tekstindelingbestaatduidelijkuiteeninleiding,middendeelenslot 2Tekstindelingisnietgeheelduidelijk 1Tekstindelingisnietduidelijk 0
Interpunctie, spelling en grammatica Geenenkelefout 2Eénoftweefouten 1Drieofmeerfouten 0
Argumentenvooropdrachtspecifiekeschalenzijn:• Dekwaliteitvandeleerlingenprestatieisgemakkelijkvasttestellen.Hetgaatimmersom
hetregistrerenvandeaan-ofafwezigheidvanconcrete,meestaldirectwaarneembarekenmerkenofinhoudselementen.
• Deleerlingenkrijgengedetailleerdefeedbackophunprestaties.• Geschiktvoorduidelijkafgebakendekennis.• Geschiktvoorproceduresdieineenvastevolgordemoetenwordentoegepast.• Eenhogeobjectiviteitenbetrouwbaarheidzijnhaalbaar. Argumententegenopdrachtspecifiekeschalenzijn:• Hetisarbeidsintensiefomvoorelkeopdrachttelkensweereennieuweschaaltemoeten
ontwikkelen.• Doorhetopdrachtspecifiekekarakterisdeschaaluitsluitendgeschiktvooreenmaliggebruik.• Hetheeftvaakgeenzinomdeleerlingenvantevorenmetdecriteriavertrouwdtemaken
omdatdedocenthiermeehetantwoordofdeoplossingalverklapt.• Zezijnnieterggeschiktvooropenvraag-enprobleemstellingen.Decriteriazettende
leerlingennietaanhetdenken.Erisweinigtransfervanhetgeleerdenaaranderesoortgelijkeopdrachten,problemenencontexten.
• Bijhetbeoordelenzietdedocentgemakkelijkatypischeantwoordenofoplossingenoverhethoofd.
• Vaakmindergeschiktalsmiddelomleerlingenwaardevolleleerervaringenoptelatendoen.
Argumentenvoorgeneriekeschalenzijn:• Zezijnbijuitstekgeschiktvoordeontwikkelingvan‘grote’,universele,breedtoepasbareen
permanentevaardighedenzoalskritischdenken,problemenoplossen,communicerenensamenwerken.
• Menkandezelfdebeoordelingsschaalgebruikenbijverschillendeopdrachten,problemenencontexten.
138 Cito | Toetsen op School < Inhoud Index >
• Doordeherhaaldelijketoepassingopnieuwevergelijkbareopdrachten,nemendeleerlingendecriteriaeerderopinhunstandaardrepertoire(internalisatie);generiekecriteriadragenmeerbijaandetransfervanhetgeleerdenaarnieuwe,soortgelijkeopdrachten,problemen,vaardighedenencontexten.
• Zebiedenmeermogelijkhedenomvoorttebouwenopwatdeleerlingenalkennenenkunnen.• Zebiedenmeermogelijkhedenomdeleerlingenbijdekwaliteitseisentebetrekkenendeze
samenmethenverderteontwikkelen.• Atypischeantwoordenenoplossingenkunnengemakkelijkindebeoordelingbetrokken
worden.
Argumententegengeneriekeschalenzijn:• Zetrekkeneenzwarewisselopdevakinhoudelijkeenvakdidactischedeskundigheidvande
docent.• Zeveronderstellenkwalitatiefhoogwaardigonderwijswaarinvaardighedensystematisch
overeenlangereperiodewordenaangeleerd.• Doorhetvakoverstijgendkarakterdoenzeeensterkberoepopafstemmingen
samenwerkingtussenvakken.• Hetlerenbeoordelenkostinhetbeginvaakveeltijdomdatdocentenenleerlingenmoeten
lerendezelfdecriteriaopeengroteverscheidenheidaanopdrachtentoetepassen.• Zedoeneensterkberoepophetbeoordelingsvermogenvandedocentenzijndaarmeemeer
vatbaarvoorsubjectiviteit.• Zekunnenteweinigspecifiekefeedbackvoordedocentenleerlingengeven.
Wanneer een opdrachtspecifieke of generieke beoordelingsschaal gebruiken?
Gebruikeenopdrachtspecifiekeschaalals:• Hetgaatomomvangrijkeofcomplexekennis,bijvoorbeeldhetbeoordelenvandeprecieze
inhoudvaneenmondelingeofschriftelijkerapportageovereenbepaaldonderwerp.• Hetgaatomprocedurelekennisofprocedurelevaardigheden,d.w.z.specifiekeeninbeginsel
observeerbarehandelingendiedeleerlingineenbepaaldevolgordemoetuitvoeren,zoalsbijeenopdrachtwaarbijdeleerlingchocoladekoekjesmoetbakken.
• Deuitvoeringvandespecifiekeopdrachtofhetmakenvanhetspecifiekeproducteenbelangrijkedoelstellingvanhetonderwijsrepresenteert,bijvoorbeeldhetfoutlooskunnenlassenvannaden.
• Hetnodigisomeenpreciesbeeldtekrijgenvandeprestatievandeleerlingopeenspecifiekeopdracht,bijvoorbeeldalshetgaatomeenbelangrijkecompetentiewaarvandetoepassingsterkaanéénspecifiekeopdrachtofcontextgebondenis.
Gebruikeengeneriekeschaalals:• Hetzinvolisomdezelfderubriekvoormeeropdrachten/contextentegebruiken.Een
generiekerubriekisbijvoorbeeldbruikbaaralsjetemakenhebtmeteenbreedtoepasbarevaardigheiddiedeleerlingbijverschillendeopdrachteninverschillendecontextenopsoortgelijkewijzekantoepassenenwaarbijdebeoordelingscriteriavergelijkbaarzijn.
• Ersprakeisvaneenopenopdrachtwaarbijdehandelingenenproductenvandeleerlingensterkvanelkaarkunnenverschillenenwaarbijhetnietmogelijk,nodigofzinvolisomderubriekverdertedetailleren.
Holistische of analytische beoordelingsschaal?Vooralgemenevaardighedenofcompetentiesiseengeneriekebeoordelingsschaalmeestaldebestekeuze.Voorhetmakenvaneendergelijkeschaalzijnerverschillendeopties.Eendaarvanisdekeuzetusseneenholistischeeneenanalytischeschaal.Meteenholistischebeoordelingsschaalgeeftdedocentéénalgemeenoordeeloverdekwaliteit
139 Het construeren van praktijktoetsen < Inhoud Index >
vaneenwerkwijzeofeenproduct.Eenanalytischebeoordelingsschaalbestaatuitverschillendeschalen.Dedocentbeoordeeltdekwaliteitvaneenwerkwijzeen/ofproductopmeeraspecten(dimensies,criteria)waardooreenprofielontstaatvandesterkeenzwakkepuntenvandeleerling.Hetgevenvanéénallesomvattendcijfervoordekwaliteitvaneenmondelingepresentatieiseenvoorbeeldvanholistischebeoordeling.Geeftdedocentdaarentegen(ook)scoresvoorafzonderlijkekwaliteitsdimensies–zoalskennisvanhetonderwerp,structuur,contactmetdeklasenverstaanbaarheid–danisersprakevananalytischebeoordeling.Hetvolgendevoorbeeldvaneenanalytischeschaalvoorhetbeoordelenvandekwaliteitvaneenmondelingepresentatieisafkomstiguithetmbo.
Kwaliteit mondelinge presentatie Score
Kennis van het onderwerp Leerlingstaatbovendestofenbeantwoordtallevragenmetextrauitleg 3 entoelichtingenLeerlingbeheersthetonderwerpenbeantwoordtallevragen,maaris 2 vrijkortvanstofLeerlingweetweinigoverhetonderwerpenbeantwoordtalleen 1 oppervlakkigevragenLeerlingweetvrijwelnietsoverhetonderwerpenkanvragennauwelijks 0 beantwoorden
Structuur Deklasbegrijptprecieswaarhetovergaatomdatdeleerlingdeinformatie 3 ineenlogischeenaantrekkelijkevolgordepresenteertDeklasbegrijptwaarhetovergaatomdatdeleerlingdeinformatieineen 2 logischevolgordepresenteertDeklasheeftmoeiteomdeleerlingtevolgenomdatdeinformatieslecht 1 gestructureerdisDeklasbegrijptnauwelijkswaardepresentatieovergaatomdatdeleerling 0 vandehakopdetakspringt
Contact met de klas Deleerlingheeftvrijwelcontinuoogcontactmetdeklasenmaaktnietof 3 maarzeldengebruikvandetekstoppapierDeleerlingheeftdoorgaansoogcontactmetdeklasmaarvaltregelmatig 2 terugopdetekstDeleerlingleestdetekstmeestalafvanpapierenheeftzeldenoogcontact 1 metdeklasDeleerlingleestdetekstafvanpapierenheeftgeenoogcontactmetdeklas 0
Verstaanbaarheid Deleerlingspreektduidelijkenisookachterindeklasgoedteverstaan 3 Deleerlingspreektduidelijkenisookachterindeklasredelijkteverstaan 2 Deleerlingspreektsommigewoordenverkeerduitenisachterindeklas 1 slechtteverstaanDeleerlingstamelt,spreektwoordenregelmatigverkeerduitenisalleen 0 voorindeklasteverstaan
140 Cito | Toetsen op School < Inhoud Index >
Wanneer een holistische of analytische beoordelingsschaal gebruiken?
Gebruikeenholistischeschaalals:• Hetmogelijkenzinvolisomhetoordeeloverdekwaliteitopééndimensieuittedrukken.• Hetgaatomeenrelatiefeenvoudigeprestatieofeenvoudigproduct,bijvoorbeeldhet
beoordelenvandelaagdiktebijhetaflakkenvaneenrand.• Dereactiesvandekandidatenzosterkvariërendatverdereverduidelijkingvanhet
beoordelingsobjectendeprestatieniveauserglastigofnietmogelijkis,bijvoorbeeldhetbeoordelenvancreativiteitenoriginaliteit.
• Hetgaatomeenzogeheten‘primarytrait’beoordeling,bijvoorbeeldalsdedocenteenglobaaloordeelmoetgevenoverdematewaarineenprestatieofproductaanzijnprimairedoelbeantwoordtzoalshetbeoordelenvandematewaarineenovertuigendetekstdelezerinderdaadovertuigt.
• Mendeschaalalleenwilgebruikenvoorhetgevenvancijfers.• Ernietandersdansnelbeoordeeldkanworden,bijvoorbeeldomdatdedocentverschillende
kandidatentegelijkertijdineenpraktijksituatiemoetbeoordelen.
Gebruikeenanalytischeschaalals:• Hetnietmogelijkisofnietzinvolisomdekwaliteitopééndimensietebeoordelenenhet
oordeelinéénscoreuittedrukken.Analytischeschalenzijnbijuitstekgeschiktvoorhetbeoordelenvanbredeencomplexevaardighedenzoalstaalgebruik,werkhouding,planmatigwerken,mondelingpresenterenensamenwerken.
• Hetgaatomomvangrijkeopdrachten.Eenanalytischeschaaliseentezwaarmiddelvoorhetbeoordelenvandeprestatiesopkleineopdrachten.Gebruikeenanalytischeschaaldaaromalleenvoorhetbeoordelenvanvolledigeopdrachtenvaneenbehoorlijkeomvangentijdsduur.Voorbeeldenuithetvmbozijnhetvoerenvaneengesprekmeteenklant,hethoudenvaneenmondelingepresentatievooreengroep,hetverzorgenvaneenproductdemonstratie,hetuitvoerenvaneenEHBO-opdrachtofhetverzorgenenbegeleidenvaneendementebejaarde.
• Hetnodigisombetrouwbaartebeoordelen,d.w.z.consistentoverscholenendocenten.• Dedocentmeertijdheeftvoorhetgevenvanzijnofhaaroordeel,bijvoorbeeldbijeen
individueelafgenomenopdrachtzoalseenverkoopgesprek.• Mendeleerlingenvantevorenvertrouwdwilmakenmetdekwaliteitseisen,hen
gedetailleerdefeedbackwilgevenoverhunsterkeenzwakkepuntenenhenhandvatenwilbiedenvoorverbetering.Eenanalytischeschaalresulteertimmersineenscoreprofieldatleerlingenlaatzienwaarzijsterkinzijnenwatzijnogmoetenverbeteren.
Hoeveel schaalpunten?Nadekeuzevaneengeschiktschaaltypemoetmeneenbeslissingnemenoverhetaantalschaalpunten.Hetwenselijkeaantalschaalpuntenhangtondermeerafvan:• decomplexiteitvanhetbeoordelingsobject:hoecomplexer,hoemeerschaalpunten;• degroottevandeprestatieverschillentussendekandidaten:hoegroterdeverschillentussen
kandidaten,hoemeerschaalpuntennodigzijnomtussenkandidatentekunnendifferentiëren;
• detijddiededocentindeexamensituatieaandebeoordelingkanbesteden:hoemindertijd,hoeminderschaalpunten.
Indienpraktijktoetsenvoorformatieveevaluatiegebruiktworden,moetdebeoordelingsschaalinformatiegevenoverwaardeleerlinggoedinisenwaarverbeteringnodigis.Voordatdoelistienschaalpuntenonnodigveel.Deervaringleertdatmeerdanzevenschaalpuntenindepraktijknietgoedwerkt.Hetluktdebeoordelaarsdannietmeeromdeprestatiesvandeleerlingenbetrouwbaarteonderscheiden.Drieofminderschaalpuntenisvaakweerteweinig
141 Het construeren van praktijktoetsen < Inhoud Index >
omdevooruitgangvandeleerlingengoedtekunnenrapporteren.Wijadvisereneenbeoordelingsschaalmetminimaalvierenmaximaalzevenschaalpuntentegebruiken.
Omschrijven van de schaalpunten: normatief, descriptief of met ankers?Delaatstebeslissingbetreftdeomschrijvingvandeschaalpuntenofweldeprestatieniveaus. Dekunstishetvindenvaneenbalanstussenenerzijdsalgemeneomschrijvingendiebreedtoepasbaarzijnenanderzijdsspecifiekeomschrijvingendiededocentoptimaalhouvastbiedenbijhetbeoordelen.Overhetalgemeengeldt:hoegedetailleerder,hoemeersteundedocentheeftbijhetbeoordelenenhoeminderdeoordelenvanverschillendedocentenvanelkaarzullenverschillen.Teveeldetailmaaktdebeoordelaarstaakechteronnodigcomplex.Voordeomschrijvingvandeprestatieniveauskanmenkiezenuittenminstedrietypenschalen:• normatieveschalen;• descriptieveschalen;• product-ofwelankerschalen.
Normatieve beoordelingsschaalIneennormatieveschaalzijndeschaalpuntenaandehandvansubjectievetermenomschreven.Eeneenvoudigvoorbeeldis:0=slecht,1=middelmatigen2=goed.Anderevoorbeeldenvannormatieveomschrijvingenzijn:uitzonderlijk,matig,voldoende,onvoldoende,juist,correctenacceptabel.HetbekendstevoorbeeldvaneennormatieveschaalmetminimaleverduidelijkingvandeschaalpuntenisdeNederlandse(rapport)cijferschaal.Deschaalpunten 1totenmet10zijngedefinieerddoormiddelvandelabels‘zeerslecht’totenmet‘uitmuntend’(zieookhoofdstuk9).Hetgrotevoordeelisdeeenvoudigeensnellebeoordeling.Voordoeleindenvanvoortgangscontroleenremediëringisdezecijferschaalechternauwelijksgeschikt.Daarvoorzeggendeomschrijvingenvandeschaalpuntenteweinigoverdetebereikenprestatieniveaus,overhoegoeddeleerlingendekennisenvaardighedendaadwerkelijkbeheersenenoverwatdeleerlingendevolgendekeerbetermoetendoen.Normatieveschalenbiedenveelruimtevooreigeninterpretatiesengevendedocentweinighouvastbijhetbeoordelen.Hetbepalenwanneereenprestatiebijvoorbeeldgoed,matig,onvoldoendeofslechtis(hetprestatiecriterium),wordtaandebeoordelaarzelfovergelaten.Normatieveomschrijvingenzoumenineenpraktijktoetsnietmoetengebruiken.
Descriptieve beoordelingsschaalEendescriptieveschaalwordtookweleenrubriekgenoemd(Engels:rubric).Indescriptieveschalenisdewerkwijzeofhetproductverduidelijktdoordeschaalpuntenvaninhoudelijkeomschrijvingentevoorzien.Deomschrijvingenmakenduidelijkhoeleerlingenprestatiesvanverschillendniveauzichvanelkaaronderscheiden.Dedocentbeoordeeltdeprestatiedoordezetevergelijkenmetdeomschrevenprestatieniveaus.Eenvoorbeeldvaneeneenvoudigedescriptieveschaaluitdesector‘Zorgenwelzijn’vanhetvmbois:dekapmantelzitaangeslotentegendenek(2punten),niethelemaalaangeslotentegendenek(1punt)ofnietaangeslotenoftestrak(0punten).Eenandereenvoudigvoorbeeldis:detekstvandeposterpresentatieisopvijfmeterafstandgoedleesbaar(2punten),matigleesbaar(1punt)ofnietleesbaar(0punten).Descriptieveschalenbiedendebeoordelaarmeersteunenverdienendaaromdevoorkeurbovennormatieveschalen.
Hetomschrijvenvandeschaalpuntenisnieteenvoudigenluistertnauw.Devolgendeaanwijzingenhebbenhunwaardebewezenbijhetformulerenvaneenduidigeenrealistischeniveauomschrijvingen.
142 Cito | Toetsen op School < Inhoud Index >
• Houddeniveauomschrijvingenkorteneenvoudig.Gebruiktaaldieleerlingenkunnenbegrijpen.
• Hanteerbeschrijvendetaalinplaatsvanvergelijkende,evaluatieveofnormatievetaal.Vermijdomschrijvingenzoalsslecht,redelijk,goed,correctofexcellent.Omschrijfdeprestatieniveauswaarmogelijkenzinvolinobserveerbarehandelingenofproducteigenschappen.
• Zorgervoordaterslechtsééndimensieindeschaalvertegenwoordigdis.Wilmentochoptweedimensiestegelijkertijdbeoordelen,zorgerdanvoordatallemogelijkeprestatie-niveausindeschaalvertegenwoordigdzijn.
Eenvoorbeeldvanhoehetnietmoet,is:2=planningvolledigenhelemaalcorrect;1=planningvolledigengedeeltelijkcorrect;0=planningonvolledigenhelemaalfout.Dezeschaalkandedocentinverwarringbrengenomdatdezedeprestatievandeleerlingoptweedimensiestegelijkertijdmoetbeoordelenennietallemogelijkeprestatieniveausinhetschaaltjeverdisconteerdzijn.Zovoorziethetvoorbeeldnietindemogelijkheiddatdeplanningvandeleerlingminofmeervolledigendaarnaastgedeeltelijkcorrectkanzijn.
Eenbeteralternatiefisdan:2=planningvolledigenhelemaalcorrect;1=planningminofmeervolledigen/ofgedeeltelijkcorrect;0=planningonvolledigen/ofhelemaalfout.
• Zorgervoordatdeschaaldevariatieinexamenprestatiesvolledigbestrijktomtevoorkomendatdocentenvooraldemiddelsteschaalpuntengebruiken.
• Zorgervoordatdeafstandentussendeprestatieniveausgelijkzijn.Hetkwaliteitsverschiltussenschaalpunt0en1moetbijvoorbeeldevengrootzijnalsdattussenschaalpunt2en3.
• Zorgervoordatdeprestatieniveausduidelijkonderscheidenzijnenelkaarnietoverlappen.• Beginmetdeomschrijvingenvanhethoogsteprestatieniveau,daarnahetlaagste
prestatieniveauentenslottedemiddelsteprestatieniveaus.• Zorgervoordathethoogsteniveauuitdagendmaarhaalbaaris.• Houddeinhoudvandeomschrijvingenconstantoverdeprestatieniveaus.Alleende
kwaliteitvandewerkwijzeofhetproductmagvariërenoverdeprestatieniveaus,niethetobjectwaardedocentbijdebeoordelingopmoetletten.Omschrijfbijvoorbeeldhetlaagsteniveauvanschrijfvaardigheiddusnietalleenintermenvanfouteninspellingeninterpunctieenhethoogsteniveaualleenintermenvancreativiteitenoriginaliteit.
• Zorgerbijeenanalytischerubriekvoordatdeprestatieniveausvergelijkbaarzijnvooralleaspecten.Eenscorevan4opheteneaspectmoetquaniveauvergelijkbaarzijnmeteenscorevan4ophetandereaspect.
Ankers als schaalpunten?Somszijndeprestatiesvandeleerlingenzomoeilijkbeoordeelbaardatzelfseendescriptievebeoordelingsschaalnogteweinigsteunbiedt,hoegoedmendeschaalpuntenooktoelicht. Hetisdanraadzaamdeschaalpuntentevoorzienvanzogehetenankers.Eenanker is een voorbeeldvaneenconcreetleerlingenproductdathet‘niveau’vanhetschaalpuntillustreert.Eenvanankersvoorzieneschaalwordtweleenproductschaalgenoemd.Hetankerkandevormhebbenvaneentastbaarproduct,zoalseenbrief,opstel,tekening,fotoofbouwconstructie. Bijvluchtigepresentaties,zoalseenmondelingepresentatie,eendansofeenmuziekstuk,kanhetankeruiteenaudio-ofvideo-opnamebestaan.
Hetbeoordelenmeteenproductschaalkanmenzienalseensorteertaak.Debeoordelaarbeoordeeltelkproductdoordattevergelijkenmetdeankersvandebeoordelingsschaal. Debeoordelaarkenteenscoretoedoorhettebeoordelenproductalshetwareopdeschaalteplaatsen.Eenproductschaalbiedtdebeoordelaareenconcreetreferentiekaderwaarindekwaliteitvanhetleerlingenproductzichtbaarwordt.Productschalenzijnbijuitstekgeschiktomdebeoordelingobjectievertemakenendeleerlingentegelijkertijdvertrouwdtemakenmetdebeoordelingscriteria.Docentenenleerlingenontwikkelenhiermeeeengemeenschappelijkedefinitievankwaliteit.Eenproductschaalhelptleerlingenbijhetbeoordelenenreviserenvan
143 Het construeren van praktijktoetsen < Inhoud Index >
hunwerkwijzenenproducten.Eennadeelisechterdathetmakenvaneengoedeproductschaalgeensinecureis.VooreenstapsgewijzeprocedurevoorhetmakenvaneenproductschaalziePDF8.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk8.
144 Cito | Toetsen op School < Inhoud Index >
9 H
et beoordelen van toetsscores
9 Het beoordelen van toetsscores
146 Cito | Toetsen op School < Inhoud Index >
9 Hetbeoordelenvantoetsscores Piet Sanders en Huub Verstralen
Voorhetantwoordopeenvraagofdeuitvoeringvaneenopdrachtontvangendeleerlingenscorepunten.Hetaantalscorepuntendataaneenantwoordopeenvraagofdeuitvoeringvaneenopdrachttoegekendkanworden,staatvermeldinhetscoringsvoorschriftdatbijdetoetshoort.Alsallevragenofopdrachtengescoordzijn,beschikkenwevanalleleerlingenovereenreeksscores.Doordescoresvaneenleerlingoptetellen,krijgenwezijnofhaartoetsscore. Inhoofdstuk3zagenwedatJan42scorepuntenopdehavo-toetsEngels2009behaalde.Ofeenscorevan42eengoedeofslechteprestatieis,kunnenweechtermoeilijkbeoordelenalswenietwetenwatandereleerlingenopdetoetsgescoordhebbenofnietovereenstandaardbeschikkenwaarmeewedescorevanJankunnenvergelijken.Volgensdecumulatievescore-verdelingvandehavo-toetshadJanmetzijnscore42gelijkofbetergescoorddan96%vandeandereleerlingen.Janbehoordedaarmeetotdebestpresterendeleerlingen.Wezagenookdatdestandaardofcesuurvoordehavo-toetsEngelsop28scorepuntengesteldwasendatJanvoorzijntoetsscorevan42hetcijfer8,1behaalde.
HetvoorbeeldvanJanlaatziendatweeentoetsscorekunnenbeoordelendoorofdetoetsscoretevergelijkenmetdetoetsscoresvanandereleerlingenuitdedoelgroepofdoordetoetsscoretevergelijkenmeteenstandaarddieookalscesuurofnormaangeduidwordt.Inheteerstegevalsprekenwevanrelatiefnormereneninhettweedegevalvanabsoluutnormeren.Indeeerstetweeparagrafenzullenwebeidevormenvannormerenbesprekenenillustrerenmetvoorbeelden.Hettoekennenvancijfersaantoetsscoreskomtindederdeparagraafaandeorde.Indevierdeenlaatsteparagraafwordeneenaantalgangbaremanierenvoorhetscorenvan(meerkeuze)vragenkritischbesproken.
9.1 Relatief normeren
Hetdoelvanrelatiefnormerenishetopstellenvanrelatievenormen.Kenmerkendvoorrelatievenormenisdatdetoetsscorevaneenleerlingvergelekenwordtmetdetoetsscoresdieandereleerlingenvandezelfdedoelgroepbehaaldhebben.Relatievenormenwordenopgesteldviaeenproceduredieuitdriestappenbestaat.
Stap 1: Het bepalen van de doelgroep of normgroepInhetgevalvandehavo-toetsEngelswashetnietmoeilijkdedoelgroepofnormgroepteidentificeren,namelijkalleleerlingendieinheteerstetijdvak2009dehavo-toetsEngelsmaakten.Indienweechtereentoetsleesvaardigheidwillenontwikkelendiebedoeldisvoorleerlingenvangroep5vandebasisschool,danmoetenwenauwkeurigomschrijvenwelkeleerlingenwelenwelkeniettotdenormgroepbehoren.Behorenleerlingendieeenkeerzijnblijvenzittenwelofniettotdenormgroep?Behorenleerlingenuithetspeciaalonderwijswelofniettotdenormgroep?
Stap 2: Het doen van normeringsonderzoekHetnormeringsonderzoekbestaatuithetafnemenvandetoetsbijdeleerlingenuitdenormgroep.Tweebelangrijkeeisendieaandenormgroepgesteldmoetenworden,zijndatdenormgroepgrootgenoegmoetzijnendatdenormgroeprepresentatiefmoetzijn.Watbetrefthetaantalleerlingenisvoortoetsenwaarmeebelangrijkebeslissingengenomenworden,een
147 Het beoordelen van toetsscores < Inhoud Index >
normgroepvanminstens400leerlingengewenst.Wildenormgroeprepresentatiefzijndanmoetdesteekproefvanleerlingenaselectgetrokkenzijn.Aselectwilzeggendatiedereendietotdenormgroepzoukunnenbehoren,eenevengrotekansheeftgeselecteerdtewordenvoordenormgroep.
Stap 3: Het construeren van een normschaalDeeenvoudigstenormschaalisdecentiel-ofpercentielschaal.Uitgangspuntvooreenpercentielschaalisdecumulatievescoreverdelingwaarvanweeenvoorbeeldbijdehavo-toetsEngelsinhoofdstuk3zagen.Eenpercentielschaalverdeeltdescoreverdelingin100delenvangelijkegrootte.Inheteerstepercentielzittende1%laagstescoresterwijlinhethonderdstepercentielde1%hoogstescoreszitten.Bijdehavo-toetsEngelszaldepercentiel-10leerlingmaarweinigitemsgoedbeantwoordhebbenendusweinigscorepuntenbehaaldhebben. Janwaseenpercentiel-96leerlingenhijbehaalde42vandeintotaal49scorepunten. Anderenormschalenzijndedecielschaalendekwartielschaal.Eendecielschaalverdeeltdescoreverdelingin10delenvangelijkegrootte.Inheteerstedecielzittende10%laagstescoresterwijlinhettiendedecielde10%hoogstescoreszitten.Eenkwartielschaalverdeeltdescore-verdelingin4delenvangelijkegrootte.Inheteerstekwartielzittende25%laagstescoresterwijlinhetvierdekwartielde25%hoogstescoreszitten.
Eenbekendenormschaalisdenormschaaldiedoorintelligentietestsgebruiktwordt.DehuidigeintelligentietestsvindenhunoorsprongindeintelligentietestvoorkinderendiedeFransepsychologenBinetenSimonin1905ontwikkelden.Kortdaarnawerdhetbegripintelligentie-quotiëntofIQgeïntroduceerdwaarbijdetermquotiëntnaardeoorspronkelijkeberekenings-wijzevanhetIQverwijst,namelijkhetquotiëntvanverstandelijkeleeftijdenchronologischeleeftijdvermenigvuldigdmet100.IemandmeteenIQvan100hadduseenverstandelijkeleeftijdgelijkaanzijnchronologischeleeftijd.DezeberekeningvanhetIQbleekvoorkinderenwelmaarvoorvolwassenennietgeschikttezijn.BijdehuidigeintelligentietestsisdeberekeningvanhetIQgebaseerdopdevergelijkingvandetestscorevaneenpersoonmetdetestscoresvaneennormgroep.Bijdemeesteintelligentietestswordendetestscoresafgebeeldopeennormschaaldieeengemiddeldetestscorevan100eneenstandaardafwijkingvan15heeftenwaarbijdetestscoresnormaalverdeeldzijn(ziehoofdstuk3).Hieronderstaateenoverzicht,ontleendaanWikipedia,vanhetpercentagepersonendateenbepaaldIQheeft.
IQ Cumulatief percentage
60 0,38%70 2,28%80 9,12%90 25,25%100 50%110 74,75%120 90,88%130 97,72%140 99,62%150 99,96%
Hetoverzichtlaatziendat50%vandepersonenuitdedoelgroepeenIQgelijkoflagerdan100heeftendat74,75%eenIQgelijkoflagerdan110heeft.HetoverzichtlaatookziendathelelageofhelehogeIQ’sweinigvoorkomen.OmbijvoorbeeldlidtemogenwordenvanMensa,eenverenigingvanhoogbegaafden,moetmenbijdehoogste2%opeenintelligentietestscorenwat
148 Cito | Toetsen op School < Inhoud Index >
neerkomtopeenIQvan133,datwilzeggeneentestscorediemeerdantweestandaard-afwijkingenbovenhetgemiddeldeligt.
WatbetreftdebetekenisvanIQscoreswordtwelonderstaandeindelinggehanteerd.
IQ Betekenis
>130 Hoogbegaafd115-130 Begaafd100-115 Bovengemiddeld85-100 Benedengemiddeld70-85 Zwakbegaafd55-70 Lichteverstandelijkebeperking40-55 Matigeverstandelijkebeperking25-40 Ernstigeverstandelijkebeperking
TenslotteeenvoorbeeldvanrelatiefnormerendatdoorvieropleidingengeneeskundeinNederlandgehanteerdwordt.Opeentoetsbestaandeuit200meerkeuzevragenkunnendekwalificaties‘onvoldoende’,voldoende’of‘goed’behaaldworden.Destudentenkrijgendekwalificatie‘onvoldoende’alszeeentoetsscorebehalendie1standaardafwijkingonderhetgemiddeldevanalledeelnemendestudentenindejaargroep(=normgroep)ligt,dekwalificatie‘goed’alszeeentoetsscorebehalendie0,5standaardafwijkingbovenhetgemiddeldevanalledeelnemendestudentenindejaargroepligtendekwalificatie‘voldoende’vooralleoverigetoetsscores.Ditvoorbeeldlaatnogeensduidelijkziendatrelatievenormenafhankelijkzijnvantoetsscoresdieandereleerlingenofstudentenbehalen.Eenstudentkanzakkeningevalvaneengoedpresterendejaargroepmaarslagenbijeenmindergoedpresterendejaargroep.
9.2 Absoluut normeren
Hetdoelvanabsoluutnormerenishetopstellenvanabsolutenormen.Kenmerkendvoorabsolutenormenisdatdetoetsscorevaneenleerlingvergelekenwordtmeteentoetsscorediealsstandaardofalscesuuraangeduidwordt.Determstandaardwordtgebruiktalsafkortingvoorprestatiestandaardofbeheersingsstandaard.Demeestbekendestandaardofcesuurvaneentoetsisdetoetsscorediedegrensvormttusseneenvoldoendeofslageneneenonvoldoendeofzakken.Datbetekentdatleerlingenmeteentoetsscoregelijkaanofbovendecesuureenvoldoendehebbengehaaldendusgeslaagdzijnvoordetoetsendatleerlingenmeteentoetsscoreonderdecesuureenonvoldoendehebbengehaaldendusgezaktzijnvoordetoets.Hetisechterookmogelijkomvooreentoetsmeerdanéénstandaardofcesuurvastteleggen.Indatgevalwordendeleerlingennietintweecategorieën(gezaktofgeslaagd)maarinmeerderecategorieën(bijvoorbeeldleerlingendiedeleerstofheelgoedbeheersen/netbeheersen/netnietbeheersen/helemaalnietbeheersen)verdeeld.Eenstandaardofcesuurwordtgebruiktomtekunnenbepalenwelkeleerlingenovervoldoendekennisenvaardighedenbeschikkenombijvoorbeeldeenbepaaldestudietevolgenofeenbepaaldberoepuitteoefenen.Indiegevallenkanmennietvolstaanmethetselecterenvandeleerlingenmetdehoogstescores.Hetismogelijkdatzelfsdeleerlingenmetdehoogstescoresnietgekwalificeerdzijnmaarhetisookmogelijkdatdeleerlingenmetdelaagstescoresgekwalificeerdzijn.Methodenvoorhetbepalenvanstandaardenofcesurenwordenwelonderscheidenin
149 Het beoordelen van toetsscores < Inhoud Index >
methodendiegebaseerdzijnopdebeoordelingvandeitems/vragen/opdrachtenuiteentoetsenmethodendiegebaseerdzijnopdebeoordelingvandeleerlingendiedetoetsmaken.Vandevelemethodendieindeloopderjarenontwikkeldzijn,zullenweuitelkecategorieéénmethodebespreken.Voorafgaandaandezetweemethodenbesprekenweeenmethodedieeigenlijkgeenmethodegenoemdkanwordenmaardieweweldeintuïtievemethodezullennoemen.
9.2.1 Intuïtieve methodeDe intuïtievemethodeiswaarschijnlijkdemeestgebruiktemethodevoorhetbepalenvandecesuurvaneentoets.Bijdeze‘methode’wordtdecesuurdoordedocentopbasisvanintuïtieenervaringvastgesteld.Vaakwordt55%of60%vanhetaantaltebehalenscorepuntenopdetoetsalscesuurgekozenomdatdatpercentageovereenkomtmethetbeheersenvanietsmeerdandehelftvandeleerstof.Hetnadeelvandezemethodeisdatdeleerlingenhetzelfdepercentagescorepuntenmoetenbehalenbijeengemakkelijkealsbijeenmoeilijketoets.Datlaatstemaaktdemethodeergsubjectiefomdatweuitonderzoekwetendatdocentendemoeilijkheidsgraadvantoetsenmoeilijkkunneninschatten.Bijmoeilijketoetsenzaltoepassingvandezemethodedanookvaaktotaanpassingvanhetpercentagegezaktenleiden.
9.2.2 Methode van AngoffDemeestgebruiktemethodevoordebepalingvandecesuurdiegebaseerdisopdebeoordelingvanitemsisdemethodediegenoemdisnaardeAmerikaansetoetsdeskundigeAngoff.Uitdeverschillendevariantendiedezemethodekent,hebbenwehiereenkeuzegemaakt.
DemethodevanAngoffbestaatuitdevolgendestappen:
1 Deitemswordenbeoordeelddooreenpanelvanpersonendieovervoldoendevakinhoudelijkedeskundigheidbeschikkenenbekendzijnmetdeleerlingendiedetoetsmaken.
2 Debeoordelaarswordtgevraagdomvanelkitemaandetegevenhoeleerlingendienaarhunmeningovernetvoldoendekennisenvaardighedenbeschikkenomeenvoldoendetebehalenopdetoetsopelkitemzullenscoren.Bedoeldeleerlingenwordenookwelgrensleerlingenofzesjesleerlingengenoemd.Concreetwordtaandebeoordelaarshetvolgendeoordeelgevraagd:‘Watdenktuwatdegemiddeldescoreopdititemzalzijnals100zesjesleerlingendititembeantwoorden?’
3 Vaneenbeoordelaarwordendeoordelenvanalleitemsopgeteld.Desomvandezeoordelenisdevoorgesteldecesuurvandezebeoordelaar.Indieneraanzienlijkeverschillenzijntussendevoorgesteldecesurenvandebeoordelaars,wordendeverschillenbesprokenenwordendeitemsherbeoordeeld.Indienerdannogbehoorlijkeverschillentussendecesurenzijn,wordendeitemsopnieuwbesprokenenherbeoordeeld.
4 Indiendeverschillentussendevoorgesteldecesurenvandeverschillendebeoordelaarsalsacceptabelbeschouwdworden,wordthetgemiddeldevandeverschillendecesurenalscesuurvoorgesteldaandegenendieeindverantwoordelijkzijnvoorhetvaststellenvandecesuur.Indiendeverschillentussendevoorgesteldecesurenvandeverschillendebeoordelaarsredelijkgrootblijven,kanmenbijvoldoendebeoordelaarshetgemiddeldevandevoorgesteldecesurenberekenennaweglatingvanextremecesuren.Indeliteratuurishetadviesomvoortoetsenwaarmeebelangrijkebeslissingenoverleerlingengenomenwordenminstensachtbeoordelaarsinteschakelen.
150 Cito | Toetsen op School < Inhoud Index >
Inonderstaandetabelhetvoorbeeldvaneenbeoordelingvanvijfitemsdoordriebeoordelaars.
Beoordelaars
Item Maximum score 1 2 3 Gemiddelde
1 1 0,30 0,30 0,25 0,28
2 1 1 0,50 1 0,83
3 1 0,50 0,30 0,5 0,43
4 1 0,50 0,50 0,5 0,50
5 2 0,70 0,80 0,90 0,80
Cesuur 3,00 2,40 3,15 2,85
Indekolom‘maximumscore’zienwedatopvieritems1scorepuntbehaaldkanwordenenopeenitem2scorepunten.Degemiddeldescoreopitem1is0,28watbetekentdatdedriebeoordelaarsverwachtendat100zesjesleerlingenopitem1eengemiddeldescorevan0,28zullenbehalen.Wezienookdatdevoorgesteldecesuurvandetweedebeoordelaarnogalafwijktvandevoorgesteldecesurenvandetweeanderebeoordelaars.Hetgemiddeldevandedoordebeoordelaarsvoorgesteldecesurenis2,85,datwilzeggendateenleerling2,85=3scorepuntenvandeintotaal6scorepuntenmoetbehalenomtekunnenslagenvoordezetoets.HetvoordeelvandemethodevanAngoffisdatdemethodeeenvoudiguitgevoerdkanworden.Hetnadeelisdatbeoordelaarsnietvertrouwdzullenzijnmetdeoordelendievanhengevraagdwordenendatdieoordelendaarommoeilijktemakenzijn.Voortoepassingvandezemethodeishetechtervanessentieelbelangdatbeoordelaarshetzelfdedenkenoverwateenzesjes-leerlingweetenkan.Datkanbereiktwordendoordebeoordelaarseersttelatenoefenenmeteenpaarvragenenhunoordelengezamenlijktebespreken.Indienmogelijkmoetmendebeoordelaarsookinformatiegevenoverdemoeilijkheidsgraadvandeitems,overdetoetsscoresdiedoordedoelgroepbehaaldzijnenoverhetaantalleerlingendatbijverschillendecesurenzalzakken.Voorbepaaldetoetsenzoudekwaliteitvandeoordelenookverbeterdkunnenwordenalsdebeoordelaarsookzelfdetoetsenzoudenmaken.
9.2.3 Methode van contrasterende groepenDemethodevancontrasterendegroepengaatuitvandeveronderstellingdatleerlingendieeentoetsgaanmaken,verdeeldkunnenwordenintweeofmeercontrasterendegroepenopbasisvanbeoordelingenvanhunkennisenvaardigheden.Tweecontrasterendegroepenzijnbijvoorbeelddeleerlingendievolgenshundocentenvooreentoetszullenslagenendeleerlingendievooreentoetszullenzakken,zonderdatdedocentenwetenwathuntoetsscoreszijn.
Bijdezemethodewordendeoordelenvandedocentenoverwelkeleerlingenzullenslagenenwelkezullenzakkenvergelekenmetdetoetsscoresdiedeleerlingenbehaaldhebben.Alscesuurvoordetoetskomtinaanmerkingdetoetsscorediedeminstemisclassificatiesoplevert.
Demethodevancontrasterendegroepenheeftalsvoordeeldatbeoordelaarsofdocentengewendzijnaanhetgevenvandeoordelendievanhenverlangdworden.Eennadeelisdatdocentenkunnenverschilleninhunwijzevanbeoordelenvandeleerlingen.
Hiernalichtenwedemethodetoeaandehandvaneentoetsvan50itemsdiedoor 400leerlingengemaaktis.Volgensdedocentenzoudenopdezetoets88leerlingenmoetenzakkenendus312leerlingenmoetenslagen.Degemiddeldetoetsscorevandeleerlingen dievolgenshundocentenzoudenmoetenzakkenwas16,78envandeleerlingendie zoudenmoetenslagen34,24.Gegevendezetoetsscoreszoueenacceptabelecesuurhet
151 Het beoordelen van toetsscores < Inhoud Index >
gemiddeldevandezetweegemiddeldenkunnenzijnwateencesuurzougevenvan (16,78+34,24)/2=25,51.
Onderstaandetabelbevatdescoreverdelingenvandeleerlingendiegezaktengeslaagdzijn. Indezetabelwordendeaantallenleerlingenmetlagescores(totenmetdescore20)endeaantallenleerlingenmethogescores(vanafdescore28)nietvermeldomdatweerbijditvoorbeeldvanuitgaandatdecesuurnietlagerdandescore20ofhogerdandescore28is. Voordescores21totenmet27wordendeaantallenleerlingendiedezescoresbehaaldhebbenwelvermeld.
Score Gezakt Geslaagd
0–20 63 9
21 5 2
22 1 2
23 1 6
24 0 8
25 4 14
26 1 16
27 4 8
28–50 9 247
Totaal 88 312
Bovenstaandetabellaatziendatverschillendecesureninaanmerkingkomenmaardevraagiswelkecesuurdevoorkeurverdient.Steldatwealscesuurdescore24kiezen.Indetabelzienwedatbijdezecesuur(4+1+4+9=)18leerlingenvoordetoetszoudenmoetenslagenterwijlzevolgensdeoordelenvandocentenzoudenmoetenzakken.Bijdezecesuurzoudenvolgensdeoordelenvandedocenten(9+2+2+6=)19leerlingenmoetenslagenterwijlzevolgensdetoetszoudenmoetzakken.Bijeencesuurvan24hebbenwedus(18+19=)37misclassificatieswatgelijkisaan9,3%vande400leerlingen.
Opdevraagwelkecesuurdevoorkeurverdient,ishetantwoorddiecesuurdiehetaantalmisclassificatiesminimaliseert.Onderstaandetabelbevatderesultatenvoorvijfcesuren.Indetabelstaat‘–’voorgezakten‘+’voorgeslaagd.Gegevendepercentagesmisclassificatiesbijdeverschillendecesuren,verdienteencesuurvan22of23devoorkeur.
Cesuur = 21 Cesuur = 22 Cesuur = 23 Cesuur = 24 Cesuur = 25
– + – + – + – + – +
Onder cesuur 63 9 68 11 69 13 70 19 70 27
Cesuur of hoger 25 303 20 301 19 299 18 293 18 285
Totaal 88 312 88 312 88 312 88 312 88 312
% misclassificaties 8,5% 7,8% 8,0% 9,3% 11,3%
Bovenstaandetabellaatziendatwemetverschillendesoortenmisclassificatiestemakenhebben.Alsjedecesuurverhoogt,zullenleerlingendiehaddenmoetenzakkenminderkanshebbenteslagen.Leerlingendiehaddenmoetenslagen,hebbenechtermeerkanstezakken. Alsjedecesuurverlaagt,zullenleerlingendiehaddenmoetenslagenminderkanshebbentezakken.Leerlingendiehaddenmoetenzakken,hebbenechtermeerkansteslagen.Jekuntdeenesoortmisclassificatieverminderendoordecesuurteverlagenmaardoordattedoen
152 Cito | Toetsen op School < Inhoud Index >
verhoogjedeanderesoortmisclassificatie.Eenoverwegingbijhetbepalenvancesurenzoudanookkunnenzijndatjedeenesoortmisclassificatieergervindtdandeanderesoort,bijvoorbeeldtenonrechtezakkenopdetoetsvindjeergerdantenonrechteslagen,enhoeveelergerdanwel.
Indienmenoverweegtdemethodevancontrasterendegroepentoetepassen,moetentweezakennietvergetenworden.Indeeersteplaatsmoetendesteekproevenvanvoldoendeomvangzijn.Inhetvoorbeeldwashetaantalgezakteleerlingenvan88leerlingenzeerbescheidenwaardoordeuitkomstenindetabelstatistischinstabielzijn.Indetweedeplaatskunnenervraagtekensbijdeoordelenvandocentengezetworden.Omvoldoendeleerlingentehebben,zullenleerlingenafkomstigzijnvanklassenofanderegroepenmetverschillendedocenten.Oordelenvandocentenkunnenechterverschillenomdatdeenedocentmilderofstrengerisdandeanderedocenten/ofomdatdeenedocentbetereofslechtereleerlingenheeftdandeanderedocent.
Develemethodendiedeafgelopenjarenontwikkeldzijnomstandaardenofcesurentebepalen,hebbenallevoor-ennadelen.Deuitvoerbaarheidvandemethodezalvaakdoorslaggevendzijnbijdekeuzevooreenmethode.Zozalmenindeonderwijspraktijkvaakoverweinigdocentenendusoverkleinesteekproevenvanleerlingenbeschikken.IndatgevalzoumenkunnenoverwegenomzoweldecesuurtebepalenmetdemethodevanAngoffalsmetdemethodevancontrasterendegroepenomtezienofdetweecesurennietteveelvanelkaarverschillen.
9.3 Van toetsscores naar cijfers
InhetNederlandseonderwijsishetgebruikelijkomaantoetsscorescijferstoetekennen.Daarvoorisindeeersteplaatsnodigdatvooreentoetseencesuurbepaaldis.Driemethodenvoorhetbepalenvaneencesuurhebbenweinvoorgaandeparagraafbesproken.Isdecesuureenmaalvastgestelddanzijnerverschillendemethodenomaantoetsscorescijferstoetekennen.Demeestvoorkomendemethodenendeoverwegingendieaandiemethodentengrondslagliggenwordenhiernabesproken.Voorafgaandaandiebesprekingwordteerstkortingegaanopdebetekenisenhetgebruikvancijfers.
9.3.1 Betekenis en gebruik van cijfersDeNederlandsecijferschaalkentalslaagstecijferhetcijfer1enalshoogstecijferhetcijfer10.Decijferschaalvan1totenmet10werdinhetjaar1870officieelingevoerdvoordeeindexamensvandeHogereBurgerscholen(vergelijkbaarmethuidigehavoenvwo).Sindseenwetswijzigingin1929hebbendecijfersdevolgendebetekenis:
Cijfer Betekenis
10 uitmuntend9 zeergoed8 goed7 ruimvoldoende6 voldoende5 onvoldoende4 sterkonvoldoende3 zeersterkonvoldoende2 slecht1 zeerslecht
153 Het beoordelen van toetsscores < Inhoud Index >
BehalveinNederlandwordtdecijferschaalvan1totenmet10ookinBelgiëgebruiktomdeprestatiesvanleerlingentebeoordelen.Inanderelandengebruiktmenechteranderecijfer-schalen.IndeVerenigdeStatenenAngelsaksischelandengebruiktmenletters.IndeVerenigdeStatengebruiktmenveelaldelettersA,B,C,D,EofFwaarbijAvooruitmuntendstaat,Cvoorvoldoende,DvooronvoldoendeenEofFvoorsterkonvoldoende.InFrankrijklopendecijfersvan1toten20eninRuslandvan1totenmet5.InDuitslandlooptdecijferschaalvan6(slecht),via4(voldoende)naar1(zeergoed).InDuitslandhaaljeechtereerdereen1danbijonseen10.HetDuitsecijfer1iswaarschijnlijkhetbestetevergelijkenmetonscijfer9.
Inhoofdstuk1hebbenwevierdoelenvantoetsenonderscheiden:toetsenvoorhetbeoordelenvanleerlingen,toetsenvoorhetbeoordelenvanhetonderwijsleerproces,toetsenvoorhetbeoordelenvangroepenleerlingenenscholen,entoetsenvoorhetbeoordelenvandekwaliteitvanhetonderwijs.Cijfersspeleneenbelangrijkerolbijhetbeoordelenvanleerlingen. Cijferswordengebruiktbijhetselecteren,classificeren,plaatsenencertificerenvanleerlingen.Hoewelcijfersookgebruiktwordenbijhetbeoordelenvanhetonderwijsleerproces,zijnleerlingenbijdezetoetsenmeergebaatbijhetgevenvangoedefeedbackenfeedforward. Uitonderzoekblijktdathetgevenvancijfersvooralzwakkeleerlingendemotiveert.Voorhetgebruikvanexamencijfersvoorhetbeoordelenvanscholenverwijzenwenaarhoofdstuk1waarwehetonderzoeknaardekwaliteitvanscholenvandeInspectievanhetOnderwijsbespraken.Bijtoetsenvoorhetbeoordelenvande(internationale)kwaliteitwordtgeengebruikgemaaktvancijferszoalshierbedoeld.
9.3.2 Lineaire omzetting van toetsscores in cijfersDe lineaireomzettingvantoetsscoresincijfersgaatuitvaneenlineairverbandtussentoetsscoresencijfers.Deformuleschrijvenweals:
C = AS + B
IndezeformulestaatCvoorhetcijfer,SvoordetoetsscoreenA en Bvoordeteberekenenconstanten.Deconstantenleggenwevastdoorvoortweeverschillendescoresdebijbehorendecijferstekiezenof,watophetzelfdeneerkomt,bijtweecijfersdebijbehorendescorestekiezen.Eengebruikelijkekeuzeishetcijfer5,5dathetlaagstevoldoendecijfervoorstelt.Welkelaagstetoetsscorehetlaagstevoldoendecijfer5,5oplevert,isdecesuurdiewevoorstellenalsSV. Hetcijfer10ishethoogstecijferenhetisgebruikelijkomvoorhetcijfer10dehoogstetoetsscoretenemen.DezehoogstetoetsscorenoemenweS10.WekunnennudeconstantenA en Buitbovenstaandeformulealsvolgtberekenen:
10 = AS10 + B
5,5 = ASV + B
Doordetweedevergelijkingvandeeersteaftetrekken,eliminerenwedeconstanteBenvindenwedeoplossingvoorA:
A= 4,5/(S10 – SV)
AlsweAweten,kunnenwedoorsubstitutieBmetbehulpvandeeerstevergelijkingvinden:
B = 10 – AS10
WenemenalsvoorbeelddetoetsscorevanJanopdehavo-toetsEngels2009(ziehoofdstuk3).DemaximumscoreopdezetoetsisS10=49endelaagstevoldoendescoreofcesuuris SV=28.
154 Cito | Toetsen op School < Inhoud Index >
DitbetekentdatAgelijkisaan0,214enBgelijkisaan–0,5.Janheefteentoetsscorevan42watgelijkstaataanC=0,214x42–0,5=8,5.
IndetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk9,vindtmeneencomputer-programmamettoelichting,getiteldomzetscores.exe,waarmeementoetsscoresincijferskanomzetten.Hetprogrammageeftvoordrieverschillendeomzettingenzoweleentabeleneengrafiekvanscoresmetbijbehorendecijfers.Indienbijdehavo-toetsEngels2009gekozenwasvooreenlineaireomzettingzienweindetabelengrafiekdatmetdescore42eencijfervan8,5correspondeert,dateenscorevan7hetcijfer1,0eneenscorevan2zelfseennietbestaandnegatiefcijferoplevert.Inhoofdstuk3zagenweechterdatJanhetcijfer8,1gekregenheeft. Datkomtomdatbijdecentraleexamensvoortgezetonderwijs,zieparagraaf9.3.4,deomzettingvantoetsscoresincijfersopeenanderemanierdanviaeenlineaireomzettingplaatsvindt.
9.3.3 Lineaire omzetting met knik van toetsscores in cijfersBijdelineaireomzettingvantoetsscoresincijferszalhetvaakvoorkomendateentoetsscorevan0nietgelijkisaanhetcijfer1,0,maarbijvoorbeeldhet(nietbestaande)cijfer–0,5ofhetcijfer2,6.Datlaatstekomtomdatdeomzettingbepaaldwordtdoordetweescoresdiebijdecijfers5,5en10gekozenzijn.Wanneermenechtertevredenismetdescoresbijdecijfers5,5en10maaraandescore0hetcijfer1wilgeven,dankanmendelineaireomzettingmetkniktoepassen.Daarbijblijftdelineaireomzettingtussendecijfers5,5en10hetzelfdeenvindtereenapartelineaireomzettingplaatstussendecijfers1en5,5.Hetgevolgisdatereenknikontstaatbijhetcijfer5,5.Indienbijdehavo-toetsEngels2009gekozenwasvooreenlineaireomzettingmetknikzienweindetabelengrafiekdatmetdescore42eencijfervan8,5correspondeertenmeteenscorevan0hetcijfer1,0.
9.3.4 De omzetting van toetsscores in cijfers bij de centrale examens voortgezet onderwijsDeomzettingvantoetsscoresincijfersdiebijdecentraleexamensvoortgezetonderwijsgebruiktwordt,isdezogehetenCvE-methode.Demethodegebruiktdevolgendeformule:
C = (9/L)S + N
IndezeformulestaatCvoorcijfer,L (L=lengtevandetoets)voordemaximumscore,Svoordetoetsscore en Nvoordenormeringsterm.Denormeringstermiseengetaldatmeestaltussen 0,0en+2,0ligtendatdoorhetCollegevoorExamens(CvE),www.cve.nl,vastgesteldwordtinrelatietotdemoeilijkheidsgraadvandetoets.Indiendenormeringstermongelijkisaan1,0,danzijndebegrenzingenzodanigdatdenulscoregelijkisaanhetcijfer1endemaximumscoregelijkisaanhetcijfer10.Voormeerinformatieoverdetechnischeachtergrondvande CvE-methode,ziePDF9.1 en PDF9.2indetoetsspecialopdewebsiteToetswijzer,http://toetswijzer.kennisnet.nl/html/toetsenopschool/default.shtm>ToetsenopSchool>Hoofdstuk9.
HiervoorzagenwedatJanmeteentoetsscorevan42eneencesuurvan28bijeenlineaireomzettinghetcijfer8,5kreeg.Inhoofdstuk3zagenwedatdenormeringstermvoordehavo-toetsEngels2009gelijkwasaan0,4.DoordenormeringstermkrijgtJanvolgensbovenstaandeformulehetcijferC=(9/49)42+0,4=8,1. 9.3.5 Het aantal cijfersInparagraaf9.3.1zagenwedatverschillendelandenverschillendecijferschalengebruiken. ZogebruiktmeninDuitslandeencijferschaalmet6cijferswaarbijhetcijfer6hetlaagstecijferenhetcijfer1hethoogstecijferis.InNederlandgebruikenwedecijferschaal1totenmet10. IndienwealleengehelecijfersrapporterendanzoudenwekunnendenkendatweinNederland
155 Het beoordelen van toetsscores < Inhoud Index >
bijnatweekeerzopreciesbeoordelenalsinDuitslandenalsweopeendecimaalnauwkeurigrapporterenzoudenwezelfsbijna20keerzopreciesmeten.Isdatlaatsteechterwelzo? Inhoofdstuk3zagenwedattoetsscoresencijfersvaaknietergpreciesgemetenworden. Ditbetekentdatgegevendeonbetrouwbaarheidvandetoets,eencijferschaalmet10cijfers (1,…,10)eentegrotenauwkeurigheidsuggereert.Vooreencijferschaalmet91cijfers (1,0,…,10,0)geldtditnatuurlijknoginsterkeremate.Aangeziencijfersnietsandersdangeordendecategorieënzijn,geldthetvoorgaandeookvoorandereonderscheidingenofbeoordelingen.ZogebruikthetCitoVolgsysteemprimaironderwijsvijfcategorieënomleerlingenteonderscheidenengebruiktmeninhetmiddelbaarberoeps-onderwijsvaakalleendecategorieënonvoldoendeenvoldoendeomdeprestatiesvanleerlingenopeenproevevanbekwaamheidtebeoordelen.Watisnueenbelangrijkekeuzevoorhetaantalteonderscheidencategorieën?Eenbelangrijkeregelis:‘Maaknietmeercategorieëndanjegebruikt’.Datwilzeggendatalseralleenbeslotenwordtofiemandzaktofslaagt,danzijntweecategorieëngenoeg.Wanneerjeooknogwiltaangevenofiemandeenechtgoedeprestatieheeftgeleverd,hebbenweaandriecategorieëngenoeg.Nuishetnatuurlijkaltijdzodatweinformatieweggooienalswemindercategorieënnemendanertoetsscoreszijn.Stelwehebbeneentoetsvan40itemsmetdriecategorieën:categorie1krijgjevoor20scorepuntenofminder,categorie2vanaf21totenmet30score-puntenencategorie3vanaf31scorepunten.Alservooreenleerlingcategorie2wordtgerapporteerddanweetjenietofdieleerlingbijvoorbeeldscore21of30heeft.Jemagerechterwelvanuitgaandatiemandmetscore30overhetalgemeendichterbijcategorie3zitdaniemandmetscore21.Voorhetgebruikvansommigetoetsen,bijvoorbeeldhetCitoVolgsysteemprimaironderwijs,zouhetinformatiefkunnenzijnomtewetenhoegrootdekansisdateenleerlinginiedervandecategorieënzit.Vooriemandmetscore21zoumendanbijvoorbeeld45%,53%,2%kunnenrapporterenwatbetekentdatdeleerlingmet45%kanstotcategorie1behoort,met53%kanstotcategorie2enmaar2%kansheeftomtotcategorie3tebehoren.Dezeleerlingwordtdanuiteindelijktotcategorie2gerekendmaardeinformatiedaterookeengrotekansisdatdeleerlingtotcategorie1behoort,isdannietverlorengegaan.
9.4 Het scoren van meerkeuzevragen
Indezeparagraafbesprekenwetweegangbaremanierenommeerkeuzevragentescoren:decorrectievoorradenenhetwegenvan(meerkeuze)vragen.
9.4.1 Correctie voor radenBijeenmeerkeuzevraagmetvieralternatievenheefteenleerlingaltijd25%kansomhetgoedeantwoordtekiezen.Alseenleerlingdriefoutealternatievenheeftgekozen,neemtmenaandatdeleerlingopbasisvantoevalookvoorgemiddeldééngoedalternatiefheeftgekozen.Hetaantalitemsdatdeleerlingnietkonoplossenisdaneigenlijk4/3groterdanhetaantalfoutbeantwoordeitems.UitgaandevanvoorgaandeargumentatiewordtdevoorradengecorrigeerdetoetsscoreSCvooreenleerlingdieFitemsfoutheeftbeantwoordopeentoetsmetMitems,gegevendoor:
SC = M – (4F)/3
Steldateenleerling15itemsvaneentoetsbestaandeuit60itemsmetvieralternatieven goedbeantwoordtdanisvolgensvoorgaandeformuleSC=60–(4x45)/3=0.Haddetoetsuit60itemsmetdriealternatievenbestaandanwasdevoorradengecorrigeerdescorenegatiefgeweest,namelijkSC=60–(3x45)/2=–7,5.
156 Cito | Toetsen op School < Inhoud Index >
InhetalgemeenisvooreentoetsmetAalternatievendevoorradengecorrigeerdescoregelijkaan:
SC = M – (AF)/(A–1)
Volgensdezeformulewordtbijcorrectievoorraden–1/(A–1)punteninminderinggebracht, datwilduszeggen1scorepuntingevalvaneentweekeuzevraag,1/2scorepuntbijeendrie-keuzevraag,1/3scorepuntbijeenvierkeuzevraag,1/4scorepuntbijeenvijfkeuzevraag, 1/5scorepuntbijeenzeskeuzevraag,etc.
Indiendeitemsuiteentoetsverschillendeaantallenalternatievenhebben,ishetnietmogelijkomopbasisvanderuwetoetsscoredegecorrigeerdescoreteberekenen.Hebbenwebijvoorbeeldeentoetsbestaandeuitvijfitemsmetrespectievelijk2,4,5,6,3alternatieven,danheefteenleerlingmetdeitemscores01100eenanderegecorrigeerdescoredaneenleerlingmetdeitemscores10001terwijlbeideleerlingeneentoetsscoregelijkaan2hebben.Deleerlingmetdeitemscores01100heeftdescore–1+1+1–1/5–1/2=0,3terwijldeleerlingmetdeitemscores10001descore1–1/3–1/4–1/5+1=1,2heeft.
Correctievoorradeniseigenlijkeenverkeerdebenamingomdatdietenonrechtesuggereert datdegecorrigeerdescoredescoreisdiemenzoubehalenalsernietgeradenwerd.Hetiseenmisvattingalszoudecorrectievoorradenhetvoordeelvaneenhogerescoredoorgelukkig teradenelimineren.Eenleerlingdieheelveelgelukheeft,heeftdaaraltijdvoordeelbij. Decorrectievoorradenkanleidentoteenconservatieveantwoordstrategiebijleerlingenwaardoorzeveelantwoordenoverslaan.Indatgevalmetenwemetdetoetsnaastdevaardigheiddiewebeogentemetenookeenanderevaardigheidendattastdevaliditeitvandetoetsaan.Uitonderzoekblijkttrouwensdatleerlingendieitemsoverslaan,hogerdanverwachtopdeovergeslagenitemsgescoordzoudenhebben.Ditbetekentdatweleerlingenmoetenadviserenomaltijdteantwoorden.
Wanneerwedecorrectievoorradentoepassen,zaldetoetseenlagerebetrouwbaarheidhebbendaninhetgevalvandegebruikelijkemaniervanscorenwaarbijwedeitemsdiegoedbeantwoordzijndescore1geven.Datdeeerstemaniervanscorentoteenlageretoets-betrouwbaarheidleidtdandetweedemaniervanscoren,heeftalsoorzaakdatdoordeeerstemaniervanscorendevariantievandegeobserveerdescores,enookvandewarescores,kleinerwordt.Bovendienmagverwachtwordendatookdefoutenvariantiedoordeeerstemaniervanscorenzaltoenemenomdatsommigeleerlingenmeerradenbijitemswaarvanzenietzekerwetenwathetgoedeantwoordisterwijlandereleerlingeneerdergeneigdzijnomgeenantwoordtegeven.
Eenvariantopdecorrectievoorradenisdatvooralleitemsdiefoutwordenbeantwoord 1scorepuntinminderinggebrachtwordt.Indatgevalisdescoringsregeldateengoedbeantwoorditem1scorepuntoplevert,eennietbeantwoorditem0scorepunteneneenfoutbeantwoord–1scorepunt.Bijdezescoringsregelwordthetfoutbeantwoordenvaneenmeerkeuzeitem,behalvehettweekeuzeitem,dusveelstrengerbestraftdanbijdecorrectievoorraden.Wathetgevolgvandezescoringsregelopdebetrouwbaarheidvaneentoetsis,blijktuiteenonderzoekbij1750studentendie193meerkeuzevragenbeantwoordhebben. Alswedeitemsvoorgoedeantwoordenmet1scorenendeoverigemet0,danisdebetrouwbaarheidgelijkaan0,96.Passenwedescoringsregel1,0,–1toedanzaktdebetrouwbaarheidnaar0,84.Bijditgroteaantalitemsiseenverschilinbetrouwbaarheidvan0,12zeergroot.Gegevenwathiervooroverdecorrectievoorradenopgemerktis,isonsadviesdanookomdecorrectievoorradenniettoetepassen.
157 Het beoordelen van toetsscores < Inhoud Index >
9.4.2 Het wegen van de itemscoresWegingisweliswaarnietbeperkttotmeerkeuzevragen,maarwebehandelenhethiertoch. Deargumentatieisooktoepasbaaropalletypenvragen.Meestalwordende0–1itemscoreseenvoudigopgeteldomdetoetsscoreteverkrijgen.Somsmeentmenechterdateenmoeilijkevraageenhogerescoreverdientdaneengemakkelijkevraag.Wegeveneeneenvoudigvoorbeeld.Steldatweeentoetshebbenvantweeitems,ééngemakkelijkenéénmoeilijkitem.Steldat,indiengoedbeantwoord,wehetgemakkelijkeitemmet1scorepunthonorerenenhetmoeilijkeitemmet4scorepunten.Behalveallesgoedenallesfout,diebeidemaaréénantwoordpatroonkennen,zijnertweeantwoordpatronenwaarinprecieséénantwoordgoedenéénantwoordfoutisbeantwoord.Datzijndeantwoordpatronen01en10.Alsheteersteitemhetgemakkelijkeenhettweedeitemhetmoeilijkeitemis,dankrijgtscorepatroon01descore4enscorepatroon10descore1.Daarentegenkrijgenbijongewogenscoringbeideantwoordpatronendescore1.Ishetverdedigbaardateenleerlingdiehetgemakkelijkeitemfoutmaakt4maalhogerwordtgewaardeerd?Deleerlingheeftweliswaarhetmoeilijkeitemgoed,maarzo’ngemakkelijkitemfoutmaken?Devraagstellenishembeantwoorden.Hetisnietteverdedigen.Ditisdebelangrijksteredenomwegingopbasisvanmoeilijkheidachterwegetelaten.Detweederedenisdatwegingvaaknietveeluitmaakt.Decorrelatietussendeongewogenengewogenscoresisveelalhogerdan0,96.Diezeerhogecorrelatiebetekentdatleerlingendiedehoogsteofdelaagstetoetsscoresopdetoetsmetdeongewogenitemshebbenookdehoogsteofdelaagstescoresopdetoetsmetdegewogenitemshebben.Ditbetekentdatinhetgevalvanrelatiefnormerenhetwegenvanitemsgeenzinheeft.Inhetgevalvanabsoluutnormerenkanhetechtervoorkomendatsommigeleerlingendiezakkenbijrelatiefnormerengeslaagdzoudenzijnbijabsoluutnormerenenomgekeerd.Datlaatsteisechtergeenredenomeenleerlingdievooralmoeilijkeitemsgoedheeftenveelgemakkelijkeitemsfouthetvoordeelvanwegingtegunnenboveneenleerlingdievooralgemakkelijkeitemsgoedheeftenmoeilijkeitemsfout.Gegevenvoorgaandeargumentenradenwijhetwegenvanvragenopbasisvanmoeilijkheids-graadaf.
158 Cito | Toetsen op School < Inhoud Index >
10 De kw
aliteit van toetsen en examens
10 De kwaliteit van toetsen en examens
160 Cito | Toetsen op School < Inhoud Index >
10 Dekwaliteitvantoetsenen examens
Piet Sanders en Bas Hemker
Indithoofdstukoverhetbeoordelenvandekwaliteitvantoetsenenexamensbehandelenwetweebeoordelingssystemen.Heteerstebeoordelingssysteemishet‘Beoordelingssysteemvoorde kwaliteitvantests’datdoordeCommissieTestaangelegenhedenNederland(COTAN)gebruiktwordtompsychologischetestsenstudietoetsentebeoordelendiedooruitgeverijenenanderebedrijvenopdemarktgebrachtworden.Inhetvervolgvandithoofdstukwordendetermen‘test’en‘toets’doorelkaargebruikt.Hettweedebeoordelingssysteembetreftde‘Regelingstandaarden examenkwaliteitmbo2012’waarmeedoordeInspectievanhetOnderwijsdeexamensvanhetmiddelbaarberoepsonderwijs(mbo)beoordeeldworden.
Erzijntweeredenenomaandachttebestedenaanbeoordelingssystemenvantoetsenenexamens.Indeeersteplaatskunnendebeoordelingenvandezesystemendegebruikerhelpenbijhetbeoordelenenselecterenvantestsentoetsendievangoedekwaliteitzijn.Bijdedoorverwijzingvanleerlingennaarhetleerwegondersteunendonderwijs(LWOO)enhetpraktijkonderwijs(PrO)schrijftdeoverheidzelfsvoordatalleentoetsengebruiktmogenwordendieopdoordeCOTANonderscheidencriteriavoldoendebeoordeeldzijn,zie www.toetswijzer.nl>Toetsspecials>InstrumentenindicatiestellingLWOOenPrO.Indetweedeplaatskunnendezebeoordelingssystemenhelpenbijhetconstruerenvantoetsendievoldoenaandeeisendiedoorderdenaanhetgebruikvantestsentoetsengesteldworden.VoorhetmbogeldtbijvoorbeelddatopleidingenhunexamenlicentiekunnenkwijtrakenindiendeexamensvanonvoldoendekwaliteitzijnvolgensdestandaardenvoorexamenkwaliteitdiedeInspectiehanteert.
WebeginnendithoofdstukmethetCOTAN-beoordelingssysteemvoordekwaliteitvantests. DezevencriteriavanhetbeoordelingssysteemeneenvoorbeeldvaneenCOTAN-beoordelingwordengepresenteerdentoegelicht.Daarnawordendedriestandaardenvoordebeoordelingvandeexamenkwaliteitinhetmbogepresenteerd.Tenslottewordtingegaanopdebetekenisvanbeoordelingssystemenvoordetoetspraktijk.
10.1 COTAN Beoordelingssysteem voor de kwaliteit van tests
HetdoelvandeCOTAN,eencommissievanhetNederlandsInstituutvanPsychologen(NIP),ishetbevorderenvandekwaliteitvantestsentestgebruikinNederlandentestgebruikersteinformerenoverdestandvanzakenoptestgebied.VooruitgebreideinformatieoverdeCOTANziewww.psynip.nl/tests_cotan.html.DeCOTANbeoordeelttestsentoetsensinds1969metbehulpvaneenbeoordelingssysteemdatindeloopderjarensteedsverderontwikkeldis.In2009isdelaatsteversievanhetbeoordelingssysteemgetiteld‘COTANBeoordelingssysteemvoordekwaliteitvantests’verschenenmeteenherzienedrukin2010.
161 De kwaliteit van toetsen en examens < Inhoud Index >
DeCOTANbeoordeeltdekwaliteitvantestsopbasisvanzevencriteria:1 Uitgangspuntenvandetestconstructie2 Kwaliteitvanhettestmateriaal3 Kwaliteitvandehandleiding4 Normen5 Betrouwbaarheid6 Begripsvaliditeit7 Criteriumvaliditeit
Toetsenwordenbeoordeelddoortweedeskundigebeoordelaarsdiedebeoordelingenonafhankelijkvanelkaarverrichten.Ingevalvandiscrepantieswordendiedooreenonafhankelijkecoördinatormetdebeoordelaarsbesproken.Indiennodigschakeltdecoördinatoreenderdedeskundigein.Nadatdeeindbeoordelingnaardeauteur(s)vandetestgestuurdis,kandezebinneneenmaandopdebeoordelingreagerenwaarnadeCOTANdeeindbeoordelingalofnietaanpast.Dedefinitieveeindbeoordelingenvantoetsenwordenopgeslagenineendatabasediemenkanraadplegendooreenabonnementtenemen,zie www.cotandocumentatie.nlenhoofdstuk5voormeerinformatie.Vanveeltoetsendieinhetonderwijsgebruiktworden,kanmendebeoordelingenookvindenopwww.toetswijzer.nl > Toetsgids.
HiernawordendezevenkwaliteitscriteriavandeCOTANgepresenteerdenbesproken. Depresentatiebestaatuiteennagenoegletterlijkeweergavevandebelangrijkstecriteriauithetbeoordelingssysteem.Delezerdiekenniswilnemenvanhetvolledigebeoordelingssysteemverwijzenwenaarwww.psynip.nl/tests_cotan.html>COTANBeoordeling>Beoordelings-systeem.DebesprekingbestaatuithetgevenvanverwijzingennaaranderehoofdstukkenuitditboekentoelichtingenbijdeCOTAN-criteria.
1 Uitgangspunten van de testconstructieBijditcriteriumwordendrievragengesteld:
1.1 (Basisvraag)Iseraangegevenwathetgebruiksdoelisvandetest? a Iseraangegevenwelkeconstruct(en)detestbeoogttemeten? b Iseraangegevenwatdedoelgroep(en)is(zijn)vandetest? c Iseraangegevenwatdefunctieisvandetest? 1.2 Isdeherkomstvanhetconstructie-ideebeschrevenen/ofwordendetemeten
constructengedefinieerd? 1.3 Wordtderelevantievandetestinhoudvoordetemetenconstruct(en)aannemelijk
gemaakt?
Inhetbeoordelingssysteemkrijgtdebeoordelaarbijelkevraagaanwijzingenvoordebeoordeling.Bijvraag1.1amoetdebeoordelaarnagaanofhetduidelijkiswelkeconstructendetestbeoogttemeten.Voorbeeldenvanconstructenzijnintelligentie,leesvaardigheid,prestatiemotivatieofADHD.Zievoorhetvoorgaandeookhoofdstuk4,Devaliditeitvantoetsscores,waargesprokenwordtoverdeinterpretatievantoetsscores.Vraag1.1bspreektvoorzichterwijlvraag1.1cuitgebreidaandeordeisgeweestinhoofdstuk1,Hetdoelvantoetsen.Vandevierdoelendieindathoofdstukonderscheidenworden,heefthetCOTAN-beoordelingssysteembetrekkingoptoetsendietotdoelhebbenpersonenofleerlingentebeoordelen.
162 Cito | Toetsen op School < Inhoud Index >
Bijvraag1.2moetdebeoordelaarnagaanofdetestaansluitbijeenbestaandetheorieoverbijvoorbeeldleesvaardigheidofintelligentieenofdietheorievoldoendebeschrevenis.Bijvraag1.3moetdebeoordelaarnagaanofereenzodanigeomschrijvingvanhetitemdomeinbeschikbaarisdatduidelijkisofeenwillekeurigitemuitdetestwelofniettotdetestbehoort.
De relevantievandeinhoudvaneentoetsbetreftdeinhoudsvaliditeitvaneentoets. Inhoofdstuk4,Devaliditeitvantoetsscores,wordtditonderwerpbehandeld.Inde‘Regelingstandaardenexamenkwaliteitmbo2012’komtditaspectvantoetsenterugbijindicator1.2,dekkingvanhetkwalificatiedossier.
HoedeCOTAN-criteriagescoord/beoordeeldworden,lichtenwehiertoevoorcriterium1. Alle(sub)vragenwordendooreenbeoordelaaralsonvoldoende(1scorepunt),voldoende (2scorepunten)engoed(3scorepunten)beoordeeld.Vraag1.1iseenbasisvraagwatbetekentdatalseenvandesubvragen,1.1a,1.1bof1.1c,alsonvoldoendebeoordeeldis,criterium1alsonvoldoendebeoordeeldwordtendatmenderestvandevragenvanditcriteriumkanoverslaan.Indienditlaatsteniethetgevalis,gebeurtdevaststellingvanheteindoordeelvoorcriterium1opbasisvanhetaantalscorepuntenopde(sub)vragendieresulteertineenonvoldoende,voldoendeofgoedebeoordelingvanditcriterium.Zoisheteindoordeelvoorcriterium1‘goed’alsdesomvandebeoordelingenopdesubvragenvanvraag1.1,8of9scorepuntenbedraagtenalsopdevragen1.2en1.3minstens2scorepuntentoegekendzijn.Heteindoordeelvoorcriterium1is‘voldoende’alsdesomvandebeoordelingenopdesubvragenvanvraag1.1,6of7scorepuntenbedraagt,aangeenvandesubvragenvan1.1,1scorepunttoegekendisenalsopdevragen1.2en1.3minstens2scorepuntentoegekendzijn. Isinhetlaatstegevalaaneenvandevragen1.2of1.3,1scorepunttoegekenddanisheteindoordeel‘onvoldoende’.WatbetreftdebeoordelingenscoringvandeanderecriteriaverwijzenwedelezernaardeCOTAN-publicatievanhetbeoordelingssysteemopdewebsitevanCOTAN.
2 Kwaliteit van het testmateriaalBijdebeoordelingvanditcriteriumwordtonderscheidgemaakttussentestsdieschriftelijkofmetbehulpvandecomputerwordenafgenomen.Bijditcriteriumwordenvoorbeideafnamewijzendriebasisvragengesteld:
2.1 Zijndetestopgavengestandaardiseerd? 2.2 a Isersprakevaneenobjectiefscoringssysteem?en/of b Alsdescoringdoorobservatorengebeurt,isdanhetbeoordelings-ofobservatie-
systeemvolledigenduidelijk? 2.3 Zijndeitemsvrijvanracistische,etnocentrische,seksistischeenvoorbepaalde
bevolkingsgroepenkwetsendeinhoud?
Bijvraag2.1moetdebeoordelaarnagaanofdeitems/opdrachtenwatbetreftvorm,inhoudenvolgordevooriedereenhetzelfdezijn.Standaardiserenisbelangrijkalsmendetoetsscoresvanverschillendepersonen/leerlingenwilinterpreterenenvergelijken.De(on)mogelijkhedenomtestandaardiserenverschillennogalpertoetsvorm.Toetsenbestaandeuitmeerkeuzevragenzijneenvoudigertestandaardiserendantoetsenbestaandeuitopenvragenendiezijnweereenvoudigertestandaardiserendantoetsenbestaandeuitpraktischeopdrachten.Bijvraag2.2amoetdebeoordelaarnagaanofdescoresdieaanallemogelijkeantwoordenvanpersonenwordentoegekendbijvoorbaatzodanigvastliggen,datelketestleider/docent,afgezienvanadministratievefoutendiebijdescoringgemaaktkunnenworden,totdezelfdescorezalkomen.
163 De kwaliteit van toetsen en examens < Inhoud Index >
Bijvraag2.2bmoetdebeoordelaarnagaanofderichtlijnenvoordebeoordeling/scoring,waarondermodelantwoorden,modelgedragingen,schaalankersendergelijke,deobjectiviteitvandebeoordelingzogoedmogelijkwaarborgen.Vooreentoelichtingbijvraag2.3verwijzenwenaardepublicatievanK.Bügelen P.F.Sandersgetiteld‘Richtlijnenvoordeontwikkelingvanonpartijdigetoetsen’,diemengratiskandownloadenopdewebsitevanCito,www.cito.nl>Onderzoekenwetenschap>Psychometrie>Richtlijnenontwikkelingtoetsen.
Behalvededriebasisvragenwordenbijcriterium2voorbeideafnamewijzen,schriftelijkencomputer,nogtwaalfanderevragengesteld.Hetbetreftvragennaardekwaliteitvandeinstructievoordegeteste,decorrecteformuleringvandeitems,dekwaliteitvanhettest-materiaal,etc.Voormeerinformatiehieroververwijzenwenaardehoofdstukken6,7en8.
3 Kwaliteit van de handleidingBijditcriteriumwordtgevraagdnaardevolledigheidvandeinformatiediedehandleidingbiedtvoordegebruiker.Hierbijgaathetenerzijdsompraktischeaanwijzingenvoordeafname,scoringeninterpretatie(gebruikershandleiding)enanderzijdsominformatieoveronderzoekdatmetdetestisverricht(wetenschappelijkeoftechnischeverantwoording).Beidesoorteninformatiezijnvoordegebruikervanbelangomtekunnenbeoordelenwelkeconclusieseraaneentestscorekunnenwordenverbonden.Bijditcriteriumwordendevolgendevragengesteld:
3.1 (Basisvraag)Isereenhandleidingbeschikbaar? 3.2 Zijndeaanwijzingenvoordetestleidervolledigenduidelijk? 3.3 Wordterinformatiegegevenoverdegebruiksmogelijkhedenenbeperkingenvande
test? 3.4 Wordtindehandleidingeensamenvattingvandeonderzoeksresultatengegeven? 3.5 Wordtmetbehulpvanvoorbeeldenaangegevenhoetestscoreskunnenworden
geïnterpreteerd? 3.6 Wordtergewezenopinformatiediebijdeinterpretatievanbelangkunnenzijn? 3.7 Wordtdematevandeskundigheidvermelddievereistisvoorafnameen
interpretatievandetest?
Bijvraag3.1moetdebeoordelaarnagaanofereenhandleidingis.Indienergeenhandleidingis,kanmenderestvandevragenvanditcriteriumoverslaan.Bijvraag3.2moetdebeoordelaarnagaanofdeaanwijzingenvoordetestleiderzodanigzijndatdeafnamegestandaardiseerdplaatsvindt.Ermoetzoveelmogelijkletterlijkzijnvoorgeschrevenwatdetestleiderwelennietmagzeggenenwelkehandelingendetestleidermoetverrichten.Ookmoetvoorgeschrevenwordenhoedetestleideropvragenmoetingaan (erkunnenbijvoorbeeldstandaardtekstenwordengegevenvoorantwoordenopveelvoorkomendevragen),welkematevanondersteuningmagwordengebodenenwelkehulpmiddelendegetestemaggebruiken.Bijvraag3.3moetdebeoordelaarnagaanofdehandleidingvolledig,nauwkeurigenduidelijkisoverdegebruiksmogelijkhedenenbeperkingenvandetest.Hetmoetvoordetestgebruikerduidelijkzijnwelkeconstructenmetbehulpvandetestwordengemeten,voorwelkedoelgroepdetoetsbedoeldisenwathetdoelvandetoetsis.Verdermoetendebeperkingenvandetestzijnbeschreven.Iserbijvoorbeeldbijclassificatiebeslissingeninhetonderwijsaangegevendatdebeslissingnietopeenenkeletoetsmagwordengebaseerd?Wijstmenbijhetgebruikvanvoortgangstoetsenopderelatietussendetoetsscoreenhetverdereonderwijsleerproces? Aanvoorgaandetweevragenisinhoofdstuk3,Debetrouwbaarheidvantoetsscores,uitgebreid
164 Cito | Toetsen op School < Inhoud Index >
aandachtbesteed.Bijvraag3.4moetdebeoordelaarnagaanofdesamenvattingvanderesultatenvannormerings-,betrouwbaarheids-envaliditeitsonderzoekzodanigisdateengebruikervandetestzicheenoordeelkanvormenofdetestvoorzijndoeleindengeschiktisendevereistekwaliteitheeft.Hetantwoordopdezevraagzalafhankelijkzijnvandeexpertisedieeengebruikerheeftofdievaneengebruikerverwachtmagworden.Deafgelopenjareniseenaanvanggemaaktmethetopleidenencertificerenvanpersonendiebijconstrueren,beoordelenenafnemenvantoetsenbetrokkenzijn.Diverseorganisatiesbiedenopleidingenaanvoortoetsconstructeur,toetsvaststellerenassessor.Bijvraag3.5moetdebeoordelaarnagaanofvoorbeeldengegevenwordenvanhoedetoetsscorewelenhoenietgeïnterpreteerdmagworden.Eenvoorbeeldvandenauwkeurigheidvantoetsscoresencijfershebbenweinhoofdstuk3bijdebesprekingvandestandaard-meetfoutgepresenteerd.Bijvraag3.6moetdebeoordelaarnagaanoferbijvoorbeeldinformatiegegevenwordtoverdemogelijkeinvloedvanachtergrondvariabelenen(test)ervaringopdescoresofdataangegevenwordtwelkeanderevariabelenaanbijvoorbeelddevoorspellingvandeEindtoets Basisonderwijsbijdragen.Inhetlaatstegevalzijndeoordelenvandocentenenvanouderseenbelangrijkebronvaninformatie.Bijvraag3.7moetdebeoordelaarnagaanoverwelkematevandeskundigheiddegebruikerdienttebeschikken.Welkeprofessionalszijngezienhunopleidingenwerkervaringgeschikt?Welkekennisenvaardighedenzijnvoordeafnameeninterpretatievandetestnoodzakelijk? ZowordteendocentwelgeschiktgeachtomdescorebehaaldopdeEindtoets te interpreteren maarnietdescorebehaaldopeenintelligentietest.
4 NormenBijditcriteriumwordeneersttweealgemenebasisvragengesteld:
4.1 Wordenernormenverstrekt? 4.2 Zijndenormenactueel?
Indiendebeoordelaarbijvraag4.1constateertdatergeennormenbeschikbaarzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Bijvraag4.2moetdebeoordelaarnagaanofdenormennogactueelzijn.HetstandpuntvandeCOTANisdatnormennatwintigjaarnietmeerbruikbaarzijnendusnietvoldoenaanditcriterium.
Nadetweealgemenebasisvragenvolgener(basis)vragenafhankelijkvanofersprakeisvannormgerichte,domeingerichteofcriteriumgerichteinterpretatievandescores.Voorinformatieover‘normen’verwijzenwenaarhoofdstuk9,Hetbeoordelenvantoetsscores,waaruitgebreidingegaanwordtophetopstelleneninterpreterenvannorm-encijferschalen.
Bijnormgerichteinterpretatiewordtdetestscorevaneenpersoonvergelekenmetdetestscoresvananderepersonen.Dittypenormenwordtookrelatievenormengenoemd.Indienersprakeisvannormgerichteinterpretatiewordendevolgendevragengesteld:
165 De kwaliteit van toetsen en examens < Inhoud Index >
4.3 (Basisvraag)Watisdekwaliteitvandeverstrektenormgroepen? a Zijndenormgroepengrootgenoeg? b Zijndenormgroepenrepresentatief? 4.4 Wordendebetekenisendebeperkingenvandenormschaalduidelijkgemaaktvoor
degebruikerenishettypenormschaalinovereenstemmingmethetdoelvandetest? 4.5 Wordenergemiddelden,standaardafwijkingenengegevensoverdescoreverdeling
vermeld? 4.6 Wordenergegevensverstrektovermogelijkeverschillentussensubgroepen
(bijvoorbeeldallochtonen-autochtonen,mannen-vrouwen)? 4.7 Wordenergegevensverstrektoverdenauwkeurigheidvandemetingendedaarbij
behorendeintervallen? a standaardmeetfout b standaardschattingsfout c testinformatiefunctie
Bijvraag4.3aheeftdeCOTANdevolgendebeoordelingsregelsopgesteld:• Bijtestsvoorbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldpersoneelsselectie,
verwijzingnaarspeciaalonderwijsofcertificering)wordteennormgroepvan400ofmeerpersonenalsgoed,eengroepvan300ofmeertot400personenalsvoldoendeeneengroepvanminderdan300personenalsonvoldoendebeoordeeld.
• Bijtestsvoorrelatiefminderbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldvoortgangscontrole)wordteennormgroepvan300ofmeerpersonenalsgoed,eengroepvan200ofmeertot300personenalsvoldoendeeneengroepvanminderdan200personenalsonvoldoendebeoordeeld.
Voorwatbijvraag4.3bverstaanwordtonderderepresentativiteitvannormgroepenwordtdelezerverwezennaarhoofdstuk9,Hetbeoordelenvantoetsscores.
Bijvraag4.4moetdebeoordelaarnagaanofdegebruiktenormschaalinovereenstemmingismethetdoelvandetest.Hetisbijvoorbeeldnietzinvoleenpercentielschaaltegebruikenalsdeminimumscoreopeentest0endemaximumscore20bedraagt.Ookmoetdebeoordelaarbijvoorbeeldnagaandatwanneerleeftijds-ofleerjaarnormenverstrektworden,ergeensprakeisvaneentebreedleeftijds-ofleerjaarintervalwaardoordeprestatiesaanhetbeginvanhetintervalwordenonderschatenaanheteindoverschat.Watbetreftvraag4.7wordtdelezervooreentoelichtingbij4.7averwezennaarhoofdstuk3, De betrouwbaarheidvantoetsscores.Indathoofdstukwordendebegrippenstandaardschattingsfoutentestinformatiefunctieechterniettoegelicht.
Bijdomeingerichteinterpretatiewordtdetestscorevaneenpersoonvergelekenmeteenofmeerstandaarden,cesurenofgrensscores.Destandaardenwordenopdeeenofanderewijzedoorbeoordelaarsbepaald.Dittypenormenwordtookabsolutenormengenoemd.Indienersprakeisvandomeingerichteinterpretatiewordendevolgendevragengesteld:
4.8 (Basisvraag)Iservoldoendeovereenstemmingtussendebeoordelaars? 4.9 Zijndeproceduresopgrondwaarvandegrensscoreszijnbepaaldcorrect? 4.10 Zijndebeoordelaarsnaarbehorengeselecteerdengetraind?
166 Cito | Toetsen op School < Inhoud Index >
Bijvraag4.8moetdebeoordelaarnagaanofdeovereenstemmingtussendeexpertsofbeoordelaarsvoldoendehoogisomdestandaardtekunnenlegitimeren.Bijvraag4.9moetdebeoordelaarnagaanofdegevolgdestappenenbeslissingeninovereenstemmingzijnmetdegebruiktestandaardbepalingsmethode.Bijvraag4.10moetdebeoordelaarnagaanwelkeproceduregevolgdisbijdeselectievandeexpertsenofdeexpertsgetraindzijninhettoepassenvandestandaardbepalingsmethode. Bijcriteriumgerichteinterpretatiewordtdestandaard,cesuurofgrensscoreaanonderzoeks-gegevensontleend.Bijdezewijzevannormerenmoetenernaastdegegevensopdetestookgegevensoverhetcriteriumzijnverzameld.Zokanbijvoorbeeldbijhettoekennenvanlicentiesofdiploma’sdegrensscoreofcesuurbepaaldwordendoornategaanbijwelketestscoredegunstigsteverhoudingbestaattussendeelnemersdieindepraktijksuccesvolenonsuccesvolblijkentezijn.Indienersprakeisvancriteriumgerichteinterpretatiewordendevolgendevragengesteld:
4.11 (Basisvraag)Rechtvaardigendeonderzoeksresultatenhetgebruikvangrensscores? 4.12 Isdeonderzoeksgroepinovereenstemmingmethetbedoeldegebruik? 4.13 Isdeonderzoeksgroepgrootgenoeg?
Bijvraag4.11moetdebeoordelaarnagaanofdetestauteurvoldoendebewijslevertvoordebruikbaarheidvandegekozengrensscore.Bijvraag4.12moetdebeoordelaarnagaanofhetonderzoekwaarindegrensscorebepaaldis,betrekkingheeftopdepopulatiewaarvoordetestgebruiktis.Bijvraag4.13heeftdeCOTANdevolgendebeslissingsregelopgesteld.Ervanuitgaanddatgrensscoresalleenwordenbepaaldinsituatieswaarinhetgaatombelangrijkebeslissingen opindividueelniveau(zievraag4.3a),wordteenonderzoeksgroepbestaandeuitminstens 300personenalsgoed,eengroepbestaandeuitminstens200personenalsvoldoendeeneenonderzoeksgroepbestaandeuitminderdan200personenalsonvoldoendebeoordeeld.Voortoelichtingbijvraag4.3bwordtdelezerverwezennaarhoofdstuk9,Hetbeoordelenvantoetsscores,waaruitgebreidingegaanwordtopderepresentativiteitvannormgroepen.
5 BetrouwbaarheidBijditcriteriumwordendrie(sub)vragengesteld:
5.1 (Basisvraag)Wordenergegevensoverdebetrouwbaarheidverstrekt? 5.2 Zijnderesultatenvoldoende,geletophetbeoogdetypebeslissingendatmetbehulp
vandetestwordtgenomen? 5.3 Watisdekwaliteitvanhetonderzoeknaardebetrouwbaarheid?
Bijvraag5.1moetdebeoordelaarnagaanoferinformatieoverdebetrouwbaarheidvandetestscoresverstrektis.Indienergeeninformatiebeschikbaaris,kanmenderestvandevragenvanditcriteriumoverslaan.
Bijvraag5.2heeftdeCOTANdevolgendebeoordelingsregelsopgesteld:• Bijtestsvoorbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldhetzakkenof
slagenvanleerlingen,doorverwijzingnaarspeciaalonderwijs)wordteenbetrouwbaarheidvan0,90ofhogeralsgoed,van0,80ofhogerenkleinerdan0,90alsvoldoendeenkleinerdan0,80alsonvoldoendebeoordeeld.
167 De kwaliteit van toetsen en examens < Inhoud Index >
• Bijtestsvoorminderbelangrijkebeslissingenopindividueelniveau(bijvoorbeeldvoortgangscontrole)wordteenbetrouwbaarheidvan0,80ofhogeralsgoed,van0,70ofhogerenkleinerdan0,80alsvoldoendeenkleinerdan0,70alsonvoldoendebeoordeeld.
• Bijtestsvooronderzoekopgroepsniveau(bijvoorbeeldklimaatindeklas)wordteenbetrouwbaarheidvan0,70ofhogeralsgoed,van0,60ofhogerenkleinerdan0,70alsvoldoendeenkleinerdan0,60alsonvoldoendebeoordeeld.
Hoofdstuk3vanditboekgaatuitgebreidinophetgebruikvandebetrouwbaarheidscoëfficiëntenanderematenomdebetrouwbaarheidvaneentoetsofeenaantaltoetsensamentekwanti-ficeren.Dezematenzijndestandaardmeetfoutenhetpercentagemisclassificatiesbijeenenkeletoetsofvaneenexamenbestaandeuitmeerderetoetsenzoalseenhavo-examen.Hoewelallebedoeldematenmetelkaarsamenhangen,wordteenpleidooivoorhetgebruikvandieanderematennaastofinplaatsvandebetrouwbaarheidscoëfficiëntgehouden.Voorhetbeoordelenvaneenexamen,zoalshetvwo-examendatuitmeerderetoetsenbestaat,ishetCOTAN-beoordelingssysteemechternietontwikkeldenkandaarvoordusooknietgebruiktworden.
De beoordeling van validiteit volgens de COTANVoorafgaandeaandepresentatievandecriteriadieCOTANhanteertbijdebeoordelingvandevaliditeitvaneentoets,dientopgemerkttewordendaterindetestliteratuurverschillendeopvattingenovervaliditeitbestaan.Volgensdeopvattinginhoofdstuk4,Devaliditeitvantoets-scores,heeftvaliditeitbetrekkingopdeinterpretatieenhetgebruikvantoetsscoresenbestaathet validerenvantoetsscoresuitbewijzendiedeinterpretatieenhetgebruikondersteunen.DeCOTANgaatuitvandeklassiekedriedelingvanvaliditeit:inhoudsvaliditeit,begripsvaliditeitencriteriumvaliditeit.Vandezedriewordtvaliditeitsinformatiediebetrekkingheeftopderelevantievandeinhoudvaneentest(inhoudsvaliditeit)enopdebetekenisvaneentestscore(begrips-validiteit)vooralletypentestsvanbelanggeacht,ongeachthetdoelvandetoets.Ditgeldtechternietvoorinformatieoverdevoorspellendewaardevantestscores(criteriumvaliditeit):voortestsdiegeenvoorspellendepretentiehebben,isdittypeinformatienietvereist.DedriesoortenvaliditeitdiedeCOTANonderscheidt,komenookinhoofdstuk4aandeorde.InhoudsvaliditeitwordtdoordeCOTANechteropgevatalsonderdeelvanhettestontwikkelings-procesendusvancriterium1endanmetnamecriterium1.3.Decriteriabegripsvaliditeitencriteriumvaliditeitwordenhiernabesproken.
6 BegripsvaliditeitBijditcriteriumwordendevolgendevragengesteld:
6.1 (Basisvraag)Wordenergegevensoverdebegripsvaliditeitverstrekt? 6.2 Makenderesultatenvoldoendeaannemelijkdathetbegripzoalsbedoeld,wordt
gemeten? 6.3 a Zijndeproceduresopbasiswaarvandebegripsvaliditeitsgegevenszijnberekend
correct? b Komendesteekproevendieinhetbegripsvalideringsonderzoekzijngebruikt,
overeenmetgroepenwaarvoordetestisbedoeld? c Watisdekwaliteitvandeanderematendieinhetbegripsvalideringsonderzoek
zijngebruikt? d Isdekwaliteitvanhetonderzoek,zoalsbeoordeeldindevragen6.3atotenmet
6.3c,zodanigdatdebeoordelingvandebegripsvaliditeitinvraag6.2,kan wordenbevestigd?
168 Cito | Toetsen op School < Inhoud Index >
Indiendebeoordelaarbijvraag6.1constateertdatergeengegevensoverdebegripsvaliditeitverstrektzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Voortoelichtingbijvraag6.2wordtdelezerverwezennaarhoofdstuk4,Devaliditeitvantoetsscores,metnamedeparagrafendieoverdeverschillendesoortenbewijzengaan.Bijvraag6.3atotenmet6.3dmoetdebeoordelaarnagaanofhetonderzoeknaardebegripsvaliditeitgoeduitgevoerdis(6.3aen6.3b)endatdetoetsenofanderemeetinstrumentendieinhetonderzoekgebruiktzijn,voldoendebetrouwbaarzijn(6.3c).
7 CriteriumvaliditeitBijditcriteriumwordendevolgendevragengesteld:
7.1 (Basisvraag)Wordenergegevensverstrektoverhetverbandtest-criterium? 7.2 Zijnderesultatenvoldoendegeletophettypebeslissingendatmetdetestgenomen
moetworden? 7.3 a Zijndeproceduresopgrondwaarvandecriteriumvaliditeitsgegevenszijnberekend
correct? b Zijndesteekproevenopgrondwaarvandecriteriumvaliditeitsgegevenszijn
berekendinovereenstemmingmethetbeoogdetestgebruik? c Watisdekwaliteitvandecriteriummaten? d Isdekwaliteitvanhetonderzoek,zoalsbeoordeeldindevragen7.3atotenmet
7.3c,zodanigdatdebeoordelingvandecriteriumvaliditeitinvraag7.2,kanwordenbevestigd?
Indiendebeoordelaarbijvraag7.1constateertdatergeengegevensoverdecriteriumvaliditeitverstrektzijn,kanmenderestvandevragenvanditcriteriumoverslaan.Zoalshiervoorreedsopgemerktwerd,isdecriteriumvaliditeitnietvoorelketestrelevant.Voortoelichtingbijvraag7.2wordtdelezerverwezennaarhoofdstuk4,Devaliditeitvantoetsscores,metnamenaardeparagraafwaardevoorspellendewaardeofcriteriumvaliditeitvandeEindtoets Basisonderwijsbesprokenwordt.Bijvraag7.3atotenmet7.3dmoetdebeoordelaarnagaanofhetonderzoeknaardecriterium-validiteitgoeduitgevoerdis(7.3aen7.3b)endatdetoetsenofanderemeetinstrumentendieinhetonderzoekalscriteriumgebruiktworden,voldoendebetrouwbaarzijn(7.3c). 10.1.1 Voorbeeld van een COTAN-beoordelingCOTAN-beoordelingenvaneengrootaantaltoetsenstaaninToetsgidsopdewebsiteToetswijzerdiedoorCitobeheerdwordt,ziewww.toetswijzer.nl>Toetsgids.HieronderstaateendownloadvandeSON-R51/2-17uitToetsgids.DetoetsbeoordelinginformeertdepotentiëlegebruikeroververschillendeaspectenvandetoetseneindigtmetdeCOTAN-beoordelingopdezevenbeoordelingscriteria.Opbasisvandezeinformatiekandepotentiëlegebruikerbeslissenofdetoetsalofnietgeschiktisvoorhetdoelwaarvoordetoetsingezetgaatworden.Isdiebeslissingpositiefdankandepotentiëlegebruikerverdereinformatieinwinnenbijdeuitgevervandetest.
SON-R 5 1/2-17
OmschrijvingDeSON-R(Snijders-OomenNiet-verbaleIntelligentietest)iseenalgemeentoepasbareintelligentietestvoorkinderenvan51/2tot17jaarwaarbijhetgebruikvangesprokenofgeschreventaalnietnoodzakelijkis.DeSON-R51/2-17kanookalsverkorteversiewordenafgenomen.
169 De kwaliteit van toetsen en examens < Inhoud Index >
Informatie en bestellenUitgever Boomtestuitgevers[Info][Site][Meervan...]Jaarvanuitgave 2003
Inhoud en gebruikDeSON-Risgeschiktvoorkinderenmet:eenniet-Nederlandseachtergrond;taal-,spraak-engehoorproblemen;autistischestoornissen;eenontwikkelingsachterstandenleerproblemen;eenverstandelijkehandicap.DeSON-Rbestaatuit7subtestsvanelk20-30items:• Abstractredeneren:subtestsCategorieën,Analogieën• Concreetredeneren:subtestsSituaties,Stripverhalen• Ruimtelijkinzicht:subtestsMozaïeken,Patronen• Perceptie:subtestZoekplatenSON-Rwordtindividueelafgenomen,afnameduur:ca.90minuten.InhetcomputerprogrammavanSON-RiseencorrectievoorhetFlynn-effect(verouderingvandenormen)ingebouwd.Deverkorteversiebestaatuit4subtests:abstractredeneren(Categorieën,Analogieën);concreetredeneren(Situaties);ruimtelijkinzicht(Mozaïeken).
DoelgroepKinderenvan5,5tot17jaar.
MeetpretentieIntelligentieniveau.
Doel• Vaststellenvanhetintelligentieniveau.• DeSON-R51/5-17kangebruiktwordenbijindicatiestellingvoorleerwegondersteunend
onderwijs(LWOO)enpraktijkonderwijs(PrO).Bijtaalproblemen(achterstanden)enallochtoneleerlingendieonvoldoendeNederlandsspreken.
VoorbeelditemErisgeenvoorbeelditemvandezetoets.
OpmerkingNaastdeSON-R51/2-17isookdeSON-R21/2-7beschikbaar.
KernpublicatieSnijders-OomenNiet-verbaleIntelligentietest(SON-R51/2-17)/Snijders,TellegenenLaros.Amsterdam:Boomtestuitgevers.
LiteratuurPublicatiesopwww.testresearch.nl.
Weblinks • InformatieoverSON-R51/2-17opdewebsitevanBoomtestuitgevers• InformatieoverSON-RopdewebsiteTests&Test-research
170 Cito | Toetsen op School < Inhoud Index >
COTAN-beoordeling
Criteria Beoordeling
UTC Uitgangspuntenbijdetestconstructie[Toelichting] Goed
KTM Kwaliteitvanhettestmateriaal[Toelichting] Goed
KHL Kwaliteitvandehandleiding[Toelichting] Goed
NRM Normen[Toelichting] Goed
BTR Betrouwbaarheid[Toelichting] Goed
BVA Begripsvaliditeit[Toelichting] Goed
CVA Criteriumvaliditeit[Toelichting] Goed
10.2 Regeling standaarden examenkwaliteit mbo 2012
Deexamensvanberoepsopleidingenmoetenvoldoenaanlandelijkestandaardenvoordekwaliteitvanexamens,alsbedoeldinartikel7.4.4vandeWeteducatieenberoepsonderwijs(WEB).Deonderwijsinstellingdientzelftebewakendatdekwaliteitvandedoorhaarverzorgdeberoepsopleidingenvoldoetaandestandaarden.Waarnodigdientdeinstellingdekwaliteittijdigteverbeteren.Daarnaastdientdeinstellingjaarlijkspubliekeverantwoordingafteleggenoverdeuitkomstenvandezelfevaluatievandematewaarindeexamensaandestandaardenvoldoen(opgrondvanartikel1.3.6vandeWEB).HetexternetoezichtopdekwaliteitvandeexamensinhetmbowordtuitgeoefenddoordeInspectievanhetOnderwijs.AandehandvandestandaardenendedaarvandeeluitmakendenormeringbeoordeeltdeInspectieofdeexamenkwaliteitvaneenopleidingonvoldoendeofvoldoendeis.Dekwaliteitvandeexamenswordtbeoordeeldaandehandvandriestandaarden,ziehttp://wetten.overheid.nl/BWBR0030427.Perstandaardzijnmeerdereindicatorenopgenomen.Bijelkeindicatoriseenportretgevoegd.Hieronderwordendedriestandaardengepresenteerd.Depresentatiebestaatuiteenletterlijkeweergavevandestandaardenmetbijbehorendeindicatorenenportretten.Delezerdienietbekendismetdetermenkwalificatiedossier,kerntaken en werkprocessendieindeportrettengebruiktworden,verwijzenwenaardebegrippenlijstopdewebsitevandeMBORaad,www.mboraad.nl>Hetmbo>Begrippenlijst.
Standaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen
Indicator 1.1. Onderscheid tussen ontwikkelgerichte toetsen en examineringPortret–Deinstellingheefteenduidelijkonderscheidgemaakttussendeopleiding–endaarinopgenomenontwikkelgerichtetoetsen–endeexaminering.Dezeovergangisgemarkeerd.Deexamencommissieheeftgeëxpliciteerdopgrondvanwelkexamenenoverigeeisenhetdiplomawordtverstrekt.Destudentenwetenwelkebeoordelingmeeteltvoorhetbehalenvanhetdiploma.
171 De kwaliteit van toetsen en examens < Inhoud Index >
Indicator 1.2. Dekking van het kwalificatiedossierPortret–Bijdeinrichtingvankwalificerendeexamensissprakevanvolledigheidenpassendecomplexiteit,omdeberoepsuitoefeningophetvereistebeheersingsniveauzoalsomschreveninhetkwalificatiedossierteexamineren.Ditbetekentdat:• vooropleidingengerichtopdeberoepsgerichtekwalificatiestructuurdekwalificatie-eisen
zijnopgenomenindeexamens,waarbijmeerdandriekwartvandewerkprocessenperkerntaak–deessentievanhetberoepinbegrepen–wordtgeëxamineerd;hierbijzijndeinhoud en toetsvormzodanigafgestemdopdevereisten,datkennis,vaardighedenenhoudingineengoedebalanspassendwordenbeoordeeld;
• vooreindtermgerichteopleidingendevereistenzijnopgenomenindeexamens,waarbijmeerdandriekwartvandeeindtermenperdeelkwalificatie–deessentievanhetberoepinbegrepen–wordtgeëxamineerd;hierbijzijndeinhoudentoetsvormzodanigafgestemdopdevereistendatdezepassendwordenbeoordeeld;
• wettelijkeberoepsvereisten–indienvantoepassing–volledigzijngeëxamineerdmetexamensdiequainhoudentoetsvormpassendzijn;
• deexameninstrumentendegeneriekekwalificatievereistenvoortalenenrekenenzodanigafdekkendatrechtwordtgedaanaanhetCEF-niveaudanwelhetreferentieniveau.
Indicator 1.3. CesuurPortret–Eriseenverantwoordeproceduregevolgdvoorhetbepalenvandecesuur,zowelvoorexamenonderdelenalsvoorhetexamenalsgeheel.Decesuurvanhetexameninstrumentariumligtophetniveauwaaropdestudentvoldoetaandevereisten.Decesuuriszodanigopgestelddatdebeoordeling(endaarmeedewaarderingvandekennis,vaardighedenenhoudingvandestudent)intotaalnietlageruitpaktdanvoordevakbekwaamheidvoorhetberoepenvoordegeneriekeeisenvoortaalenrekenennoodzakelijkis.Erissprakevaneenevenwichtige,nietoneigenlijkepuntentoekenningdierechtdoetaanhetbelangvaneindtermen,ofkerntakenenwerkprocessen.Erissprakevaneenwegingvandeexamenopdrachten/-toetsenonderlingdiegeenafbreukdoetaandegenoemdecesuur.
Indicator 1.4. BeoordelingswijzePortret–Hetexameninstrumentariumisvoorzienvaneenbeoordelingsvoorschriftdateenzoobjectiefmogelijkebeoordelingwaarborgt.Ditbetekentdat:• hetbeoordelingsvoorschriftisvoorzienvanrichtlijnendieleidentoteenonafhankelijke
beoordeling;• deprestatie-indicatoren(ofvergelijkbarebeoordelingscriteria)herleidbaarinhet
beoordelingsvoorschriftzijnopgenomeneneencorrectantwoordmodelofbeoordelingsschemabeschikbaaris;
• debeoordelaareruitkanopmakenwelkeeindwaarderinggegevenmoetworden;• debeoordelaardegegevenwaarderingenconformhetbeoordelingsvoorschriftherleidbaar
kanonderbouwen.Uitdebeoordelingsrichtlijnenblijktdatdebeoordelingplaatsvindtophetniveauvandeeindtermenvandedeelkwalificatiesofkerntakenenwerkprocessen.Debeoordelingwordtgebaseerdopdeprestatie-indicatoren(ofvergelijkbarebeoordelingscriteria)uithetkwalificatie-dossier.Alseenexamen(onderdeel)nietbehaaldwordt,wordtophetniveauvandeprestatie-indicator(ofvergelijkbarebeoordelingscriteria)verantwoordwatdeoorzaakdaarvanis.
Indicator 1.5. TransparantiePortret–Allebetrokkenenhebbeneenhelderbeeldvanhoehetexameneruitzietenhoehetwordtuitgevoerdenbeoordeeld.Studentenenbeoordelaarszijngeïnformeerdoverdebeoordelingscriteriaendewijzewaarophetexamenzalplaatsvindenenoverdebeoordeling.Hetexameninstrumentariumisvoorzienvanafnameconditiesenaanwijzingenvoordebeoordelaarsendestudentenvoordeuitvoeringvanhetexamen.
172 Cito | Toetsen op School < Inhoud Index >
Standaard 2: De examenprocessen van afname en beoordeling zijn deugdelijk
Indicator 2.1. Authentieke afname Portret–Hetexamenbevattenminsteactiviteitendiedestudentalsbeginnendberoeps-beoefenaarinhettoekomstigeberoepuitvoert,afgestemdophetkwalificatiedossier (ofeindtermendocument).Dewerkomstandighedenendesocialecontexttijdensdebeoordelingvanhetexamenkomenzoveelmogelijkovereenmetdieinhettoekomstigeberoep;onderdelenvanhetexamenvindenindereëleberoepspraktijkplaats.Hetberoepenveldisbetrokkenbijdeexamineringenbeoordeeltdeafnameenbeoordelingalsrealistisch.
Indicator 2.2. BetrouwbaarheidPortret–Deafnameenbeoordelingzijndeugdelijkenverlopenzoalsbeoogd.Ingelijkegevallenwordtgelijkbeoordeeld.Debeoordelingiszoobjectiefmogelijk.Voorzieningendiezijngetroffenomdattebereikenwordenadequaattoegepast.Examenopdrachten,afnameconditiesenbeoordelingenzijnvoorallestudentenzodanigopgezetentoegepastdatgeenafbreukwordtgedaanaandebetrouwbaarheidvandeuitkomstenvandeexamenopdrachtofhetexamenprogrammaalsgeheelnochaanhetniveaudaarvan.Erissprakevaneendeskundigebeoordelingvanstudentengerichtophetvakinhoudelijkcorrectbeoordelenvandevereistekennis,houdingenvaardighedenvandestudent.
Standaard 3: De diplomering is deugdelijk
Indicator 3.1. Besluitvorming diplomerenPortret–Deexamencommissiebesluitopbasisvandeexamenresultatenvandestudent,afgezettegendeexameneisenuithetkwalificatiedossier(ofeindtermendocument)enhetExamenbesluit,tothetverlenenvanvrijstellingenvoordelenvanhetexamenentothetverstrekkenvandiploma’sen(indienvantoepassing)vancertificaten.Deexamencommissieneemtdeugdelijkebesluitenopgrondvandeoordelenopdeexamenonderdelenenlegtopbasisvanregistratievandebesluitvormingverantwoordingaf.
Indicator 3.2. Verantwoordelijkheid examencommissiePortret–Deexamencommissievergewistzichmetgepastegrondigheidenfrequentievandekwaliteitvanhetexameninstrumentarium,deafname,debeoordeling,debesluitvormingbetreffendedediplomeringenvandedeskundigheidvandebijdeexamineringbetrokkenpersonen.Omvasttestellenofdebeoordelingadequaatverloopt,wordtgebruikgemaaktvanbijvoorbeeldresultatenanalyses,deelnemerevaluatiesengegeven(steekproefsgewijze)dubbelebeoordelingen.Deexamencommissielegtvastwanneerbeoordelingsresultatenwordenaangepastentotwelkeverbeteractiesdezecorrectiesleidenofhebbengeleid.Deexamencommissieanalyseertwatmogelijkeoorzakenzijnalsdebeoordelingennietnaarwensverlopen.
10.2.1 Beoordeling van de examenkwaliteitDeexamenkwaliteitvaneenopleidingvindtineersteinstantieophetniveauvandestandaardenendeindicatorenplaats.Opbasisdaarvanwordteenoordeeloverdeexamenkwaliteitvaneenopleidinggegeven.
Perstandaardenperindicatorwordteenoordeeluitgesprokenopeentweepuntsschaal(onvoldoende–voldoende).Perindicatoriseenbeschrijvinggegevenvanhetoordeel‘voldoende’.Diebeschrijvingisopgenomenindeportrettendiehetreferentiekadervoordebeoordelingvormen.Deaangetroffensituatievoldoetinvoldoendemateaandebetreffendeindicatoralsdesituatieoverhetgeheelgenomenovereenkomtmetdeinhoudvandeportretten.
173 De kwaliteit van toetsen en examens < Inhoud Index >
Voordeexamenkwaliteitvaneenopleidingwordteenoordeeluitgesprokenopeenvierpuntsschaal(goed–voldoende–onvoldoende–slecht):• Goed:aanallestandaardenisvoldaan(perstandaardisaanalleindicatorenvoldaan);de
elementeninhetportretwordenopuitstekendewijzeuitgevoerd.• Voldoende:aanallestandaardenisvoldaan(perstandaardisaanalleindicatorenvoldaan);
erwordtvoorhetgrootstedeelaandeomschrijvingindeportrettenvoldaan,waaronderdemeestessentiëleonderdelen.
• Onvoldoende:aanéénstandaardisnietvoldaan.• Slecht:aantweeofdriestandaardenisnietvoldaan.
Alsdeexamenkwaliteitvaneenopleidingnietaandestandaardenvoldoet,kandeMinisterdeinstellinghetrechtopdeexamineringvoordedesbetreffendeopleidingontnemen.
10.3 Beoordelingssystemen en de toetspraktijk
Beoordelingssystemenhebbeneenbelangrijkebijdragegeleverdaandeverbeteringvandekwaliteitvantoetsenenexamens.Diekwaliteitsimpulsisvooreengrootdeelteverklarendoordeconsequentiesdietoetsenenexamensvoordemakersengebruikersvantoetsenhebben.
Beoordelingssystemenlijkennuvooralgebruikttewordennadatdetoetsontwikkeldenafgenomenis.DecriteriavaneenbeoordelingssysteemzoalsdatvandeCOTANzoudenechterveelmeeralsrichtsnoerbijdeontwikkelingvantoetsengebruiktmoetenworden.DechecklistdiehetbeoordelingssysteemvandeCOTANkenmerkt,leentzichdaarmomenteelbetervoordan het beoordelingssysteemvandeInspectie.
Voorzoweltoetsenmeteendomeingerichteinterpretatiealsdembo-examensgeldtdathetbepalenvandecesuureenvandebelangrijkstebeslissingenvoorleerlingenis.InhetbeoordelingssysteemvandeCOTANwordtwelverwezennaarproceduresvoorstandaard-bepalingmaarwordtnietsgezegdoverwelkeproceduresvoorwelkesituatieshetmeestgeschiktzijn.Hetisjammerdaterweinigbekendisoverwelkevandeveleproceduresvoorstandaardbepalingfeitelijkgebruiktwordenenwatdeervaringenmetdieprocedureszijn. InhetbeoordelingssysteemvandeInspectiewordenvoordebepalingvandecesuurgeenoperationelehandreikingengegeven.Nochindeomschrijvingvanhetcriteriumnochindevoorbeeldenwordtmeldinggemaaktvanhetgebruikvanproceduresvoorhetbepalenvandestandaardofdecesuur.Dezeprocedureszoudenechterkunnenhelpenbijhetbeterbepalenvanwatonderdebeheersingvankerntakenenwerkprocessenverstaanwordtenofallekerntakenenwerkprocesseninderdaadbeheerstmoetenwordenomtekunnenslagenvooreenproevevanbekwaamheid.
DebeoordelingssystemenvandeCOTANendeInspectieverschillenindewaarderingvanempirischeinformatiebijhetbeoordelenvandekwaliteitvanexamens.Zowordtbijhetportretvanindicator2.2,betrouwbaarheid,geenaandachtbesteedaandebetrouwbaarheidvantoetsscores.Hoewelhetvoorbepaaldembo-examensnietaltijdmakkelijkofmogelijkzalzijnomvoorhetbepalenvandebetrouwbaarheiddebenodigdetoetsscoresteverzamelen,betekentditnietdatditvooralleexamensgeldt.Zonderinformatieoverdebetrouwbaarheidvantoetsscoresishetechternietgoedmogelijkomdekwaliteitvanexamenstekunnenbeoordelen.
InhetbeoordelingssysteemvandeInspectiezienwedataandeexamencommissieeencrucialeroltoebedachtwordtbijhetbewakenvandeexamenkwaliteitvanopleidingeninhetmbo.Inhethboenwospelenexamencommissiesookeensteedsbelangrijkerrol.Omdierolgoedte
174 Cito | Toetsen op School < Inhoud Index >
kunnenvervullen,dienenledenvanexamencommissiesovervoldoendedeskundigheidophetgebiedvantoetsenenexaminerentebeschikken.
HetbeoordelingssysteemvandeCOTANenhetbeoordelingssysteemvandeInspectierichtenzichbeideoptoetsenals‘product’maarnietoptoetsenals‘activiteit’.Alseentoetsbijvoorbeeldandersafgenomenwordtdandatdebedoelingis,zalookeentoetsdieopallecriteriaofstandaardenalsgoedbeoordeeldisondeugdelijkebeoordelingenvanleerlingenopleveren. Datlaatstekanvoorkomenalserbijdeafname,descoringofdeinterpretatievandetoetsfoutengemaaktworden.Insommigegevallenkanditzelfstotrechtszakenleiden.Zowerdeenkandidaatdieniettevredenwasoverhetgegevenoordeelopzijnherexameneconomieophetvmbodoorderechterinhetgelijkgesteldomdatderechteroordeeldedatdebeoordelingvandeantwoordendoordedocentonzorgvuldigwasgeweest.Ditpleitervooromonderzoektedoennaarhettoetsenals‘activiteit’.Mogelijkdatderesultatenvandergelijkonderzoekaanleidingzijnomookaantoetsenals‘activiteit’aandachttebestedeninbeoordelingssystemenvoordekwaliteitvantoetsen.
Geraadpleegde literatuur
Geraadpleegde literatuur
176 Cito | Toetsen op School < Inhoud Index >
Geraadpleegdeliteratuur
Anderson,L.W.,&Krathwohl,D.(Eds.)(2001).A taxonomy for learning, teaching and assessing: revision of Bloom’s taxonomy of educational objectives.NewYork:Longman.
Atherton,J.S.(2005).Learning and Teaching: SOLO taxonomy. Onlinevia:www.learningandteaching.info/learning/solo.htm
Arter,J.(1998).Improving classroom assessment: a toolkit for professional developers (Toolkit98). Portland,OR:NorthwestRegionalEducationalLaboratory.
Arter,J.,&McTighe,J.(2001).Scoring rubrics in the classroom: Using performance criteria for assessing and improving student performance.ThousandOaks,CA:CorwinPressInc.
Baron,J.B.,&Wolf,D.P.(1996). Performance-based student assessment: challenges and possibilities.Chicago:UniversityofChicago.
Berkel,H.van,&Bax,A.(2006).Toetsen in het hoger onderwijs.Houten:BohnStafleuvanLoghum.
Bloom,B.S.(1975).Taxonomy of educational objectives: Handbook 1: Cognitive domain. NewYork:DavidMcKayCo.
Bruyne,H.C.D.de(1983). Evalueren in de klas.Amsterdam:VanGoorZonen.
Bügel,K.,&Sanders,P.F.(1998).Richtlijnen voor de ontwikkeling van onpartijdige toetsen. Arnhem:Cito.Onlinevia:http://www.cito.nl/Onderzoek%20en%20wetenschap/psychometrie/richtlijnen_onpartijdige_toetsen.aspx
Chamberlain,L.(2000).Making a difference with student assessment: Creation and use of rubrics. Columbus,Ohio:MarketingEducationResourceCenter.
Cito(1998).Toetstechnische begrippenlijst.Arnhem:Cito.Onlinevia:http://www.cito.nl/Onderzoek%20en%20wetenschap/kenniscentrum/begrippenlijst.aspx
Cizek,G.J.,&Bunch,M.B.(2007).Standard setting: A guide to establishing and evaluating performance standards on tests.ThousandOaks:SagePublications.
COLO(2009).Landelijke Kwalificaties MBO Dierenhouderij. Onlinevia:www.kwalificatiesmbo.nl> Dossiers
CouncilofEurope(2009).Manual for relating language examinations to the Common European Framework of Reference for languages.
CouncilofEurope(2009).Reference supplement to the manual for relating language examinations to the CEFR.
177 Geraadpleegde literatuur < Inhoud Index >
Dekker,J.,&Sanders,P.(2008). Kwaliteit van beoordeling in de praktijk.Ede:KenniscentrumHandel.Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/kwaliteit_beoordeling_praktijk.pdf
Drenth,P.J.D.,&Sijtsma,K.(2006).Testtheorie: Inleiding in de theorie van de psychologische test en zijn toepassingen.Houten:BohnStafleuvanLoghum.
Eggen,T.J.H.M.,&Sanders,P.F.(1993).Psychometrie in de praktijk.Arnhem:Cito. Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/Psychometrie.pdf
Evers,A.,Lucassen,W.,Meijer,R.,&Sijtsma,K.(2010).COTAN Beoordelingssysteem voor de kwaliteit van tests.Amsterdam:NIP/COTAN. Onlinevia:http://www.psynip.nl/website-openbaar-documenten-nip-algemeen/beoordelingssysteem.pdf
ExpertgroepDoorlopendeLeerlijnenTaalenRekenen(2008).Over de drempels met taal en rekenen: hoofdrapport. Enschede:ExpertgroepDoorlopendeLeerlijnenTaalenRekenen.Onlinevia:http://www.taalenrekenen.nl/referentiekader/rel_doc/referentiekader/
Foster,M.,&Masters,G.(1996).Performance assessment resource kit: doing outcomes, planning observations, judging & recording, estimating achievement, reporting.Melbourne:AustralianCouncilforEducationalResearch.
Gallavan,N.P.(2009).Developing performance-based assessments grades 6-12.ThousandOaks,CA:CorwinPress.
Groot,A.D.de,&Naerssen,R.F.van(1969).Studietoetsen.DenHaag:Mouton.
Gulikers,J.(2006).Authenticity is in the eye of the beholder: Beliefs and perceptions of authentic assessment and the influence on student learning.Academischproefschrift.Heerlen: OpenUniversiteit.
Harlen,W.(2007).Assessment of learning.London:Sage.
Herman,J.L.,Aschbacher,P.R.,&Winters,L.(1992). A practical guide to alternative assessment. Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.
Hibbard,K.M.(1996).A teacher’s guide to performance-based learning and assessment. Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.
Hibbard,M.,Wagenen,L.van,&Lewbel,S.(1996). Performance-based learning and assessment: a teacher’s guide. Alexandria:AssociationforSupervisionandCurriculumDevelopment.
Hoogenboom,J.,&Ribot,C.(1993).Praktijktoetsen: constructie en beoordeling van praktische opdrachten. Arnhem:Cito.
Johnson,B.(1996). The performance assessment handbook volume 1: Portfolios & socratic seminars. Princeton,NJ:EyeOnEducation.
Johnson,B.(1996).The performance assessment handbook volume 2: Performance & exhibitions. Princeton,NJ:EyeOnEducation.
Kane,M.T.(1992).Anargument-basedapproachtovalidity. Psychological Bulletin, 112,527-535.
178 Cito | Toetsen op School < Inhoud Index >
Kane,M.T.(2004).Certificationtestingasanillustrationofargument-basedvalidation.Measurement 2,135-170.
Kane,M.T.(2006).Validation.InR.Brennan(Ed.),Educational Measurement 4th edition (pp.17-64).Westport,CT:AmericanCouncilonEducationandPraegerPublishers.
Krathwohl,D.R.,Bloom,B.S.,&Masia,B.B.(1964).Taxonomy of educational objectives: Handbook II: Affective domain.NewYork:DavidMcKayCo.
Kroft,M.vander,&Sinkeldam,R.(1998).Handleiding praktische opdrachten tweede fase havo/vwo.Arnhem:Cito.
Kuhlemeier,H.,&Erkens,T.(2009).Beoordelingsschalenincompetentiegerichteexaminering:Andereschalen,andereoordelen?Examens, 2,9-12.
Kuhlemeier,H.,&Kremers,E.(2013).De praktijk van de eerste en tweede correctie: samenvatting van onderzoek naar het functioneren van het SCE.Arnhem:Cito.Onlinevia:http://www.cito.nl/~/media/cito_nl/Files/Voortgezet%20onderwijs/centrale_examens/cito_praktijk_eerste_en_tweede_correctie.ashx
Mager,R.F.(1974).Leerdoelen formuleren. Hoe doe je dat?Groningen:Wolters-Noordhoff.
McDaniel,M.A.,Morgeson,F.P.,Finnegan,E.B.,CampionM.A.,&Braverman,E.P.(2001).Predictingjobperformanceusingsituationaljudgmenttests:aclarificationoftheliterature.Journal of Applied Psychology, 86,730-740.
Mehrens,W.A.(1988).Consequencesofassessment:whatistheevidence?Education Policy Analysis Archives, 13,6,1-39.Onlinevia:http://epaa.asu.edu/epaa/v6n13.html
Mertler,C.A.(2001).Designingscoringrubricsforyourclassroom.Practical Assessment, Research & Evaluation, 7,25.Onlinevia:http://PAREonline.net/getvn.asp?v=7&n=25
Messick,S.(1989).Validity.InR.Linn(Ed.),Educational measurement 3rd edition (pp.13-103).NewYork:AmericanCouncilonEducationandMacmillan.
Messick,S.(1996).Validityinperformanceassessments.InG.W.Phillips(ed.), Technical issues in large-scale performance assessments.WashingtonDC:NationalCenterforEducationStatistics.
Meuffels,B.(1993).Cijfersencijferschalen.Spiegel, 11,1,49-69.
Meuffels,B.(1994).De verguisde beoordelaar.Amsterdam:ThesisPublishers.
Millman,J.,&Greene,J.(1993).Thespecificationanddevelopmentoftestsofachievementandability.InR.L.Linn(Ed.),Educational measurement 3rd edition (pp.335-366).Phoenix,AZ: OryxPress.
MinisterievanOnderwijs,CultuurenWetenschap(1998). Kerndoelen basisvorming 1998-2003. DenHaag:MinisterievanOCW.
MinisterievanOnderwijs,CultuurenWetenschap(2006).Kerndoelen primair onderwijs. DenHaag:MinisterievanOCW.
179 Geraadpleegde literatuur < Inhoud Index >
MinisterievanOnderwijs,CultuurenWetenschap(2011).Regeling standaarden examenkwaliteit mbo 2012.Onlinevia:http://wetten.overheid.nl/BWBR0030427/
Mislevy,R.J.,&Haertel,G.(2006).Implicationsofevidence-centereddesignforeducationaltesting.Educational Measurement: Issues and Practice, 25(4),6-20.
Mislevy,R.J.(2007).Validitybydesign.Educational Researcher, 36(8),463-469.
Moelands,H.(2002).Toetsconstructieproces in acht stappen.Onlinevia:http://toetswijzer.kennisnet.nl/html/toetsconstructie/home.htm
Moskal,B.(2000).Scoringrubrics:What,whenandhow?Practical Assessment, Research & Evaluation, 7,3.Onlinevia:http://pareonline.net/getvn.asp?v=7&n=3
Moskal,B.(2003).Recommendationsfordevelopingclassroomperformanceassessmentsandscoringrubrics. Practical Assessment, Research & Evaluation, 8,4.Onlinevia:http://pareonline.net/getvn.asp?v=8&n=14
Moskal,B.,&Leydens,J.(2000).Scoringrubricdevelopment:Validityandreliability. Practical Assessment, Research & Evaluation, 7,10.Onlinevia:http://pareonline.net/getvn.asp?v=7&n=10
Onderbouw-VO(2006).Karakteristieken en kerndoelen voor de onderbouw.Zwolle: Onderbouw-VO.
Palm,O.(2008).Performanceassessmentandauthenticassessment:Aconceptualanalysis oftheliterature.Practical Assessment, Research & Evaluation, 13,4.Onlinevia:http://pareonline.net/pdf/v13n4.pdf
Nitko,A.J.,&Brookhart,S.M.(2007).Educational Assessment of Students(5th Edition).UpperSaddleRiver,NJ:PrenticeHall.
Popham,W.(1997).What’swrong–andwhat’sright–withrubrics.Educational Leadership, 55,2.
Popham,W.J.(2007).Classroom assessment: What teachers need to know (5th edition). NeedhamHeights,MA:Allyn&Bacon.
Porter,A.C.,&Smithson,J.L.(2002).Alignment of Assessments, Standards and Instruction. Using Curriculum Indicator Data.PaperpresentedattheannualmeetingoftheNCME.
Rijn,P.van,Béguin,A.,&Verstralen,H.(2009).Slagenofzakken?Denauwkeurigheidvanexamenuitslageninhetvoortgezetonderwijs.Pedagogische Studiën, 3,185-195.
Roelofs,E.C.,&Sanders,P.F.(2007).Towardsaframeworkforassessingteachercompetence.European Journal for Vocational Training, 40(1),123-139.
Roelofs,E.C.,&Sanders,P.F.(2003).Beoordelingvandocentcompetenties.InM.Mulder, R.Wesselink,H.Biemans,H.Nieuwenhuis,&R.Poell(eds),Bevoegd, maar ook bekwaam? (pp.277-299).Groningen:Wolters-Noordhoff.
180 Cito | Toetsen op School < Inhoud Index >
Roelofs,E.C.,&Vissers,J.A.M.M.(2007).Toetsspecificaties theoretische deeltoetsen WRM-examen.Arnhem/Amersfoort:DHV/Cito.
Roelofs,E.C.,&Vissers,J.A.M.M.(2008).Brondocument WRM-examen: 4. Uitvoeren van lessen. Arnhem/Amersfoort:DHV/Cito.
Roelofs.E.C.,&Straetmans,G.J.J.M.(2006).Assessment in actie: Competentiebeoordeling in opleiding en beroep.Arnhem:Cito.
Schotten,J.G.M.,&Robroek,W.C.L.(1997).Verantwoord meten in het gezondheidszorgonderwijs: Handboek voor beoordeling van leerresultaten.Houten:BohnStafleuVanLoghum.
SLO(2007).Concretisering van de kerndoelen Nederlands.Enschede:SLO.
Stiggins,R.J.(1987).Designanddevelopmentofperformanceassessments.Educational Measurement: Issues and Practices, 6,33-41.
Stiggins,R.J.(1994).Student-centered classroom assessment. NewYork,NJ:MacmillanPublishingCompany.
Straetmans,G.J.J.M.,&Sanders,P.F.(2001).Beoordelen van competenties van docenten.(EPS-brochurereeksnr.5).Onlinevia:www.rcec.nl/publicaties/overige%20publicaties/EPSbrochure5_Beoordelen.pdf
Taggart,G.L.,Phifer,S.J.,Nixon,J.A.,&Wood,M.(1998).Rubrics: A handbook for construction and use.Lancaster,PA:TechnomicPublishingCompany.
Tierney,R.,&Simon,M.(2004).What’sstillwrongwithrubrics:focusingontheconsistencyofperformancecriteriaacrossscalelevels.Practical Assessment, Research & Evaluation, 9,2. Onlinevia:http://PAREonline.net/getvn.asp?v=9&n=2
Vissers,J.A.M.M.,Nägele,R.C.,&Roelofs,E.C.(2006).Herziening WRM: Een model voorcompetentiegericht examineren.Amersfoort:DHV.
Wiggins,G.(1998).Educative assessment: Designing assessments to inform and improve student performance.SanFrancisco,CA:Jossey-BassPublishers.
Wiggins,G.,&McTighe,J.(2005).Understanding by design.Alexandria,VA:AssociationforSupervisionandCurriculumDevelopment.
Wools,S.,Eggen,T.J.H.M.,&Sanders,P.F.(2010).Evaluationofvalidityandvalidationbymeansoftheargument-basedapproach.CADMO, 8,63-82.
Wools,S.,Sanders,P.F.,Eggen,T.J.H.M.,Baartman,L.K.J.,&Roelofs,E.C.(2011).Evaluatievaneenbeoordelingssysteemvoordekwaliteitvancompetentie-assessments.PedagogischeStudiën, 1,23-40.
Zieky,M.J.,Perie.M.,&LivingstonS.A.(2008).Cutscores: A manual for setting standards ofperformance on educational and occupational tests.Princeton:EducationalTestingService.
Dewebsiteszijngeraadpleegdop11december2013.
Index
Index
182 Cito|ToetsenopSchool < Inhoud
IndexAabsolutebeoordeling63absolutenorm148,165absolutenormering146,148,157adaptieftoetsen80ADHD90afbeeldingbijeenvraag110,120,121,124affectievevaardigheden33,35afleidervaneenmeerkeuzevraag98–100, 105–108afnameconditie29,66,171,172alfa53,54,57,75algemenecompetenties32,33alternatiefvaneenmeerkeuzevraag 98–110,127,155,156analyseren34,35,72,112,129analytischebeoordeling29,135,138–140analytischebeoordelingsschaal138–140Angoff149,150,152anker135,141,142antwoordinstructie117antwoordmodel64,133,171antwoordrestrictie116,120antwoordsleutel98–100,104,133antwoordstrategie156antwoordtijd114aselectesteekproef147assessmentforlearning20assessmentoflearning18assessor64,164authenticiteitvaneentoetsoftaak27,42, 45,75,127,129,133,172authentiektoetsen75A-VISION92
Bbasiskwalificatie26,30begripsvaliditeit161,167–168beheersingsstandaard148beoordelaarsbetrouwbaarheid62–64beoordelaarseffect121–123beoordelaarsinstructie64beoordelaarsovereenstemming63,64,121beoordelingscriterium128,130,133–135, 138,142,168,171beoordelingsmiddel133,134beoordelingsportfolio127beoordelingsregel165,166beoordelingsschaal126,130,133,134–143
beoordelingsschema64,171beoordelingsvoorschrift129,171beroepspraktijk32,75,126,127,131,172beroepstaak39beslissingstabel60,61betoogvraag113betrouwbaarheid45,74,75,82,99,116, 121,122,134,135,137,155,156,161,164, 166–167,172,173betrouwbaarheidsbewijs74–75betrouwbaarheidscoëfficiënt50,53,54,56, 66,167betrouwbaarheidsinterval57–59betrouwbaarheidvantoetsscores50–67, 74–75,82,163,165,166,173BohnStafleuVanLoghum92Boomtestuitgevers89,92BPV(beroepspraktijkvorming)18BritishEducationIndex(BEI)94
CCAT(computergestuurdeadaptieve toets)80CBR(CentraalBureauRijvaardigheids- bewijzen)127CEFR(ERK)22,171centraalexamen19,59,61centraalexamencijfer19centraletendentie121certificerenvanleerlingen16,18–20,46, 153certificering19,64,164,165cesuur56,59,60,64,146–155,166,171, 173checklist123,133,134chronologischeleeftijd147cijfer19,22,55–67,121,130,139,140,146, 152–157,164cijferschaal141,152–155CitoIntelligentietest17Citotoets(EindtoetsBasisonderwijs)17,22, 70,71,73,76–79,87,164,168CitoVolgsysteemprimairenspeciaal onderwijs20,22,36,155CitoVolgsysteemvoortgezetonderwijs17, 18,21,23civieleffect18,19classificatiebeslissing17,163classificerenvanleerlingen16,17,153
183 Index < Inhoud
cognitieveprocessen72cognitievevaardigheden33–38,112CollegevoorExamens(CvE)87,154colloquiumdoctum19,20combinatievraag100,103commissie-examen63CommissieTestaangelegenhedenNederland (COTAN)88,89,90,160–170,173–174compensatorischeuitslagregel61,62competence-basedtest126competenthandelen27,32,33,37competentiegerichttoetsen126competenties20,32,33,126,131,134,138complementaireuitslagregel61complexevaardigheden127,129,132,140complexiteitsbewijs72complexiteitvantaken34,40,42,72,140, 171conceptuelekennis34confidenceinterval57conjunctieveuitslagregel61,62consequentieelbewijs76construct161,163contaminatie-effect122contrasterendegroepstandaardbepaling 150–152COOL23correctievoorraden155–156correctievoorschrift50,64,121,123,133correlatie73,157correlatiecoëfficiënt73,74COTAN-beoordelingssysteem160–170, 173–174criteriumgerichteinterpretatie164,166criteriumvaliditeit161,167,168Cronbach’salfa53,54,75cumulatievescoreverdeling146,147CvE-methode154
Ddecentraleselectie16decielschaal147descriptievebeoordelingsschaal141–142diagnostischetoets21,22,106DIALANG22dichotoomitem53,55didactischevisie28diplomacijfer19diplomering172directevraag104,105,107docentbekwaamheid86,87doelspecificatie131
doelvantoetsen16–24,161domeinbeschrijving24domeingerichteinterpretatie165,173doorstroomonderzoek79Drempelonderzoek(678Onderwijs Advisering)92dubbeleontkenningineenvraag108,110, 124
Eechoineenvraag105EducationResourcesInformationCenter (ERIC)93efficiëntievaneengeslotenvraag99einddoelen21,26,30–31eindtermen26,171,172EindtoetsBasisonderwijs(Citotoets)17,22, 70,71,73,76–79,87,164,168ERK(CEFR)22,171error52Europeestaalportfolio127evaluatie24,70,131,134,140evalueren33–36,112,129EVC(ErkenningvanVerworvenCompeten- ties)20examenangst51examenbesluit172examencommissie47,170–174exameneis30,172exameninstrumentarium170–172examenkwaliteit160–174examenlicentie160examinering86–87,170–174externcriterium73–74externestructuurbewijs73–74,79,82extrapoleerbaarheidsbewijs75
Ffeedback21,22,88,99,130,134,137,138, 140,153feedforward22,153feitenkennis34,112,128,131formatievetoets20,46,67,122functionelestelopdracht129,130
Ggebruikershandleiding163gebruiksdoelvaneentoetsoftest161gedragsdoel31gemiddelde(toets)score23,51,52,55–64, 147–151generiekebeoordelingsschaal135–138
184 Cito|ToetsenopSchool < Inhoud
geobserveerdetoetsscore50–56geslotenvraag48,98–110,112,114,115gewogenloting16GoogleBooks94GoogleScholar94grensscore165,166
Hhalo-effect122handelingsdimensie33,34hands-offtoetsen42,43havo-toetsEngels200950–60,65,146–147, 153–154herkansing60,62,67herordeningsvraag100,102,103hogere-ordeprocessenofvaardigheden34, 40,46,47,112,127holistischebeoordeling29,135,138–140holistischebeoordelingsschaal138–140homogeniteittoets54hoogbegaafd147,148horn-effect122
Iidentificatievraag118indelingsschemamenselijkpresteren27, 33–38,47in-enaanvulvraag113informatiegedeeltevaneenvraag117inhoudsbewijs71–72,79,82inhoudsvaliditeit162,167InspectievanhetOnderwijs19,21,23,24, 153,160,170,173–174intelligentiequotiënt147intelligentietest17,147,164,168interactievevaardigheden35interbeoordelaarsovereenstemming121interneconsistentie54interne-consistentiemethode53internestructuurbewijs73interpretatievandetoets71,163,164,174interpretatievantoetsscores54,67,70–71, 73,77–83,161,167intrabeoordelaarsovereenstemming121intuïtievemethodestandaardbepaling149IQ147,148itembias120
Kkennisdimensie33,34kennishandeling34,72,73,82,109Kennisnet87,89
kerndoelen24,26,30,31kerndoelenbasisonderwijs24,30kerntaken170–173klassieketesttheorie50–56KoninklijkeBibliotheek(KB)94kort-antwoordvraag66,81,100,113,118kortetoets65KR2053kritischesituatie37kwalificatiedossier162,170,171,172kwalificatiestructuur171kwalificerendefunctie18,19,171kwaliteitvanhetonderwijs16,22–24,153kwaliteitvantoetsenenexamens42,65, 66,67,88,89,131,134,160–174kwartielschaal147
Llagereordeprocessenofvaardigheden34, 46,47lang-antwoordvraag66,113,114,118,119langetoets65leerlinggewicht22,23leerlingrapport77–79leerlingvolgsysteem20,46leeropbrengst23,24leerstofdomein71,72,77leervordering17,70,71,77,79leerwegondersteunendonderwijs18,87, 160lerarenopleiding24,54,80,87lineaireomzettingmetknik154lineaireomzettingscores153–154
Mmatchingvraag103meerkeuzevraag45,50,66,76,81,98,99, 126,127,148,155–157,162meetfout51–66,74Mensa147metacognitievekennis34metacognitievevaardigheden128,130mildheidbeoordelaar51,63,121,123,152MinisterievanOCW23,24,26misclassificatie50,59–62,65,75,150–152, 167modelantwoord115–117,123,163modelgedraging163multiplechoicevraag98
185 Index < Inhoud
Nnauwkeurigheidmeting65,155,165NederlandsJeugdinstituut(NJi)90Nederlands-VlaamseAccreditatieorganisatie (NVAO)19negatieveformuleringvaneenvraag104normaalverdeeld56,60,147normaleverdeling56normatievebeoordelingsschaal141normen89,146,148,161,164–166normering146–152,157,166,170normeringsonderzoek146,164normeringsterm55,154normgerichteinterpretatie164normgroep146–148,165–166normschaal147,165normverschuiving121,122numerusfixus16
Oobjectiefscoringssysteem162objectievebeoordeling63,126,128,133, 134,137,163objectiviteitvaneengeslotenvraag109observatie-instrument87observatieschema134onderwijsbegeleidingsdienst91onderwijsleerproces16,20,127,132,153, 163Onderwijsraad18onderwijstype18,26,74onderzoeksvaardigheden127onterechtgeslaagd62onterechtgezakt62opdrachtspecifiekebeoordelingsschaal 135–138openvraag50,99,112–124,126,133,137, 162openvraag-ofprobleemstelling126,129, 137opgavenbank81opstelvraag114
PPabo-student75,76,80,81,82Pearson92peilingonderzoek23–24percentiel147percentielschaal147,165percentielscore77–78performancetest126PeriodiekPeilingonderzoek(PPON)23–24
PIRLS24PISA24plaatsenvanleerlingen16,18,46,153polytoomitem53,55poppetjesgrafiek78populatie52,55,166positieveformuleringvaneenvraag104, 107positievemeetfout51PPON23–24praktijkonderwijs17,87,160praktijksituatie32,33,140praktijktoets48,87,126–143praktischeopdracht19,87,162praktischhandelen126,128prestatieniveau134,135,140,141,142prestatiestandaard38,40,41,42,82,148probability57procedurelekennis34,131,138procesmatigprestatiemodel36productievevaardigheden35productschaal142,143professionelebasis37profielscore80ProgrammavanToetsingenAfsluiting(PTA) 19,46psychologischetest160psychomotorischevaardigheden33,35p-waarde55P’-waarde55
Rraadkans100,155–157reactievevaardigheden35referentieniveau24,171rekenen17–24,28,36,40,46,76–78, 80–82,171relatievebeoordeling63relatievenorm146,148,164relatievenormering146–148,157relevantievraag/testinhoud72,109,124, 161,162,167reliability53,57remediëring21,130,132,141reproductie35,40,99,118reproductievevaardigheden35rubriek(rubric)138,141,142
Ssamenwerkingleerlingen33,128,130, 132,133schaalanker163
186 Cito|ToetsenopSchool < Inhoud
schaalpunt134,135,140–143schoolbegeleidingsinstituut24,91schoolexamen19,59,61,63schoolexamencijfer19,61schoolrapport22,23schooltoets88–92scoreschaal65,66scoringsregel156scoringsvoorschrift64,146selecterenvanleerlingen16,148,153sequentie-effect121,122signifischeffect122simulatie42sociaal-emotioneledomein23sociaal-etnischeachtergrond23SON-R51/2-17168–170Spearman-Brownformule65,66specificiteitvaneenvraag108spreidingvanscores52staatsexamen63stamvaneenmeerkeuzevraag98–110standaardafwijking52,55,56,58,147,148, 165standaardbepaling148–152,166,173standaarddeviatie52standaardenmboexamens160,162, 170–174standaardiseren162,163standaardmeetfout50,55,56–59,65,66, 75,164,165,167standaardscore17,77–79standaardtypemeerkeuzevraag100steekproef53,55,147stellingvraag101stelopdracht129–130StichtingExamenkamer19strengheidbeoordelaar51,121,123,152studietoets160summatievetoets18,19,20,30,46,106, 122synthetiseren112
Ttaaksituatie27,32–44taal17,18,20,22,39,40,46,73,76–78,171taalgebruikineentoets105,107–108,112, 115,120,124taxonomiemenselijkpresteren27,31, 33–38technischeverantwoording163terechtgeslaagd59–62terechtgezakt59–62
testconstructie161–162testinhoud161testleider162,163testmateriaal161,162–163testotheek91TIMSS24toepassen28,31,34–37,72,112,127,130toetsangst51toetsbareleerdoelen26,27,31–41,47toetsbetrouwbaarheid58,64,67,156toetsconstructeur26,33,38,79,107,115, 120,164toetsconstructie26–27,47,93toetsconstructieproces87toetsenvanhetleren18toetsenvoorhetleren20,67Toetsgids88,90,161,168toetsinhoud26–48,71,132,162,167toetsmatrijs46,47,72,77,79,82toetsopgave26,27,31,41,46toetsplan27,30,44–46,83toetsscore50–67,70–83,122,146–157, 161–168,173toetsspecificatie31,48,132–133toetsstimulus27,42,43toetstaak26,27,40,42–47toetsterm95toetsvorm26,27,44–48,130,131,162,171Toetswijzer86–88,90,93,168traditionelestelopdracht129,130traditioneletoetsvorm12truescore52try-outvaneentoets134tussendoelen21,26,30–31
Uuitslagregel61–62uitstroomeis170
Vvaardighedenschema27,31,33–38,47vakdidactiek28vakdomein27,36vakspecifiekindelingsschema36valideren70–71,76–83,167validiteitsbewijs71–76validiteitsonderzoek164validiteitvantoetsscores45,55,70–83,89, 156,161,162,167–168variantie52–54,66,156VerenigingHogescholen80vernieuwendetoetsvorm12
187 Index < Inhoud
verstandelijkeleeftijd147visieopleren27–29visieoptoetsen29voorbeeldopgave24voortgangscontrole130,131,132,141, 165,167vraagformulering104–108,117–120,124, 163vraaggedeeltevaneenvraag117vraagmetmeerdantweeuitspraken 99,100–102,155vraagmettweeuitspraken100–101
Wwaar/onwaarvraag99,100,101,103warescore51–61,64,156websiteToetswijzer86–88,90,93,168weggevertje108wegingvanitemscores157werkproces133,170,171,173Wikipedia50,56,73,147Wikiwijsleermiddelenplein91WISCAT-pabo76,80–82WorldCat95
Zzak/slaagbeslissing60,62,131zak/slaaggrens81,82,122zelfevaluatie127,128,130,134,170zelfreflectie128,130zesjesleerling149,150
CitoCorporate
CitoAmsterdamseweg13Postbus10346801MGArnhemT(026)3521111F(026)3521356www.cito.nl
Klantenservice T(026)[email protected]
Fotografie:RonSteemers
Toetsen op School Piet Sanders (redactie)