AU

TE

UR

(S)

4

Inleiding

Veel lerarenopleidingen hebben de laatste jaren hun curricula ingericht volgens de principes van 'competen-tiegericht opleiden'. Kenmerkend verschil met de meer traditioneel georiënteerde opleidingen is dat authentieke beroepstaken de bouw-stenen van het curriculum vormen in plaats van vakdisciplines en schoolvakken. De recent onderschei-den startbekwaamheden zoals beschreven in de wet BIO gelden daarbij steeds vaker als richtsnoer voor zowel de opbouw van het cur-riculum als de beoordeling van de studenten (SBL, 2003).

Met de komst van competentiege-richt opleiden is de behoefte aan andersoortige vormen van toetsing en beoordeling toegenomen (Dierick & Dochy, 2001; Straetmans & San-ders, 2001). Ten opzichte van traditi-onele opleidingen verschuift de nadruk van de voorwaarden voor competent handelen (vakdidacti-sche kennis en vaardigheden) naar het handelen in authentieke beroep-

staken zelf (Uhlenbeck, Verloop, & Beijaard, 2002) en naar de gevolgen van dat handelen, zoals bijvoorbeeld zichtbaar gemaakt in de al dan niet schrif-telijke prestaties van onderwijsdeelnemers.

Hoewel het nodige geschreven is over de wenselijkheid van competentie-gericht beoordelen, is relatief weinig bekend over de mate waarin deze nieuwe beoordelingsvorm inmiddels is ingevoerd bij lerarenopleidingen en nog minder over de kwaliteit daarvan. Het meest recente onderzoek op dit terrein dateert nog uit het pre-SBL tijdperk. Geconcludeerd werd dat "…gezien het feit dat toetsing binnen het competentiegerichte curriculum zich nog in een experimenteel stadium bevindt en er momenteel nog weinig gegevens beschikbaar zijn over de betrouwbaarheid en validiteit van deze nieuwe toetsvor-men, het eindniveau van de studenten onvoldoende gewaarborgd kan worden.”(Onderwijsinspectie, 2003, p. 12). Vijf jaar later is de problematiek nog even actueel gelet op de conclusie van de staatssecretaris in de Monitor Beleidsagenda Lerarenopleiding 2005-2008, die luidt dat door het achter-blijven van de kwaliteit van toetsing en examinering het hbo-niveau onvoldoende kan worden geborgd (Ministerie van OCW, 2008). Ook de Onderwijsraad concludeert dat integrale examinering van vaardigheden en/of competenties versterking behoeft met het oog op de borging van het eindniveau van aanstaande leraren (Onderwijsraad, 2009, p.23). Voor opleidingen moet dit, zeker nu de NVAO van plan is de accreditatie-eisen op het gebied van toetsing en examinering aan te scherpen, het signaal zijn om de kwaliteit van competentiegerichte beoordelingen nadrukkelijker te gaan bewaken.

Om meer zicht te krijgen op de huidige beoordelingspraktijk van compe-tentiegerichte lerarenopleidingen heeft Cito in samenwerking met vier lectoraten1 in het studiejaar 2008-2009 een survey uitgevoerd bij lerarenop-leidingen voor het basisonderwijs. Daarbij werd uitsluitend gekeken naar de LIO-stage, tijdens welke de aspirant-leraar basisonderwijs de verant-

Vaststellen van didactische bekwaamheid tijdens de LIO-stage

Toetsen moeten valide scores opleveren. Elke docent kent deze belangrijkste te stellen kwaliteitseis aan onderwijskundige metingen. Maar er 'iets' mee doen in de eigen beoordelingspraktijk is een heel ander, lastiger verhaal. Dat geldt zeker als de te meten eigenschap verder reikt dan het memoriseren of begrijpen van kennis, zoals bijvoorbeeld het geval is bij de sinds enkele jaren populaire compe-tenties.

In dit artikel wordt voor een cruciale te verwerven competentie in de lerarenopleiding, de didactische bekwaamheid, nagegaan in hoeverre het aannemelijk is dat tegen het einde van de LIO-stage een valide beslissing genomen kan worden over de verwerving van deze competentie. Onderzocht is in hoeverre de beoordelingspraktijk tijdens de LIO-stage tegemoetkomt aan de kwaliteitseisen volgens Kane's valideringsprocedure. Daartoe hebben 387 LIO's en 105 stage-begeleiders afkomstig van 18 pabo's en 59 mentoren van betrokken basisscholen gerespondeerd op schriftelijke vragenlijsten. De resulta-ten lijken aan te geven dat de beoordelingspraktijk tijdens de LIO-stage op diverse punten zwakheden vertoont die het nemen van valide beslissingen over didactische bekwaamheid in de weg staan.

Gerard J.J.M. Straetmans Saxion, Cito Arnhem

Erik Roelofs, Cito Arnhem

Marit Peters, Universiteit TwenteEnschede

TIJDSC

HR

IFT VO

OR

LERA

REN

OPLEID

ERS (V

ELON

/ VELO

V) - 32(1) 2011

5

woordelijkheid krijgt voor het onderwijs aan een groep, in samenwerking met de vaste groepsleer-kracht(en). De aspirant-leraar toont daarmee aan in hoeverre hij, in de ogen van de opleiding, startbe-kwaam is.

Verantwoord vaststellen van didactische bekwaamheid

Didactische bekwaamheid kan niet worden afgeleid uit beheersing van de vereiste voorwaardelijke kennis (op het gebied van ondersteunende vakdisciplines en basisschoolvakken) en evenmin uit reflectieverslagen van de student over de uitvoering van beroepstaken. Didactische bekwaamheid moet blijken; blijken uit het feit dat de aspirant docent adequaat handelt in taaksituaties die representatief zijn voor de taakver-vulling in het beroep. De LIO-stage is bij uitstek geschikt om daarvoor het bewijsmateriaal te leveren. De LIO-stage kan opgevat worden als een soort proeve van bekwaamheid, een ultieme hands-on toets (Straetmans, 2006, p.41) voor het vaststellen van bekwaamheden. 'Ultiem' omdat toetssituatie en criteriumsituatie (dat waarvoor de kandidaat wordt opgeleid en waar het diploma toegang tot verleent) nauwelijks van elkaar te onderscheiden zijn. Door de sterke gelijkenis met de criteriumsituatie wordt vaak gedacht dat een proeve van bekwaamheid als vanzelf leidt tot uitkomsten die valide te interpreteren zijn. Helaas blijkt de toegeschreven hoge validiteit van de proeve van bekwaamheid soms niet meer dan schijn-validiteit te zijn (Straetmans, 2006, p.21). Om die reden, maar ook vanwege de toenemende druk vanuit de samenleving en de politiek om het eindniveau van de lerarenopleidingen te borgen, lijkt het niet verstan-dig om beslissingen te nemen over de didactische bekwaamheid van kandidaten zonder dat de kwali-teit van de daarvoor gebruikte assessmentprocedure geborgd is.

Onderwijskundige metingen, ongeacht of ze bedoeld zijn om kennis, vaardigheden of bekwaamheden te meten, moeten zuiver en relevant zijn of, in psycho-metrisch jargon, betrouwbaar en valide. Een meting is betrouwbaar als bij herhaalde uitvoering van de meetprocedure steeds min of meer hetzelfde meet-resultaat wordt verkregen. Valide is een meting als hij de gebruiker de juiste informatie verstrekt voor het nemen van een of andere beslissing. Validiteit wordt doorgaans als de meer belangrijke eigenschap beschouwd van meetresultaten. Toch is het vaak dit kwaliteitskenmerk dat bij evaluaties van onderwijs-kundige meetinstrumenten met een onvoldoende beoordeeld wordt of in het geheel niet beoordeeld kan worden omdat de ontwikkelaars van het instru-ment er geen onderzoek naar gedaan hebben.

Tot in de jaren tachtig van de vorige eeuw was het ideale model voor de validering van performance assessments gebaseerd op empirisch onderzoek dat het verband tussen toetsscores en scores op een of ander extern criterium uitdrukte in een correlatie coëfficiënt (Ebel, 1983). Het lijkt heel plausibel om de validiteit van bijvoorbeeld een examen af te meten aan de successen van de gediplomeerde in een of andere relevante vervolgsituatie, bijvoorbeeld de beroepspraktijk. Maar wat moet verstaan worden onder successen (er blijkt vaker niet dan wel een absoluut beheersingsniveau of 'gouden standaard' bepaald te zijn) en hoe meten we die op een zodanige wijze dat ze in ieder geval betrouwbaarder en meer valide zijn dan het te evalueren examen zelf? Immers, niemand is gebaat bij validering aan een 'wrak' crite-rium. Naast praktische zijn er ook methodologische problemen, namelijk dat meestal alleen de geslaagden in een dergelijke valideringsstudie kunnen participe-ren aangezien de gezakten dikwijls geen toegang tot de vervolgsituatie hebben. Fundamenteler nog is de kritiek van Borsboom, c.s. (2004), welke inhoudt dat met correlatiestudies weliswaar verbanden zijn op te sporen tussen variabelen maar geen oorzakelijke verbanden. En dat laatste is een belangrijke zwakheid omdat volgens deze auteurs een meetinstrument slechts valide metingen kan opleveren als variaties in de meetresultaten veroorzaakt worden door variaties in de te meten eigenschap.

Kane (1999) bewandelt een volledig ander pad met zijn argument-based benadering van het validerings-vraagstuk van performance assessments. Volgens hem gaat het er bij validiteit om dat op grond van een assessmentprestatie op overtuigende wijze bear-gumenteerd kan worden dat een bepaalde beslissing over de kandidaat gerechtvaardigd is. Om de presta-tie van een individu op een assessmenttaak of -pro-gramma te kunnen interpreteren in termen van diens beroepsmatige competentie zijn volgens Kane op zijn minst de volgende vier 'inferenties' noodzakelijk:1 De geobserveerde assessmentprestatie wordt

beoordeeld en uitgedrukt in een score op een bepaalde beoordelingsschaal;

2 Vanuit deze geobserveerde score wordt gegenera-liseerd naar een verwachte score over het assess-mentdomein (dat is de denkbeeldige verzameling van alle relevante assessmenttaken die voorgelegd zouden kunnen worden aan de kandidaat);

3 Vanuit de verwachte score over het assessment-domein wordt geëxtrapoleerd naar een verwachte score over het praktijkdomein (dat is de denkbeel-dige verzameling van alle relevante taaksituaties waarmee de startende professional geconfronteerd kan worden);

4 Op basis van de verwachte score over het praktijk-domein wordt een conclusie getrokken over de beroepsmatige competentie of bekwaamheid.

Performance assessments kunnen in hun ontwerp en uitvoering 'zwakke plekken' hebben die een serieuze bedreiging vormen voor genoemde inferentieproce-dure. Met een schriftelijke bevraging van de belang-rijkste betrokkenen hebben we geprobeerd zicht te krijgen op de beoordelingspraktijk in de LIO-fase en vooral op de vraag in hoeverre de beoordelingsproce-

Didactische bekwaamheid moet blij-ken uit het feit dat de aspirant docent adequaat handelt in taaksituaties die representatief zijn voor de taak-vervulling in het beroep.

6

Vas

tste

llen

van

dida

ctisc

he b

ekw

aam

heid

tijd

ens

de L

IO-s

tage

dures hinder ondervinden van deze bedreigingen en daarmee een belemmering vormen voor een succes-volle inferentieprocedure.

Onderzoek naar de beoordelingspraktijk gedurende de LIO-stage

Doel van de LIO-stage is het verwerven van start-bekwaamheid; dat is een brede bekwaamheid die niet alleen betrekking heeft op de onderwijstaken binnen de klas, maar op alle bij het beroep van leer-kracht behorende werkzaamheden zoals: het deel-nemen aan vergaderingen, het houden van beoorde-lingsgesprekken, het omgaan met ouders, enz. De hoofdtaak is echter het zelfstandig begeleiden van een groep leerlingen. Daarvoor heeft een LIO voldoende didactische bekwaamheid nodig.

VraagstellingTijdens de LIO-stage worden taken uitgevoerd aan de hand waarvan beoordeeld wordt of de LIO in vol-doende mate didactisch bekwaam is. Onderhavige studie werd opgezet om antwoord te krijgen op de vraag of de beoordelingspraktijk tijdens de LIO-stage gerechtvaardigde beslissingen over de verwerving van didactische bekwaamheid toelaat. De aandacht is daarbij vooral uitgegaan naar de vraag in hoeverre het ontwerp en de uitvoering van de assessments tij-dens de LIO-stage tegemoetkomen aan de voorwaar-den voor een succesvolle inferentieprocedure. Bij het ontwerp van de vragenlijsten is dan ook nauw aange-sloten bij de verschillende stappen in de inferentie-procedure. Dat lichten we hieronder eerst toe.

Voorwaarden voor een accurate beoordelingDe eerste inferentie heeft te maken met de observatie en waardering van een assessmentprestatie en de kwantificering daarvan in een score. Om te kunnen dienen als een basis voor verdere inferenties moet de geobserveerde score accuraat zijn, ofwel zoveel mogelijk vrij zijn van meetfouten. Meetfouten wor-den veroorzaakt door imperfecties in de meetproce-dures. Die kunnen van allerlei aard zijn. Zoals bij-voorbeeld onduidelijkheid bij betrokkenen over de aard en uitvoering van de beoordelingsprocedure. Of een onvoldoende uitgewerkte operationalisatie van de te beoordelen bekwaamheid, zoals kan blijken uit het ontbreken van een heldere en volledige be-schrijving van het taakdomein en/of uit het ontbreken van helder geformuleerde prestatiecriteria. Of onvol-doende controle op de beoordelingskwaliteit van de assessoren. Maar ook de onzekerheid over de her-komst van bewijsstukken en dergelijke. Op deze en nog andere aspecten zijn de respondenten bevraagd.

Voorwaarden voor generalisatie van assessmentprestatiesDe tweede inferentie gaat over de toelaatbaarheid van een generaliserende uitspraak over al die andere assessmenttaken die aangeboden hadden kunnen worden. Het doel van een assessment is niet zozeer om te weten te komen wat een kandidaat presteert op de concrete assessmenttaken, maar om een conclusie te trekken over het al dan niet verworven zijn van competentie of bekwaamheid op een beschreven

taakdomein. Het oordeel over competentie of bekwaamheid zou niet afhankelijk mogen zijn van de specifieke set van uitgevoerde assessmenttaken. Vol-gens onderzoek echter speelt in alle domeinen het probleem van de taakspecifieke prestatie (Linn & Bur-ton, 1994). Het zou een gevolg zijn van het feit dat kennis en vaardigheden niet zonder meer overdraag-baar zijn van de ene toepassingscontext naar de andere. Het is dus maar de vraag of een conclusie over didactische bekwaamheid die vooral gebaseerd is op bewijsmateriaal afkomstig uit gegeven taalles-sen, ook geldig is voor de andere schoolvakken. Maar ook binnen een bepaald schoolvak is een dergelijke vraag gerechtvaardigd: een prima verzorgde instruc-tie over het optellen en aftrekken met ongelijknamige breuken biedt geen garantie voor de kwaliteit van een instructie over meten met inhoudsmaten. Voorkomen moet worden dat de conclusie over de didactische be-kwaamheid van een LIO heel anders uitvalt bij een andere selectie van assessmenttaken. Dat kan door een zorgvuldige afbakening en beschrijving van het taakdomein en de relevante condities waaronder gepresteerd moet worden en door een selectie van assessmenttaken die deze verscheidenheid vertegen-woordigt. Dan nog kan een uitkomst echter zijn dat prestaties op assessmenttaken sterk variëren, hetgeen dan de vraag oproept of er wellicht niet meer dan één competentie of bekwaamheid in het geding is. Bij-voorbeeld, doordat didactische bekwaamheid op het gebied van aanvankelijk lezen iets anders behelst dan didactische bekwaamheid op het gebied van rekenen. De LIO zou de ene verworven kunnen hebben en de andere (nog) niet. In de survey hebben we de respon-denten bevraagd op diverse aspecten die verband houden met de kwaliteit van de steekproef van assessmenttaken.

Voorwaarden voor extrapolatie van assessmentprestatiesMet de derde inferentie wordt de interpretatie van de assessmentscore uitgebreid (geëxtrapoleerd) naar het doel- of praktijkdomein. Het praktijkdomein wordt gevormd door de volledige verzameling taaksituaties waarin iemand geacht wordt adequaat te kunnen handelen als de te toetsen competentie of bekwaam-heid verworven is. De vraag die hier in het geding is, luidt: In hoeverre is het mogelijk om op grond van de assessmentprestatie een conclusie te trekken over de verwachte prestatie in de vervolgsituatie waarover het assessment een uitspraak wil doen? Meer concreet gesteld: Geven de resultaten op de tijdens de LIO-stage uitgevoerde assessmenttaken voldoende hou-vast om uitspraken te doen over het didactisch han-delen in de reële beroepspraktijk? Om hier zicht op te krijgen zijn de respondenten bevraagd op de authen-ticiteit van de assessmenttaken tijdens de LIO-stage.

Voorwaarden voor een accurate beslissingDe laatste inferentie behelst het trekken van een con-clusie over de in het geding zijnde competentie of bekwaamheid op grond van de geobserveerde assess-mentscores. Dit houdt in dat deze scores geëvalueerd worden door ze te vergelijken met een vastgestelde standaard om op grond daarvan te beslissen of de LIO didactisch bekwaam is of niet. Om willekeur te voorkomen is het gewenst dat de standaard helder omschreven is en dat aangegeven is hoe de assess-

TIJDSC

HR

IFT VO

OR

LERA

REN

OPLEID

ERS (V

ELON

/ VELO

V) - 32(1) 2011

7

mentscores daartegen moeten worden afgezet. Uiter-aard moet de standaard zelf valide zijn, maar de vaststelling daarvan is bijzonder lastig en is zeker niet uitvoerbaar aan de hand van een schriftelijke vragen-lijst. Vandaar dat de respondenten in dit kader alleen bevraagd zijn op de aanwezigheid van procedures die voorschrijven hoe men op grond van beoordeelde assessmentscores kan komen tot een beslissing over didactische bekwaamheid.

Onderzoeksopzet

Instrumenten Om informatie te verkrijgen over de realisatie van de voorwaarden voor solide (betrouwbare en valide) beoordelingen tijdens de LIO-stage zijn per inferentie vragen opgesteld en ondergebracht in vijf rubrieken. Voor verdere details wordt verwezen naar Peters (2009).De vragen zijn opgenomen in drie evaluatieve vra-genlijsten voor de groepen direct betrokkenen bij de beoordeling van de LIO-stage: studenten, mentoren vanuit de basisschool, en stagebegeleiders vanuit de opleiding. De vragenlijsten zijn web-based afgeno-men (toegankelijk via een URL) in de periode van januari tot half april 2009.

RespondentenIn totaal hebben 387 LIO's, 59 mentoren vanuit basis-scholen en 105 stagebegeleiders vanuit PABO's aan het onderzoek deelgenomen. De stagebegeleiders en LIO's zijn afkomstig van 14 PABO's, gespreid over het land. Van de 37 PABO's die Nederland telt heeft dus ruim eenderde deel deelgenomen aan het onderzoek.

Resultaten

De resultaten van de schriftelijke bevraging van de drie betrokken partijen worden hier beschreven in het licht van de voorwaarden waaraan voldaan moet zijn voor de vier door Kane geformuleerde inferenties.

Voorwaarden voor accurate beoordelingenGestandaardiseerde beoordelingAls er assessoren moeten worden ingezet om gedrag of producten te beoordelen, is standaardisatie van de beoordelingsprocedure een beproefde methode om de subjectiviteit van het assessor-oordeel te beperken. Standaardisatie van de beoordelingsprocedure houdt in dat er voorschriften zijn voor wat en hoe er beoor-deeld moet worden. Ten aanzien hiervan leidde de survey tot de volgende constateringen:

• In de vragenlijst is aan stagebegeleiders van de PABO en aan mentoren van de stagescholen gevraagd of ze bij het beoordelen van de didacti-sche bekwaamheid gebruik maken van prestatie-criteria. Nagenoeg alle stagebegeleiders (98,5%) en mentoren (96%) geven aan dit te doen. De vraag blijft in hoeverre de gebruikte prestatiecriteria vol-doende ondersteuning kunnen bieden voor een beoordeling. Goed geformuleerde prestatiecriteria geven niet alleen aan waarop de beoordeling zich moet richten, maar ook welke prestatieniveaus onderscheiden kunnen worden en wanneer van welk prestatieniveau sprake is. Daarnaar gevraagd

blijkt ongeveer driekwart van de stagebegeleiders te kunnen beschikken over door de opleiding ver-strekte scorevoorschriften, beoordelingsschalen of andere hulpmiddelen om prestaties te beoordelen. Voor mentoren is dit 60 procent. • De inzet van een portfolio waarin de LIO bewijs-stukken voor zijn didactische bekwaamheid ver-gaart doet veronderstellen dat er in de LIO-stage voornamelijk analytisch beoordeeld wordt. Maar de reacties op de vraag aan assessoren of zij bewijs-stukken van LIO's elk afzonderlijk van een oordeel voorzien, laten twijfel ontstaan over die constate-ring. Meer dan 40 procent van de stagebegeleiders en 16 procent van de mentoren geeft aan bewijs-stukken niet afzonderlijk te beoordelen. Wanneer dit wel gebeurt geeft 35 procent van de stagebege-leiders en 50 procent van de mentoren aan dit te doen in termen van 'onvoldoende', 'voldoende' of 'goed'.• Ondanks het massale gebruik van door de oplei-ding verstrekte prestatiecriteria is het niet voor elke LIO duidelijk waarop hij tijdens de LIO-stage beoordeeld wordt. Slechts 42 procent reageert met 'helemaal duidelijk'. Voor 8, 11 en 39 procent van de ondervraagde LIO's is dit respectievelijk 'volstrekt onduidelijk', 'redelijk onduidelijk' en 'enigszins dui-delijk'.

Voldoende bewijslastBij deze voorwaarde gaat het niet alleen om de hoe-veelheid bewijs maar ook om de kwaliteit daarvan. Niet elke prestatie kan gelden als een bewijsstuk en niet elke verzameling bewijsstukken is zonder meer een goede afspiegeling van het assessmentdomein. Bevraging van relevante betrokkenen leidde op dit punt tot de volgende constateringen:

• In de vragenlijst is aan stagebegeleiders en men-toren gevraagd op hoeveel bewijsstukken ze het oordeel over didactische bekwaamheid van LIO's doorgaans baseren. Van de stagebegeleiders geeft 55 procent aan daarvoor maximaal vijf bewijsstuk-ken te beoordelen en 31 procent meer dan zes bewijsstukken. Bij de mentoren liggen die percenta-ges op 44 respectievelijk 42 procent. • Daarnaar gevraagd geeft 89 procent van de stage-begeleiders en 85 procent van de mentoren aan dat ze vanuit de PABO richtlijnen hebben ontvangen over welke prestaties van LIO's in aanmerking komen als (deel van het) bewijs voor didactische bekwaamheid. Ondanks de beschikbaarheid van deze richtlijnen zegt eenderde van zowel de stage-begeleiders als de mentoren dat de aangereikte bewijzen door LIO's de ene keer voldoende en de andere keer onvoldoende informatie geven over hun didactische bekwaamheid. Kennelijk laten de richtlijnen zoveel ruimte voor interpretatie dat LIO's van tijd tot tijd hun didactische bekwaamheid proberen te bewijzen met prestaties die daarvoor onvoldoende geschikt zijn.• De kwaliteit van het bewijs is ook afhankelijk van de vraag of er sprake is van een directe registratie van het didactisch handelen van een LIO en van de daaruit voortvloeiende resultaten. In dat geval spreken we van 'direct bewijs'. Indirect bewijs wordt verkregen als de beoordeling van het didac-tisch handelen en de resultaten berust op een

8

Vas

tste

llen

van

dida

ctisc

he b

ekw

aam

heid

tijd

ens

de L

IO-s

tage

(schriftelijk) verslag van de student zelf, de mentor of andere assessor, zonder dat het mogelijk is om het originele bronmateriaal te beschouwen. Bevra-ging van de stagebegeleiders en mentoren liet zien dat het aantal indirecte bewijzen behoorlijk groot is: Ongeveer 45 procent van de stagebegeleiders en 35 procent van de mentoren geeft aan dat minstens de helft van het bewijs van het indirecte soort is. • Op de vraag welk type bewijsmateriaal wordt opgevoerd, reageert meer dan 80 procent van de stagebegeleiders met lesbezoeken, stage- of reflec-tieverslagen en gesprekken tussen LIO, mentor en stagebegeleider. Ongeveer 65 procent zegt dat er lesopzetten als bewijsmateriaal worden aange-boden en minder dan 20 procent noemt videover-slagen van gegeven lessen en leerprestaties of erva-ringen van leerlingen als gevolg van door de LIO gegeven les(sen). Bevraging van de LIO's leverde een ander beeld op. Driekwart van hen zegt gesprekken tussen LIO, stagebegeleider en mentor en stage- of reflectieverslagen op te voeren als bewijs en 63 procent gebruikt verslagen van les-bezoeken. De helft gebruikt lesopzetten als bewijs-materiaal en 35 procent geeft te kennen de leerpres-taties van de leerlingen daarvoor te gebruiken.•Als we kijken naar de intensiteit waarin stagebege-leiders bewijzen raadplegen alvorens tot een oor-deel te komen over didactische bekwaamheid, dan valt op dat reflectieverslagen veruit het vaakst inge-zien worden (84% bekijkt deze vaker dan twee keer). De twee directe bewijsbronnen, ingeleverde lesopzetten (60%) en video-opnames van lessen (14%), worden veel minder vaak herhaald bekeken.•Aan de LIO's is gevraagd of zij of medestudenten wel eens bewijzen voor bekwaamheid opvoeren die niet voortkomen uit zelf geleverde prestaties. Ongeveer 54 procent van de ondervraagde LIO's meent zeker te weten of vermoedt dat anderen zich daar schuldig aan maken. En vijf procent geeft toe dat ze zelf één of meerdere bewijsstukken hebben aangeleverd die het werk zijn van anderen. Het blijkt daarbij te gaan om van het Internet gehaalde bewijzen, om geleende bewijzen van medestuden-ten of oud-studenten of om verzonnen bewijzen.

Kwaliteit van assessorenOmdat prestatiecriteria niet zodanig te objectiveren zijn dat een willekeurige assessor ze zou kunnen toe-passen, is interpretatie ervan onontkoombaar. Daar komt bij dat assessoren vaak beschouwd worden als de 'zwakste schakel' in het beoordelingsproces (Schoonman, 2005). Het is daarom verstandig te investeren in assessoren die deskundig zijn op het betreffende terrein, die kritisch zijn op hun werk, met name op hun beoordelingsactiviteiten, die inzicht hebben in het beoordelingsconcept, de kwalificatie-eisen van de opleiding en de daarvan afgeleide pres-tatiecriteria en die hebben deelgenomen aan een assessorentraining. Ten aan zien van dit onderwerp heeft bevraging van de respondenten tot de volgende constateringen geleid:

• De surveyresultaten laten zien dat bijna alle PABO's eisen stellen aan hun assessoren. Bijna 95 procent van de stagebegeleiders en tweederde van de mentoren geven aan dat de PABO eist dat een assessor goed op de hoogte is van alle aspecten van

het leraarschap en wat daarbij van een LIO wordt verwacht. Dat houdt in ieder geval in dat een asses-sor de bekwaamheidseisen kent zoals die geformu-leerd zijn in de wet BIO. Iets meer dan de helft van de stagebegeleiders en eenvijfde van de mentoren geeft aan dat de PABO bovendien eist dat de asses-sor zelf achter deze eisen kan staan. Tweederde van de stagebegeleiders en iets minder dan de helft van de mentoren meldt dat de PABO ook eisen stelt aan de deskundigheid op het gebied van beoordelen.•Om de vereiste deskundigheid te verwerven heeft tweederde van de stagebegeleiders en ruim een-derde van de mentoren een assessorentraining gevolgd. Gevraagd naar de inhoud van die training blijkt dat de meeste assessoren getraind zijn in het geven van feedback en het adequaat hanteren van prestatiecriteria. Onderwerpen als 'het bepalen van overeenstemming tussen assessoren' en 'het vor-men van een consensusoordeel' blijken veel minder vaak expliciet aan de orde te komen. En juist die onderwerpen zijn van belang om beoordelaars in staat te stellen om zelfstandig 'de vinger aan de pols te houden' voor wat betreft de kwaliteit van de beoordelingen.•Aan mentoren en stagebegeleiders is de vraag gesteld hoe vaak zij in de typische beoordelingsval-kuilen lopen. Naar eigen zeggen lopen beide res-pondentgroepen niet of nauwelijks in de volgende valkuilen: de neiging om geen extreem hoge of lage scores te geven, te snel veralgemeniseren, te streng of juist te mild beoordelen, persoonlijke criteria hanteren, omwille van de relatie niet te streng beoordelen, eerder gegeven oordelen tijdens de LIO-stage een rol laten spelen bij nieuwe beoorde-lingen. Daarentegen rapporteren stagebegeleiders wel dat ze af en toe hun algemene indruk over de LIO laten doorwerken in alle beoordelingen.

Voorwaarden voor de generalisatie van assessmentprestatiesDekking van het assessmentdomeinBij een assessment gaat de belangstelling niet zozeer uit naar de prestatie op de aangeboden taak of taken, maar naar de prestatie die naar verwachting geleverd zou worden als de kandidaat alle andere mogelijke taken (het assessmentdomein genoemd) zou uitvoe-ren. Om daarover een betrouwbare uitspraak te kun-nen doen is het noodzakelijk dat de uitgevoerde assessmenttaken een goede afspiegeling zijn van het assessmentdomein en de daarin vermelde taak-condities. Bevraging van de betrokkenen hierop leidde tot de volgende constateringen:

• Diverse vragen in de vragenlijsten voor stagebe-geleiders, mentoren en LIO's hadden tot doel om na te gaan in hoeverre de PABO's maatregelen hebben getroffen om de generaliseerbaarheid van de assessmentprestaties te borgen. Een daarvan is het gericht laten uitvoeren van specifieke taken tijdens de LIO-stage. Ongeveer 60 procent van de stagebe-geleiders geeft aan dat de LIO's speciale taken krij-gen waarvan de uitvoering zicht zou moeten geven op de didactische bekwaamheid. Van de LIO's geeft een kleine 70 procent aan dat dit het geval is.• Een andere belangrijke vraag in dit verband is of LIO's expliciet opdracht krijgen om hun didactische

TIJDSC

HR

IFT VO

OR

LERA

REN

OPLEID

ERS (V

ELON

/ VELO

V) - 32(1) 2011

9

bekwaamheid aan te tonen in lessituaties in ver-schillende vakgebieden (zoals taal, rekenen, zaak-vakken en creatieve vakken). Iets meer dan de helft van de stagebegeleiders zegt dergelijke opdrachten niet te geven en tweederde van de LIO's zegt derge-lijke opdrachten niet te krijgen.• Op de vraag of de uitgevoerde assessmenttaken inhoudelijk en situationeel gezien voldoende ge-varieerd zijn om als representatief beschouwd te kunnen worden voor het gehele spectrum van mogelijke taaksituaties, antwoordt 76 procent en82 procent van respectievelijk de stagebegeleiders en mentoren bevestigend.

Voorwaarden voor de extrapolatie van assessmentprestaties

Representativiteit van de assessmenttakenDe context waarin de LIO zijn werk verricht is vaak niet te onderscheiden van die waarin de bevoegde leraar zijn taak uitvoert. Voor assessment doeleinden is dat in principe een prettige situatie. Wat echter pro-blemen kan geven, is dat de LIO vaak speciale taken krijgt opgedragen waarvan de resultaten als bewijs-stuk in het beoordelingsportfolio worden opgeslagen. Als die taken onvoldoende representatief zijn voor de werkzaamheden in de reële beroepspraktijk dan wordt het, ondanks het feit dat de context waarin gewerkt wordt een perfecte afspiegeling is van de reële beroepspraktijk, toch moeilijk om op basis van de resultaten een uitspraak te doen over de didacti-sche bekwaamheid van de LIO. Bevraging van de respondenten leidde tot de volgende constateringen:

• Nagenoeg alle ondervraagde stagebegeleiders en mentoren vinden dat de bewijsstukken die de LIO opvoert voor zijn eindbeoordeling een voldoende of goede afspiegeling vormen van de taken die de startbekwame leerkracht in de beroepspraktijk moet kunnen uitvoeren. • Het beeld verandert echter bij het stellen van de volgende, meer specifieke vraag over de kwaliteit van de bewijsstukken: Lesgeven in de praktijk is com-plex, door de gelijktijdigheid van gebeurtenissen in de klas. De leerkracht moet gelijktijdig en direct adequate beslissingen nemen. Hij/zij dient de didactische aanpak aan te passen aan de kenmerken van de leerlingen. In hoe-verre vindt u dat de bewijsstukken waarmee de LIO de eigen bekwaamheid moet aantonen, deze complexiteit weerspiegelen? Het percentage stagebegeleiders en mentoren dat positief reageert op deze vraag is nu een stuk lager: 39 respectievelijk 52 procent vindt dat de bewijsstukken een goede weerspiegeling vormen van de complexe beroepspraktijk. Ruim 40 procent van de stagebegeleiders en mentoren vindt de bewijsstukken in dit opzicht wisselend van kwa-liteit en een kleine 20 procent van de stagebegelei-ders (en 6 procent van de mentoren) is van mening dat de bewijsstukken in dit opzicht tekortschieten.

Voorwaarden voor accurate beslissingenover bekwaamheid

Procedures voor het bepalen van het eindoordeelAls er geen procedure is voorgeschreven om tot een eindoordeel te komen, is de kans groot dat verschil-lende assessoren op basis van een reeks gescoorde

bewijsstukken tot verschillende totaalscores komen en zelfs tot andere beslissingen (bijvoorbeeld in termen van geslaagd of gezakt) over didactische bekwaamheid. In dit verband heeft bevraging van de respondenten tot de volgende constateringen geleid:

• Op de vraag of de opleiding een procedure voor-schrijft volgens welke het eindoordeel over de LIO-stage berekend (in het geval van kwantitatieve oor-delen) dan wel afgeleid moet worden uit de scores of beoordelingen die zijn toegekend aan afzonder-lijke prestaties, geeft 81 procent van de stagebege-leiders een positief antwoord. Ondanks het bestaan van dergelijke procedures geeft, zoals al eerder in dit artikel werd gerapporteerd, 41 procent van de stagebegeleiders aan prestaties helemaal niet afzon-derlijk te beoordelen. Dat laatste gegeven corres-pondeert weer met de bevinding dat meer dan 40 procent van de LIO's niet op de hoogte was van een procedure voor zak-/slaagbeslissingen.• Van de bevraagde stagebegeleiders en mentoren zegt respectievelijk 71 en 82 procent dat in goed overleg een consensusbesluit genomen wordt over de didactische bekwaamheid van de LIO.• Driekwart van de stagebegeleiders baseert het eindoordeel op wat de LIO feitelijk gepresteerd heeft in zijn stage, maar een kwart doet dit primair op basis van een inschatting of de LIO in de toe-komst zal uitgroeien tot een startbekwame leerkracht.

Conclusie en discussie

Samenvattend zijn de belangrijkste constateringen naar aanleiding van deze survey:1. Er is reden voor twijfel aan de accuraatheid van beoordelingen die door stagebegeleiders en mentoren worden toegekend aan prestaties op al dan niet ex-pliciet verstrekte assessmentopdrachten. Die twijfel wordt ingegeven door:

• Niet optimaal uitgewerkte prestatiecriteria. De meeste opleidingen hebben wel prestatiecriteria geformu-leerd, maar in een kwart van de gevallen worden die niet ondersteund met hulpmiddelen, zoals scorevoorschriften en beoordelingsschalen, die de assessor ondersteunen bij de toepassing van de prestatiecriteria. Van dergelijke lijstjes met 'aan-dachtspunten voor de beoordeling' mag niet ver-wacht worden dat ze de assessor kunnen helpen om prestaties accuraat te beoordelen.• Onvoldoende consequente toepassing van prestatiecri-teria. De prestatiecriteria worden te vaak alleen gebruikt voor het geven van een eindoordeel over de LIO-stage en niet om elke assessmentprestatie die tijdens de stage geleverd wordt mee te beoordelen. • Onvoldoende transparantie. Ondanks het feit dat de meeste opleidingen prestatiecriteria hebben gefor-

Ondanks het feit dat de meeste opleidingen prestatiecriteria hebben geformuleerd, zegt het merendeel van de LIO's niet precies te weten waarop ze tijdens de LIO-stage beoordeeld worden.

10

Vas

tste

llen

van

dida

ctisc

he b

ekw

aam

heid

tijd

ens

de L

IO-s

tage

muleerd, zegt het merendeel van de LIO's niet precies te weten waarop ze tijdens de LIO-stage beoordeeld worden. Dit zou een gevolg kunnen zijn van de onvoldoende uitwerking die aan de prestatiecriteria gegeven is.• Onvoldoende bewijs. Dit als gevolg van ongeschikte bewijsstukken en/of bewijsstukken van onbekende herkomst. Eindoordelen over de didactische bekwaamheid zijn daardoor in bijna de helft van de gevallen gebaseerd op zwak bewijs (gesprekken en verslagen blijken populairder dan de methodes die op directe wijze zicht geven op de bekwaamheid om adequaat te handelen in onderwijsleersituaties).

2. Er is reden om eraan te twijfelen of de bewijsstuk-ken die de LIO's overleggen een voldoende dekking garanderen van het assessmentdomein. Het meren-deel van de stagebegeleiders en mentoren is daar optimistisch over, maar gelet op het geringe aantal bewijsstukken en het ontbreken van sturing vanuit de opleiding met het oog op de verkrijging van een goede dekking, lijkt dat optimisme niet gerechtvaar-digd.

3. De mate waarin de bewijsstukken een natuurge-trouwe afspiegeling zijn van de taken waarmee de beginnende leraar geconfronteerd wordt, is in begin-sel adequaat. Wel vindt een aanzienlijk deel van de bevraagde stagebegeleiders en mentoren dat het door de LIO aangedragen bewijsmateriaal geen goede representatie is van de complexe beroepspraktijk (bijvoorbeeld het omgaan met individuele verschillen tussen leerlingen).

4. Ten slotte twijfelen we ook of voldaan wordt aan de voorwaarden om te komen tot accurate beslissingen over didactische bekwaamheid. Weliswaar geeft het merendeel van de stagebegeleiders aan dat de oplei-ding een procedure voorschrijft om tot een eindoor-deel te komen, maar op grond van andere responsen die in dit verband verkregen werden, valt af te leiden dat deze waarschijnlijk geen regels bevatten om de toegekende scores aan assessmentprestaties samen te vatten in een eindoordeel. Zonder dergelijke regels zijn beslissingen over didactische bekwaamheid subjectief, niet transparant en slecht verdedigbaar naar de betrokkenen.

De constateringen overziend denken wij dat de beoordelingspraktijk tijdens de LIO-stage op dit moment vaak niet zal voldoen aan de voorwaarden voor een succesvolle inferentieprocedure volgens Kane. De oorzaak daarvan zoeken wij primair in het ontbreken van voldoende regie bij de inrichting en uitvoering van procedures voor het vaststellen van didactische bekwaamheid. De grote verantwoorde-lijkheid die de student met de invoering van het competentiegericht opleiden heeft gekregen voor de

samenstelling van zijn beoordelingsportfolio kan bij de opleidingen gemakkelijk leiden tot de gedachte dat er geen regels nodig zijn voor de samenstelling van het bewijs voor de te beoordelen bekwaamheid. Dat is riskant. Als een LIO bijvoorbeeld problemen ervaart met onderwijs geven in taal of rekenen zal die zich bij het aantonen van didactische bekwaamheid liever richten op andere vakgebieden. Zonder vol-doende sturing vanuit de opleiding zullen daarom maar weinig beoordelingportfolio's een verzameling bewijsstukken bevatten die voldoende representatief is om op basis daarvan generaliserende uitspraken te doen over de beheersing van het assessmentdomein (de verzameling assessmenttaken die de operationali-satie vormt van de te meten bekwaamheid). Het feite-lijk gehanteerde bewijsmateriaal zal daardoor vaak niet de basis vormen om met voldoende zekerheid beslissingen te kunnen nemen over de didactische bekwaamheid. Hier liggen kansen voor verbetering, want juist de LIO-stage biedt in beginsel volop gele-genheid om zowel in kwantitatief als kwalitatief opzicht voldoende informatie te verzamelen over de vast te stellen bekwaamheid.

NOOT1 Graag willen wij de lectoren bedanken die hebben bijgedra-

gen aan de totstandkoming van dit onderzoek: Dr. Ellen van den Berg (Hogeschool Edith Stein), Dr. Niels Brouwer (Ise-linge Hogeschool) en Dr. Dominique Sluijsmans (Hogeschool Arnhem en Nijmegen). Ook dank aan de vele coördinatoren en opleiders van de lerarenopleidingen, de stagementoren van de basisscholen en de LIO-studenten voor hun onmis-bare medewerking aan het onderzoek.

LITERATUUR

Borsboom, D., Mellenbergh, G.J., & Heerden, J. van. (2004). The concept of validity. Psychological Review, 111, 4, 1061–1071.

Dierick, S., & Dochy, F. (2001). New Lines in Edumetrics: New Forms of Assessment Lead to New Assessment Criteria. Studies in Educational Evaluation, 27(4), 307-329.

Ebel, R.L. (1983). The practical validation of tests of ability. Educational Measurement: Issues and Practice, 2, 2, 7-10.

Inspectie van het onderwijs (2003). Bekwaam afgerond? Eva-luatie startbekwaamheden in opleidingen Leraar Basison-derwijs. Inspectierapport, nr. 2003-12. Utrecht: Inspectie van het Onderwijs.

Kane, M., Crooks, T., & Cohen, A. (1999). Validating Measu-res of Performance. Educational Measurement: Issues and Practice, 18, 2, 5-17

Linn, R.L., & Burton, E. (1994). Performance-based assess-ment: Implications of task specificity. Educational Measurement: Issues and Practice, 13, 1, 5-15.

Ministerie van Onderwijs, Cultuur en Wetenschap (2008). Monitor Beleidsagenda Lerarenopleidingen 2005-2008. www.minocw.nl/documenten/4347.pdf

Onderwijsraad (2009). Kwaliteitsborging van het eindniveau van aanstaande leraren. Den Haag: Onderwijsraad.

Peters, M. (2009). De praktijk van de beoordeling van LIO-stages binnen lerarenopleidingen basisonderwijs.

Eindoordelen over de didactische bekwaamheid zijn in bijna de helft van de gevallen gebaseerd op zwak bewijs.

TIJDSC

HR

IFT VO

OR

LERA

REN

OPLEID

ERS (V

ELON

/ VELO

V) - 32(1) 2011

11

Een onderzoek naar validiteit van bekwaamheidsbeoorde-ling bij studenten in de LIO-stage van de lerarenopleiding basisonderwijs (Master’s thesis). Nijmegen: Radboud Universiteit.

Schoonman, W. (2005). De zwakste schakels. Over assessment door assessoren. Onderzoek van Onderwijs, 34, 10-14.

Stichting Beroepskwaliteit leraren en ander personeel. (2003). Bekwaamheidseisen leraren. Den Haag: SBL.

Straetmans, G.J.J.M., & Sanders, P.F. (2001). Beoordelen van competenties van docenten. EPS-reeks 05. Educatief Part-nerschap.

Straetmans, G.J.J.M. (2006). Bekwaam beoordelen en beslis-sen. Beoordelen in competentiegerichte beroepsopleidin-gen. Lectorale Rede. Enschede: Saxion Hogescholen.