1

Deze brochure (oplage 250 exemplaren) wordt uitgegeven door het Landelijk Programmamanagement Educatief

Partnerschap van de HBO-raad en wordt in een beperkt aantal gratis verspreid onder de lerarenopleidingen.

U kunt deze brochure ook vinden op de EPS-website: www.educatiefpartnerschap.nl/publicaties

Blaine C. Ackley en Moira A. Fallon

Toelatingsprocedures vooralternatieve lerarenopleidingen

Harm Tillema en Sasja Dirkse-Hulscher

Toetssteen van assessmentin de lerarenopleiding

INTAKE ASSESSMENTS IN DE LERARENOPLEIDING

2

Nu zij-instroomtrajecten in de Nederlandselerarenopleidingen ingeburgerd raken, groeiter een praktijk van ‘intake assessments’. De

door de opleidingen gestichte assessment centersgebruiken veelal het Stoas-instrument, maar er zijnook andere instrumenten beschikbaar (vgl. de eersteevaluatie door Straetmans en Sanders in nr. 5 van deEPS-reeks). Hiermee wordt tegemoetgekomen aan debehoefte in de instellingen aan praktisch bruikbaremiddelen om zij-instromers toe te leiden naarpassende opleidingstrajecten. Maar hoe valide zijndeze instrumenten eigenlijk en hoe deugdelijk is detoepassing ervan in een concrete context? Er isultimo 2002 in Nederland geen afdoende evaluatievoorhanden op grond waarvan deze vragen kunnenworden beantwoord.De hoogste eis die men kan stellen aan de validiteitvan intake assessments is dat zij het functionerenvan kandidaten in opleiding en beroepspraktijk inenige mate kunnen voorspellen. Zulke predictievevaliditeit kan alleen worden vastgesteld in longitudi-naal ijkingsonderzoek. Het zou van grote waarde zijnzulk onderzoek te entameren. Kan bij benadering

worden vastgesteld hoeveel kans een zij-instromerheeft om zijn of haar opleiding met succes te vol-tooien èn vervolgens gedurende een flink aantaljaren adequaat in het leraarsberoep te blijvenfunctioneren? Deze vraag is minder vergezocht danhet misschien lijkt. Elke mogelijkheid om depredictieve validiteit van intake assessments teverhogen dient te worden aangegrepen. Uit hetbuitenland is bekend hoe belangrijk het is retentie inhet leraarsberoep te bevorderen. Het begrip ‘retentie’verwijst naar het aantal jaren dat een persoonwerkzaam blijft in een beroep. Is de retentie laag, danhebben alle opleidingsinspanningen uiteindelijkweinig effect. In het ergste geval is men dan bezig te‘dweilen met de kraan open’. Er kunnen vraagtekensworden geplaatst bij de retentie van nieuwkomers inhet leraarsberoep (vgl. b.v. Sikkes 2002).Hoe kunnen we ervoor zorgen dat zij-instromers nietalleen tot het leraarsberoep worden aangetrokken,maar daar ook jarenlang een bijdrage aan zullenleveren? Dit is niet alleen een kwestie van passendeopleidingstrajecten, maar natuurlijk ook vanbekostiging en organisatie. Daarnaast dringt zich de

Voorwoord

3

vraag op of ‘aan de poort’ wel de meest geschiktekandidaten worden geselecteerd. De mogelijkheidverdient overweging dat men ook langs deze weg deretentie in het beroep evenals de kwaliteit van deberoepsuitoefening zou kunnen vergroten.

In de Verenigde Staten bestaat ruim tien jaar langerdan in Nederland ervaring met het opleiden van

zij-instromers en zijn diverse evaluatieonderzoekengedaan naar de opbrengst hiervan (zie voor eenoverzicht Zeichner & Schulte 2001). Een van demeest interessante vraagstellingen in dit verbandbetreft de mogelijke invloed van persoonsgebondenfactoren op de slaagkans in de lerarenopleiding enhet leraarsberoep. Over dit thema hebben BlaineAckley van de lerarenopleiding van de University ofPortland, Oregon en Moira Fallon van de StateUniversity of New York, College at Brockport eenreview geschreven in opdracht van EPS. Met hunbevindingen kunnen de Nederlandse leraren-opleidingen hun voordeel doen. Het ligt in de bedoe-ling deze auteurs in het voorjaar van 2003 naarNederland te halen voor het geven van lezingen,workshops en dergelijke.

Niet alleen de validiteit van instrumenten voorintake assessment kan bijdragen aan het

welslagen van zij-instroomtrajecten. Ook de manierwaarop zulke instrumenten worden ingezet en hoedit gebruik wordt ingebed in de organisatie is vaninvloed. Kwaliteitsborging op dit terrein is van grootpraktisch belang. In opdracht van het projectFlexibilisering van de HBO-Raad hebben HarmTillema en Sasja Dirkse-Hulscher met medewerkingvan Véronique van den Hurk, Maarten Denters enMartijn van der Woude een audit ontwikkeld waar-mee lerarenopleidingen hun gebruik van intakeassessments onder de loep kunnen nemen. In hetVELON-Tijdschrift voor lerarenopleiders is al gepubli-ceerd over de ontwikkeling van deze audit (Tillemae.a. 2002). In vervolg hierop wordt het instrumentzelf nu via de EPS-reeks ter beschikking gesteld.Tillema en Dirkse-Hulscher geven eerst een toelich-ting op het assessment-begrip en op de inhoud vanhet audit-instrument. Daarna zetten zij uiteen hoedit instrument kan worden gebruikt. De bijlagen bijde tekst bevatten de specificatie van de onderschei-den kwaliteitskenmerken en waarderings-vragenlijsten voor deelnemende kandidaten enassessoren. Bij het audit-instrument hoort verdereen ‘Assessment-verbeter-box’. Dit is een soort

4

kwartetspel dat opleidingen kunnen gebruiken omna te gaan hoe zij intake assessments het best inhun instelling kunnen implementeren. De box bevateen instructie en zeven pakjes verschillend gekleurdekaarten, aan weerszijden bedrukt. We streven ernaardeze box apart te verspreiden tijdens het VELON-congres op 7 en 8 april 2003 in Leuven.

Lerarenopleiders bevelen we van harte aan deAssessment-verbeter-box te gebruiken, met debevindingen van Ackley en Fallon in het achter-hoofd.

Dr. C.N. BrouwerProjectleiding Flankerend onderzoek EPS

5

Voorwoord ........................................................................................................................................................................... 2

Blaine C. Ackley en Moira A. FallonToelatingsprocedures voor alternatieve lerarenopleidingen ......................................................................................... 7Historische achtergrond van het onderzoek ................................................................................................................... 7Geschiktheidstoets ............................................................................................................................................................ 8Interviews ........................................................................................................................................................................... 9Houding ten opzichte van het lesgeven ........................................................................................................................... 11Een model voor het beoordelen van de houding ............................................................................................................. 12Tot besluit ........................................................................................................................................................................... 13Literatuur ........................................................................................................................................................................... 13

Harm Tillema en Sasja Dirkse-HulscherToetssteen van assessment in de lerarenopleiding ........................................................................................................ 17Over assessment ................................................................................................................................................................ 18De bouwstenen voor een goed assessment ..................................................................................................................... 19Systematisch assessments ontwerpen ........................................................................................................................... 22De audit als onmisbare schakel in het proces ................................................................................................................ 23De audit als zelftest ........................................................................................................................................................... 23De audit als indicator voor kwaliteit ............................................................................................................................... 24De kernvragen van de audit .............................................................................................................................................. 26Afname van de audit ......................................................................................................................................................... 27Literatuur ........................................................................................................................................................................... 28

Inhoudsopgave

6

Bijlagen1. Audit-kenmerken ......................................................................................................................................................... 302. Waarderingsvragenlijst voor kandidaten .................................................................................................................. 423. Waarderingsvragenlijst voor assessoren ................................................................................................................... 46

7

Weinig kwesties zijn zo ingewikkeld als devraag wie we in onze scholen als leraarmoeten aanstellen. Wanneer er sprake is

van een lerarentekort worden alternatieve, zoge-naamde ‘versnelde’ opleidingen vaak beschouwd alseen mogelijkheid om de aanvoer van bevoegdedocenten te garanderen. Dergelijke alternatieveopleidingen zijn doorgaans bedoeld voor mensen dieal over een bepaalde (niet-academische) graadbeschikken, maar nog geen onderwijsbevoegdheidhebben. De meeste Amerikaanse staten kenneninmiddels formeel goedgekeurde alternatievelerarenopleidingen (Feistritzer & Chester, 2000). In demeeste gevallen hoeven de betreffende kandidatenalleen nog een aantal theoretische vakken te volgenen stage te lopen om zich bevoegd docent te kunnennoemen.Voor de bestuurders en docenten van leraren-opleidingen is selectie dan ook een belangrijk puntgeworden. Wie moeten we toelaten tot de leraren-

opleiding? De overwegingen en criteria die bij detoelating worden gehanteerd zijn bepalend voor hetsucces van lerarenopleidingen, niet alleen de regu-liere maar zeker ook de alternatieve opleidingen, envoor de mate waarin het uiteindelijke doel wordtbereikt: de scholen in een staat of regio voorzien vangoede docenten. In deze bijdrage geven wij eenoverzicht van de beschikbare literatuur over toela-ting tot de lerarenopleidingen en wijzen we debestuurders ervan op veelbelovende praktijken diebij de selectie van kandidaten van pas kunnenkomen.

Historische achtergrond van het onderzoekHet verband tussen toelatingsgegevens of resultatenvan geschiktheidstests enerzijds en het laterefunctioneren van de leraren anderzijds is slechts inenkele longitudinale studies onderzocht (Clary, 1972;Strauss & Sawyer, 1986; Ehrenberg & Brewer, 1995;Haberman, 1995; Sears, Marshall & Otis-Wilborn,

Blaine C. Ackley, Ed.D. en Moira A. Fallon, Ph.D.

Toelatingsprocedures voor alternatieve lerarenopleidingen

8

1995; Ackley & Arwood, 1999; Ferguson & Brown,2000; Ackley, Fallon & Carroll, 2001). In geen van diestudies werd een rechtstreeks verband aangetroffentussen de gemiddelde score (GPA, ofwel ‘grade pointaverage’) van de kandidaat en de kwaliteit van zijn ofhaar latere functioneren als leraar. Enkele onderzoe-kers (Jablonski, 1995: Ackley, Fallon & Carroll, 2001)merken wel op dat de GPA kan fungeren als voorspel-lende variabele voor algemene academische vermo-gens. Desalniettemin stellen ze dat “. . . het enkelebezit van een kandidaatsdiploma of zelfs eendoctoraaldiploma in een bepaalde discipline geengarantie is voor het vermogen van de betreffendepersoon om concepten inzichtelijk te maken vooranderen” (Kennedy, 1989, p.6).Op basis van welke toelatingsgegevens kunnen wevaststellen of kandidaten de potentie hebben zich totgoede leraren te ontwikkelen? Twee studies wijzen opeen mogelijk verband tussen toekomstig succes alsleraar en eerdere succesvolle ervaringen als assis-tent-leraar bij recreatieve activiteiten, op een zon-dagsschool of in een reguliere lessituatie (Ackley &Arwood, 1999; Ackley, Fallon & Carroll, 2001). In driestudies werd een mogelijk verband bespeurd tussentoekomstige prestaties als leraar en een dienstbareopstelling ten opzichte van anderen of de maat-

schappij als geheel (Ackley & Arwood, 1999;Haberman, 1995; Sears et. al., 1995). De bevindingenvan Ackley et al. (2001) wijzen bovendien op eenmogelijk positief verband tussen succesvol leraar-schap en voorafgaande ervaring als coach van jongesporters of studenten.Bestuurders en docenten van de opleiding zoudendus kunnen kijken of er uit de toelatingsgegevensiets blijkt van succesvolle ervaringen van de kandi-daat in het onderwijzen of coachen van kinderen.Daarnaast kunnen we de motivatie van de kandi-daat proberen te achterhalen in een interview of uitde gegevens die hij of zij heeft ingediend.

GeschiktheidstoetsEén mogelijk toelatingscriterium is het slagen vooreen van de talloze tests die selectiebureaus gebrui-ken om vast te stellen of een kandidaat in hun staatof regio als docent kan worden aangesteld. In demeeste staten geldt inmiddels dat kandidaten paskunnen worden toegelaten als ze een voldoendehalen voor een toets waarin hun fundamentelevaardigheden, algemene ontwikkeling, specialisti-sche kennis en pedagogisch inzicht worden gemeten(Mitchell, Robinson, Plake & Knowles, 2001). DeAmerikaanse National Research Council heeft

9

onderzocht in hoeverre dergelijke geschiktheidtestsbijdragen aan de verbetering van de kwaliteit vandocenten. Het risico, zo bleek, is dat ook geschiktekandidaten worden uitgesloten als de meetlat bij detests die in de meeste staten worden toegepast, tehoog wordt gelegd. Bovendien leiden strenge criteriabij dergelijke tests tot een verschraling van hetaanbod aan docenten in spe (Mitchell et. al., 2001).De National Research Council adviseert de autoritei-ten dan ook de geschiktheid van een kandidaat voorhet leraarschap te bepalen aan de hand van meer-voudige en brede maatstaven en indicatoren, en dekandidaat daar gedurende een langere periode aan tetoetsen, en niet uit te gaan van die ene momentop-name in een meerkeuzetoets. Het is evident dat eenleraar moet kunnen lezen, schrijven en rekenen,maar de National Research Council merkt op dat ernauwelijks wetenschappelijk bewijs bestaat voor hetverband tussen de score op een geschiktheidstoets,het functioneren als leraar en de prestaties vanleerlingen (Mitchell et. al., 2001).De bestuurders en docenten van lerarenopleidingenmoeten een heldere keuze maken ten aanzien van destatus van de geschiktheidstoets binnen hun oplei-ding. Sommige opleidingen laten een kandidaat pastoe tot de opleiding of de stage als hij of zij slaagt

voor alle verplichte tests, met uitzondering van detoets inzake vakkennis en pedagogiek. Andereinstellingen zijn al tevreden als de kandidaat blijkgeeft van een aantal basale vaardigheden.

InterviewsGedegen toelatingsprocedures kunnen de bestuur-ders van opleidingen helpen vaststellen welkekandidaten de meeste kans maken zich tot succes-volle leraren te ontwikkelen. In een persoonlijkgesprek of een groepsgesprek kan worden bepaald inhoeverre de kandidaat over de cruciale vaardighedenbeschikt (Shechtman & Godfried, 1993). Jablonski(1995) wijst op cognitieve besluitvormings- enperceptuele vaardigheden als significante voorspel-lende variabelen van succesvol leraarschap.Jablonski bevestigt bovendien het door andereonderzoekers (Featherstone, 1993; Pascarelli, Ackley& Balaban, 2001) opgemerkte belang van het zelfver-trouwen van de kandidaat. Met name het interviewbiedt een geschikte gelegenheid om dat zelfvertrou-wen en de cognitieve besluitvormingsvaardigheidvan de kandidaat te beoordelen.Zo hebben Shechtman en Godfried (1993) het gebruikvan het probleemoplossende groepsgesprek gedocu-menteerd in een opleidingsinstituut in Israël.

10

Enkele kandidaten die elkaar nog niet kennen,betreden een ruimte. De beoordelaars leggen de groepkandidaten uit wat de bedoeling is van deze groeps-oefening in problemen oplossen. Vervolgens krijgende kandidaten de gelegenheid om zich, onder toe-ziend oog van de beoordelaars, aan elkaar voor testellen en een strategie uit te stippelen waarmee zehun taak gaan volbrengen. Na de oefening verzame-len de beoordelaars de scores die ze volgens uiteenlo-pende criteria hebben toegekend. Eventueel kan degroepsoefening op video worden opgenomen, zodateen en ander later nog eens kan worden bekeken. Deresultaten worden opgenomen in het toelatings-dossier van iedere kandidaat.Een persoonlijk intakegesprek door medewerkers vande opleiding kan een zeer doeltreffend middel zijn omde verbale vaardigheden en de cognitieve vermogensvan een kandidaat vast te stellen. Montclair StateUniversity in New Jersey toetst kandidaten op achtvariabelen om hun geschiktheid voor de leraren-opleiding in te schatten (Jacobowitz, DeLorenzo &Adirim, 2000). Medewerkers geven op elk van dieacht variabelen een score op een Likert-schaal, opgrond van gegevens uit het persoonlijk interview ende schriftelijke informatie die de kandidaat heeftingediend. De acht variabelen zijn: inhoudelijke

kennis, motivatie voor het leraarsvak, de huidigeaffiniteit met de morele en ethische verantwoorde-lijkheden van het leraarschap, persoonlijke kwalitei-ten, schriftelijke communicatie, mondelinge com-municatie en een algeheel persoonlijk oordeel.Tijdens het persoonlijk gesprek wordt de kandidaatbovendien verzocht een schriftelijke reactie te gevenop een onderwijskundig dilemma. Stel, de kandidaatis muziekleraar en neemt zijn/haar groep mee naarhet nationaal koorconcours. Er moeten nog tweeleerlingen worden ondergebracht, maar er is in debus nog maar één plek beschikbaar. De ene is eenoplettende en serieuze leerling die goed zijn best doetmaar niet echt toon kan houden. De andere is debeste tenor die de kandidaat ooit in zijn klas heeftgehad, maar deze leerling spijbelt vaak en wektergernis op bij zijn klasgenoten vanwege zijn arro-gante houding. Wie mag er mee? De kandidaat moetzijn/haar keuze schriftelijk toelichten, en aangevenhoe hij/zij die keuze denkt te verantwoorden tegen-over de ongelukkige leerling die moet thuisblijven(Jacobowitz et. al., 2000).

11

Houding ten opzichte van het lesgevenEen van de meest intrigerende onderzoeksgebieden isde persoonlijke houding van de kandidaat tenopzichte van het lesgeven. Sommige opleidingengaan ervan uit dat kandidaten die aan alle overigecriteria voldoen, waarschijnlijk ook wel de juistehouding ten opzichte van het leraarsvak zullenhebben. Andere instellingen proberen die houdingechter expliciet te meten tijdens de toelatings-procedure, aan de hand van een grondige analysevan de schriftelijke aanmelding van de kandidaat envan zijn/haar schriftelijke en mondelinge reacties opvragen tijdens een persoonlijk gesprek. MontclairState University bijvoorbeeld legt iedere kandidaatenkele van de onderstaande vragen voor om hunhouding en overtuiging ten aanzien van wezenlijkeaspecten van het leraarschap te kunnen bepalen.1) Denk a.u.b. terug aan de meest positieve of

indringende leerervaring die u ooit hebt meege-maakt. Geef een korte beschrijving van dieervaring en deel mee op welke wijze u die in uweigen optreden als leraar zou kunnen verwerken.

2) Beschouwt u lesgeven als een politieke daad? Geefa.u.b. een toelichting.

3) Wat is uw definitie van democratie? Geef a.u.b.aan op welke manieren u uw eigen interpretatie

van democratie tijdens de les zou kunnen verwe-zenlijken.

4) Hoe staat u tegenover het lesgeven aan leerlingenwier cultuur, ras of etnische afkomst anders isdan die van uzelf? Als u meent daarmee goed uitde voeten te kunnen, of juist niet, op welkeervaring uit het verleden berust die mening dan?

5) Hebt u ooit deel uitgemaakt van een team?Beschrijf a.u.b. uw rol daarin. Vond u het prettigin een dergelijke omgeving te werken? Zo ja,waarom? Wat zijn volgens u de meest prettige ende minst prettige aspecten van het werken inteamverband?(Jacobowitz e.a., 2000).

Sommige mensen en organisaties vinden houdingzo belangrijk dat ze dit aspect rekenen tot de

sleutelkenmerken van het leraarschap. Kennis,houding en prestaties zijn bijvoorbeeld opgenomenin elk van de tien fundamentele criteria voor hetleraarschap van het Interstate New TeacherAssessment and Support Consortium (INTASC)(1992). Enkele voorbeelden van houdingsaspecten indeze criteria zijn: de leraar erkent meerdere gezichts-punten; de leraar is enthousiast over zijn/haar vaken weet verbanden te leggen met het dagelijks leven;

12

de leraar schoolt zich voortdurend bij en neemt opprofessioneel niveau deel aan de discussie over dekennis van zijn/haar schoolvak en de wijze waaropleerlingen zich die eigen maken (uit INTASC kern-criteria, Uitgangspunt #1, 1992). Houding is ook eenfundamenteel, zij het niet expliciet verwoord,onderdeel van de maatstaven die door de NationalBoard for Professional Teaching Standards zijnopgesteld (1994).

Een model voor het beoordelen van de houdingNaar onze overtuiging dient iedere lerarenopleidingte beschikken over een model voor het bepalen vande persoonlijke houding van kandidaten. Het modeldat wij voorstellen omvat vier kernelementen. Heteerste kernelement is het gebruik van meervoudigeanalyse-instrumenten gedurende verschillendetijdvakken en door meerdere beoordelaars. Dit lijktop het eerste gezicht misschien moeilijk in praktijkte brengen, maar video-opnamen, toepassingen vandigitale video en selectiegesprekken zouden dit toteen haalbare kaart kunnen maken.Het tweede element is het instellen van selectie-momenten op geschikte punten gedurende deopleiding. De studenten op het Alverno Collegebijvoorbeeld moeten een portfolio maken over hun

praktijkstage(s), voordat zij worden toegelaten tot deopleidingsfase van leraar in opleiding. Het gebruikvan overgangsbeoordelingen biedt bestuurders endocenten van lerarenopleidingen een geschikt middelom studenten feedback te geven over hun functione-ren en hen te helpen doelen te stellen teneinde devolgende opleidingsfase met goed gevolg af te ronden.Het derde element van het model is het persoonlijkontwikkelingsplan. In elke fase van de opleidingwaarin de student enige vorm van remediëring nodigheeft, stellen de student en de begeleider een speci-fiek plan op om de gewenste verbeteringen te berei-ken en de sterke kanten en de groeiende bekwaam-heid van de student te verhelderen. In dit plandienen de globale en specifieke doelstellingen, deevaluatiepunten onderweg, bevorderlijke activitei-ten, middelen en mensen te worden benoemd die destudent kunnen ondersteunen en dienen niveaus ofcriteria te worden bepaald waaraan de student moetvoldoen, wil hij/zij tot de volgende fase kunnenovergaan.Het vierde element betreft de persoonlijke relatietussen de student en de begeleider in combinatie meteen evaluatiebijeenkomst met een opleidings-coördinator. In sommige gevallen blijkt een student,hoe zorgvuldig we ook te werk zijn gegaan, niet in

13

staat de vooruitgang te boeken die de instelling nodigacht om hem of haar onderwijsbevoegdheid teverlenen. Soms veranderen de omstandighedenwaarin de student verkeert. Dit kernelement stelt demedewerkers en bestuurders van de opleiding instaat de student persoonlijk te betrekken in eendoelgerichte bespreking van zijn/haar vorderingen inrelatie tot de eindtermen van de opleiding.

Tot besluitZodra er overtuigende onderzoeksgegevens voorhan-den zijn over het verband tussen toelatingscriteria,lerarentests, de prestaties van leraren en school-prestaties, zullen lerarenopleiders beschikken overspecifieke richtlijnen die zij kunnen gebruiken bij detoelating van studenten tot de lerarenopleiding.Vooralsnog zullen wij lerarenopleiders het moetendoen met de zeventien voorlopige studies van deNational Research Council (Mitchell et. al., 2001) enmet de stapsgewijze vorderingen die we tot nu toehebben gemaakt. We kennen wel enkele specifiekegebieden waarop we de door kandidaten ingebrachtematerialen en de resultaten van met hen te voerenpersoonlijke en groepsgesprekken willen analyseren,alvorens te besluiten over toelating tot de opleiding.Na toelating zullen wij als lerarenopleiders te werk

willen gaan op een manier die zoveel mogelijktegemoet komt aan de belangen van de kandidaat, deinstelling en de kinderen aan wie hij of zij uiteinde-lijk onderwijs gaat geven. Dit dient een open proceste zijn, uitgaande van juridisch verdedigbare maat-staven aan de hand waarvan de student op meerderegeschikte momenten tijdens de opleiding wordtgetoetst.Over niet al te lange tijd zullen we over beterehulpmiddelen beschikken om onze beslissingen overtoelating tot de lerarenopleiding te onderbouwen.Laten we in de tussentijd de dialoog levend houdenen een onderzoekskoers blijven varen die terdegerekening houdt met de mogelijke verbanden tussende toelatingspraktijk, de houding en prestaties vanleraren en de leerprestaties van scholieren.

LiteratuurAckley, B.C., Fallon, M. & Carroll, J.B. (2001). AdmissionDecisions and Pre-service Teachers’ Classroom Performance.Voordracht tijdens het jaarlijkse congres van deOregon Association of Teacher Educators.

Book, C.L. & Freeman, D.J. (1986). Differences in EntryCharacteristics of Elementary and SecondaryTeacher Candidates. In: Journal of Teacher Education,36(3), 27-30.

14

Brookhart, S.M. & Freeman, D.J. (1992).Characteristics of Entering Teacher Candidates. In:Review of Educational Research, 62(1), 37-60.

Clary, L.M. (1972). Teacher Characteristics that PredictSuccessful Reading Instruction. Augusta College: ERICDocument Reproduction Service # 174961.

Crafts, J. (1991). Using Biodata as a Selection Instrument.ERIC Digest. Washington, D.C. ERIC Clearinghouse onTests, Measurement, and Evaluation. ED 338 702.

Dobry, A.M., Murphy, P.D. & Schmidt, D. M. (1985).Predicting Teacher Competence. In: Action in TeacherEducation, 7(1&2), 69-74.

Ehrenberg, R.G. & Brewer, D.J. (1995). Did Teachers’Verbal Ability and Race Matter in the 1960’s? Cole-man Revisited. In: Economics of Education Review, 141,1-21.

Featherstone, H. (1993). Learning from the First Yearsof Classroom Teaching. In: Teachers College Record, 95,1, 93-112.

Feistritzer, & Chester, (2000). Alternative TeacherCertification. Washington, D.C.: National Center forEducation Information.

Freeman, B. & Schopen, A. (1991). Quality Reform inTeacher Education: A Brief Look at the AdmissionsTesting Movement. Contemporary Education, 62 (4)279-282.

Ferguson, R.F. & Brown, J. (2000). Certification TestScores, Teacher Quality, and Student Achievement.In: Grissmer, D.W. & Ross, J.M. (red.) Analytic issues inthe Assessment of Student Achievement. Pp. 133-156.Washington D.C.: Us Department of Education,National Center for Educational Statistics.

Haberman, M. (1995). Star Teachers of Children inPoverty. West Lafayette, IN: Kappa Delta Pi.

Hammes, R.R. (1985). Testing the Teacher: A LegalPerspective. In: Action in Teacher Education, 1(3), 13-20.

Howey, K. & Strom, S. (1987). Teacher SelectionReconsidered. In: Katz, G. & Rath, J. (Eds.), Advances inTeacher Education, vol. 3, 1-34. Norwood, NJ: Ablex.

15

Interstate New Teacher Assessment and SupportConsortium (INTASC) (1992). Model Standards forBeginning Teacher Licensing and Development: A Resourcefor State Dialogue. Washington D.C.: Council for ChiefState School Officers.

Jablonski, A.M. (1995). Factors Influencing PreserviceTeachers’ End of Training Teaching Performance. Voor-dracht tijdens het jaarlijkse congres van deAmerican Educational Research Association.

Jacobowitz, T., DeLorenzo, L. & Adirim, M. (2000).Incorporating Concerns for Diversity and Social Justice inAdmissions Decisions. Voordracht tijdens het jaarlijksecongres van de American Educational ResearchAssociation.

Kennedy, M. (1989). Challenging the Myths about TeacherPreparation. Voordracht voor het Office forEducational Research and Improvement, Washing-ton D.C.

Laman, A.E. & Reeves, D.E. (1983). Admission toTeacher Education Programs: The Status and theTrends. Journal of Teacher Education, 34(1), 2-4.

Mitchell, K.J., Robinson, D.Z., Plake, B.S. & Knowles,K.T. (eds.) (2001). Testing Teacher Candidates: The Role ofLicensure Tests in Improving Teacher Quality. Washington,D.C.: National Research Council.

National Board for Professional Teaching Standards.(1994). What Teachers Should Know and Be Able to Do.Detroit, MI: Author.

Pascarelli, J.T, Ackley, B.C. & Balaban, G.M. (2001). TheDevelopment of the Teacher as a Professional in anAlternative Teacher Education Program. In: CatholicEducation: A Journal of Inquiry and Practice 5(2), 229-244.

Pratt, D. (1986). Predicting Career Success inTeaching. In: Action in Teacher Education. 8(4), 25-34.

Reynolds, A. (1992). What is Competent BeginningTeaching? A Review of the Literature. In: Review ofEducational Research, 62(1), 1-35.

Sears, J.T., Marshall, J.D. & Otis-Wilborn, A. (1995).When Best Doesn’t Equal Good: Educational Reform andTeacher Recruitment, a Longitudinal Study. New York:Teachers College Press.

16

Shechtman, Z. & Godfried, L. (1993). Assessing thePerformance and Personal Traits of TeacherEducation Students by a Group Assessment Proce-dure: A Study of Concurrent and Construct Validity.In: Journal of Teacher Education, 44(2), 130-138.

Smith, H.A. & Pratt, D. (1996). The Use of Biodata inAdmissions to Teacher Education. In: Journal ofTeacher Education, 47(1), 43-52.

Strauss, R.P. & Sawyer, E.A. (1986). Some NewEvidence on Teacher and Student Competencies. In:Economics of Education Review, 51, 41-48.

Westerman, J.E. (1989). Minimum State TeacherCertification Standards and their Relationship toEffective Teaching: Implications for TeacherEducation. In: Action in Teacher Education, 11(2), 25-32.

17

Het toetsen en beoordelen van competenties –ook wel aangeduid als assessment – wordtsteeds belangrijker in de lerarenopleiding.

Met een assessment kun je eerder verworven compe-tenties bepalen. Maar het instrument is ook bruik-baar om te bekijken in hoeverre iemand geschikt isvoor zijn (nieuwe) vak, welke competenties nogontbreken en welk opleidingstraject het meestgeschikt is voor de kandidaat.Lerarenopleidingen zijn zich ervan bewust dat hetinrichten van geschikte toetsings- en beoordelings-procedures zorgvuldig moet gebeuren. Heeft deinstelling eenmaal assessments ontwikkeld, dan ishet wel belangrijk om te onderzoeken of die instru-menten ook naar tevredenheid functioneren en inhoeverre eventuele revisies noodzakelijk zijn.Op dit moment zijn er (nog) geen landelijke stan-daarden voor certificering van assessment-procedu-res, maar die zullen er ongetwijfeld komen.Zodra deze er zijn (via accrediterende organisaties

vanuit wetenschappelijk onderzoek of bepaald doorlandelijke verenigingen van beroepsstandaarden)kan de instelling zelf nagaan hoe de eigen invullingrond assessment spoort met die landelijke stan-daard. Concrete vragen daarbij zijn:þ Welke competenties worden geassesst?þ Zijn de competenties gerelateerd aan beroeps-

eisen en werkveldbetrokkenheid?þ Zijn de procedures afgestemd op effectiviteit en

kwaliteit in het beroep?þ Hoe verhouden de interne standaarden zich tot

standaarden die elders worden gehanteerd?þ Wat zijn de vergelijkende uitkomsten van de

procedure met andere beoordelingen?þ Welke externe beoordeling wordt betrokken in de

eigen aanpak?In deze bijdrage wordt eerst ingegaan op een syste-matische aanpak om zelf assessments te maken.Daarna wordt een audit-instrument besproken, dat

Harm Tillema en Sasja Dirkse-Hulscher

Toetssteen van assessment in de lerarenopleiding

18

bedoeld is als een zelftest waarmee de instelling dekwaliteit van haar eigen assessmentpraktijk kanbeoordelen. Dat kan heel gedetailleerd, maar ook ophoofdlijnen. Ook houdt het audit-instrumentrekening met eigen keuzes die de instelling gemaaktheeft rond assessment. Voor zo’n audit kan men hetbest een groep (onafhankelijke) auditoren (bijvoor-beeld van buiten de instelling) benaderen om hetonderzoek uit te voeren.

Over assessmentAssessment dient – in de kern – vast te stellen wat dekwaliteit is van prestaties. Een goede Nederlandseterm voor assessment is er niet, maar wellicht komt‘proeve van bekwaamheid’ of ‘competentie-beoordeling’ het dichtst in de buurt. Een assessmentwordt meestal gebruikt voor intake-beoordeling(Seegers, 1986) waarbij men bekijkt of de kandidaatal dan niet voldoet aan gestelde criteria. Hetassessment kan ook heel goed dienen als voortrajectvoor planning, verwijzing of toelating naaropleidings- of trainingstrajecten.Daarmee hebben we twee belangrijke functies voorassessment te pakken. De eerste is gericht op selectieen toelating, waarbij men bekijkt wat iemand heeftgepresteerd. De tweede is gericht op ontwikkeling,

waarbij men kijkt waartoe iemand in staat is en watiemand zou kunnen bereiken met aangepastetrainingstrajecten. De eerste is retrospectief, terug-blikkend van aard. De ander is prospectief, vooruit-kijkend bedoeld.Het voordeel van een koppeling van deze tweefuncties is dat op concreet gedragsniveau een ver-band gelegd wordt tussen verlangd functionerenenerzijds en feitelijke prestaties anderzijds. Op diemanier is direct inzichtelijk te maken wat de sterkeen zwakke punten van iemand zijn. Het is dan maareen kleine stap om te kiezen voor aanvullendescholing of ontwikkelingactiviteiten op maat(Jansen, 1993). Juist deze koppeling maakt hetassessment tot een belangrijk instrument in hetstrategisch kiezen van leerwegen (Tillema, 1996).Assessment onderscheidt zich van andere manierenvan evaluerend meten (Shulman, Haertel & Bird,1988), zoals toelatingsonderzoek, sollicitatiegesprek-ken, controle op eerder verworven bekwaamheden,dossiers van eerder functioneren. Bij het assessmentligt de nadruk op de authenticiteit en realiteits-waarde van toetsingssituaties om vast te stellen watiemand kan (Herriot, 1989). De afname van eenassessment verloopt meestal via speciaal ontwik-kelde proeven of prestaties, waaraan rechtstreeks en

19

op een zo levensecht mogelijke manier het vereistefunctioneren valt af te meten. Dit in tegenstelling totschriftelijke toetsen, vragenlijsten of rapportenwaarin het gedrag achteraf wordt geïnterpreteerd (Lee& Beard, 1994).De uitkomst van een assessment moet een indicatieopleveren van de kwaliteit van prestaties vanpersonen; het niveau van beheersing dat is bereikt(Nijhof, 1987). Het criterium voor kwaliteit is ont-leend aan benoemde (beroeps)competenties(Berryman, 1993). We vertalen dit in de eis datassessments authentiek en passend moeten zijn tenopzichte van de uiteindelijke beroepssituatie - en weomschrijven dit in termen van competenties (Lee &Beard, 1994). Assessment-instrumenten staan, geletop deze eis, meestal direct in relatie tot die beroeps-situatie. Daarom wordt ook veel gebruik gemaaktvan toepassingsoefeningen, simulaties en games,observatie en interview tijdens taakuitvoering,gedragsobservatie, teaminteractie/rollenspel, portfo-lio’s, exhibities, work-samples et cetera. (zie Tillema1993 voor een overzicht).Samengevat: voor het gebruik van assessment-instrumenten geldt dat zeþ op een authentieke manier competenties meten

die direct gerelateerd zijn aan de beroepssituatie;

þ gericht zijn op indicatoren van de sterke enzwakke kanten in het gedrag van een persoon;

þ met directe, gedragsgerichte registratiemethodende kwaliteit en het niveau van het gedrag vast-stellen.

De bouwstenen voor een goed assessmentBij het ontwerp van competentiegerichteassessments is het belangrijk om goed na te denkenover de doelen, de randvoorwaarden, de hulpmidde-len, de werkafspraken en afnameprocedures etcetera. Zij vormen als het ware de bouwstenen vooreen goed assessment (Seegers, 1986).

1. Onderscheid in soorten assessment-doelenAssessment kan gebruikt worden voor verschillendedoelen, namelijk selectie, verwijzing en ontwikke-ling. Anders gezegd: wil men de resultaten gebruikenvoor feedback naar personen, voor eengeschiktheidsverklaring of voor de voortgang in detrainingsprogramma’s? Dit heeft consequenties voorhet gebruik en de inzet van het assessment.Belangrijk is verder om vast te stellen of menseninzage hebben in het assessment en mogen wetenwaaraan zij ‘onderworpen’ worden. Bekendmakingvan doel en gebruik van een assessment maakt dat

20

de uitkomsten ervan beter bespreekbaar zijn, zekerwaar het de te nemen vervolgacties betreft.

2. Inzet van het assessmentEr moeten goede afspraken gemaakt worden over deinzet en het gebruik van de met het assessmentverkregen gegevens in de organisatie c.q. de opleiding.Bijvoorbeeld door afspraken vast te leggen oververlangde eindniveaus, screening van wat men wilmet de gegevens en wat men verwacht van hetassessment.

3. Gebleken of verlangde geschiktheidHet verzamelen van informatie over eerder verwor-ven competenties van personen is nog niet zoeenvoudig. Men kan daarbij gebruik maken vanzoveel mogelijk beschikbare bronnen: rapporten overeerder functioneren, ‘bewijzen van bekwaamheid’zoals producten van werk, commentaren van directbetrokkenen uit vooropleidingen et cetera.Hier doet zich een dilemma voor, want bij hetassessment wil men enerzijds screenen op geschikt-heid voor nieuwe of toekomstige competenties en degebleken geschiktheid hoeft daarvoor niet per se deideale graadmeter te zijn. Anderzijds wil men huidiggedrag zo goed mogelijk waarderen om het start- of

beginniveau vast te stellen, en kijkt men met eenschuin oog naar de eisen die in de voorgenomenleerweg een rol spelen.

4. Afspraken over de afnameBij assessments is het noodzakelijk om methodisch,systematisch en controleerbaar te werken. Nietalleen om ethische redenen, het bevordert ook debetrouwbaarheid van gegevensverzameling. Zo zijner bijvoorbeeld afspraken nodig over: wie is inhoude-lijk beoordelaar/assessor, wie verzamelt en verwerktde gegevens, wie rapporteert, werken we met ge-trainde assessoren? Ook moeten er afsprakengemaakt worden over de verdeling van de verant-woordelijkheden, de (eventuele) beroepsprocedure, deterugrapportage en de feedback.

5. In de breedte of in de diepteBij een assessment kan men kiezen voor een grotespreiding van instrumenten over verschillendesituaties. We spreken dan over een horizontaleprestatievergelijking. Men kan zich ook richten opverticale prestatievergelijking, waarbij diepgaanderwordt gemeten binnen eenzelfde taakgebied.Beide vormen vergen andere en soms meerdereinstrumenten. Van belang is dat de diversebeoordelingen onderling vergelijkbaar zijn.

21

6. Variatie in assessmentinstrumentenEen ruim arsenaal aan assessmentinstrumentenbiedt de mogelijkheid om tot een weloverwogenbeoordeling te komen. In de assessment-literatuurkomt men vele beschrijvingen tegen van geschiktemethoden van assessment, zoals deassessmentcenter methode met daarin de inbaskettechniek, het rollenspel of simulatieoefening. Verdervalt te denken aan het portfolio, de probleemanalyse,het tweegesprek of de kritieke incidentenmethode(Tillema 1993).

7. Nauwgezet en controleerbaarDe relatie van het assessment met de beroeps-situatie leidt tot validiteitsverhoging, maar debetrouwbaarheid (d.w.z de accuratesse en precisievan de meting) kan daarbij in gevaar komen. Debeoordeling moet dan ook zo nauwgezet en contro-leerbaar mogelijk worden gemaakt. Dit kan bijvoor-beeld door het hanteren van registratieprotocollendoor assessoren en explicitering van besliscriteria.Ook helpt het als er van tevoren (handleidingenvoor) competentieanalyses en gedragsspecificatieszijn gemaakt.

8. Vaststellen van scoringsregelsDe gedragsspecificaties zeggen nog weinig over hetverlangde beheersingsniveau. De meest gebruikelijkegang van zaken om beheersingsniveaus te bepalen isverlangd gedrag te scoren met behulp vanindicatorenlijsten of categorieënsystemen waarintyperende gedragingen zijn geordend naar niveau.Die scoringsregels moeten expliciet zijn. Dit isoverigens minder makkelijk dan het lijkt.Bij elk assessment is sprake van assessoren; zijverrichten de scoring van gedrag. Deze ‘menselijkefactor’ kan soms leiden tot aanzienlijke onderlingeverschillen bij de interpretatie van gedrag. Explicietescoringsregels kunnen dit (deels) voorkomen.

9. Koppeling van assessment met ontwikkelingAssessment past heel goed in een traject van oplei-ding en ontwikkeling. Bij het ontwikkelingsgerichteassessment laat men de beoordeling van gedraguitmonden in een persoonlijk ontwikkelings- enopleidingsplan, van waaruit gerichte onderwijs-activiteiten zijn vorm te geven. Het is daarbij goed tebedenken dat het assessment op zichzelf eigenlijk aleen opleidings- en leermoment is op basis waarvaniemand zich verder ontwikkelt.

22

10. FeedbackMet het assessment krijgt men beslissingsin-formatie. Het gaat hierbij om informatie met eengrote sturingswaarde en de vraag is dan ook hoe dezeassessment-informatie wordt gebruikt. Afhankelijkvan het doel van het assessment (zie punt 1) kan defeedback naar de kandidaat variëren: motiverend,beoordelend, verwijzend en/of correctief.

Systematisch assessments ontwerpenBij het ontwerp en de uitvoering van een assessmentmoet men systematisch te werk gaan. Hieronderwordt een voorbeeld gegeven van zo’n projectmatigeopzet.Er wordt een team samengesteld dat bestaat uitvertegenwoordigers van het werkveld enlerarenopleiders. Dit projectteam wordt waar nodigaangevuld met deskundigen op het gebied vanassessment.Het projectteam werkt zich inhoudelijk grondig in opde randvoorwaarden en keuzes m.b.t. de kwaliteit(zie de tien punten in § 1.1). Bij de competentie-analyse worden kenmerkende situaties uit deberoepsuitoefening geïnventariseerd die passen bijhet doel van het assessment. In aanvulling daaropkan men besluiten om personen te raadplegen of in

te schakelen die de beroepssituaties van ‘binnenuit’kennen. Dit maakt het mogelijk om niet alleengedragsaspecten, maar ook andere kennis- enhoudingsaspecten in het assessment te betrekken.Het projectteam screent de basisvormen van demeetinstrumenten die de assessment-deskundigenter beschikking hebben gesteld op hun bruikbaarheidvoor het assessment. Het team legt vast op welkeaspecten men vooral wil beoordelen (levensechtheid,complexiteit, sociale aspecten van functioneren). Ditmoet uiteindelijk leiden tot een concreet uitgewerktassessment.Nadat de assessmentinstrumenten en de methodiekzijn vastgesteld, worden de volgende zaken vastge-legd in een handleiding of protocol:þ een algemene beschijving van het assessment,

inclusief de kennis en vaardigheden die ermeeworden gemeten;

þ het verloop van het assessment;þ de specifieke deskundigheid en taakstelling van

de assessor(en);þ scoringprocedures;þ benodigde materialen en ‘resources’;þ overige punten van aandacht bij de afname.Op basis van heldere afspraken worden vervolgensbij specifieke (groepen) personen de assessments

23

afgenomen. Zorgvuldige monitoring en terug-rapportage zijn noodzakelijk, want op basis daarvankan men het assessment bijstellen en verder verfij-nen. Daar zijn meestal verschillende revisie-rondenvoor nodig. In dit cyclische proces speelt de audit eencruciale rol. Daar gaat de volgende paragraaf over.

De audit als onmisbare schakel in het procesHet ontwerpen, organiseren en uitvoeren vanassessments vraagt om afgewogen procedures voorde controle op kwaliteit. Daarbij gaat het niet alleenom waarborging van de kwaliteit en legitimering vande assessments. Ook moet die controle op eenonafhankelijke manier toetsen of de afgegevenbeoordelingen het gewenste effect hebben. Dit valtaan te duiden met de term audit. Een audit kanwaarborgen dat assessments voldoen aan gesteldeeisen en maakt inzichtelijk of de intenties ookdaadwerkelijk waar worden gemaakt. Een audit isonontbeerlijk bij situaties waarin beoordelingen overpersonen plaatsvinden.De audit levert aanwijzingen op voor de expliciteringvan gemaakte keuzes, voor de verbetering en bijstel-ling van de procedures en voor de validering van deuitkomsten van afgenomen assessments.

De audit als zelftestInvoering van assessments in de opleiding vraagt omeen voortdurende monitoring of doelen, kwaliteit-standaarden en effecten behaald worden. Omassessment als ‘product’ te kunnen aanbieden, wordtvan de instelling verlangd (zowel impliciet als steedsmeer expliciet) om via audits in de gaten te houdenwat assessments pretenderen en welk effect zehebben. We hebben dit het karakter van de zelftestgenoemd.Een audit als zelftest is er op gericht te toetsen of dekwaliteitstandaarden en de gestelde doelen ookwerkelijk behaald worden. Uitvoering van een auditis dan ook uitdrukkelijk zaak van de betrokkeninstelling zelf.Kernvragen bij de audit zijn:þ Is er een overall en periodiek evaluatiesysteem

om te bepalen wat de kwaliteit van hetassessment is?

þ Levert het systeem de interne en externe checksvoor de beoordeling van de kandidaten?

þ Geeft de audit aanwijzingen voor onderhoud,verbetering en vernieuwing van het assessment?

þ Levert de audit een antwoord op over dedeugdelijkheid?

24

De audit als indicator voor kwaliteitHet toetsingskader voor het beoordelen vanassessments met een audit is ontleend aan eenanalyse van literatuur binnen de domeinen‘authentic and performance assessment’, ‘personnelevaluation in public administration’, ‘humanresource development’ en ‘teacher appraisal andevaluation’.Aan de literatuur zijn criteria en kwaliteits-kenmerken ontleend. Belangrijke bron is verdergeweest het (nog summiere) onderzoek naar devaliditeit van assessments (Lievens, 1998; DarlingHammond & Snyder, 2000) en de Guidelines and Ethicalstandards van de International Task force onAssessment Centers (2000).Uitgangspunten bij het opgestelde toetsingskaderzijn geweest:þ Assessments leveren goede indicaties op van hoe

iemand in de praktijk zal functioneren omdat zezo nauw gerelateerd zijn aan authentiekeberoepssituaties.

þ Assessments gaan uit van integratie van tedemonstreren kennis en gedragingen.

þ Assessments toetsen op meerdere (geïntegreerde)manieren wat iemand weet, kan en vindt.

þ Assessments hanteren heldere en explicietecriteria voor beheersing van competenties.

Deze uitgangspunten bieden het kader voor hetselecteren van kwaliteitskenmerken uit de litera-tuur.De kwaliteitskenmerken zijn gerubriceerd onder tweethema’s: structuur (hoe zit het assessment in elkaar,uit welke elementen bestaat het?) en proces (op welkemanier verloopt het assessment, hoe wordt hetassessment gebruikt?). Het zijn in feite twee perspec-tieven van waaruit men naar de praktijk vanassessments kan kijken. Zij lenen zich voor uitwer-king in min of meer gedetailleerde kenmerken, maarin feite gaat het om onderstaande kernvragen.

StructuurHier gaat het om de infrastructurele inbedding vanhet assessment.1 Is er sprake is van een duidelijk type assessment

(intake, ontwikkelingsgericht, doelgroepgericht,domeinafhankelijk)? Is er een relatie met ofinbedding in een natraject (een te volgen training,een ontwikkelingsplan)?

2 Zijn de betrokkenen (kandidaten, assessoren,organisatoren, management, administratie) ophun rol voorbereid en ervoor toegerust?

25

3 Is er een duidelijke relatie tussen gemeten compe-tenties en beoogde competenties (welke kennis envaardigheden van wie wordt op welk niveaubeoordeeld en met welk doel: geschiktheids-beoordeling; toelating of plaatsing)?

4 Zijn er uitgewerkte en omschreven proceduresvoor afname en afhandeling van beoordelingenen zijn de aantallen deelnemers efficiënt enkostendekkend?

5 Wordt er een koppeling gemaakt met de compe-tentie-ontwikkeling? Wordt er ook daadwerkelijkiets met de resultaten van het assessmentgedaan?

6 Als onafhankelijke meting is voor de assessment-procedure een breed draagvlak nodig. Spoort hetassessment met aanpakken elders i.v.m. eenmogelijke certificering van de procedure?

ProcesBij de procedures en instrumenten moet een aantalkernbegrippen duidelijk geëxpliciteerd worden.1 De competenties. Dekken deze de startbekwaamheid

op een doorzichtige manier? In formulering enwijze van afname van de assessments vindenallerlei impliciete keuzes plaats. Is duidelijk watwaar en met welk instrument gemeten wordt?

Gaat het om startcompetenties, persoonlijkecompetenties of beroepskwalificaties?

2 Het conceptueel kader. Is de afname een eigeninvulling en ontwerp of ontleend aan een proce-dure elders? Is de reikwijdte van het instrumentvastgesteld of gebruikt men één aanpak voor veledoeleinden en verschillende trajecten?

3 Beoordelingscriteria. Is duidelijk hoe de criteriabepaald zijn en voor welke competenties diegelden? Zijn ook de beheersingsniveaus bepaald?

4 Instrumenten. Is verzekerd dat de startcompetenties worden vastgesteld via meerdereassessment-instrumenten of –methoden? Heeftelk instrument een relatie met andereassessmentvormen? Zijn de instrumenten enmaterialen duidelijk beschreven?

5 Afnameproces. Is de keuze van de stappen in deafname onderbouwd, hun volgorde, de te meteneigenschappen, inhoudsvaliditeit en de volledig-heid ervan?

6 Observaties. Hebben assessoren een eenduidigbeoordelingskader op vaste punten of zijn dezeopen en te weinig voorgestuctureerd, zodat in debeoordeling ook hun persoonskenmerken opondoorzichtige wijze meespelen?

26

7 Feedback. Worden de bevindingen inhoudelijk enpersoonsgericht teruggekoppeld?

De kernvragen van de auditHet audit instrument is bedoeld als een zelftestwaarmee men de kwaliteit van de eigenassessmentpraktijk kan beoordelen. Dat kan heelgedetailleerd, maar ook op hoofdlijnen. Ook houdthet audit-instrument rekening met eigen keuzes diede instelling gemaakt heeft rond assessment.Het door ons ontwikkelde instrument bestaat uit232 afzonderlijke audit-kenmerken als de meestelementaire bouwstenen waarmee de kwaliteit vanassessments beoordeeld kan worden. Deze kenmer-ken zijn gerubriceerd onder verschillende audit-topics.In een audit kan men zich zo makkelijk beperken toteen of meerdere topics. Deze topics zijn gegroepeerdin vier audit-niveaus van veelomvattend naar meerspecifiek.De audit wordt verder gestructureerd door richtvragente stellen. Dit zijn sturende vragen om specifiekeinformatie over de kwaliteit van het assessment teverkrijgen.

Op het meest algemene niveau bestaat hetinstrument uit de volgende kwaliteits-

kenmerken c.q. vragen:

0 KengetallenI Zijn er cijfers over de afname van het

assessment?II Zijn er cijfers bekend over kandidaten?III Zijn er cijfers bekend over assessoren?

A Doelen en inbedding van het assessmentI Is het doel van het assessment helder geformu-

leerd?II Ligt er een (conceptueel) kader aan ten grondslag?III Is de reikwijdte van het assessment bepaald?IV Loopt de organisatie van het assessment

efficiënt?V Is het assessment ingebed in de opleiding?VI Wordt het assessment verder ontwikkeld/

verbeterd?

B Competenties, standaarden en gedragI Zijn competenties zorgvuldig vastgesteld?II Dekken de competenties het functioneren in het

beroep?III Zijn competenties meetbaar geformuleerd?

C InstrumentariumI Is het instrumentarium (geheel aan opdrachten)

compleet?

27

II Zijn de instrumenten onderbouwd en uitgewerkt?III Bieden instrumenten ruimte voor diversiteit

(verschillen)?IV Meten taken/opdrachten/oefeningen relevant

gedrag?V Wordt het portfolio effectief gebruikt?VI Is de opdracht authentiek (genoeg)?VII Worden simulatieoefeningen afgenomen?

D AssessorenI Worden assessoren zorgvuldig geselecteerd?II Zijn taken en verantwoordelijkheden duidelijk

verdeeld?III Worden assessoren getraind/opgeleid?IV Worden assessoren beoordeeld op geschiktheid/

kwaliteit?

E BeoordelingI Is de scoringsprocedure zorgvuldig vastgesteld?II Zijn de condities voor beoordeling optimaal?III Worden competenties op verschillende manieren

vastgesteld?IV Vindt scoring op een eenduidige manier

plaats?V Is de procedure voor het eindoordeel transpa-

rant?

VI Zijn eindbeoordeling en -gesprek herkenbaaren constructief?

F NatrajectI Worden gegevens gearchiveerd en opnieuw

gebruikt?II Wordt er nazorg aan kandidaten verleend?III Is het duidelijk wat ná het assessment volgt?

Afname van de auditVoor deze audit kan men het best een groep (onaf-hankelijke) auditoren (bijvoorbeeld van buiten deinstelling) benaderen om het onderzoek uit tevoeren. Vaststelling van de score per kenmerkgebeurt na afloop van een auditbezoek bij de instel-ling op grond van:þ beschikbare bronnen en documenten;þ gesprekken met ter zake betrokkenen: manage-

ment, coördinatoren, assessoren, kandidaten,secretariaat en andere relevante personen;

þ aanvullende enquêtegegevens over de waarderingvan de assessmentpraktijk;

þ in enkele gevallen observatie van deassessmentpraktijk.

De aldus verzamelde gegevens dienen als input vooreen afweging per kenmerk tussen de auditorenonderling.

28

Literatuur

Berryman, S.E. (1993) Learning for the Workplace, Reviewof Research in Education (19). Washington: AERA.

Darling-Hammond, L. & Snyder, J. (2000). AuthenticAssessment of Teaching in Context. In: Teaching &Teacher Education 16, 523-545.

Herriot, P. (1989). Assessment and Selection inOrganizations: Methods and Practice for Recruitment andAppraisal. Chicester: John Wiley.

International Task Force on Assessment centers(2000). Guidelines and Ethical Considerations forAssessment Center Operations. In: Public PersonnelManagement 29(3), 315-331.

Jansen, P.W.G. De Jongh, F. (1993). Assessment centers,een open boek. Baarn: Spectrum.Lee, D & Beard, D (1994). Development Centers. NewYork: Mc Graw Hill.

Lievens, F. (1998). Factors which Improve theConstruct Validity of Assessment centers. In: Interna-tional Journal of Selection and Assessment 6(3), 141-152.

Nijhof, W. (1987). Van beroepsprofielen naar curriculum-profielen. Enschede: Universiteit Twente, VakgroepCurriculumtechnologie Toegepaste Onderwijskunde.

Seegers, H.J.J.L. (1986). Assessment center methodeen predictie. In: Knaapen, A.L.M. (red.). Methoden,technieken en analyses voor personeelsmanagement.Deventer: Kluwer.

Shulman, L., Haertel, E. & Bird, T (1988). TowardAlternative Assessments of Teaching. In: TeacherAssessment Project. Report 4-20-88. Stanford: StanfordUniversity.

Sikkes, R. (2002). Lerarentekort blijft toenemen. In:Het Onderwijsblad 18, 12-15.

Tillema, H.H. (red.) (1993). Assessment en opleiden inorganisaties. In: Capita Selecta 14. Deventer: Kluwerbedrijfswetenschappen.

Tillema, H.H. (1996). Development centers; ontwikkelenvan competenties. Deventer: Kluwer bedrijfs-wetenschappen.

Tillema, H.H. (1998). Design and Validity of a Port-folio Instrument for Professional Training. In: Studiesin Educational Evaluation. 24(3), 263-278.

29

Tillema, H.H. (2001). Assessment van competenties, vanbeoordelen naar ontwikkelen. Alphen a/d Rijn: Samsom.

Tillema, H.H., Dirkse-Hulscher, S. & Van den Hurk, V.(2002). Naar een audit van assessmentpraktijken inde lerarenopleiding. In: VELON Tijdschrift voorLerarenopleiders 23(3), 20-26.

Zeichner, K.M., Schulte (2001). What We Know andDon’t Know from Peer-reviewed Research aboutAlternative Teacher Certification Programs. In:Journal of Teacher Education 52(4), 266-282.

30

Bijlage 1 • Audit-kenmerken

0 KENGETALLENI Zijn er cijfers over de afname van het assessment?

1 Aantal keer dat het assessment is uitgevoerd2 Aantal keer dat het assessment is bijgesteld3 Startdatum assessment (1e afname)4 Aantal onderdelen/instrumenten waaruit het assessment

bestaat5 Aantal keer dat assessment per jaar wordt afgenomen6 Aantal partijen dat bij assessment betrokken is

a Aantal betrokken beoordelaarsb Aantal betrokken organisatorenc Aantal betrokken scholen/klantend Aantal betrokken kandidatene Aantal praktijksituaties waarin gemeten wordt

II Zijn er cijfers bekend over kandidaten?1 Aantal kandidaten tot nu toe

a Aantal geslaagde kandidatenb Aantal gezakte kandidaten

2 Voor welke doelgroepen is het assessment in gebruik?a Voor zij-instromers in het beroepb Voor zij-instromers in de opleidingc Voor deeltijdopleidingend Voor intake van alle instromers

3 Voor welke doelgroepen is het assessment geschikt?a Voor zij-instromers in het beroep

b Voor zij-instromers in de opleidingd Voor intake van alle instromers

III Zijn er cijfers bekend over assessoren?1 Aantal assessoren dat kan worden ingezet (grootte van

poule)a Aantal assessoren dat sinds start is afgevallenb Hoeveel assessoren zijn er sinds de start bijgekomen?

2 Aantal assessoren dat tot nu toe is ingezeta Er kan gebruik gemaakt worden van verschillende

assessorenb Er is voldoende aanbod/vervangingsgraad van

assessoren3 Aantal assessoren dat per afname wordt ingezet

a Er zijn meerdere assessoren perassessmentinstrument (min 2)

b Er zijn meerdere assessoren voor verschillendekandidaten

4 Expertise van de assessorena De assessoren komen zowel van binnen als van

buitenb Zowel vakdeskundigheid als onderwijskundigheid

is aanwezig5 Motivatie en tijdinvestering assessoren

a Er is voldoende belangstelling voor assessorenrolb Tijd die assessoren besteden per assessment

31

A DOELEN EN INBEDDING VAN HET ASSESSMENTI Is het doel van het assessment helder geformuleerd?

1 Doel is selectie/beoordelinga Doel is vaststelling startbekwaamheidb Doel is externe beoordeling van functioneren

2 Doel is ontwikkelinga Doel is meting persoonlijke competentiesb Doel is meting leervermogen/potentieel

II Ligt er een (conceptueel) kader aan ten grondslag?1 Theoretisch model als basis2 Competenties zijn de basis

a Competenties zijn de communicatietaalA1 Assessoren praten in termen van competentiesA2 Info aan kandidaten is in termen van competenties

b Competenties worden breed gedragen

III Is de reikwijdte van het assessment bepaald?1 Doelgroep is afgebakend

a Proces van afbakening is gestructureerd verlopenA1 Er is gebruik gemaakt van een methodeA2 Er is (markt)informatie gezocht om reikwijdte te

bepalenb Doelgroep is helder geformuleerd

B1 Het is duidelijk wie wel/niet bij doelgroep horenc Assessment is bedoeld voor heterogene groep

C1 Er is ruimte voor verschillen in beroepservaringC2 Er is ruimte voor verschillen in leerstijlC3 Er is ruimte voor multiculturele verschillen

2 Varianten van het assessment liggen vasta Mogelijke varianten zijn uitgewerktb Er worden meerdere varianten gebruikt

B1 Varianten zijn afgestemd op doel en doelgroep3 Wijze van afname ligt vast

a Instrumentarium ligt vastb Wijze van beoordeling en verwerking ligt vastc Afnamevoorwaarden zijn geformuleerd

4 Vast ligt wát gemeten wordta Te meten competenties liggen vastb Te meten situaties liggen vast

5 Vakgebieden waarvoor assessment inzetbaar is ligt vast

IV Loopt de organisatie van het assessment gesmeerd?1 Instroom is gestructureerd

a Er zijn gerichte wervingsactiviteitenA1 Opleiding en assessment zijn bekend in het veld

b kandidaten zijn op gestandaardiseerde wijze geselec-teerdB1 Er wordt gebruik gemaakt van een lijst met

selectiecriteriaB2 Selectie vindt plaats volgens standaard procedure

c Er is duidelijkheid omtrent taakstelling bij selectie vankandidatenC1 De selectieprocedure is vastgelegd

d Er wordt rekening gehouden met eerder verworvencompetentiesD1 De kandidaat wordt op zijn loopbaan gescreend

32

D2 De kandidaat wordt op zijn beroepsmotivatiegescreend

D3 Er vindt registratie plaats van het intakegesprek (informulier)

2 Opleiding onderhoudt actief relaties met andere partijena Opleiding onderhoudt actief relatie met scholen

A1 Scholen leveren kandidaten aanA2 Scholen zijn betrokken

b Opleiding is partnerschappen aangegaan3 Voorlichting over het assessment is helder en compleet

a Er is infomatie over de achtergrond van hetassessmentA1 Er is informatie over doel en consequenties van

assessmentA2 Uitgangspunten zijn herkenbaar in aanpak

assessmentA3 Er is een beschrijving van het beroep

b Er is informatie over de te meten competentiesc Er is informatie over de aanpak/opdrachten van het

assessmentC1 Er is een beeld over het verloop van het

assessmentC2 Regels en procedures zijn uitgewerktC3 Men wordt gewezen op mogelijkheden en

onmogelijkhedend Verwachtingen van de kandidaat worden geïnventari-

seerdD1 Verwachtingen van kandidaten worden geïnventa-

riseerd

D2 Beroepsopvattingen van de kandidaat wordengevraagd

e Er is een informatiebijeenkomstE1 Dilemma’s/problemen kunnen worden besproken

V Is het assessment ingebed in de opleiding?1 Toegevoegde waarde van assessment is in opleiding

bekenda Er zijn acties om acceptatie van assessment te

bevorderenA1 Er zijn geplande acties t.b.v. het imagoA2 Meerwaarde van het assessment kan worden

aangegevenA3 Geïnteresseerden kunnen de materialen bekijken

b Het assessment wordt gepromoot/gepresenteerd aananderenB1 Betrokkenen worden geïnformeerdB2 Organisatoren treden naar buiten (publicatie/

presentatie)c Betrokkenen spreken positief over het assessment

C1 Direct betrokkenen praten positief over hetassessment

C2 Oud-kandidaten praten positief over hetassessment

C3 Niet-kandidaten praten positief over hetassessment

C4 Overige betrokkenen praten positief over hetassessment

33

2 Koppeling met opleidingsstructuur is expliciet beschrevena Er is een relatie met de inhoud van het curriculumb Er is een relatie met de volgorde van vakken

(leerroute)c Er is een relatie met de onderwijsaanpakd Er is een relatie met de eindtermen/leerdoelen

3 Uitkomsten assessement zijn input voor sturing/beleidopleidinga Resultaten assessment worden teruggekoppeldb Assessment leidt tot specifieke/nieuwe wervingsactiesc Assessment is leerwegonafhankelijk ingericht

VI Wordt het assessment verder ontwikkeld/verbeterd?1 Kwaliteit wordt gemeten

a Assessment is valideb Assessment is betrouwbaarc Andere onderzoeksresultaten worden meegenomen

2 Er is een ontwikkel- /kwaliteitsteam ter verbeteringa Er is zorgvuldig een team voor de coördinatie gevormd

A1 Teamleden zijn geselecteerd op criteria (expertise,motivatie)

A2 De teamleden vullen elkaar aanb Er is op zorgvuldige wijze een team voor uitvoering

gevormdB1 Teamleden geselecteerd op criteria (expertise,

motivatie)B2 De teamleden vullen elkaar aan

c De effectiviteit van het team wordt tussentijds gemetenC1 Er wordt regelmatig gereflecteerd op effectiviteit

van het teamC2 Er worden gerichte verbeteracties t.a.v. effectiviteit

ondernomenC3 De teamleden geven en krijgen feedback

3 Het assessment wordt regelmatig geëvalueerda Het assessment wordt op geplande momenten

geëvalueerdA1 Het assessment wordt jaarlijks geëvalueerd

b Evaluatie is gestructureerdB1 Evaluatie vindt plaats a.d.h.v. een methodeB2 Evaluatie is gebaseerd op concrete ervaringen

c Evaluatie is inhoudelijk volledigC1 Alle relevante betrokkenen worden gehoord bij

evaluatieC2 Volledigheid en betrouwbaarheid wordt geëvalu-

eerdC3 Kwaliteit van assessoren en acteurs wordt

geëvalueerdC4 Betrouwbaarheid en waarde van uitslag wordt

geëvalueerdC5 Kwaliteit van gegevens(verwerking) wordt

geëvalueerdC6 Haalbaarheid van het assessment wordt

geëvalueerd4 Conclusies uit evaluaties worden omgezet in verbeteracties

a Voornemens worden écht waargemaaktb De realisatie van verbeteracties wordt nauw gevolgd

34

c Er zijn zichtbare verbeteringen opgetreden sinds hetafgelopen jaar

B COMPETENTIES, STANDAARDEN EN GEDRAGI Zijn competenties zorgvuldig vastgesteld?

1 Competenties zijn gescreend volgens gestructureerdemethodea Taakanalyse is uitgevoerdb Competenties zijn gebaseerd op concrete praktijk-

situaties2 Bij het vaststellen waren relevante betrokkenen aanwezig

a Er waren inhoudelijk deskundigen aanwezigb Er waren beroepsdeskundigen (uit het veld) betrokkenc Er waren experts t.a.v. assessment aanwezig

3 Competenties zijn getoetst op volledigheid en praktijk-relevantie

II Dekken de competenties het functioneren in het beroep?1 Belangrijkste competenties worden gemeten

a Het aantal competenties is beperkt maar voldoendeb Betrokkenen herkennen de competenties

B1 Het werkveld herkent de competentiesB2 Docenten herkennen de competentiesB3 Kandidaten herkennen de competenties

2 Relaties tussen competenties zijn duidelijka Competenties zijn goed van elkaar te onderscheidenb Relaties zijn logisch en voorstelbaar

III Zijn competenties meetbaar geformuleerd?1 Competenties zijn uitgewerkt in meetbare gedragingen

a Competenties zijn geoperationaliseerd in meerderegedragingen

b Gedragingen zijn werkplekgerelateerd geformuleerdc Gedragingen zijn positief geformuleerd (verlangd

gedrag)2 Gedragingen zijn geordend en genormeerd

a Typerende gedragingen zijn geclassificeerdb Per gedraging/competentie is norm/standaard

aangegevenc Gedragingen zijn geordend naar niveau (minimale

norm)

C INSTRUMENTARIUMI Is het instrumentarium (geheel aan opdrachten) com-

pleet?1 Instrumenten dekken de competenties en het beroep

a Instrumenten dekken de te meten competentiesb Instrumenten dekken taken van het beroep

2 Er is een gevarieerde mix aan instrumentena Er wordt een ruim arsenaal aan opdrachten gebruiktb Het instrumentarium is een creatieve mix aan vormenc Elk instrument heeft een relatie met andere vormen

II Zijn de instrumenten onderbouwd en uitgewerkt?1 Materiaal is compleet

a Achtergronden per instrument zijn beschreven

35

A1 Doelen zijn uitgewerktA2 Eigenschappen van opdrachten zijn uitgewerktA3 Aanpak per opdracht is uitgewerkt

b Er zijn overzichten t.b.v. de organisatie van hetassessmentB1 Er is een materialenlijstB2 Er is een draaiboek voor afname

c Er is voldoende algemene informatie voor kandidatenC1 Er is een informatiemap voor kandidaten

d Instructies zijn concreet uitgewerktD1 Per instrument is er een algemene beschrijvingD2 Per instrument is er een overzicht van gemeten

competentiesD3 Verloop van het instrument staat beschrevenD4 Scoringsprocedures zijn uitgewerkt

III Bieden instrumenten ruimte voor diversiteit (verschillen)?1 Instrumenten starten bij voorkennis/ervaring van kandidaat2 Instrumenten bieden ruimte voor verschillende persoons-

kenmerkena Kandidaat kan kiezen uit verschillende instrumentenb Kandidaat kan volgorde van instrumenten bepalenc Kandidaat heeft keuzemogelijkheden in uitwerking takend Verschil in aanpakken wordt positief beoordeeld

3 Taken/opdrachten zijn vormend/leerzaama Taken zijn uitdagend qua inhoud (niveau) en omschrij-

vingb Opdrachten vragen denkkracht (geen standaard

oplossing)

IV Meten taken/opdrachten/oefeningen relevant gedrag?1 Instrumenten roepen relevant gedrag op

a Taak/opdracht meet competentie (meer dan alleenkennis)

b Taak/opdracht nodigt uit tot het demonstreren vangedrag

c Opdrachten roepen gedrag op dat specifiek is vooropdracht

2 Opdrachten zijn gekoppeld aan praktijksituatiesa Opdrachten zijn afspiegeling van beroepssituatieb Instrumenten passen qua inhoud en vorm bij beroeps-

situatie3 Opdrachten zijn gericht op diepte i.p.v. breedte van het

functionerena Opdrachten zijn breder dan één afgebakende situatie/

probleemb Er zijn handreikingen om de opdracht meer diepgang te

geven

V Wordt het portfolio effectief gebruikt?1 Er zijn duidelijke richtlijnen voor het invullen van het portfolio

a Er is een instructiehandleidingb Er zijn voorbeelden om kandidaten te ondersteunenc Het is duidelijk hoe het portfolio beoordeeld wordtd Er zijn instructies bij de interpretatie van het portfolioe Kandidaat kan om nadere toelichting/hulp vragen

2 Kandidaat kan een compleet beeld van zichzelf gevena Men kan voldoende materiaal in het portfolio kwijtb Kandidaten kunnen eigen toevoegingen aanbrengen

36

c De kandidaat kan toelichting en uitleg geven bij hetmateriaal

3 Er wordt bijgehouden hoe de kandidaat het portfolio invult(proces)?a Er vindt een tijdsregistratie van de invulling plaatsb Moeilijkheden die kandidaat tegenkomt worden

geregistreerd4 Beoordeling portfolio wordt teruggekoppeld en gebruikt voor

vervolga Er vindt een afrondende bespreking van het portfolio

plaatsb De kandidaat krijgt concreet feedback over het portfolioc Vervolg assessment wordt ingericht o.b.v. portfolio-

uitslag

VI Is de authentieke opdracht (les) geregeld?1 Opdrachtverstrekking is duidelijk

a Kandidaat weet wat verlangd wordt aan taken engedrag

b Materialen en toelichtingen zijn beschikbaar enhanteerbaar

c Het is duidelijk waarop beoordeeld zal worden

2 Les valt goed voor te bereidena Contextgegegevens en locale omstandigheden zijn

vooraf bekendb Domein van de les en doelomschrijving helder en

afgebakend

c Er is voldoende tijd ingepland voor de voorbereidingen3 Les is goed uitvoerbaar

a Omstandigheden voor het geven van de les zijngunstig

b Er is een duidelijk verband tussen opdracht encompetenties

c Competenties kunnen voldoende zichtbaar gemaaktworden in les

4 Er is voldoende aandacht voor de nabespreking/afhandelingvan de lesa Aan de verwachtingen van de kandidaat wordt voldaanb Les is goede aanvulling op het portfolioc Lesverrichtingen vallen goed te registreren en te

beoordelen

VII Worden simulatieoefeningen afgenomen?1 Oefeningen zijn zorgvuldig gekozen

a Keuze is voorgeschiedenis van de kandidaatmeegenomen

b Is er voldoende variatie in het aanbod van deoefeningen

2 Relevante groepen zijn betrokken geweest bij hetontwikkelen

3 Is volgens een gestructureerde methode gewerkt?a Vertaling van competenties en situaties in oefeningen is

consistentb Het is terug te vinden hoe oefeningen tot stand zijn

gekomen

37

c Vastgelegd is welke elementen in de oefeningen zittend Oefeningen en competenties zijn op een logische

manier gekoppeld

D ASSESSORENI Worden assessoren zorgvuldig geselecteerd?

1 Assessoren zijn geselecteerd o.b.v. vastgestelde criteriaa Er is een lijst met assessoren-competenties

2 Het assessorenteam is compleeta Er zijn meerdere assessoren (poule)b Binnen het team zijn verschillende kwaliteiten

aanwezigB1 Er zijn assessoren met praktijkervaringB2 Er zijn assessoren met ‘observatie’-kwaliteitenB3 Er zijn assessoren met coachkwaliteiten (t.b.v.

rapportage)

II Zijn taken en verantwoordelijkheden duidelijk verdeeld?1 Er is sprake van een duidelijke rolverdeling (onderling)2 Het is duidelijk wat van assessoren wordt verwacht3 Assessoren hebben benodigde tijd en middelen voor

taakvervulling4 De assessoren vervullen ook na afloop van het

assessment een rol

III Worden assessoren getraind/opgeleid?1 De assessoren krijgen een training voorafgaand aan de

afname

a Assessoren worden ingepraat t.a.v. de visie en doelenb Assessoren leren werken met de competenties en

niveausc Assessoren oefenen met observatie-instrument

C1 Assessoren oefenen het scorenC2 Assessoren leren scoringsvalkuilenC2 Assessoren bespreken dilemma’s bij scoren

IV Worden assessoren beoordeeld op geschiktheid/kwaliteit?1 Assessoren worden beoordeeld op hun competenties2 Scoringswijze wordt besproken en beoordeeld

a Er is controle of assessoren competenties hetzelfdeinterpreteren

a Er is een beoordeling van de scoringswijze vanassessoren

b Er is een nabespreking over de scoringswijze vanassessoren

3 De kwaliteit van de assessoren wordt gemeten en op peilgehoudena Assessoren nemen deel aan ‘opfris-trainingen’

(min. 1 per 2 jaar)

E BEOORDELINGI Is de scoringsprocedure zorgvuldig vastgesteld?

1 Voor alle competenties/gedragingen is duidelijk hoe de normis vastgestelda Het niveau is bepaald aan de hand van een standaardb De context is meegenomen in de normbepaling

38

2 Scoringsregels zijn getoetst op bruikbaarheid en betrouw-baarheid

II Zijn de condities voor beoordeling optimaal?1 Condities voor afname zijn helder uitgewerkt

a Condities voor afname staan op papierA1 Bij het vaststellen is gebruik gemaakt van eerdereleerervaringen

b Condities zijn bij iedere afname aanwezigB1 Er zijn beschikbare ruimtesB2 Er wordt gebruik gemaakt van cateringB3 Er is voldoende privacy (men wordt niet gestoord)B4 Men beschikt over voldoende informatieB5 Men beschikt over voldoende middelenB6 De kwaliteit van het materiaal is goedB7 Afspraken worden duidelijk geplandB8 Gemaakte afspraken worden nagekomenB9 Kandidaten ervaren voldoende ‘veiligheid’

III Worden competenties op verschillende manierenvastgesteld?1 Competenties worden vastgesteld via meerdere

instrumentena Iedere competentie wordt minimaal twee keer

vastgesteldb Zelfbeoordeling door de kandidaat wordt meegenomenc Beoordeling door anderen (360 graden) wordt

meegenomen

C1 Beoordeling door praktijkbegeleider wordtmeegenomen

C2 Beoordeling door medestudenten wordt meegeno-men

C3 Beoordeling door vrienden/familie wordt meegeno-men

C4 Beoordeling door docenten wordt meegenomen2 Verschillende ‘bewijzen van bekwaamheid’ worden

betrokkena Relatie tussen inzet en resultaat van gedrag wordt

gescoord3 In scoringsformulieren is ruimte voor toelichting

IV Vindt scoring op een eenduidige manier plaats?1 Het beoordelingskader is transparant

a Verband tussen observatielijsten en competenties isduidelijk

2 Instrumenten worden op eenduidige wijze gebruikta Manier van beoordelen spreekt voor zichb Beoordelingskader is gesloten/voorgestructureerdc Registratieprotocollen worden gehanteerdd Er zijn scoreformulieren en toelichtingen beschikbaar

3 Objectiviteit bij beoordelen wordt afgedwongena Meerdere assessoren scoren (minimaal 2 per opdracht)b Er wordt een observatierouleersysteem gehanteerd

4 Competenties worden op eenduidige wijze gescoorda Gedragsomschrijvingen bieden geen interpretatieruimteb Demoraliserende uitspraken zijn onmogelijkc Scoringsregels liggen vast

39

d Er is een voorbeeldscoring met standaarden (normgedrag)

V Is de procedure voor samenstelling eindoordeel transpa-rant?1 Vastligt hoe observatiegegevens tot rapportage verwerkt

wordena Er is een procedure voor het verwerken van gegevensb Wijze waarop aanvullende gegevens een rol spelen ligt

vastc Moment waarop aanvullende gegevens worden

betrokken ligt vastd Plek van aanvullende gegevens in de eindbeoordeling

ligt vaste Assessoren houden zich aan gestelde regels

2 Eindbeoordeling vindt plaats o.b.v. observatiesa Alle observaties worden meegenomen in eind-

beoordeling3 Aanvullende gegevens worden meegenomen in eind-

beoordelinga Zelfbeoordeling van de student wordt meegenomen in

de beoordeling

VI Is de eindbeoordeling herkenbaar en constructief?1 Er is een schriftelijke en mondelinge terugkoppeling2 Betrokkenen herkennen zich in de eindbeoordeling

a Kandidaten herkennen zich in de beoordelingb Het werkveld herkent de beoordeling (praktijk-

begeleiders)

c Docenten herkennen de student in de beoordelingd Medestudenten herkennen de student in de beoordelinge Assessoren herkennen beoordeling in hun individuele

scoring3 Uitslag komt overeen met de oordelen in andere

documentena Uitslag komt overeen met diploma’s van kandidaatb Uitslag komt overeen met beoordeling van verslagen/

opdrachtenc Uitslag komt overeen met uitslag toetsen

4 Er is per kandidaat een helder en constructief eindrapport/verslaga Het rapport/verslag is transparant

A1 Rapport zit qua structuur logisch in elkaarA2 Rapport sluit aan bij leesstijl kandidaat

b Het rapport/verslag is volledigB1 Er is aandacht voor sterke puntenB2 Er is aandacht voor zwakke puntenB3 Rapport zegt iets over alle gemeten competentiesB4 Aandachtspunten zijn in concrete gedragingen

geformuleerdB5 Er is duidelijk aangegeven hoe het oordeel tot

stand is gekomenB6 De koppeling met de opdrachten wordt aangege-

venB7 Kandidaat krijgt suggesties voor verbeteren van

competentiesc Er wordt gewerkt met certificaten

C1 Geslaagde kandidaten krijgen een certificaat

40

C2 In certificaat is aangegeven wat wel/niet behaald isC3 Certificaten worden op rituele wijze uitgereikt

5 Met iedere kandidaat wordt eindgesprek gevoerda Eindgesprek wordt binnen twee weken na afname

gevoerdb Eindgesprek is helder en constructief

B1 Opbouw gesprek ligt vastB2 Gespreksleider maakt opbouw gesprek explicietB3 Gesprek is gestructureerd naar competentiesB4 Irrelevante zaken zijn weggelatenB5 Gesprek is gebaseerd op waarnemingen (i.p.v.

interpretaties)B6 Eerst worden discrepanties daarna conclusies

gegevenB7 Gesprek wordt gevoerd door één van de

assessorenB8 Gespreksleider stelt de kandidaat op zijn gemakB9 Gespreksleider is eerlijk

c Eindgesprek is volledigC1 Assessor bereidt gesprek voor a.d.h.v. gestan-

daardiseerde lijstC2 Kandidaat geeft eigen ervaringen weerC3 Er is aandacht voor de verwachtingen van de

kandidaatC5 Self-assessment van de kandidaat komt aan bodC6 Gespreksleider vraagt om verduidelijking indien

nodigC7 Gespreksleider geeft extra toelichting als iets niet

duidelijk is

F NATRAJECTI Worden gegevens gearchiveerd en opnieuw gebruikt?

1 Beoordelingsgegevens worden gearchiveerda Wijze waarop met gegevens wordt omgegaan ligt vast

A1 Bij archivering wordt privacy in acht genomenA2 Toegang tot gegevens is beveiligd

b Gegevens over de kandidaat worden bewaardB1 Observatiegegevens worden bewaardB2 Rapportages worden bewaardB3 Aantekeningen van assessoren worden bewaardB4 Producten (portfolio) van kandidaten worden

bewaard2 Bewaarde gegevens worden op later moment gebruikt

a Gegevens worden gebruikt voor verbetering van hetassessment

b Gegevens worden gebruikt voor verbetering vanP&O-beleidB1 Gegevens worden gebruikt voor werving/selectie

van studentenB2 Gegevens worden gebruikt voor werving/selectie

van docentenc Gegevens worden gebruikt voor curriculum

vernieuwing

II Wordt er nazorg aan kandidaten verleend?1 Kandidaten hebben toegang tot gegevens

a Er is vastgelegd of kandidaten wel/geen inzicht hebbenin uitslag

41

b Kandidaten hebben inzicht in de resultatenc Kandidaten hebben inzicht in aantekeningen van

assessoren2 Kandidaten worden naar hun mening/ervaringen gevraagd

a Kandidaten vullen een waarderingsvragenlijst in3 Het assessment-team onderhoudt relaties met oud-

kandidaten

III Is het duidelijk wat ná het assessment volgt?1 Op basis van het assessment wordt een vervolgtraject

ingerichta Structuur van het opleidingstraject is expliciet

beschrevenb Vervolg aanpak spoort met aanpakken in de opleidingc Het is duidelijk waar en hoe de vervolgopleiding

plaatsvindtd Er zijn vaste taakafspraken met kandidaten

2 Assessment keert als meetinstrument later in de opleidingterug

3 Kandidaten kunnen extra hulp/ondersteuning krijgen na hetassessmenta De kandidaat wordt gevraagd of hij nog hulp nodig heeftb Er worden coachgesprekken aangebodenc Kandidaten krijgen hulp bij maken persoonlijk

ontwikkelpland Kandidaten krijgen budget voor leeractiviteiten

42

Bijlage 2 • Waarderingsvragenlijst voor kandidaten

We zijn erg benieuwd hoe u de assessment-procedure heeft gewaardeerd. Deze evaluatielijst is opgebouwd uit eenaantal delen die corresponderen met de stappen die u in de procedure doorlopen heeft. U kunt bij elke vraag op eenvierpuntsschaal antwoorden. 1

nee geheel mee

oneens

2 ja

matig mee eens

3 ja redelijk mee eens

4 ja

zeer mee eens

De kennismaking • Is het doel van de assessment voor u duidelijk geweest? • Was de kennismaking in uw ogen compleet/inzichtelijk ? • Heeft u voldoende informatie gekregen van de assessor over de mogelijkheden van de

assessment? • Heeft u met vertrouwen deze procedure gevolgd? • Commentaar m.b.t. de kennismaking:

O O O

O

O O O

O

O O O

O

O O O

O

De intake door de assessor • Heeft u voldoende kennis en informatie gekregen tijdens het intake-gesprek over de te volgen

procedure ? • Heeft u vertrouwen gekregen in de opzet van dit programma? • Is steeds voldoende duidelijk geweest hoe de organisatie verloopt wat betreft plaats, tijden en

verplichtingen? • Valt met de beoordeelde criteria een terecht beeld van u te gegeven? • Heeft het assessment aan uw verwachtingen voldaan? • Commentaar m.b.t. de intake:

O

O O

O

O

O

O O

O

O

O

O O

O

O

O

O O

O

O

43

1 nee geheel

mee oneens

2 ja

matig mee eens

3 ja redelijk mee eens

4 ja

zeer mee eens

De competenties – de lijst met kwaliteiten van de leraar • Vindt u de keuze die gemaakt is voor deze startcompetenties aannemelijk? • Vindt u dat uw kwaliteiten als leraar voldoende met deze competenties beoordeeld zijn? • Heeft u voldoende informatie gekregen waarop u zult worden beoordeeld? • Commentaar m.b.t. de competenties:

O

O

O

O

O

O

O

O

O

O

O

O

Het portfolio • Was het duidelijk hoe het portfolio ingevuld moest worden? • Denkt u dat u alle relevante informatie in het portfolio kwijt kon? • Vindt u het invullen van het portfolio moeilijk? • Vindt u het aandragen van bewijzen-van-kunnen een goede aanpak van het portfolio? • Waren er onduidelijkheden in de opdracht waardoor u moeilijk aan de slag kon? • Heeft het maken van het portfolio u veel tijd gekost? • Is het portfolio dat u gemaakt heeft in uw ogen compleet? • Was de bespreking van uw portfolio helder? • Heeft u nog onduidelijkheden over het commentaar op uw portfolio? • Is de beoordeling in uw ogen terecht? • Commentaar m.b.t. het portfolio:

O O O O

O

O O O O O

O O O O

O

O O O O O

O O O O

O

O O O O O

O O O O

O

O O O O O

44

1 nee geheel

mee oneens

2 ja

matig mee eens

3 ja redelijk mee eens

4 ja

zeer mee eens

De authentieke opdracht De les • Wist u op basis van het lesvoorbereidingsformulier wat u moest doen? • Heeft u op basis van het lesvoorbereidingsformulier de les kunnen voorbereiden? • Heeft de voorbereiding van de les u veel inspanning/tijd gekost? • Was het uitvoeren van de opdracht moeilijk? • Heeft de lesopdracht u voldoende mogelijkheden geboden om uw vaardigheden in te kunnen

zetten? • Vindt u het geven van een les een passende opdracht? • Was de praktijkopdracht duidelijk geformuleerd zodat u wist wat u moest doen en wat er van u

verwacht werd? • Ziet u deze praktijkopdracht als goede aanvulling op het portfolio om uw kwaliteiten in beeld te

brengen? • Commentaar m.b.t. de les:

O O

O O O

O O

O

O O

O O O

O O

O

O O

O O O

O O

O

O O

O O O

O O

O

45

1 nee

geheel mee

oneens

2 ja

matig mee eens

3 ja redelijk mee eens

4 ja

zeer mee eens

Reflectiegesprek • Heeft het gesprek aan uw verwachtingen voldaan? • Zijn uw competenties naar aanleiding van het portfolio en de praktijkopdracht goed ingeschat ? • Geven uw competenties een goed beeld van uw kennis en vaardigheden? • Vindt u dat u terecht bent beoordeeld? • Waren de vragen van het zelfreflectie-formulier duidelijk, zodat u de lijst goed kon invullen? • Is het formulier breed en volledig genoeg geformuleerd ? • Bent u voldoende gescreend op aspecten die voor u van belang zijn? • Commentaar m.b.t. het reflectiegesprek:

O

O

O O

O O

O

O

O

O O

O O

O

O

O

O O

O O

O

O

O

O O

O O

O

De beoordeling en het advies • Is het opleidingsadvies op grond van de gegeven beoordeling duidelijk ? • Weet u voldoende over wat er verder gaat gebeuren (informatie over de te volgen opleiding, et

cetera)? • Zijn uw kwaliteiten en competenties goed beoordeeld in uw ogen? • Bent u tevreden over de gang van zaken in de beoordeling? • Bent u tevreden over de mate van eigen inbreng in de beoordeling/het advies? • Bent u tevreden over het gegeven advies? • Is steeds voldoende duidelijk geweest tot wie u zich kon richten? • Is de organisatie van de assessment goed verlopen? • Zijn de materialen voldoende toegelicht geweest? • Commentaar m.b.t. de beoordeling en het advies:

O O

O O O

O O

O O

O O

O O O

O O

O O

O O

O O O

O O

O O

O O

O O O

O O

O O

46

Bijlage 3 • Waarderingsvragenlijst voor assessoren

We zijn erg benieuwd hoe u de assessment-procedure heeft gewaardeerd. De evaluatielijst is ingedeeld volgens destappen in de procedure. Om het assessment in de toekomst te kunnen verbeteren vragen wij u vriendelijk deze lijstin te vullen. Hierbij kunt u op elke vraag op een vierpuntsschaal antwoorden.

1 nee

geheel mee

oneens

2 ja

matig mee eens

3 ja

redelijk mee eens

4 ja

zeer mee eens

De kennismaking • Heeft u genoeg informatie gehad over uw taak als assessor? • Wist u wat er van u verwacht werd toen u benaderd werd voor de assessment?

O O

O O

O O

O O

Intake door de consulent • Heeft u uit de voeten gekund met de informatie die u door de consulent is aangeboden? • Heeft u uit de voeten gekund met de vorm waarin het is aangeboden? • Bent u tevreden met de overdracht van de zij-instromers aan u? • Bent u na de overdracht volledig geïnformeerd over de kandidaat?

O

O O O

O

O O O

O

O O O

O

O O O

47

1 nee

geheel mee

oneens

2 ja

matig mee eens

3 ja

redelijk mee eens

4 ja

zeer mee eens

De assessment-training • Was de training verhelderend voor wat betreft uw taak in het assessment? • Bent u tevreden over de training? • Ontbreken er nog componenten waar nog aandacht aan besteed zou moeten worden? • Heeft de training u meer zelfvertrouwen gegeven voor deze procedure?

O

O O

O

O

O O

O

O

O O

O

O

O O

O

Het portfolio • Was de opzet van het portfolio duidelijk? • Kon u de portfolio-instrumenten goed gebruiken voor uw beoordeling? • Denkt u dat het portfolio een goed beeld geeft over de bekwaamheden van de zij-instromers?

O O O

O O O

O O O

O O O

48

1 nee

geheel mee

oneens

2 ja

matig mee eens

3 ja

redelijk mee eens

4 ja

zeer mee eens

De praktijkopdracht De les • Heeft u de kandidaten voldoende informatie kunnen geven? • Was de praktijkopdracht duidelijk geformuleerd? • Zijn de competenties van de kandidaat duidelijk geworden ? • Vind u de checklist voor de schriftelijke lesvoorbereiding goed te hanteren? • Heeft de checklist u inzicht gegeven in de lesvoorbereiding van de zij-instromer? • Is de observatiechecklist waarmee u de les beoordeeld duidelijk? • Ontbraken er in uw ogen nog aspecten op de checklist? • Denkt u dat deze les een betrouwbaar beeld geeft van de vaardigheden van de zij-instromer? • Vind u de vragen van de zelfevaluatie-checklist voor de zij-instromers duidelijk? • Vind u de vragen van de zelfevaluatie-checklist voor de zij-instromers volledig? • Zal deze zelfevaluatie-checklist de zij-instromer genoeg aanzet geven tot het nadenken over de

les? Reflectief gesprek • Bent u tevreden met de opzet van de interview-reflectie-vragenlijst waarin u de antwoorden van de

zij-instromer kunt waarderen? • Denkt u dat de kandidaten genoeg gescreend zijn? • Kon u tot een goed afgewogen eindoordeel komen van de kandidaat?

O O O O

O

O O O

O

O

O

O

O O

O O O O

O

O O O

O

O

O

O

O O

O O O O

O

O O O

O

O

O

O

O O

O O O O

O

O O O

O

O

O

O

O O

49

1 nee

geheel mee

oneens

2 ja

matig mee eens

3 ja

redelijk mee eens

4 ja

zeer mee eens

De beoordeling en het advies • Heeft u op grond van de aanwezige informatie een goed advies kunnen formuleren? • Zijn de kwaliteiten en competenties goed beoordeeld in uw ogen? • Denkt u dat m.b.v. deze procedure op een beter onderbouwde manier een opleidingstraject valt

aan te bevelen?

O

O O

O

O O

O

O O

O

O O

50

REACTIEVRAGENLIJST ASSESSOREN

Als er problemen waren tijdens de assessment-procedure willen wij dat graag van u weten. Bijvoorbeeld het beoor-delen van het portfolio, het registreren van de les of het opstellen van het advies? Deze vragenlijst is opgebouwd uitde stappen die corresponderen met de fasen van de procedure. Het gaat in deze vragenlijst om uw persoonlijkeervaringen tijdens de procedure, de kwaliteit ervan en de veranderpunten die volgens u nodig zijn.

DE KENNISMAKINGKennismaking met deze procedure?

De reden waarom u assessor wilde worden?

DE INTAKEInformatie over de gang van zaken?

De functie van het portfolio?

Het meten van de kwaliteit van leraren?

Indeling van het portfolio?

DE ASSESSMENT-TRAININGDe training als product?

De training als procedure?

DE COMPETENTIES – KWALITEITEN ALS LERAARDe geformuleerde competenties?

Welke competenties miste u?

Welke competenties waren sterk?

Zijn het goede criteria om kwaliteiten van zij-instromers te beoordelen?

51

HET PORTFOLIODe portfolio instrumenten?

Beoordeling van het portfolio?

DE PRAKTIJKOPDRACHTWerkwijze tussen u en de kandidaten?

DE LESDe les als procedure om de kwaliteiten van kandida-ten te beoordelen?

De zwakke punten van de praktijkopdracht?

REFLECTIEF GESPREKHet nut van het gesprek?

De beoordeling en het adviesDe beoordelingsprocedure en het oordeel zelf?

De screening van hun kwaliteiten?

Wat zou u graag aan dit assessment willen verande-ren in de toekomst?

OVERIGE OP- EN AANMERKINGEN:

52

Colofonpublicatie: Programmamanagement EPS (i.s.m. HBO-raad)

eindredactie: Boezeman Teksten en trainingen · Lex Boezeman

vormgeving en productiebegeleiding: Jack of all Trades · Marion E. Vegter

druk: Drukkerij van Mechelen · Utrecht

uitgave: december 2002

Eerder in deze reeks verschenen:EPS-reeks 01 - oktober 2000 - �“Advies Werkgroep Verkenning OPLEIDING LERAAR FUNDEREND ONDERWIJS”EPS-reeks 02 - maart 2001 - “Het Zweedse model - Een nieuw systeem voor het opleiden van leraren”EPS-reeks 03 - april 2001 - “Landelijk Programmamanagement Educatief Partnerschap - Voortgangsrapportage 2000”EPS-reeks 04 - april 2001 - “Naar een vernieuwde samenwerking tussen lerarenopleiding en school”EPS-reeks 05 - oktober 2001 - “Beoordelen van competenties van docenten”EPS-reeks 06 - november 2001 - “Vakmensen als leraar in het vmbo”EPS-reeks 07 - december 2001 - “Leren voetballen met het linkerbeen - Kun je coaches leren coachen?”EPS-reeks 08 - januari 2002 - “Duaal opleiden: een evaluatie van vijf ‘best practices’”EPS-reeks 09 - maart 2002 - “Innovatief ICT-gebruik in de lerarenopleiding: twee voorbeelden”EPS-reeks 10 - maart 2002 - “EPS-Voortgangsrapportage 2001”EPS-reeks 11 - maart 2002 - “De didactiek van praktijkrelevant opleiden”EPS-reeks 12 - april 2002 - “Op zoek naar docentcompetenties in de multiculturele klas”EPS-reeks 13 - mei 2002 - “De professionalisering van lerarenopleiders in Nederland”EPS-reeks 14 - oktober 2002 - “Samen opleiden en begeleiden”