Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

Een formatieve evaluatie van het zelfevaluatie-instrument MKVS, ontwikkeld ten behoeve van de kwaliteitszorg op montessorischolen die werken met het Montessori KindVolgSysteem.

Windesheim-Nes-Magistrum Studentnummer: 1034216 Afstudeerbegeleider: drs. W. Folker

ASTRID

OTTENHEYM-VLIEGEN

‘Het zelfevaluatie-instrument MKVS de maat genomen’

Master in Leadership in Education onderzoeksverslag Windesheim –Nes- Magistrum Astrid Ottenheym-Vliegen© afstudeerbegeleider:drs. W. Folker augustus 2010

3

Inhoud Voorwoord............................................................................................................ 5

1. Aanleiding .................................................................................................. 6

2. Het onderzoeksobject: het zelfevaluatie-instrument MKVS................................ 7

2.1 Het MKVS................................................................................................ 7

2.2 Het zelfevaluatie-instrument MKVS............................................................. 9

2.3 De opbouw en ontwikkeling van het instrument ..........................................10

2.3.1 Welke onderdelen bevat het zelfevaluatie-instrument MKVS? ....................10

2.3.2 Hoe is het zelfevaluatie-instrument ontwikkeld?.......................................11

2.4 De standaarden en indicatoren van het instrument......................................12

3. Doelstelling en onderzoeksvraag ..................................................................16

3.1 Probleemstelling .....................................................................................16

3.2 Gewenste situatie....................................................................................16

3.3 Probleemverheldering ..............................................................................16

3.4 Doel van het onderzoek ...........................................................................19

3.5 Onderzoeksvraag ....................................................................................19

4. Onderzoeksopzet........................................................................................20

4.1 Onderzoeksopzet van onderzoeksvragen 1 en 2 ..........................................20

4.2 Onderzoeksopzet van onderzoeksvraag 2a .................................................20

4.2.1 Uitgangspunten van de testconstructie ...................................................20

4.2.2 Kwaliteit van het testmateriaal en de handleiding ....................................21

4.2.3 Normen ..............................................................................................22

4.2.4 Betrouwbaarheid .................................................................................22

4.2.5 Validiteit .............................................................................................23

4.3 Onderzoeksopzet van onderzoeksvraag 2b .................................................24

4.4 Onderzoekspopulatie ...............................................................................26

5. Kwaliteitscriteria voor evaluatie....................................................................27

5.1 Conclusie ...............................................................................................31

6. Langs de COTAN meetlat .............................................................................32

6.1 Bevindingen ...........................................................................................32

6.2 Conclusie ...............................................................................................42

7. De ervaringen van de 4 testscholen ..............................................................44

7.1 Methode.................................................................................................44

7.1.1 De testscholen.....................................................................................44

7.1.2 De gevolgde procedure.........................................................................45


4

7.2 Bevindingen ...........................................................................................47

7.3 Conclusies..............................................................................................55

8. Conclusies en discussie ...............................................................................61

8.1 De kwaliteit van de uitgangspunten van de testconstructie ...........................62

8.2 De kwaliteit van het testmateriaal en de handleiding ...................................63

8.3 Normen .................................................................................................63

8.4 Betrouwbaarheid.....................................................................................64

8.5 Validiteit ................................................................................................65

8.6 De kwaliteit van het instrument ................................................................66

9. Aanbevelingen ...........................................................................................68

9.1 Ontwikkelkeuzes .....................................................................................68

9.2 Overige aanbevelingen ............................................................................70

Nawoord..............................................................................................................71

Samenvatting ......................................................................................................74

Referenties ..........................................................................................................78

Bijlagen: .............................................................................................................82

Bijlage 1, Het beslissingsmodel ..............................................................................82

Bijlage 2, Het lusmodel .........................................................................................83

Bijlage 3, Taxonomie van Bloom (1956) ..................................................................84

Bijlage 4, evaluatieformulier MKVS per leraar (1ste pagina) .......................................85

Bijlage 5, verzamelstaat resultaten zelfevaluatie MKVS Montessorischool…………………………………………… (1ste pagina) .......................................87

Bijlage 6, Verzamelstaat evaluaties testscholen........................................................89


5

Voorwoord Voor u ligt mijn onderzoeksverslag; een formatieve evaluatie van het zelfevaluatie-instrument Montessori KindVolgSysteem (MKVS). Dit onderzoek is uitgevoerd voor het afronden van mijn masteropleiding Leadership in Education. Het is al weer drie jaar geleden dat ik de eerste schreden heb gezet in het ontwikkelen van het zelfevaluatie-instrument MKVS. Tegen de tijd dat ik voor mijn studie een praktijkonderzoek moest uitvoeren, was het zelfevaluatie-instrument MKVS klaar voor de finale test in de praktijk. Dit was de ideale gelegenheid voor mij om beide zaken te combineren. In dit onderzoeksverslag leest u de aanleiding van het onderzoek in hoofdstuk 1 en de uitleg over het te onderzoeken object in hoofdstuk 2. Het evaluatie-instrument MKVS wordt besproken, omdat het een nieuw instrument is. Op deze manier krijgt u een goed beeld wat het zelfevaluatie-instrument MKVS inhoudt, welk doel het dient en hoe het wordt ingezet. De probleemstelling en het onderzoeksdesign worden in de hoofdstukken 3 en 4 beschreven. De resultaten op de onderzoeksvragen komen in de hoofdstukken 5, 6 en 7 aanbod. De conclusies en discussies op de hoofdvraag leest u in hoofdstuk 8 waarna de aanbevelingen worden besproken in hoofdstuk 9. Dit onderzoeksverslag wordt afgesloten met een nawoord en samenvatting. Een samenvatting voor wie eerst nieuwsgierig is naar het slot of om te kiezen of het de moeite waard is om het hele onderzoeksverslag te lezen. Met dit onderzoeksverslag heb ik geprobeerd een helder en transparant beeld te schetsen van de ondernomen onderzoeksstappen, overwegingen en de kwaliteit van het zelfevaluatie-instrument MKVS. In de hoop dat u als lezer evenveel leesplezier beleeft als ik onderzoeksplezier heb beleefd. Astrid Ottenheym-Vliegen Augustus 2010


6

1. Aanleiding Sinds 2000 is het Montessori KindVolgSysteem (MKVS) ontwikkeld door Els Westra. Vanaf 2008 is de digitale versie van het KindVolgSysteem voor het montessorionderwijs beschikbaar. Dit is tot stand gekomen in samenwerking met de auteur Els Westra, Unilogic te Sittard en de landelijke begeleidersgroep MKVS. Tot aan 2000 ontbrak het in het montessoribasisonderwijs aan een specifiek middel om ontwikkelingsmomenten van kinderen in beeld te brengen, terwijl dat juist zo past bij de specifieke doelstellingen van dit type onderwijs. Met de introductie van het MKVS heeft het montessorionderwijs een instrument in huis waarmee voldaan kan worden aan de wettelijke verplichting om een volgsysteem te hebben. Sinds de invoering van het digitale MKVS is, door zijn grote gebruiksvriendelijkheid, het aantal montessorischolen dat overgaat op het MKVS, sterk toegenomen. Op dit moment zijn er 45 gebruikers van het digitale MKVS. Er zijn 245 montessorischolen in Nederland. Het gebruik van het MKVS in het montessoribasisonderwijs blijkt niet alleen tegemoet te komen aan de wens van transparantie en het bewust en planmatig werken, het is ook een professionaliseringsinstrument. Een professionaliseringsinstrument, waardoor leraren inzicht krijgen in eigen en elkaars mentale modellen en de daaruit voortvloeiende gedragingen. Het vormt een basis voor reflectie en intervisie. Naarmate er meer scholen overgingen tot gebruik van het MKVS ontstond er meer en meer de schoolbehoefte om gefundeerde uitspraken te kunnen doen over de kwaliteit van handelen door de leraren m.b.t. het gebruik van het MKVS. Met gefundeerde uitspraken over de kwaliteit is de school instaat om te bepalen hoe te handelen met de verkregen kennis en informatie. Daarmee kan een school het handelen t.a.v. het MKVS verantwoorden, de kwaliteit borgen en vervolgstappen ondernemen ten behoeve van de schoolontwikkeling en de professionele ontwikkeling van leraren. Deze behoefte is passend bij het kwaliteitsdenken en de schoolontwikkeling. Schooljaar 2007-2008 heb ik, destijds werkzaam als leraar en bouwcoördinator op de Montessorischool te Bergen op Zoom, een zelfevaluatie-instrument MKVS ontwikkeld. Het instrument bood de school informatie over de toepassing van het MKVS op de Montessorischool te Bergen op Zoom. Door gerichte observaties, interviews en documentenanalyse verkregen informatie was de school in staat om een voor de school passende ontwikkelagenda op te stellen. Zowel leraren als het management van school waren positief over de informatie die het zelfevaluatie-instrument genereerde. (Ottenheym, 2008) Deze positieve bevindingen waren aanleiding om een zelfevaluatie-instrument te ontwikkelen, dat toepasbaar is voor alle montessoribasisscholen die het MKVS gebruiken of voornemens zijn om dit te doen. Wil het zelfevaluatie-instrument MKVS bruikbaar zijn voor bovengenoemde doelgroep dan dient het aan een aantal eisen te voldoen, namelijk:

� Validiteit � Betrouwbaarheid � Gebruikerskwaliteit � Dekking kwaliteitsdimensies � Suggesties voor schoolontwikkeling

(Q-primair werkmap Kwaliteitszorg, deel 3)


7

2. Het onderzoeksobject: het zelfevaluatie-instrument MKVS Het zelfevaluatie-instrument MKVS heeft als object van beoordeling het MKVS. In dit hoofdstuk wordt nader ingegaan op het MKVS en op het zelfevaluatie-instrument MKVS. Besproken worden de opbouw en ontwikkeling van het instrument en de concepten die aan de basis liggen van het instrument.

2.1 Het MKVS

Scholen zijn verplicht volgens de Wet Primair Onderwijs (www.st-ab.nl/wetten/0725_Wet_op_het_primair_onderwijs_WPO.htm) om de ontwikkelingen van kinderen te volgen en dat schriftelijk vast te leggen. Bij het montessorionderwijs past een procesgerichte en formatieve wijze van evalueren en registreren. Evaluatie met een formatief karakter houdt het opsporen in van vooral de sterke en zwakke punten in het leerproces van de leerling. De evaluatie moet worden gebruikt om het leerproces van de leerling te begeleiden en om beslissingen over de planning en uitvoering van de instructie te ondersteunen. Hierbij is een duidelijke gerichtheid op het verbeteren van het leren. (Hopkins, 2008) De volgende functies worden onderscheiden:

1. De sturing van het onderwijsleerproces of het aanbrengen van wijzigingen in het didactisch handelen (bijvoorbeeld het lestempo verhogen, de leerstof aanpassen, een andere werkvorm gebruiken).

2. Het signaleren en diagnosticeren van tekorten of individuele leerproblemen bij leerlingen met de bedoeling te remediëren (bijvoorbeeld het opsporen van misvattingen over bepaalde begrippen, het organiseren van aangepaste oefeningen).

Op die manier wordt de evaluatie meer geïntegreerd in het onderwijsleerproces en wordt het formatieve karakter van de evaluatie benadrukt.(www.kuleuven.be; didactische evaluaties, functies van evaluatie). Het MKVS is een hulpmiddel om er voor te zorgen dat alle informatie leidt tot een goede, zorgvuldige en gestructureerde begeleiding van kinderen naar eigen aanleg en tempo passend binnen de visie van Montessori. Door het MKVS worden de ontwikkelingsmomenten van een kind gevolgd (Westra, 2007). Het MKVS richt zich op het in beeld brengen van gedrag en/of vaardigheden binnen bepaalde ontwikkelingsgebieden van individuele kinderen, en biedt een overzicht van de beslissingen die de leraar neemt ten aanzien van de begeleiding. Het omvat minimaal 10 jaar van de ontwikkeling. De ontwikkelingsgebieden zijn:

Waarneming Motoriek Taal Rekenen / Wiskunde Geometrie Kennisgebieden / perspectieven Perioden van groei.

De inhoud van het MKVS is gerelateerd aan de filosofie, de pedagogiek, de antropologie en de didactiek van Maria Montessori. Het gaat hierbij om de grondbeginselen van haar


8

kosmische theorie tot en met de inzichten die ze later beschreven heeft in de trilogie; psychoarithmetica, psychogeometria en psychogrammatica. De montessoritheorie is en wordt steeds aangevuld en uitgebreid met recente theoretische inzichten op gebied van de ontwikkelingspsychologie, de neuropsychologie, de pedagogiek, de onderwijskunde en de didactiek. De didactiek is uitgewerkt in het ‘Lusmodel’ (bijlage 2) en beschrijft de basis waarop het werken met het MKVS stoelt. Het MKVS is acht jaar lang als papieren versie uitgegeven in een map met daarin de inleiding, de toelichting en de beschrijvingen bij de registratieformulieren en een volledig kinddossier (inmiddels de 5e druk). Voor ieder kind wordt éénmaal gedurende de basisschooltijd een kinddossier met daarin o.a. de registratieformulieren aangeschaft. Vanaf september 2008 kan men met een digitale versie werken. Deze versie is op vele gebieden weer geactualiseerd en het werken ermee vergemakkelijkt het overzicht van de ontwikkelingsmomenten in velerlei opzichten. In aansluiting op het MKVS, dat een dossier is dat wordt ingevuld door de leraar, wordt er momenteel ook een werkdossier voor het kind ontwikkeld. In het werkdossier kunnen kinderen werk opslaan dat van belang is en dat door hen wordt geëvalueerd. Het belangrijkste onderdeel van het werkdossier is de reflectie van het kind op eigen handelen en op keuzes die bij het werk zijn gemaakt. Het is de bedoeling dat het kinddossier en het werkdossier samen de informatie leveren die van belang is voor de ouders en voor de meest optimale schoolloopbaan van het kind. Door toepassing van het MKVS worden de volgende doelen nagestreefd:

� Overzicht van ontwikkelingsmomenten van een kind. Dit is een intrapersoonlijke vergelijking in tijd uitgezet.

� Inzicht in de leeractiviteiten van een kind. Het gaat hierbij om het proces van verwerving, verwerking, betekenisverlening en integratie, zoals beschreven in het lusmodel (Westra, 2008-2009).

� Goede afstemming van leraargedrag op de ontwikkeling en leeractiviteiten van het kind. (zie lusmodel Westra, 2008-2009).

� Ondersteuning van het bewust, doelmatig en procesmatig handelen van een leraar gericht op de leerweg van het kind door het vastleggen van beslissingmomenten. Deze worden beschreven naar aanleiding van signaleringen en gerichte observaties (zie lusmodel, Westra, 2008-2009).

Uitgangspunten van het MKVS zijn: � Het theoretisch raamwerk zoals vastgelegd door Els Westra in het

KindVolgSysteem voor het Montessorionderwijs en uitgegeven door de Nederlandse Montessori Vereniging (NMV).

� Is gestoeld op de visie van Maria Montessori. � Het kinddossier t.b.v. het MKVS. � Signaleringen, die leiden tot een beslissing. � Beslissingen kunnen zijn (af)wachten (W), Begeleiden/ Lesje (L), Diagnosticeren

(D), Observeren (O), Evalueren / vragenstellen (E), Registreren (R). � Beslissingen zijn een bewuste keuze. � Het beslissingsmodel (zie bijlage 1) � Het lusmodel (zie bijlage 2) � Taxonomie van Bloom (bijlage 3)


9

2.2 Het zelfevaluatie-instrument MKVS

Doordat er in het montessorionderwijs vrijheid van werkkeuze, duur, tempo en werkcyclus, bestaat is het naast het volgen van ontwikkelingsmomenten van kinderen, van groot belang zicht te krijgen op het proces van begeleiding van de leraar bij de individuele leerweg van het kind. Met het zelfevaluatie-instrument MKVS kan de school zich een oordeel vormen over de kwaliteit van het proces van begeleiding van de leraar bij de individuele leerweg van het kind in het algemeen en van het gebruik en toepassing van het MKVS in de dagelijkse onderwijspraktijk op de montessorischool in het bijzonder Het schooloordeel verkregen met het zelfevaluatie-instrument heeft als doel de kwaliteit van uitvoering te verbeteren; het gaat hier om een interne (door de school zelf) formatieve (gericht op verbeteren) beoordeling (Hopkins, 2008). Het uitgangspunt van de zelfevaluatie is kwaliteitsverbetering. Met het zelfevaluatie-instrument krijgt de school informatie over hoe leraren op de school het MKVS gebruiken en een beeld hoe leraren kinderen volgen en begeleiden met behulp van het MKVS. Concreet houdt dit in dat na de evaluatie de school weet wat van het MKVS gebruikt wordt en hoe dat gedaan wordt door de leraren op de school. Met het instrument wordt overzichtelijk in beeld gebracht wat goed gaat en wat beter kan ten aanzien van de toepassing van het MKVS. Het instrument ondersteunt hiermee het proces van kwaliteitsverbetering. Het evaluatie-instrument kan, na introductie / training, door leraren, intern begeleider en of directeur afgenomen worden. Hierdoor kan het instrument op eenvoudige wijze herhaald en in een verbetercyclus toegepast worden. Omdat voor een school de nuances in de hantering van het MKVS interessant zijn, is niet gekozen voor een meetinstrument dat alleen ruimte biedt voor een cijfermatige score. In het meetinstrument wordt ruimte geboden voor aanvullingen van geïnterviewden. Deze nuanceringen zijn mogelijk van belang bij eventuele beleidskeuzes die de school op basis van de resultaten maakt. Het zelfevaluatie-instrument wordt ingezet op een door de school gekozen moment. De school is verantwoordelijk voor het informeren vooraf en achteraf over doel, werkwijze en resultaten, zorgvuldige afname, interpretatie van de gegevens en de keuze voor de ontwikkelagenda. De beoordeling aan de hand van de standaarden en indicatoren wordt uitgevoerd door personeelsleden die vooraf door het management gekozen zijn. De auditoren worden vooraf geïnstrueerd en hebben zich ingelezen in de handleiding en de scoringslijsten. De handleiding wordt als leidraad genomen bij het uitvoeren van de evaluatie. De groep leraren waarbij de evaluatie wordt uitgevoerd zal over het algemeen homogeen zijn. Homogeen wat betreft opleiding en ervaring met het MKVS. Er zal wel verschil zijn wat betreft het niveau van functioneren, variërend van startbekwaam tot excellent functioneren.


10

2.3 De opbouw en ontwikkeling van het instrument

2.3.1 Welke onderdelen bevat het zelfevaluatie-instrument MKVS?

Het instrument bestaat uit: Standaarden

Een standaard is een algemene uitspraak over een aanvaardbaar niveau met betrekking tot het gebruik en toepassing van het Montessori KindVolgSysteem in de dagelijkse onderwijspraktijk. Het zegt iets over de gewenste kwaliteit en kan opgevat worden als een gewenst streefniveau. Een standaard kan gezien worden als een maatstaf, een norm, een kwaliteitseis. De standaarden zijn de uitgangspunten van het zelfevaluatie-instrument. Door toepassing van het zelfevaluatie-instrument wordt er een uitspraak geformuleerd over de mate waarin de school voldoet aan de standaard. Het levert informatie op voor verbetering en handhaving. De standaarden zijn gebaseerd op de handleiding van het KindVolgSysteem voor het montessorionderwijs (Els Westra) en de gebruikershandleiding van het digitale MKVS (Unilogic en MKVS). De standaarden zijn vastgesteld aan de hand van de grondslagen en conceptomschrijvingen van het MKVS. Het zelfevaluatie-instrument bevat negen standaarden die de ‘best practice’ ten aanzien van het gebruik van het MKVS vertegenwoordigen. Indicatoren

Vanuit een standaard zijn indicatoren geformuleerd. Door de indicatoren is het mogelijk om een standaard te toetsen. De indicatoren zijn de meetbare elementen van een standaard. Daarmee kan de vraag worden beantwoord of we de handelingen die we doen ook goed doen. Er zijn drie soorten indicatoren: 1. Structuurindicator; heeft betrekking op de organisatie van de werkomgeving en

geeft aan wat er nodig is. Welke middelen moeten er beschikbaar zijn? 2. Procesindicator: deze richt zich op afspraken met betrekking tot de uitvoering en

geeft antwoord op de vraag hoe de handeling uitgevoerd moet worden. 3. Productindicator: deze heeft betrekking op de uitkomsten en geeft aan wat het

resultaat van de handeling moet zijn.

Indicatoren moeten SMART geformuleerd zijn. De letters van SMART staan voor:

• Specifiek: het moet eenduidig zijn. • Meetbaar: onder welke (meetbare/observeerbare) voorwaarden of vorm is

het bereikt. • Acceptabel: het moet relevant en geaccepteerd zijn. • Realistisch: het moet haalbaar zijn. • Tijdgebonden: wanneer (in tijd) moet het bereikt zijn.

Het zelfevaluatie-instrument bevat in 56 indicatoren. Voor het standaard horend bij het werkdossier van het kind zijn nog geen indicatoren geformuleerd. Dit werkdossier is in ontwikkeling. Evaluatieformulieren: 1. Evaluatieformulier MKVS per leraar: waar overzichtelijk en eenvoudig de indicatoren

gescoord worden, bevindingen en verbetersuggesties genoteerd kunnen worden. Het scoren wordt gedaan door de auditoren; leden van het team, zoals intern begeleider, bouwcoördinator, leraren en directie.

2. Verzamelstaat resultaten zelfevaluatie MKVS: voor weergave van de resultaten: daarin worden alle scores, bevindingen en verbetersuggesties genoteerd. De auditor(en) maakt (maken) het verslag.


11

Scoring en normering

Met de indicatoren kan een gefundeerde uitspraak gedaan worden over de standaard. Elke standaard wordt gemeten aan de hand van meerdere indicatoren. De indicatoren worden weer op verschillende manieren beoordeeld. De wijzen van beoordelen zijn: documentanalyse, observatie, bevragen. Elke indicator wordt gescoord met voldoet wel of voldoet niet. Een standaard geldt als voldaan wanneer 80% van de indicatoren een positieve score heeft behaald. Wanneer 90% van de onderzochte leraren een positieve score heeft op een standaard, dan is schoolbreed aan de betreffende standaard voldaan. Handleiding

Het zelfevaluatie-instrument MKVS is voorzien van een handleiding waarin de gebruiker wordt geïnformeerd over het doel, de pretentie, werkwijze, gebruik en de verantwoording van het instrument. In eerste instantie zal de gebruikershandleiding voor de testfase zijn geschreven en zal nog niet aan alle voorwaarden worden voldaan waar een handleiding (COTAN 2004) aan moet voldoen. Het zelfevaluatie-instrument MKVS zal worden onderzocht op kwaliteit en bruikbaarheid, waarna het instrument wordt aangepast en verbeterd.

2.3.2 Hoe is het zelfevaluatie-instrument ontwikkeld?

Het instrument is ontwikkeld door mijzelf met behulp van een critical friend en een resonans groep. Bij de ontwikkeling van het instrument is tevens de auteur van het MKVS nauw betrokken geweest, i.v.m. de representativiteit van de standaarden en indicatoren. Daarnaast hebben een viertal deskundigen de standaarden en indicatoren onafhankelijk van elkaar beoordeeld. De beoordelaars zijn allen goed ingewerkt in het MKVS en werken er mee op verschillende niveaus. De beoordelaars hebben gekeken naar de representativiteit van de standaarden en indicatoren voor de grondbeginselen van het MKVS. Dit i.v.m. de dekkingsgraad van de kwaliteitsdimensies van het MKVS. Verder hebben ze de standaarden en indicatoren beoordeeld op hun eenduidigheid, formulering en toetsbaarheid. Een eerste versie van het instrument is ontwikkeld voor en toegepast op de montessorischool te Bergen op Zoom. De hieruit verkregen feedback uit evaluaties is meegenomen bij de ontwikkeling van het huidige evaluatie-instrument. Daarnaast is het in ontwikkeling zijnde instrument verschillende malen gepresenteerd aan de landelijke kerngroep MKVS en aan directeuren, leraren en opleiders binnen het montessorionderwijs. Feedback uit deze presentaties t.a.v. het instrument zijn meegenomen in de ontwikkeling ervan. Verder zijn alle stappen in het ontwikkelproces en correcties besproken met een coach en critical friend. De betrokken partijen:

• Astrid Ottenheym-Vliegen, de auteur van het zelfevaluatie-instrument MKVS: Het zelfevaluatie-instrument voor montessorischolen en MKVS gebruikers is het intellectuele eigendom van de auteur. De auteur is de leider en ontwerper van dit project en heeft de uiteindelijke verantwoordelijkheid.

• Els Westra, auteur van het MKVS: Voor goede interpretatie en weergave van de standaarden en indicatoren heeft Els Westra de geformuleerde grondslagen, standaarden en indicatoren beoordeeld. Els Westra is om advies gevraagd telkens voordat de standaarden en indicatoren ter beoordeling aan de resonansgroep werden voorgelegd.

• Resonansgroep: De resonansgroep bestaat uit vier expertleden, zij hebben allen zitting in de kerngroep MKVS en zijn nauw betrokken bij uitwerking en invoering van het MKVS in de diverse montessorischolen. Zij zijn allen goed ingevoerd in het denken vanuit de montessorivisie en al haar kenmerken en het MKVS. De leden van de


12

resonansgroep hebben de standaarden en indicatoren beoordeeld op hun formulering en op hun geldigheid en toepassing binnen het MKVS. De leden van de resonansgroep zijn: Pieter Paans (onderwijsadviseur EDUX) , Nel de Groot (lerarenbegeleider/coach Monton scholen), Janneke Geluk (onderwijsadviseur CED-groep), Els Wasman (opleider Hogeschool Arnhem). De leden van de resonansgroep hebben na iedere ontwikkelstap de resultaten ter beoordeling voorgelegd gekregen. Zij gaven ieder op persoonlijke titel feedback en advies aan de auteur over de inhoud, eenduidigheid, formulering, en andere zaken die de kwaliteit van het product ten goede komen.

• Coach Drs. Pieter Paans is naast lid van de resonansgroep ook coach, critical friend, voor de auteur gedurende het project. Pieter is betrokken geweest bij het ontwikkelen van de KIK-kaarten en het begeleiden van invoeringstrajecten MKVS. Pieter Paans werkt al vele jaren als onderwijsadviseur bij EDUX . Hier heeft hij onder andere een uitgebreide ervaring als coach en onder meer al vele jaren montessorischolen begeleid.

2.4 De standaarden en indicatoren van het instrument

De standaarden van het MKVS zelfevaluatie-instrument

1. De leraar kan de lusmomenten die zich voordoen tijdens de werkactiviteiten van een kind herkennen, verwoorden en gebruiken om het eigen handelen op af te stemmen.

2. De leraar handelt bewust, doelmatig en procesmatig. 3. De leraar werkt systematisch aan het kinddossier 4. In het werkdossier MKVS is zichtbaar dat het kind hier minimaal één keer per week

in werkt. 5. De leraar heeft signaleringen ten aanzien van de ontwikkelingsgebieden:

waarneming, motoriek, taal, rekenen / wiskunde, geometrie, kennisgebieden en perioden van groei.

6. De leraar heeft de registraties ingevoerd. 7. De leraar heeft inzicht in het verloop van de ontwikkelingsmomenten van een kind,

neemt overwogen beslissingen ten aanzien van ontwikkelingsmomenten. 8. De leraar brengt de leeropbrengsten die zich tussen het ene en het andere

leermoment voordoen in beeld met behulp van het MKVS. 9. De leraar heeft de algemene gegevens van het kind in het MKVS ingevoerd.

De indicatoren van het MKVS zelfevaluatie-instrument


1.1 De leraar kan uitleggen aan de hand van het lusmodel met welke leeractiviteit een kind bezig is. (verwerving, verwerking, betekenisverlening en integratie). 1.2 De leraar heeft aan de beslissingen, daar waar van toepassing, een tijdpad verbonden. 1.3 De leraar kan onderbouwd uitleggen/verantwoorden hoe hij/zij zijn/haar gedrag afstemt op de ontwikkeling en leeractiviteiten van een kind. 1.4 De lusmomenten waarin het kind en de leraar zitten, kan de leraar aan de hand van het lusmodel duidelijk maken. (Bevragen: aan de hand van 2 random gekozen kinderen n.a.v. 2

signaleringen.)


13

2. De leraar handelt bewust, doelmatig en procesmatig. 2.1 De leraar gebruikt de signaleringen bij het plannen van lesjes, observaties, diagnoses, registraties en evaluaties. 2.2 De leraar werkt vanuit vooraf bepaalde keuzes en beoogde resultaten. 2.3 De leraar verbindt een waardeoordeel aan de prestaties van kinderen. 2.4 De leraar kan aantonen dat zij reflecteert op eigen gedrag.

(observatie en bevragen)

3. De leraar werkt systematisch aan het kinddossier. 3.1 De leraar heeft voor elk kind een digitaal MKVS kinddossier beschikbaar in

de klas. (documentanalyse)

3.2 De leraar heeft minimaal 4 à 5 signaleringen per dag per klas. (documentanalyse)

3.3 De leraar heeft achter elke signalering een beslissing staan: A (afwachten), L (lesje), O (observatie),D (diagnose), E (evaluatie) of R (registratie).

(documentanalyse)

3.4 De leraar maakt gedurende de dag tijd voor het noteren van signaleringen. (observatie en bevragen)

3.5 In het statusoverzicht zijn niet meer dan 3 verlopen beslissingen per klas.

(documentanalyse)

3.6 De leraar maakt gebruik van gerichte observatie wanneer zij meer duidelijkheid wil over het gesignaleerde. De observatie gebeurt m.b.v. het driekolommen observatiemodel.

3.6.1 De uitgevoerde observaties staan vermeld in het Observatie-overzichtsblad: ja/nee 3.6.2 Observatiedatum is vermeld: ja/nee; 3.6.3 Observatiedoel is vermeld: ja/nee; 3.6.4 Drie kolommenmodel is gebruikt: ja/nee; 3.6.5 De drie kolommen zijn op de juiste manier ingevuld:

Ik neem waar.. ja/nee, Ik voel hierbij…ja/nee, Ik begrijp dat…ja/nee.

3.6.6 Het vak geregistreerd gedrag/ vaardigheden is correct ingevuld: ja/nee

3.6.7 Conclusie /consequentie van observatie is vermeld: Ja/nee

(documentanalyse en bevragen)

3.7 De leraar slaat de toegevoegde gegevens betreffende de historie en ontwikkeling van het kind, zoals handelingsplannen, medische gegevens, externe begeleiding, interne begeleiding, consultatie en dergelijke op in het daarvoor bestemde journaal (indien van toepassing). (documentanalyse en bevragen)

3.8 Na het voeren van een oudergesprek legt de leraar de belangrijkste bevindingen vast in het journaal oudergesprek. (Indien van toepassing)


3.9 De leraar gebruikt het MKVS bij de bespreking van het kind bij:


14

Overdracht naar collega Leerling-bespreking. Doel, datum en resultaat staan genoteerd in het MKVS-dossier.


4. In het werkdossier MKVS is zichtbaar dat het kind hier minimaal één keer per week in werkt. Pm: het werkdossier is in ontwikkeling en deze standaard is nog niet uitgewerkt in indicatoren. Naar verwachting is het werkdossier in 2011 operationeel, dan zal deze standaard verder worden uitgewerkt.

5. De leraar heeft signaleringen ten aanzien van de ontwikkelingsgebieden: waarneming, motoriek, taal, rekenen / wiskunde, geometrie, kennisgebieden en perioden van groei. 5.1 Waarneming: ja / nee 5.2 Motoriek: ja / nee 5.3 Taal: ja / nee 5.4 rekenen / wiskunde: ja / nee 5.5 geometrie: ja / nee 5.6 kennisgebieden: ja / nee 5.7 perioden van groei: ja / nee

(documentanalyse)

6. De leraar heeft de registraties ingevoerd. 6.1 Waarneming: ja / nee 6.2 Motoriek: ja / nee 6.3 Taal: ja / nee 6.4 rekenen / wiskunde: ja / nee 6.5 geometrie: ja / nee 6.6 kennisgebieden: ja / nee 6.7 perioden van groei: ja / nee

(documentanalyse)

7. De leraar heeft inzicht in het verloop van de ontwikkelingsmomenten van een kind en neemt naar aanleiding daarvan overwogen beslissingen. 7.1 De leraar kan verantwoorden waarom zij gekozen heeft voor afwachten n.a.v. een signalering.

7.2 De leraar kan verantwoorden waarom zij gekozen heeft voor een lesje n.a.v. een signalering.

7.3 De leraar kan uitleggen wat de essentie was van het lesje: begeleiden, inwijden of ingrijpen. 7.4 De leraar kan uitleggen wat zij met het lesje wil bereiken. 7.5 De leraar kan aangeven in hoeverre het doel van het lesje bereikt is. 7.6 De leraar kan verantwoorden waarom zij gekozen heeft voor een gerichte observatie n.a.v. een signalering. 7.7 De leraar kan verantwoorden waarom zij gekozen heeft voor diagnose n.a.v. een signalering. 7.8 De leraar kan verantwoorden waarom zij gekozen heeft voor evaluatie (feedback geven/ vragen stellen). 7.9 De leraar kan de gedane registraties verantwoorden. De leraar kan t.a.v. ontwikkelingsdomeinen de zone van de naaste ontwikkeling uitleggen. 7.10 De leraar kan het niveau van begrijpen aan de hand van de taxonomie cognitieve domein van Bloom toepassen. (kennis, begrip, toepassing, analyse, synthese en evaluatie) 7.11 De leraar kan uitleggen welke vragen zij stelt aan het kind en waarom zij daarvoor kiest (zie 7.10).


15

(Bevragen: aan de hand van 2 random gekozen kinderen en de bij de kinderen

horende signaleringen)

8. De leraar brengt de leeropbrengsten die zich tussen het ene en het andere leermoment voordoen in beeld met behulp van het MKVS. Alle registraties per ontwikkeldomein zijn door de leraar gebaseerd op een signalering. Waarneming: ja / nee Motoriek: ja / nee Taal: ja / nee Rekenen /wiskunde: ja / nee Geometrie: ja / nee Kennisgebieden: ja / nee Periode van groei: ja / nee (document analyse)

9. De leraar heeft de algemene gegevens van het kind in het MKVS ingevoerd. 9.1 De gegevens in het leerling-venster zijn ingevuld. 9.2 De gegevens administratie – leerling, basis zijn ingevuld. 9.3 De gegevens administratie – leerling, gezin zijn ingevuld. 9.4 De gegevens administratie – leerling, medisch zijn ingevuld. 9.5 De gegevens administratie – leerling, bijzonderheden zijn ingevuld indien nodig. 9.6 De vrije velden worden overeenkomstig schoolafspraak gebruikt. 9.7 De journaalregels worden overeenkomstig schoolafspraak gebruikt.

(documentanalyse + bevragen)


16

3. Doelstelling en onderzoeksvraag In dit hoofdstuk wordt de probleemstelling uitgewerkt en vanuit de literatuur nader bekeken. De probleemanalyse is vertaald naar het doel van dit onderzoek en een concrete onderzoeksvraag. De formulering van de onderzoeksvraag is wezenlijk voor het vervolgtraject en het behalen van het onderzoeksdoel.

3.1 Probleemstelling

Zelfevaluatie-instrumenten moeten aan verschillende eisen voldoen willen ze hun waarde hebben voor de gebruiker met een evaluatievraag. In welke mate voldoet het zelfevaluatie-instrument MKVS aan:

� Eisen aan validiteit? � Mate van betrouwbaarheid? � Gebruikerskwaliteit? � Dekking kwaliteitsdimensies? � Suggesties voor schoolontwikkeling?

3.2 Gewenste situatie

Het zelfevaluatie-instrument MKVS voldoet, voor zover voor een interne formatieve evaluatie noodzakelijk is, aan de eisen van validiteit en betrouwbaarheid. Het zelfevaluatie-instrument is gebruiksvriendelijk; de montessorischolen die het gebruik van het MKVS willen evalueren kunnen het instrument zelfstandig, hoogstens na introductie van een deskundige in het evalueren van het MKVS, in hun kwaliteitszorg toepassen. De grondslagen van het MKVS (kwaliteitsdimensies van het MKVS) zijn zichtbaar in het zelfevaluatie-instrument. Het levert scholen daadwerkelijk die informatie waarmee ze de kwaliteit van het gebruik van het MKVS kunnen vergroten. Door toepassing van het zelfevaluatie-instrument MKVS verkrijgt de school suggesties voor schoolontwikkeling. Het instrument biedt de school focus op hetgeen belangrijk is voor de kwaliteit van het gebruik van het MKVS in de onderwijspraktijk.

3.3 Probleemverheldering

Het zelfevaluatie-instrument MKVS is vanuit een behoefte van montessorischolen ontwikkeld om de kwaliteit van het gebruik van het MKVS te evalueren en te beoordelen. Het gaat hier dus om een nieuw ontwikkeld instrument. Het zelfevaluatie-instrument MKVS wil een antwoord leveren op de vragen: Doen we de dingen goed en hoe weten we dat? (Q-primair, werkmap kwaliteitszorg) Newton (2007) ondersteunt dit. Evalueren betekent zo veel als mogelijk relevant bewijs en argumenten verzamelen om te kunnen beoordelen of het systeem werkt zoals het zou moeten werken en of het in het belang is van de participanten, stakeholders en de maatschappij. Kwaliteitszorg betekent dat scholen systematisch de ‘goede dingen nog beter proberen te doen’. Het regelmatig onderzoeken of dat werkelijk zo is, checken scholen met behulp van adequate instrumenten. Scholen kunnen er voor kiezen om deze check zelf uit te voeren of door derden. Met behulp van een heldere beleidscyclus (planning- en controlecyclus) zorgen scholen dat de kwaliteit wordt geborgd en daar waar mogelijk verbeterd. De systematische aanpak bestaat uit het systematisch evalueren en verbeteren van de kwaliteit. (Haaijer, van der Linde, 2003)


17

Met behulp van instrumenten voor evaluatie van kwaliteit en kwaliteitszorg kunnen analyses gemaakt worden. Daarmee wordt informatie vergekregen over welke onderdelen gaan goed en welke behoeven extra aandacht. Hiermee kunnen actiepunten voor de komende jaren bepaald worden. De systematische aanpak wordt bepaald door het herhaald uitvoeren van de cyclus van plannen, uitvoeren, evalueren en aanpassen Zoals zichtbaar gemaakt in de verbetercyclus van Deming1.

Plan: een plan van aanpak opstellen voor verbetering. Do: Uitvoering van het plan, de processen in de organisatie. Check: Toets en evaluatie, van het proces (van de uitvoering, verloopt het volgens plan?) en van de (tussentijdse) resultaten. Act: Bijstellen van het plan of van de doelen of van de uitvoering. Een goede ‘act’ kan leiden tot nieuwe verbeterplannen én tot borging. (Q-primair, werkmap kwaliteitszorg) Het zelfevaluatie-instrument MKVS geeft invulling voor de check. Het gaat hier om het leren en verbeteren. Daarnaast geeft het informatie ten behoeve van act; het opstellen van een verbeterplan en het borgen (behouden en vieren van wat goed gaat). In deze zin kan het zelfevaluatie-instrument MKVS werken als een hefboom om de kwaliteit te verbeteren. Het zelfevaluatie-instrument is een meetinstrument dat een gestructureerde vorm van dataverzameling inhoudt. De data worden op een directe manier verkregen middels een interview, documentanalyse en observatie. Bij het gestructureerd verzamelen is van te voren bekend wat voor informatie nodig is Hierbij worden gerichte vragen of observaties uitgevoerd, waarbij het gedragsalternatief kan worden aangekruist. (Baarda, De Goede, 2006) Daarnaast vindt er een waardebepaling plaats. (Lowyck, Verloop, 2003) De gewenste kennis en informatie worden rechtstreeks verkregen van de betrokkenen; in dit geval de leraren van de montessorischool die werkt met het MKVS. Het voordeel van directe informatieverzameling is dat je direct vaststelt wat je wilt meten. Dit komt ten goede aan de validiteit. (Baarda, De Goede, 2006) Een interview wordt toegepast om data te verzamelen over attitudes, opinies, gedragingen uit het verleden of kennis. (Baarda, De Goede, 2006) We interviewen mensen om dingen te weten te komen die we niet rechtstreeks kunnen observeren. Wanneer we het hebben over de schoolontwikkeling, hetgeen met het toepassen van het zelfevaluatie-instrument MKVS is bedoeld, hebben we het over het ontwikkelen van capaciteiten (Verbiest, 2004). Verbiest maakt onderscheid in drie niveaus van capaciteiten, namelijk: organisatorische, persoonlijke en inter-persoonlijke. Deze capaciteiten zijn, zoals Verbiest stelt, wederzijds van elkaar afhankelijk. Dus wil men een beeld krijgen van de organisatorische capaciteit dan moet men een beeld hebben van de persoonlijke capaciteit; wil men de organisatorische capaciteit ontwikkelen dan moet men de persoonlijke capaciteit ontwikkelen en vice versa. Voor het kennen van de

1 De kwaliteitscirkel van Deming is een hulpmiddel voor kwaliteitsmanagement en probleem oplossen ontwikkeld door William Edwards Deming


18

persoonlijke capaciteit is het belangrijk de gehanteerde handelingstheorie van de leraren te kennen en te analyseren. Handelingstheorie is de kennis of informatie die mensen hebben verworven op basis van ervaring. De persoonlijke handelingstheorie beïnvloedt het gedrag en het gedrag bepaalt de gevolgen (resultaten). (Verbiest, 2004) De persoonlijke handelingstheorieën bevatten inhoudelijke kennis (weten dat), procedurele kennis (weten hoe) en normatieve kennis (waarden en doelen). (Verbiest, 2004) Met behulp van deze theorieën reduceren we grote hoeveelheid incomplete, vage, onduidelijke informatie waarmee leraren te maken hebben en het vormt de basis voor beslissingen hoe te handelen. Dit betekent dat het zelfevaluatie-instrument informatie over de handelingstheorieën van leraren t.a.v. het MKVS dient te generen wil de school inzicht krijgen in de organisatorische capaciteit t.a.v. het gebruik van het MKVS. Daartoe moet dat het instrument attitudes, opinies, kennis en gedragingen t.a.v. het MKVS van leraren binnen de school zichtbaar maken. Roelofs & Sanders (2003) schetsen eenzelfde beeld in hun procesmodel voor competent handelen. De professionele basis voor beroepstaken in kritische situaties bestaat uit: kennis, vaardigheden, opvattingen en persoonlijke eigenschappen. Deze professionele basis bepaalt achtereenvolgens, zoals beschreven in het model, het inschatten, afwegen en beslissen in kritische situaties en vervolgens het handelen. Dit alles heeft invloed op de gevolgen. In hun beoordelingsassessment voor competent handelen worden genoemde vier onderdelen beoordeeld. Het zelfevaluatie-instrument is een meetinstrument met evaluatiedoeleinden. Er worden verschillende soorten meetinstrumenten onderscheiden. Er bestaan indelingen op basis van meetpretentie, testinhoud, wijze van afname, enzovoort. Al deze meetinstrumenten moeten aan dezelfde kwaliteitseisen voldoen.(Evers e.a. 1988). Evers e.a. (1988) stellen dat de strengheid van de eisen afhankelijk is van de functie die de auteur en/of gebruiker claim(t)(en). De mate waarin richtlijnen toegepast dienen te worden is afhankelijk van de betekenis van het instrument. De betekenis is afhankelijk van de gebruikerssituatie. ‘Betekenis’ wordt in dit kader opgevat als functie voor mogelijke gevolgen die een testprocedure kan hebben voor personen, instellingen en de samenleving als geheel.(Evers e.a. 1988) Allereerst moeten dus het doel en de betekenis worden vastgesteld voordat het instrument kan worden geëvalueerd. Het zelfevaluatie-instrument MKVS wordt ingezet ten behoeve van schoolontwikkeling en is dus een instrument waarmee de school informatie verkrijgt om het handelen te verbeteren. Het is in die zin bedoeld om van te leren. Het zelfevaluatie-instrument heeft dus een formatieve betekenis (Newton, 2007)(Hopkins, 2008). Summatieve en formatieve evaluatie verschillen intrinsiek weinig van elkaar. Het onderscheid tussen beide is bedoeld om het verschil in functie te duiden. Formatieve evaluatie is ondersteunend bij de verbetering van ontwikkelde artefacten. Ze levert daarvoor de input en wordt uitgevoerd door, of in opdracht van iemand die het artefact in kwestie kan verbeteren. De kernfunctie van formatieve evaluatie is: het vergaren en beoordelen van informatie over de kwaliteit van een ontwerp, in dienst van het maximaliseren van de potentiële effectiviteit van het ontwerp. (Maslowski, Visscher, 1997) Bij summatieve evaluatie houdt een beoordeling in. Het is bewijzen dat iets is gedaan of bereikt. (Hopkins, 2008) De evaluatie heeft in die zin alleen impact en betekenis voor de gebruiker zelf. De gebruiker van het zelfevaluatie-instrument genereert zelf informatie met behulp van het instrument en bepaalt zelf welke consequenties het heeft voor de schoolontwikkeling en de ontwikkeling van de leraren werkend op de betreffende school.


19

3.4 Doel van het onderzoek

Het doel van het onderzoek is om het zelfevaluatie-instrument MKVS te verbeteren. Om dit doel te bereiken wordt het zelfevaluatie-instrument MKVS geëvalueerd aan de hand van een aantal kwaliteitseisen. Het onderzoek zal naar verwachting suggesties ter verbetering van de kwaliteit van het zelfevaluatie-instrument generen. In bredere zin zal het een bijdrage leveren aan de kwaliteit van het montessorionderwijs.

3.5 Onderzoeksvraag

Het object van het onderzoek is het door mij ontwikkelde zelfevaluatie-instrument MKVS. De centrale vraag is: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?” De kwaliteit wordt geoperationaliseerd in de variabelen: uitgangspunten van de testconstructie, kwaliteit van het testmateriaal en de handleiding, normen, betrouwbaarheid, validiteit en gebruiksvriendelijkheid. Om na te gaan hoe het is gesteld met de kwaliteit van het zelfevaluatie-instrument MKVS kunnen de volgende twee deelvragen worden gedestilleerd: 1. Welke kwaliteitseisen gelden er voor een zelfevaluatie-instrument? 2 Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen?

a. Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen? b. Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS?


20

4. Onderzoeksopzet Per onderzoeksvraag wordt in dit hoofdstuk de onderzoeksopzet uitgewerkt en besproken.

4.1 Onderzoeksopzet van onderzoeksvragen 1 en 2

Vraag 1: Welke kwaliteitseisen gelden er voor een zelfevaluatie-instrument? Literatuuronderzoek: verkenning van literatuur om een beeld te krijgen van in de theorie gestelde kwaliteitseisen aan een zelfevaluatie-instrument. Vraag 2: Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen? Kwalitatief formatief evaluatief onderzoek van het zelfevaluatie-instrument MKVS. De kernfunctie van formatieve evaluatie binnen ontwerpprocessen is het vergaren van informatie over de kwaliteit van een ontwerp, in dienst van het maximaliseren van de potentiële effectiviteit van het ontwerp. (Maslowski, Visscher, 1997) Het gaat hier om een analytische dimensionele evaluatie; het betreft de beoordeling van een evaluand op meerdere deelaspecten (dimensies), waarna de deeloordelen tot een overall-oordeel gecombineerd worden. (Maslowski, Visscher, 1997) Zoals in hoofdstuk 3 is beschreven, is vraag 2 opgesplitst in 2 deelvragen. De wijze van beantwoording van deze deelvragen worden in onderstaande paragrafen besproken.

4.2 Onderzoeksopzet van onderzoeksvraag 2a

Vraag 2a: Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen? Het zelfevaluatie-instrument MKVS wordt door de ontwikkelaar van het instrument beoordeeld met behulp van het COTAN-beoordelingssysteem (2004). Op basis van literatuuronderzoek wordt er een theoretische vergelijking gemaakt. Het resultaat zal ter beoordeling worden voorgelegd aan een critical friend (drs. P. Paans) waarna de bevindingen gecomplementeerd en zo nodig worden aangepast. Voor verdere operationalisering van de variabelen wordt het beoordelingssysteem voor de kwaliteit van tests ontwikkeld door COTAN (2004) gebruikt. De structuur van het beoordelingsinstrument dat voor dit onderzoek wordt gebruikt, is hetzelfde als het COTAN beoordelingssysteem. Alleen zullen de criteria inhoudelijk verschillen omdat een aantal criteria verder gaat dan voor formatieve evaluatie noodzakelijk is. Het COTAN beoordelingssysteem is bedoeld voor normatieve evaluatie. Bij deze vorm van evaluatie zijn de gevolgen voor de evaluand verstrekkender dan bij formatieve evaluatie, dat is bedoeld voor kwaliteitsverbetering, schoolontwikkeling. De vragenlijst bevat schaalpunten; - (1), -/+ (2) en +(3). Bij elke vraag is een handleiding en aanwijzingen per vraag beschikbaar. Het COTAN beoordelingssysteem is een vanaf 1998 doorontwikkeld systeem.

4.2.1 Uitgangspunten van de testconstructie

COTAN(2004) onderscheidt een drietal basisvragen. Hier wordt beoordeeld of op grond van de informatie de toekomstige gebruiker kan beoordelen of de test past bij het doel waarvoor hij/zij een test zoekt. Heldere omschrijving van de meetpretentie, de keuze van de testinhoud en de wijze waarop het (de) begrip(pen) word(t)(en) gemeten moeten omstandig verantwoord worden. De drie COTAN basisvragen die worden meegenomen in de vragenlijst zijn: de vragenlijst worden meegenomen in:


21

1.1. Is aangegeven wat het gebruiksdoel is van de test? 1.2. Is de herkomst van het constructie-idee beschreven en/of word(t)(en) het(de) te

meten construct(en) gedefinieerd? 1.3. Wordt de relevantie van de testinhoud voor het(de) te meten construct(en)

aannemelijk gemaakt?

4.2.2 Kwaliteit van het testmateriaal en de handleiding

COTAN 2004 onderscheidt hier een tweetal onderdelen, namelijk het testmateriaal en de handleiding. COTAN wil dat hiermee wordt beoordeeld of de scores op een test geïnterpreteerd kunnen worden als een betrouwbare maat. Daarbij gaat het om de standaardisatie van de afname en instructie. Gevraagd wordt naar: ontwerp, inhoud en vorm van het testmateriaal. De kwaliteit van het testmateriaal is in verregaande mate bepalend voor de validiteit en betrouwbaarheid van de test. (Keuning, 2004) Voor het detecteren van mogelijke tekortkomingen in de leesbaarheid en begrijpelijkheid van teksten is de mate van overeenstemming tussen de leesbaarheidsscores en de begrijpelijkheid van teksten belangrijk. (Maslowski, Visscher 1997) De testhandleiding is een belangrijke bron van informatie voor de (toekomstige) testgebruiker. In de testhandleiding dient tenminste informatie opgenomen te worden over het gebruik en de interpretatie van de test. (Keuning 2004) Van het onderdeel testmateriaal worden vragen betrokken bij het onderzoek, namelijk: Basisvraag: 2.1. Zijn de testopgaven gestandaardiseerd? Basisvraag: 2.2.b. Indien de scoring door beoordelaars of observatoren gebeurt, is dan het

beoordelings- of observatiesysteem volledig en duidelijk? Basisvraag: 2.3. Zijn de items vrij van racistische of voor bepaalde bevolkingsgroepen kwetsende

inhoud? (Bij negatieve beoordeling van één van de basisvragen (2.1, 2.2 en 2.3) kan men direct doorgaan naar criterium 2B) 2.4.a. Zijn items, testboekje, antwoordschalen en/of antwoordformulier zodanig

ontworpen dat fouten bij de invulling kunnen worden vermeden? 2.4.b. Hoe is de kwaliteit van het testmateriaal? 2.5. Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de

scoring kunnen worden vermeden? 2.6. Is de instructie voor de geteste volledig en duidelijk? Basisvraag: 2.7. Is een handleiding beschikbaar? (Bij negatieve beoordeling van vraag 2.7 kan men direct doorgaan naar criterium 3). 2.8. Zijn de aanwijzingen voor de testleider volledig en duidelijk? 2.9. Wordt informatie gegeven over de gebruiksmogelijkheden en beperkingen van de test? Van het onderdeel handleiding wordt vraag 2.10 niet betrokken bij het onderzoek. Hier wordt gevraagd naar een samenvatting van de onderzoeksresultaten in de handleiding. Dit is niet van toepassing bij het zelfevaluatie-instrument MKVS. De volgende vragen worden betrokken bij het onderzoek: 2.11. Wordt met behulp van voorbeelden aangegeven hoe testscores kunnen worden geïnterpreteerd? 2.12. Wordt gewezen op soorten informatie die bij de interpretatie van belang kunnen zijn?


22

2.13. Wordt de mate van deskundigheid die vereist is voor afname en interpretatie van de test vermeld?

4.2.3 Normen

Hierbij gaat het om de waardebepaling. Wat is het vastgestelde niveau precies waard? Wanneer ter beoordeling gebruik wordt gemaakt van absolute normen (leerdoelen, als standaarden of criteria) dan is er sprake van criteriumgerichte toetsing. (Verloop & Lowyck 2003) Er worden ook andere normeringen onderscheiden, namelijk de relatieve of groepsgerichte norm en de zelfgerichte norm. Het scoren van een test levert een zogenaamde ruwe score op. In het algemeen krijgt de ruwe score pas betekenis door deze te vergelijken met een norm. De norm kan direct zijn afgeleid van een omschrijving van het domein van vaardigheden of leerstof dat men dient te beheersen (domein gerichte interpretatie) of kan zijn gebaseerd op de scoreverdeling van een vergelijkingsgroep (normgerichte interpretatie). (COTAN 2004) Keuning (2004) maakt onderscheid tussen relatieve normeringprocedure en standaardbepalingsprocedure. Ten aanzien van dit onderdeel worden twee basisvragen van COTAN betrokken bij het onderzoek, namelijk: Basisvraag: 3.1. Worden normen (waaronder verwachtingstabellen of grensscores) verstrekt? Basisvraag: 3.2. Wat is de kwaliteit van de verstrekte normgroep(en)? De overige vragen zijn niet van toepassing voor het zelfevaluatie-instrument MKVS. De vragen gaan over normgroepen, meetfouten, standaardafwijkingen, mogelijke verschillen tussen subgroepen en norm groepen.

4.2.4 Betrouwbaarheid

Hoe minder een meting afhankelijk is van het toeval, des te betrouwbaarder is de meting. (Baarda, De Goede 2006)

De mate van betrouwbaarheid zegt iets over de reproduceerbaarheid van de meting. Voor een hoge mate aan betrouwbaarheid dient het instrument vrij te zijn van toevallige fouten (random error). Toevallige fouten zijn verschijnselen waarvan de waarden op een onvoorspelbare manier variëren rondom de gemiddelde waarde of werkelijke waarde. Ook de richting is onvoorspelbaar. Het is belangrijk de betrouwbaarheid van verkregen gegevens zo goed mogelijk te controleren, want deze bepaalt de waarde van de gegevens. (Baarda, De Goede 2006) Een methode om de betrouwbaarheid vast te stellen is de test-hertestmethode. Hierbij wordt de lijst na verloop van tijd nogmaals doorgenomen, dit om de stabiliteit vast te stellen. (Baarda, De Goede 2006) Voor de homogeniteit van de vragenlijst is het belangrijk dat een variabele in verschillende vragen is geoperationaliseerd. (Baarda, De Goede 2006) Vertaald naar het zelfevaluatie-instrument gaat het hierover de operationalisatie van de standaarden in indicatoren. Voor de homogeniteit moet er naar worden gestreefd dat de indicatoren aansluiten bij de standaarden. Een ander belangrijk aspect van betrouwbaarheid is de interrator-betrouwbaarheid. Deze verwijst naar de interbeoordelaars-overeenstemming. Belangrijk is dat de meting en interpretaties van de beoordelaars zoveel mogelijk overeenstemmen met de meting van hetzelfde object. Foutieve interpretaties geven een slechte reproduceerbaarheid. Voor een hoge beoordelaarsbetrouwbaarheid is het belangrijk dat de observatielijst duidelijk is en goede instructies bevat. (Baarda, De Goede 2006)


23

Bij de basisvraag (COTAN 2004) wordt gevraagd naar het wel of niet verstrekken van gegevens over betrouwbaarheid. COTAN stelt dat de indices voor betrouwbaarheid met vermelding van de foutenbron het mogelijk maken over een voor een bepaald doel betrouwbare test te spreken. Met behulp van de traditionele betrouwbaarheidsmaten wordt in feite de generaliseerbaarheid van scores over versies, items, tijdstippen en beoordelaars vastgesteld. COTAN (2004) en Keuning (2004) geven een aantal betrouwbaarheidstesten weer die in de beoordeling worden meegenomen. Daarbij wordt gekeken of de resultaten van deze tests voldoende zijn, gelet op het beoogde type beslissing dat met behulp van de test moet worden genomen. Het gaat hier om de paralleltestbetrouwbaarheid, interne-consistentiebetrouwbaarheid, test-hertestbetrouwbaarheid en de interbeoordelaarsbetrouwbaarheid. De COTAN vraag 4.3 wordt niet betrokken bij het onderzoek, omdat deze niet van toepassing is op het zelfevaluatie-instrument MKVS. 4.3. Beoordeel hieronder de kwaliteit van het onderzoek:

a. Zijn de procedures op grond waarvan de betrouwbaarheidsgegevens zijn berekend correct?

b. Zijn de steekproeven op grond waarvan de betrouwbaarheidsgegevens zijn berekend in overeenstemming met het beoogde testgebruik?

c. Maken de gegevens die worden verstrekt een gefundeerd oordeel over de betrouwbaarheid mogelijk?

De volgende COTAN vragen worden meegenomen: Basisvraag 4.1 wordt meegenomen in de vragenlijst voor de scholen waar het zelfevaluatie-instrument getest wordt: 4.1. Worden gegevens over de betrouwbaarheid verstrekt (Bij negatieve beoordeling van vraag 4.1 kan men direct doorgaan naar criterium 5A). Basisvraag 4.2 wordt door de onderzoeker met behulp van literatuur beantwoord. 4.2. Zijn de resultaten voldoende gelet op het beoogde type beslissingen dat met

behulp van de test moet worden genomen? a. paralleltestbetrouwbaarheid b. interne-consistentiebetrouwbaarheid c. test-hertestbetrouwbaarheid d. interbeoordelaarsbetrouwbaarheid

4.2.5 Validiteit

Validiteit is een belangrijke eis waar het meetinstrument in methodologisch opzicht aan moet voldoen. De validiteitvraag is: “Meet het instrument wat het beoogt te meten”. Bij validiteit gaat het om het wel of niet optreden van systematische fouten. COTAN (2004) en Keuning (2004) beoordelen beiden begripsvaliditeit en criteriumvaliditeit. Bij begripsvaliditeit gaat het erom te onderzoeken wat de test nu eigenlijk meet. (COTAN 2004) Begripsvaliditeit kan beoordeeld worden door de resultaten van het zelfevaluatie-instrument MKVS te vergelijken met andere instrumenten die beogen hetzelfde te meten. (Baarda, De Goede 2006). In dat geval moet een ander instrument beschikbaar zijn als valideringscriterium. In een instrument kan een intern criterium ingebouwd worden, bijvoorbeeld door naast indirecte vragen ook directe vragen te stellen. (Baarda, De Goede 2006) Bij criteriumvaliditeit onderzoekt men in hoeverre de testscore een goede voorspeller is van niet-testgedrag. (COTAN 2004) Deze is te vergelijken met de predictieve validiteit.


24

Begripsvaliditeit De COTAN vraag 5.3 wordt niet betrokken bij het onderzoek, omdat deze niet van toepassing is op het zelfevaluatie-instrument MKVS. Deze vraag gaat over de procedures die zijn toegepast bij de begripsvaliditeitsonderzoek. De Vragen 5.1 en 5.2 worden door de onderzoeker zelf met behulp van literatuur beantwoord. Basisvraag: 5.1. Worden gegevens over de begripsvaliditeit verstrekt?

(Bij negatieve beoordeling van vraag 5.1 kan men direct doorgaan naar criterium 5B)

5.2. Maken de resultaten voldoende aannemelijk dat het begrip zoals bedoeld, wordt gemeten (of: maken de resultaten voldoende duidelijk wat wordt gemeten)?

Criteriumvaliditeit De COTAN vragen 5.4 en 5.5 worden bij het onderzoek betrokken: 5.4. Worden er gegevens verstrekt over het verband test-criterium?

(Bij negatieve beoordeling van vraag 5.4 kan men de rest van de vragen overslaan).

5.5. Zijn de resultaten voldoende gelet op het beoogde type beslissingen dat met de test moet worden genomen?

De COTAN vraag 5.6 wordt niet bij het onderzoek betrokken, omdat deze niet van toepassing is op het zelfevaluatie-instrument MKVS. Het gaat hierbij om de gevolgde procedures bij het criteriumvaliditeitsonderzoek.

4.3 Onderzoeksopzet van onderzoeksvraag 2b

Vraag 2b: Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS? Bij deze vraag gaat het vooral om de gebruikerskwaliteit. Deze evaluatie vindt plaats in een ‘echte’ omgeving. Volgens Maslowki en Visscher (1997) verdient het evalueren van een gebruikgerichte evaluatie de voorkeur. De ‘echte’ omgeving in dit onderzoek bestaat uit vier montessorischolen, tevens gebruikers van het MKVS. Om deze vraag te kunnen beantwoorden worden de auditoren van de vier testscholen actief betrokken bij het onderzoek. De auditoren zijn de experts van de gebruikerskwaliteit van het zelfevaluatie-instrument MKVS. Zij zijn de gebruikers en voor hen moet het zelfevaluatie-instrument MKVS goed toepasbaar zijn en de gewenste informatie opleveren. Om tot een beoordeling te komen die leidt tot kwaliteitsverbetering van het zelfevaluatie-instrument MKVS zijn de meningen en ervaringen van de auditoren van belang. Het gaat hierbij om de zogenaamde ‘claims’, ‘concerns’ en ‘issues’ (CCI’s) van de belanghebbenden (de auditoren). De term 'claims' verwijst naar verwachtingen ten aanzien van het instrument, 'concerns' naar de zorgen, en 'issues' naar de discussiepunten. Deze CCI's zijn niet vooraf kenbaar, en moeten gaandeweg het onderzoek worden verkend. Naast het identificeren en beschrijven van de CCI's moet de evaluator achterliggende motiveringen en waardesystemen verhelderen. (Abma, 2000) Deze manier van evalueren hoort tot de vierde-generatie-evaluatie van Guba en Lincoln (1989). Hier wordt het evalueren gezien als een interactief proces van oordeelsvorming tussen groepen wier belangen worden geraakt door de evaluatie. (Abma 2000) De vraag ‘Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument?’ wordt beantwoord via een gezamenlijke dialoog over de gebruikerskwaliteit van het zelfevaluatie-instrument MKVS. In een gesprek wordt kennisgenomen van elkaars ervaringen en standpunten om zodoende te komen tot een oordeel over de gebruikerskwaliteit. De evaluatie kan gezien worden als een leerproces ter verbetering van het gebruiksgemak van het zelfevaluatie-instrument MKVS. Dus de onderzoeker gaat samen met de auditoren op zoek naar betekenisvolle inzichten ter verbetering van de gebruikerskwaliteit.


25

Het zelfevaluatie-instrument MKVS zal op vier scholen worden getest. Het proces van lerend evalueren zal al vanaf de introductie van het instrument op de school plaatsvinden. Daarnaast zal na de toepassing van het zelfevaluatie-instrument op de school een dialoog plaatsvinden over de zogenaamde CCI’s. Het testen van het instrument op de vier scholen zal niet tegelijkertijd starten, omdat de de introductie vooraf en evaluatie achteraf door één persoon (mijzelf) wordt verzorgd. Hierdoor vindt evaluatie – bijstelling – evaluatie plaats. Een lerende evaluatie vereist van onderzoekers dat zij verschillende rollen kunnen uitoefenen; ze moeten beschikken over verschillende vaardigheden en competenties. Daarnaast worden onderzoekers aangesproken op hun 'schakelend vermogen': het tijdig en vloeiend kunnen overstappen naar verschillende rollen. (Edelenbos, Buuren 2005) Aan dit onderzoek kunnen de volgende rollen onderscheiden worden:

• Ontwikkelaar van het instrument, • Onderzoeker naar de kwaliteit van het instrument, • Instructeur, coach van de auditoren, • Evaluator.

De onderzoeker zal zich bewust moeten zijn van deze verschillende rollen. Voor de rol van evaluator is een openstaande houding voor feedback noodzakelijk en mag het eigen perspectief niet de boventoon voeren. De evaluator is dan niet de expert maar een samenspeler. Om dit goed te kunnen waarborgen zullen de evaluaties plaatsvinden na de instructie en coaching en aan het eind van het traject. Verder zullen de bevindingen worden genotuleerd en voor verificatie worden voorgelegd aan de auditoren. De evaluatiedialoog als afsluiting van de test wordt tevens opgenomen. De opnames zijn alleen bedoelt voor dit onderzoek en de onderzoeker. Dit bevordert de transparante van de evaluaties. Daarnaast zal in het kader van evaluatie – bijstelling – evaluatie een logboek worden bijgehouden. De evaluaties vinden plaats per school met ongeveer twee auditoren. De agenda van de evaluatie ziet er als volgt uit: Na de instructie:

1. Is de te volgen afnameprocedure duidelijk? 2. Zijn de aanwijzingen voor de auditoren duidelijk? 3. Zijn voorafgaand aan de evaluatie de beoordelingscriteria voldoende helder? 4. Wat verwachten de auditoren dat de evaluatie gaat opbrengen? 5. Zijn er nog suggesties ter verbetering van de instructie?

Na de test:

1. Is de afnameprocedure van de evaluaties duidelijk? 2. Zijn de indicatoren duidelijk en helder? 3. Is het scoren van de indicatoren duidelijk? 4. Heeft de school bruikbare informatie verkregen voor het gebruik van het MKVS in

de school? 5. Is de verkregen informatie herkenbaar? 6. Heeft de verkregen informatie ook geleid tot nieuwe inzichten? 7. Heeft de school input gekregen voor kwaliteitsverbetering van het MKVS in de

school? 8. Zijn er nog andere suggesties om het gebruiksgemak te vergroten?

Voor het evaluatiegesprek na de instructie zal ongeveer 15 minuten worden gepland. Voor het evaluatiegesprek na de test zal ongeveer één uur worden ingepland.


26

De kwalitatieve bevindingen zullen worden geclusterd per vraag. De verschillende bevindingen zullen worden bekeken op overlappingen en overeenkomsten. Daarnaast zullen ze worden ondergebracht in de drie categorieën ‘claims’, ‘concerns’ en ‘issues’. Met deze onderzoeksopzet wordt betekenisvolle en waardevolle informatie verkregen over de bevindingen ten aanzien van de gebruikerskwaliteit zoals ervaren door de auditoren.

4.4 Onderzoekspopulatie

Het zelfevaluatie-instrument MKVS wordt ten behoeve van dit onderzoek op vier montessorischolen ingevoerd. De scholen kiezen zelf hun auditoren. De auditoren krijgen de handleiding en de scoringslijsten horend bij het zelfevaluatie-instrument MKVS uitgereikt. Tevens krijgen de auditoren ten behoeve van een juiste toepassing, zoals bedoeld in het kader van het instrument, een korte introductie en training. Hierna voeren de auditoren de zelfevaluatie zelfstandig uit met behulp van de scoringslijsten. Eisen die aan de testscholen worden gesteld:

• Allen gebruiken het digitaal MKVS als leerlingvolgsysteem. • 50% van de leraren die worden geaudit, worden verdeeld over de verschillende

bouwen met een evenwichtige verdeling wat betreft ervaring. Gekozen is voor een evenwichtige verdeling wat betreft bouw en ervaring, opdat deze variabelen de evaluatieresultaten niet zullen verstoren.

• Per school worden twee auditoren aangewezen, deze worden door de schoolleiding van te voren aan gewezen. De auditoren maken deel uit van het schoolteam.

• De school is zelf verantwoordelijk voor de wijze waarop ze gebruikt maakt van de door de zelfevaluatie gegenereerde informatie.


27

5. Kwaliteitscriteria voor evaluatie In de literatuur wordt een antwoord gezocht op de vraag “Welke kwaliteitseisen gelden er aan een zelfevaluatie-instrument?”. Het literatuuronderzoek is bedoeld om een theoretische inbedding te verkrijgen voor de operationalisatie van het begrip kwaliteit van zelfevaluatie-instrumenten. Zelfevaluatie-instrumenten passen binnen de integrale kwaliteitszorg. In dit kader heeft men het dan ook wel over interne audit. De integrale kwaliteitszorg behoort tot de derde kwaliteitsgolf, die zijn intrede deed na 1960. (Bakker, Steenbergen-Meerstens, 2006) De ontwikkeling van kwaliteitseisen hebben dan ook pas in de tweede helft van de vorige eeuw zijn intrede gedaan. Psychologische tests spelen een belangrijke rol in onze maatschappij. Even googlen op psychologische tests levert ongeveer 1.180.000 resultaten op. Assessment tests levert ongeveer 48.400.000 hits op. Voor degene die de test ondergaat heeft de uitslag soms vergaande consequenties. Denk maar onder andere aan het IQ- etiket, een diagnose als autisme of aanverwante stoornis, competentie beoordelingen, 360° feedback, leerlingvolgsysteemtests, sollicitatietests, ISO 2009, toetsingskader van de Inspectie van Onderwijs. Belangrijk is dat de tests van goede kwaliteit zijn en dat ze op de juiste manier gebruikt worden waar ze voor zijn bedoeld. (Evers e.a., 1988) Sinds 1967 worden richtlijnen voor ontwikkeling en gebruik van onderwijskundige en psychologische tests ontwikkeld en beschreven. (Evers, e.a., 2002). De eerste richtlijnen waren vertalingen en bewerkingen van Amerikaanse standaarden. Zo is het meest bekende en tevens het belangrijkste toetsorgaan COTAN ontstaan. Ook de inspectie verwacht van scholen dat zij voor de verantwoording van hun resultaten gebruik maken van betrouwbare, valide en genormeerde schoolvorderingstoetsen. (Inspectie van het onderwijs, 2009) In dit kader heeft de inspectie het over het voldoen aan de COTAN criteria. In Nederland worden psychologische en onderwijskundige tests beoordeeld op hun kwaliteit door de COTAN (Commissie Testaangelegenheden Nederland). (www.cotandocumentatie.nl) Cotan maakt ten behoeve van deze kwaliteitsbeoordeling gebruik van hun eigen beoordelingssysteem (2004). In het beoordelingssysteem van COTAN worden voor de beoordeling vijf hoofdcategorieën onderscheiden. Per categorie worden enkele basisvragen gesteld, en aan de hand van deze vragen wordt bepaald of aan een bepaald minimum is voldaan. Vervolgens wordt aan de hand van een per categorie variërend aantal criteria vastgesteld of aan het hoofdonderdeel een ‘onvoldoende’, ‘voldoende’ of ‘goed’ wordt toegekend. Een test wordt door de COTAN voorgelegd ter beoordeling aan twee onafhankelijke boordelaars. De kwaliteitsbeoordeling van een test leidt tot een waardering op de volgende hoofdonderdelen: 1. Uitgangspunten van de testconstructie. Een gebruiker moet kunnen beoordelen of de test past bij het doel waarvoor een test wordt gezocht. Het is daarom van belang een heldere omschrijving van de meetpretentie van de test te geven. Daarnaast moeten de keuze van testinhoud en de wijze waarop begrippen worden gemeten worden verduidelijkt. 2. Kwaliteit van het testmateriaal en de handleiding. De afname en instructie van een test moeten gestandaardiseerd zijn zodat de variatie door instructieverschillen of toetsleider is geminimaliseerd. Daarnaast moet er een duidelijke handleiding beschikbaar zijn. 3. Normen. Een ruwe score krijgt pas betekenis wanneer er een vergelijking mogelijk is met een norm. Hierbij kan er sprake zijn van domeingerichte interpretatie of normgerichte interpretatie. 4. Betrouwbaarheid. Er worden verschillende vormen van betrouwbaarheid onderscheiden:


28

paralleltestbetrouwbaarheid, interne-consistentiebetrouwbaarheid, test- hertestbetrouwbaarheid en interbeoordelaarsbetrouwbaarheid. Verder dient de generaliseerbaarheid vastgesteld te worden. 5. Validiteit. Het betreft hier de mate waarin een test aan zijn doel beantwoordt, oftewel kan men uit de testscores de conclusies trekken die bedoeld zijn. Er wordt hierbij aangesloten op de klassieke driedeling in validiteit: begripsvaliditeit, criteriumvaliditeit en inhoudsvaliditeit. Wools (2007) heeft voor de bepaling van de kwaliteit van competentie-assessments het Cotan-beoordelingssysteem bewerkt. De structuur van het door haar gehanteerde beoordelingsinstrument is hetzelfde als het COTAN-beoordelingssysteem, maar de criteria verschillen inhoudelijk. Keuning (2004) heeft vanwege zijn bewezen diensten het COTAN-beoordelingssysteem ook als uitgangspunt genomen voor de kwaliteitsbeoordeling van computer based tests. De door hem gehanteerde beoordeling is alleen afwijkend wat betreft vormgeving en manier van beoordelen. Door de toegenomen autonomie van scholen moeten scholen ook hun kwaliteit zichtbaar maken en hebben ze een bewijsplicht. In de Wet Primair Onderwijs (WPO, www.st-ab.nl/wetten/0725_Wet_op_het_primair_onderwijs_WPO.htm) wordt in artikel 12 over het schoolplan geschreven. Het dient een beschrijving te bevatten over het kwaliteitsbeleid en specifiek de bewaking en verbetering van de kwaliteit van het onderwijs. Dus langzamerhand begint de kwaliteitszorg gemeengoed te worden in scholen. Deze trend van deregulering en autonomievergroting is ingezet vanuit het paradigma dat het de kwaliteit van het onderwijs ten goede komt als scholen zelf zoveel mogelijk invloed hebben op de vormgeving van het beoordelen en bijsturen. (Haaijer, Linde, 2004) Naar aanleiding hiervan heeft de projectgroep Q-Primair de werkmap kwaliteitszorg ontwikkeld. In deel 3 van Q-Primair worden verschillende zelfevaluatie- instrumenten aan de hand van de volgende eisen beoordeeld.

� Eisen aan validiteit � Mate van betrouwbaarheid � Gebruikerskwaliteit � Dekkingskwaliteitsdimensies � Suggesties voor schoolontwikkeling

De eisen vormen de basis van een wetenschappelijk onderbouwd beoordelingskader. Uit het onderzoek blijkt dat de onderzochte instrumenten voldoende materiaal bieden voor goede kwaliteitszorg, maar dat geen enkel instrument perfect is. (Majoor, 2004) In het COTAN-beoordelingssyteem worden de zogenaamde traditionele kwaliteitscriteria volgens de psychometrische benadering gehanteerd. Kenmerken van de psychometrische benadering zijn: het object heeft vaste kenmerken, het is gerelateerd aan een norm, betrouwbaarheid door objectiviteit, de meting is gestandaardiseerd, summatieve functie, betrouwbaarheid is een noodzakelijke voorwaarde voor de validiteit. (Baartman, 2008) In de literatuur doen nieuwe kwaliteitscriteria hun intrede vanuit de edumetrische benadering. Uit het paper ‘Competentiegericht beoordelen op de Hogeschool Arnhem en Nijmegen (HAN)’ (Pietersen, 2007) valt te lezen dat ook de HAN in de toepassing van de kwaliteitseisen meer aandacht wil voor de edumetrie. In rapportage werkgroep assessment ter ontwikkeling van een assessment verpleegkundig specialist en assessment Master advanced nursing practitioner onder leiding van Dr. Wouter Schoonman in opdracht van consortium HBO instellingen staat bij de randvoorwaarden het voldoen aan de edumetrische eisen genoemd. Ook heeft de Open Universiteit in een evaluatieonderzoek de edumetrische kwaliteitseisen meegenomen. (Joosten e.a., 2006) De edumetrische benadering kenmerkt zich door: competentie ontwikkeling, referentie door criteria en zelfreferentie, betrouwbaarheid door menselijke observatie, beoordeling


29

door meerdere metingen en generaliseerbaarheid, formatieve functie, aanvullende kwaliteitscriteria. (Baartman, 2008) Aan het begin van een veranderende benadering van validiteit heeft Professor Samual Messinck (1931-1998) gestaan. Hij was een vooraanstaande Amerikaanse psycholoog die voor de Educational Testing Service te Princeton onderzoek heeft gedaan naar validiteit. Hij heeft validiteit onderzocht volgens de psychmetrische benadering. Later heeft hij in zijn zienswijze een revolutionaire verandering doorgemaakt door een uitgebreidere kijk te hebben op validiteitsonderzoek. (Gersten, Baker, 2002) Validiteit houdt volgens Messick een onderzoek in naar hoe testen werkelijk worden gebruikt. (Gersten, Baker, 2002) Hij heeft de interpretatie en het gebruik van de test aan elkaar gekoppeld. Validiteit heeft betekenis voor de testresultaten en is geen eigenschap van de test of van het assessment. (Messick, 1995) Hij heeft een raamwerk voor construct validiteit opgesteld door de traditionele validiteitaspecten, content, construct en criterium samen te voegen. Construct validiteit is een integratie van alle bewijzen die betrekking hebben op de interpretatie en betekenis van de testresultaten. Het raamwerk omvat zes aspecten van validiteit. Dit zijn content, substance, structure, consequences en externality. (Baartman, 2008) Van der Vleuten en Schuwirth (2005) kaarten en ander probleem aan in het werken met het traditionele concept van betrouwbaarheid. Betrouwbaarheid wordt volgens hen vaak verward met objectiviteit en standaardisatie. Volgens de zienswijze van beiden kan betrouwbaarheid ook worden bereikt bij minder gestandaardiseerde testen en meer subjectieve beoordeling door bijvoorbeeld menselijke observatoren, als de steekprof passend is. Betrouwbaarheid is belangrijk voor competentie assessment programma’s maar moet anders worden beschreven dan voor traditionele tests. (Baartman, 2005) Door het proces van verandering in het onderwijs van een toetscultuur naar een systeem gebaseerd op competenties is de behoefte toegenomen naar meer valide en betrouwbare methoden voor assessment. (Baartman e.a., 2004) Deze nieuwe vorm van op competentie-assessment gebaseerd leren maakt dat de kwaliteit van het assessment de kwaliteit van het onderwijs in zijn geheel beïnvloedt. Deze nieuwe vorm heeft nieuwe en andere criteria nodig om ze te evalueren. (Baartman e.a. 2007) Baartman heeft in haar onderzoek het raamwerk van Messick (1994, 1995) vergeleken met de tien kwaliteitscriteria van het Competentie Assessment Programma (CAP). Baartman (2008) heeft daartoe een 12 criteria raamwerk ontwikkeld. Het 12 criteria kwaliteitsraamwerk is ontwikkeld ter beoordeling van competentie-assessments programma’s. Baartman (2008) benoemt de volgende 12 criteria:

1. Passend bij het doel (fitness for purpose): de assessmentdoelen en methoden moeten compatible zijn bij de onderwijsdoelen. Parallel met het zelfevaluatie-instrument: De evaluatiedoelen en methoden moeten passen bij het MKVS.

2. Vergelijkbaarheid is gerelateerd aan het externe kwaliteitsaspect. Het assessment moet consistent zijn in werkwijze, taken, criteria en beoordeling.

3. Reproduceerbaarheid van beslissingen is gerelateerd aan de generaliseerbaarheid. De beslissing mag niet afhankelijk zijn van één assessor of één assessmentsituatie. Meerdere situaties, assessoren en opdrachten zijn nodig.

4. Transparantie is gerelateerd aan het structuur aspect van de construct validiteit. Duidelijkheid en helderheid van de wijze van beoordeling en de normering bevorderen het leerproces. De studenten en de assessoren moeten het waarom van het assessment en de criteria kennen.

5. Acceptatie: alle stakeholders moeten de criteria en de werkwijze goedkeuren. Zij moeten vertrouwen hebben in de kwaliteit van het assessment.

6. Eerlijke kans bieden voor het tonen van competenties. Hiervoor moeten verschillende assessmenttaken opgenomen zijn in het programma die het gehele domein van competenties of content moeten dekken. Dit criterium heeft betrekking op de content en op het structurele aspect van de construct validiteit.


30

7. Authenticiteit: de te beoordelen taak moet passend zijn voor de professie, realistisch en realiseerbaar zijn. Alle voor de professie benodigde kennis, vaardigheden en gedrag moeten in het assessment aanwezig zijn. Dit criterium hoort bij het content aspect van de construct validiteit.

8. Cognitieve complexiteit: betekent dat de vertegenwoordiging van het benodigde denkproces voor het oplossen van assessmentprobleem vergelijkbaar moet zijn met dat wat nodig is bij de professie. Ook dit hoort bij de construct validiteit en wel het substantieve aspect.

9. Betekenisvol: de opdrachten moeten herkenbaar en waardevol gevonden worden door de studenten. Dit is in het belang voor betekenishebbende feedback die het leerproces begeleiden. Dit hoort bij de consequentie en content aspect van de construct validiteit.

10. fitness for selfassessment: het gaat het om het vermogen van competentie-assessment programma’s om het leren te sturen.

11. Onderwijsconsequentie, dit heeft te maken met het consequentie aspect van de construct validiteit.

12. Kosten en efficiëntie: dit is een vreemde eend in de bijt, maar het kan verbonden worden met de externe validiteit.

Verder in haar onderzoek heeft zij deze criteria herschikt en gevat in een “Wheel of competence”. Fitness for purpose staat in het middelpunt, omdat dit de basis is voor de ontwikkeling van alle competentie-assessment programma’s. Met dit model heeft Baartman de oude en nieuwe criteria voor assessment beoordeling geïntegreerd. Kwantitatief onderzoek is nodig voor verdere validering. (Baartman, 2008) Een competentie is een integratie van kennis, vaardigheden en gedrag. Een assessment beoordeelt de competenties. (Baartman e.a. 2004). Zoals reeds in hoofdstuk 3 is beschreven, meet het zelfevaluatie-instrument attitudes, opinies, kennis en gedragingen t.a.v. het MKVS van leraren. Dit betekent dat de kwaliteitscriteria zoals Baartman (2008) heeft geformuleerd ook in grote mate toepasbaar zijn op het zelfevaluatie-instrument MKVS. De functie van beide is formatief. De kanttekening die hierbij gemaakt moet worden, is dat de consequentielast bij een competentie-assessment groter is dan het geval is bij het zelfevaluatie-instrument MKVS. Bij het assessment heeft het al dan niet voldoen aan de competenties gevolgen voor de individuele student, dus het heeft ook, hoewel niet primair, een summatieve functie. (Baartman, 2008) Terwijl het bij het instrument gaat om genereren van informatie ten behoeve van schoolontwikkeling. Het criterium ‘fitness for selfassessment’ is in de betekenis van het zelfevaluatie-instrument MKVS niet van toepassing, omdat hier geen sprake is van een assessment en de geschiktheid voor het doel komt al aan bod bij ‘fitness for purpose’. Het criterium ‘directheid’, zoals opgenomen in een raamwerk voor de kwaliteit van competentie-assessment programma’s die Baartman (2008) als basis heeft gebruikt voor de ontwikkeling van haar raamwerk, lijkt geschikter voor de kwaliteit van het instrument. Bij de ‘directheid’ gaat het om de directe wijze van meten. Deze heeft een belangrijke invloed op het leerproces. Het biedt focus. Het is niet alleen belangrijk voor de student, maar ook voor de beoordelaar, omdat de resultaten direct worden beoordeeld vergemakkelijkt dit de beoordeling. Het heeft te maken met construct validiteitaspect consequentie. (Baartman, 2008) In het zelfevalutie-instrument MKVS wordt ook een directe wijze van meten toegepast. De vraag is hier in welke mate heeft de directheid invloed op de kwaliteit van het instrument. In het kader van dit onderzoek wordt het criterium ‘fitness for selfassessment’ (Baartman, 2008) om bovengenoemde reden vervangen door het criterium ‘directheid’.


31

Bij het beoordelen van de ontwerpkwaliteit moet een kanttekening worden geplaatst. Het formatief evalueren van een ontwerp is geen garantie voor een effectief ontwerp. Daarvoor kunnen de volgende redenen worden genoemd:

• De kwaliteit van de ontwerper en de beschikbare ontwerpmiddelen zijn sterk van invloed op de kwaliteit van het ontwerpproduct.

• De aard en kwaliteit van evaluaties beïnvloeden de evaluatieopbrengst en daarmee de mate waarin tekorten worden opgespoord.

• Evaluatie-uitkomsten zijn niet altijd eenduidig (bijvoorbeeld zowel positieve als negatieve evaluaties van hetzelfde ontwerpaspect, -onderdeel);

• Een ontwerpproduct is doorgaans niet in alle opzichten en op alle onderdelen te testen.

• In veel gevallen zijn de oorzaak en geschikte aanpak van geconstateerde tekorten onbekend.

• De kennis, ervaring, intuïtie en het geluk van de revisor zijn van invloed op de kwaliteit van diagnose- en verbeteringsacties.

• Praktische randvoorwaarden (middelen, deadlines, de politieke context) kunnen ontwerpaanpassing bemoeilijken.

• Remedies voor problemen kunnen negatieve neveneffecten hebben. • De effectiviteit van een ontwerp is mede afhankelijk van de mate waarin en wijze

waarop het ontwerp wordt geïmplementeerd. (Maslowski, Visscher 1997) Dit betekent dat bij geconstateerde tekorten zorgvuldig overwogen moet worden of de baten van eventuele revisie opwegen tegen de daarvoor benodigde activiteiten en middelen en eventuele effecten daarvan. (Maslowski, Visscher, 1997) Zoals eerder besproken is de meetpretentie van belang voor de mate waarin het ontwerp aan de kwaliteitseisen moet voldoen. Hogere eisen zullen aan een meting moeten worden gesteld wanneer de consequentie voor de onderzochte groter is, zoals selectie of certificering. (Roelofs, Sanders 2002) De potentie van formatieve evaluatie is dermate groot dat men als ontwerper het uiterste behoort te doen om te profiteren van de voordelen die formatieve evaluatie kan bieden bij realisatie van kwaliteitsontwerpen. (Maslowski, Visscher, 1997)

5.1 Conclusie

De kwaliteitseisen van COTAN (2004) zijn het meest bekend en algemeen erkend. Er zijn evenwel soms interessante discussies op het internet te vinden over de haalbaarheid en geldigheid van de beoordeling, zeker wanneer het gaat over de eisen van betrouwbaarheid en validiteit. In het COTAN-beoordelingssyteem worden de zogenaamde traditionele kwaliteitscriteria volgens de psychometrische benadering gehanteerd. De COTAN kwaliteitseisen (2004) worden in dit onderzoek als meetlat voor het zelfevaluatie-instrument MKVS meegenomen. Daarnaast wordt er blijkend uit de literatuur meer en meer de edumetrische benadering toegepast. Een combinatie van de traditionele kwaliteitseisen aangevuld met nieuwe eisen zoals de 12 criteria van Baartman (2008). Hoewel deze zijn bedoeld voor de beoordeling van de kwaliteit van competentie-assessement programma’s kunnen ze betekenis hebben voor de kwaliteit van zelfevaluatie-instrumenten. Het gaat immers in beide gevallen om formatieve evaluatie van competenties voor de uitvoering van een professie. In de analyse over de kwaliteit van het zelfevaluatie-instrument MKVS worden deze criteria dan ook besproken. Op de vraag welke kwaliteitseisen gelden voor een zelfevaluatie-instrument kan er een combinatie gemaakt worden van de COTAN eisen (2004) en de 12 criteria van Baartman (2008). Behoudens het criterium ‘fitness for selfassessment’ (Baartman, 2008). In het kader van het zelfevaluatie-instrument MKVS lijkt het criterium ‘directheid’ geschikter.


32

6. Langs de COTAN meetlat In dit hoofdstuk staat de onderzoeksvraag ‘Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen?’ centraal. Voor de beantwoording van deze vraag is gebruik gemaakt van het ‘Beoordelingssysteem voor de kwaliteit van Tests’ versie augustus 2004 van COTAN. Allereerst is de kwaliteit van het zelfevaluatie-instrument MKVS aan de hand van de COTAN-criteria door mijzelf beoordeeld. Daarna heeft drs. P. Paans als tweede beoordelaar het instrument en de analyse kritisch beschouwd aan de hand van hetzelfde beoordelingssysteem van COTAN. De bespreking van de beoordelingsresultaten volgt de indeling van COTAN: 1. Uitgangspunten van de testconstructie. 2. kwaliteit van het testmateriaal en handleiding. 3. Normen. 4. Betrouwbaarheid. 5. Validiteit. Achter elke vraag zoals overgenomen uit het COTAN beoordelingssysteem staat de score vermeld, volgens de waardebepaling en normering van datzelfde beoordelingssysteem. Daaronder worden de verantwoording en analyse besproken.

6.1 Bevindingen

1. Uitgangspunten van de testconstructie 1.1 Is aangegeven wat het gebruikersdoel is van de test?: score + Bezinning op gebruikersdoel. Het doel, de meetpretentie van het zelfevaluatie-instrument, wordt in hoofdstuk 2 van de handleiding uitgelegd. De doelgroep is montessorischolen die het MKVS gebruiken. Het gaat om een interne formatieve beoordeling (Hopkins 2008). Het uitgangspunt is kwaliteitsverbetering. Het instrument wordt ingezet voor evaluatiedoeleinden. Het evalueert het gebruik van het MKVS op de school. Het zelfevaluatie-instrument MKVS heeft alleen waarde voor de school en wordt ingezet voor het generen van informatie ten behoeve van schoolontwikkeling. Het biedt handvatten voor leren en ontwikkelen. Het gaat om een domeingerichte interpretatie. Het resultaat wordt niet vergeleken met andere scholen. 1.2. Is de herkomst van het constructie-idee beschreven en/of word(t)(en) het(de) te

meten construct(en) gedefinieerd?: Score + Dit wordt besproken in hoofdstuk 4 van de handleiding (Het MKVS als basis voor het zelfevaluatie-instrument). Het te meten construct is het gebruik van het MKVS. De herkomst en het theoretisch kader worden besproken. 1.3. Wordt de relevantie van de testinhoud voor het(de) te meten construct(en)

aannemelijk gemaakt?: score + In hoofdstuk 3 (De opbouw en ontwikkeling van het instrument) van de handleiding wordt uitgelegd dat het instrument bestaat uit standaarden en indicatoren. De standaarden zijn gebaseerd op de handleiding MKVS en het digitale MKVS en zijn vastgesteld aan de hand van de grondslagen en conceptomschrijvingen van het MKVS. De indicatoren zijn operationalisaties in meetbare eenheden van de standaarden. Ter beoordeling van de standaarden en indicatoren zijn de auteur van het MKVS en experts nauw betrokken geweest, waarmee de relevantie aannemelijk wordt gemaakt. De opbouw en ontwikkeling van het instrument wordt in hoofdstuk 3 van de handleiding besproken.


33

Eindoordeel is goed volgens de COTAN normering. Basisvraag is positief beoordeeld en beide andere vragen worden minstens +/- beoordeeld.

2. Kwaliteit van het testmateriaal en de handleiding 2A. Testmateriaal

Basisvraag: 2.1. Zijn de testopgaven gestandaardiseerd? Score: + De testopgaven, de indicatoren per standaard, zijn voor wat betreft inhoud, vorm en volgorde voor iedereen hetzelfde. Ze zijn opgenomen in een gestandaardiseerd evaluatieformulier MKVS per leraar (bijlage 4 en 5) . Dit betekent dat er sprake is van standaardisatie. De school kan er wel voor kiezen om naar aanleiding van hun invoeringstraject of eerder uitgevoerde evaluaties bepaalde indicatoren niet mee te nemen. Basisvraag: 2.2.b. Indien de scoring door beoordelaars of observatoren gebeurt, is dan het

beoordelings- of observatiesysteem volledig en duidelijk? Score: + Bij deze vraag gaat het erom of de procedures beschreven zijn waardoor de objectiviteit zo goed mogelijk wordt gewaarborgd. Dit betekent dat er richtlijnen voor de beoordeling/scoring e.d. moeten worden gegeven. Hieruit moet duidelijk worden wat er per se in een antwoord moet staan of welk gedrag moet zijn vertoond om duidelijke scores te kunnen toekennen. De indicatoren geven aan welk gedrag of welke activiteit gewenst is. Gescoord wordt met voldoet wel of niet. In hoofdstuk 6 (De stappen in het proces van zelfevaluatie MKVS) staat de te volgen procedure beschreven. Tevens wordt er aandacht besteed aan de houding van de auditoren (beoordelaars) t.a.v. o.a. objectiviteit en inter-beoordelaars overeenstemming. Hier is bekeken wat er over dit onderwerp in de handleiding staat. Uit de evaluaties met de testscholen zal moeten blijken wat de ervaringen van de gebruikers zijn. Basisvraag: 2.3. Zijn de items vrij van racistische of voor bepaalde bevolkingsgroepen kwetsende

inhoud? Score:+ Er is geen racistische inhoud aangetroffen, niet wat betreft autochtoon, allochtoon, man / vrouw verhouding, ervaring of iets dergelijks. 2.4.a. Zijn items, testboekje, antwoordschalen en/of antwoordformulier zodanig

ontworpen dat fouten bij de invulling kunnen worden vermeden? Score: + In principe zijn het scoringsformulier (evaluatieformulier MKVS per leraar) en de verzamelstaat resultaten zelfevaluatie MKVS montessorischool (bijlage 6) zo ontworpen dat fouten vermeden kunnen worden. Uit eindevaluatie van de vier testscholen zal dit nog moeten blijken. 2.4.b. Hoe is de kwaliteit van het testmateriaal? Score: komt terug in hoofdstuk 7. Deze vraag wordt meegenomen in de eindevaluatie van de vier testscholen. 2.5. Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de

scoring kunnen worden vermeden? Score: +/- Er is opgenomen hoe verschillen tussen beoordelaars/ auditoren vermeden kunnen worden. Er is in de handleiding aandacht voor het eventueel niet meenemen van indicatoren, maar er wordt niet vermeld hoeveel indicatoren overgeslagen kunnen worden zonder dat de test zijn waarde verliest. Wanneer er indicatoren worden overgeslagen is niet vermeld welke score deze indicatoren krijgen.


34

2.6. Is de instructie voor de geteste volledig en duidelijk? Score: +/- Tijdens een mondelinge instructie zijn alle standaarden en indicatoren besproken en uitgelegd. De standaarden en indicatoren worden niet nader toegelicht in de handleiding. Zij behoren tot de basiskennis van het MKVS. Informatie over de wijze van notatie is opgenomen op het evaluatieformulier en verzamelstaat. De benodigde tijd is niet opgenomen in de handleiding. Dit is wel besproken tijdens de instructie. Dit zal opgenomen worden na de eindevaluaties met de testscholen. Eindoordeel is goed volgens de COTAN normering. De drie basisvragen zijn positief beoordeeld en de somscore van 2.4 t/m 2.6 > 1.

Van het onderdeel handleiding wordt vraag 2.10 niet betrokken bij het onderzoek. Hier wordt gevraagd naar een samenvatting van de onderzoeksresultaten in de handleiding. Dit is op dit moment niet van toepassing bij het zelfevaluatie-instrument MKVS. Na dit onderzoek zal een samenvatting van dit onderzoek worden opgenomen in de handleiding.

2.B. Handleiding

Basisvraag: 2.7. Is een handleiding beschikbaar? Score:+ Het zelfevaluatie-instrument MKVS heeft een handleiding.

2.8. Zijn de aanwijzingen voor de testleider volledig en duidelijk? Score:+/- De aanwijzingen zijn belangrijk voor een gestandaardiseerde afname van de test. Standaardisatie heeft betrekking op ontwerp, inhoud, vorm en instructie. Het ontwerp, de inhoud, en de vorm zijn gestandaardiseerd door de standaarden en indicatoren, de evaluatieformulieren, wijze van evaluatie en beoordeling zoals beschreven in de handleiding en het instrument zelf. De aanwijzingen (instructie) voor de auditoren zijn beschreven in hoofdstuk 6 van de handleiding. Het doel van de evaluatie is beschreven. Zo ook wat het oplevert. Daarbij is de meetpretentie meegenomen. Er wordt niet zoveel mogelijk letterlijk voorgeschreven wat de testleider wel en niet mag zeggen. De evaluatieonderwerpen zijn de standaarden en de daarbij behorende indicatoren. De wijze waarop de indicatoren geëvalueerd worden, staan vermeld bij de desbetreffende indicatoren. Veel informatie wordt door bevragen in een interview verkregen. Voor het rendement en de geldigheid van de evaluatie voor de school moet de informatie eerlijk, nuttig en betrouwbaar zijn. De houding van de auditoren spelen voor het verkrijgen van dergelijke informatie een belangrijke rol. De houding moet belangstellend, nieuwsgierig, open, onbevangen en onpartijdig zijn. Verder zal de auditor, in het belang van informatiegaring, in moeten spelen op hetgeen de geïnterviewde vertelt. Hiervoor is geen vast recept te geven. Dus is ook niet voorgeschreven hoe op vragen moet worden ingegaan. Er is sprake van een semi-gestructureerd interview. De indicatoren die bevraagd worden zijn een vast gegeven. Maar op basis van de antwoorden die gegeven worden zal de auditor door moeten vragen om volledige en juiste informatie te verkrijgen. Welke vragen er worden gesteld door de auditor is afhankelijk van de situatie, de geïnterviewde en de kwaliteit van de antwoorden. Voorwaarden voor het slagen van een dergelijk interview:

1. Verwachtingen duidelijk en snel uitspreken en waarmaken. 2. Geïnterviewde het gevoel geven in alle vrijheid en openheid te kunnen spreken. 3. Letten op vormaspecten als non-verbale communicatie, zoals je eigen houding,

hoe je ten opzichte van elkaar zit. Het doel hiervan is een gevoel geven van openheid en vrijheid van spreken en oprechte interesse. Daarvoor moet de interviewer kwaliteiten bezitten zoals nieuwsgierigheid in andere mensen. Empathie en flexibiliteit. (Luyten, Lowyck, 2003-2004)


35

De paradox hierbij is dat de geïnterviewde vrijheid van spreken heeft, maar dat de interviewer de touwtjes in handen heeft. Dit duidt op het belang van duidelijke instructie, eisen en verantwoordelijkheden van de auditoren zoals beschreven in hoofdstuk 6 van de handleiding. 2.9. Wordt informatie gegeven over de gebruiksmogelijkheden en beperkingen van de

test? Score: + In de handleiding komt naar voren dat het niet gaat om een beoordeling (summatieve evaluatie) maar om formatieve evaluatie met een domein gerichte interpretatie die alleen geldend is voor de onderzochte school en niet vergeleken wordt met een andere school. De gebruikersmogelijkheden staan beschreven. In hoeverre dit duidelijk en nauwkeurig is zal uit de eindevaluatie op de testscholen blijken. 2.11. Wordt met behulp van voorbeelden aangegeven hoe testscores kunnen worden geïnterpreteerd? Score:– Er zijn geen voorbeelden of gevalsbeschrijvingen in de handleiding opgenomen. 2.12. Wordt gewezen op soorten informatie die bij de interpretatie van belang kunnen

zijn? Score: +/- In hoofdstuk 6 van de handleiding wordt ingegaan op de keuze van de leraren t.b.v. de evaluatie. Uitleg over het trekken van een evenwichtige steekproef is beschreven wanneer niet alle leraren worden geaudit. Besproken is de evenwichtige verdeling per bouw en ervaring. Mogelijk wordt uit de eindevaluaties aanvullende informatie verkregen. Deze wordt dan ook opgenomen in de handleiding. 2.13. Wordt de mate van deskundigheid die vereist is voor afname en interpretatie van

de test vermeld? Score:+ Er zijn in de handleiding in hoofdstuk 6 eisen aan en verantwoordelijkheden van de auditor beschreven. Eindoordeel is voldoende volgens de COTAN normering. De basisvraag is positief beoordeeld en van de vragen 2.8 t/m 2.13 is 1 vraag negatief beoordeeld, 2 vragen met +/- beoordeeld en minder dan drie van deze vragen worden positief beoordeeld.

3. Normen Ten aanzien van dit onderdeel worden twee basisvragen van COTAN betrokken bij het onderzoek, namelijk: Basisvraag: 3.1. Worden normen (waaronder verwachtingstabellen of grensscores) verstrekt? Score: + COTAN maakt onderscheid tussen domeingerichte interpretatie en normgerichte interpretatie. In principe wordt voor alle tests een van beide typen normen geëist. Bij het zelfevaluatie-instrument MKVS gaat het om een domeingerichte interpretatie. De indicatoren worden gescoord waarna per standaard aan de hand van een eenvoudige normering de standaard wordt beoordeeld met voldoende, matig of onvoldoende. Deze laatste wordt berekend aan de hand van behaalde percentages. (bijlage 4 en 5) Basisvraag: 3.2. Wat is de kwaliteit van de verstrekte normgroep(en)? Score: +/- Bij het zelfevaluatie-instrument MKVS gaat het om een intern gerichte evaluatie. Er vindt geen vergelijking plaats met een normgroep. Wel wordt in de handleiding gewezen op het belang van een representatieve steekproef wanneer niet alle leraren bij de zelfevaluatie worden betrokken. Hoe een representatieve steekproef eruit ziet staat


36

beschreven in hoofdstuk 6 van de handleiding. De school kan wel een interne vergelijking maken met bijvoorbeeld de resultaten van voorgaande jaren.

Eindoordeel: basisvraag 1 is positief beoordeeld en basisvraag 2 + / - beoordeeld, dit geeft volgens de COTAN richtlijn een voldoende score op.

4. Betrouwbaarheid Basisvraag: 4.1. Worden gegevens over de betrouwbaarheid verstrekt? Score: + / - In de handleiding worden geen betrouwbaarheidscoëfficiënten en resultaten van generaliseerbaarheidonderzoeken gegeven. Er wordt wel aandacht geschonken aan de betrouwbaarheid. Er worden adviezen gegeven hoe te handelen om te zorgen voor interbeoordelaarsbetrouwbaarheid in het geval van meerdere auditoren. Basisvraag 4.2 wordt door de onderzoeker op basis van argumentatie en literatuurstudie beantwoord. 4.2. Zijn de resultaten voldoende, gelet op het beoogde type beslissingen dat met

behulp van de test moet worden genomen? Score: - In deze vraag wordt de betrouwbaarheid van de resultaten gekoppeld aan het beoogde type beslissing. Zoals eerder beschreven gaat het om formatieve evaluatie met als doel schoolontwikkeling; behouden wat goed is (borgen) en verbeteren (leren/ontwikkelen). Het zelfevaluatie-instrument MKVS is een interne evaluatie waarmee alleen school uitspraken worden gedaan, deze hebben geen vergaande consequenties voor de individuele leraar. Het instrument is gericht op leren anders dan bijvoorbeeld diagnostische tests of vorderingstests. Aan dit soort summatieve evaluaties worden hogere eisen aan de betrouwbaarheid en validiteit gesteld dan aan formatieve evaluaties. COTAN (1988) geeft aan dat de “betekenis” van de test van belang is. Hiermee doelt COTAN op de gevolgen die een testprocedure heeft voor personen, instellingen en de samenleving als geheel. Hoe groter de gevolgen, des te zwaarder gelden de COTAN richtlijnen.

Een discussiepunt ten aanzien van de betrouwbaarheid is de toepasbaarheid van de traditionele testen om betrouwbaarheid te realiseren voor competentie assessments en worked-based learning. (Benett, 1993) Dit komt omdat het geen exacte wetenschap is waarin het “ware verhaal” gevonden kan worden. (Gips, 1994) a. paralleltestbetrouwbaarheid De generaliseerbaarheid over testversies kan worden bepaald door middel van een onderzoek, waarbij er twee tests met vergelijkbare iteminhoud, onderzoekssituatie en moeilijkheidsgraad met elkaar worden gecorreleerd. Het zelfevaluatie-instrument MKVS is uniek. Er is, naar mijn weten, geen vergelijkbaar instrument beschikbaar. Dit betekent dat een paralleltest niet uitgevoerd kan worden. De vraag blijft dus in welke mate de resultaten generaliseerbaar zijn voor de eigen schoolsituatie. Hiervoor is de representativiteit van de steekproef uit de leraren werkend op de school belangrijk. Wanneer bijvoorbeeld voornamelijk ‘excellente’ leraren bij de evaluatie worden betrokken dan zal de uitkomst van de evaluatie niet representatief zijn voor het functioneren van de school als geheel met het MKVS. Van der Vleuten en Schuwirth (2005) stellen dat betrouwbaarheid vaak wordt verward met objectiviteit en standaardisatie. Volgens hun zienswijze kan betrouwbaarheid ook worden bereikt bij een geringere standaardisatie en meer subjectieve beoordeling door bijvoorbeeld menselijke observatoren, als de steekproef maar passend is.

b. interne-consistentiebetrouwbaarheid

De gebruikelijke statistische bewijsvoering zoals de Cronbach’s coëfficiënt α is niet beschikbaar. Het gaat hier om de homogeniteit van de vragen. (Baarda, De Goede, 2006). Een item wordt in verschillende vragen geoperationaliseerd. De verschillende vragen moeten allemaal hetzelfde begrip meten. Voor de homogeniteit moet er naar


37

worden gestreefd dat de vragen aansluiten bij de definitie van het begrip en daardoor in principe allemaal hetzelfde meten.(Baarda, De Goede, 2006)

Bij de ontwikkeling van het instrument hebben experts de standaarden en indicatoren beoordeeld en van feedback voorzien. Dit staat beschreven in hoofdstuk 3 van de handleiding. Het instrument is ontwikkeld door de auteur met behulp van een critical friend en een resonans groep. In verband met de representativiteit van de standaarden en indicatoren is bij de ontwikkeling van het instrument ook de auteur van het MKVS nauw betrokken geweest,. Daarnaast hebben een viertal deskundigen de standaarden en indicatoren onafhankelijk van elkaar beoordeeld. De beoordelaars zijn allen goed ingewerkt in het MKVS en werken er op verschillende niveaus mee. De beoordelaars hebben gekeken naar de representativiteit van de standaarden en indicatoren voor de grondbeginselen van het MKVS. Dit i.v.m. de dekkingsgraad van de kwaliteitsdimensies van het MKVS. Verder hebben ze de standaarden en indicatoren beoordeeld op hun eenduidigheid, formulering en toetsbaarheid. Een eerste versie van het instrument is ontwikkeld voor en toegepast op de Montessorischool te Bergen op Zoom. De hieruit verkregen feedback uit evaluaties is meegenomen bij de ontwikkeling van het huidige evaluatie-instrument. (Ottenheym, 2008) Daarnaast is het in ontwikkeling zijnde instrument verschillende malen gepresenteerd aan de landelijke kerngroep MKVS en aan directeuren, leraren en opleiders binnen het montessorionderwijs. Feedback uit deze presentaties t.a.v. het instrument zijn meegenomen in de ontwikkeling ervan. Verder zijn alle stappen in het ontwikkelproces en correcties besproken met een coach en critical friend. Door gebruik te maken van expertbeoordelingen zijn de volgende issues nagegaan:

• Of de indicatoren horende bij een standaard daadwerkelijk hetzelfde meten. • Dat de standaarden inclusief de indicatoren inderdaad de kwaliteit van het gebruik

van het MKVS in een montessorischool meten. c. test-hertestbetrouwbaarheid

De test-hertestbetrouwbaarheid geeft een indicatie over de generaliseerbaarheid over tijd. Hierbij neem je de test na verloop van tijd nog een keer af en ga je na of eenzelfde resultaat wordt verkregen. De correlatie tussen beide scores vormt een indicatie voor de stabiliteit. Wanneer de stabiliteit nul is, dan is het resultaat van de test waarschijnlijk door het toeval bepaald. Met een test-hertest kan de mate van stabiliteit, dus de mate waarin toeval een rol speelt, worden beoordeeld. Uit het toepassen van een eerste versie van het zelfevaluatie-instrument MKVS is gebleken dat door toepassing van het instrument er door bewustwording een leereffect optreedt. (Ottenheym, 2008) Een test-hertest kan alleen dan uitgevoerd worden wanneer de omstandigheden ongewijzigd zijn gebleven. Dit is in het kader van schoolontwikkeling en daarmee nauw verbonden competentieontwikkeling ten aanzien van het gebruik van het MKVS niet aan de orde. Het grootste probleem met de test-hertestbetrouwbaarheid is de mate van stabiliteit gedurende de tijd door interveniërende gebeurtenissen en veranderingen bij de respondent. (Bryman, 1995) Dit betekent dat met een test-hertest in dit geval de stabiliteit van het instrument niet kan worden bepaald. Het probleem bij de betrouwbaarheid consistentie meting van het competentie-assessment programma komt doordat in het onderwijs veranderingen door de tijd worden verwacht en onderdeel zijn van educatieve doelstellingen. (Baartman, 2008) Hier is een parallel te trekken met schoolontwikkeling waar leren voorop staat.

d. interbeoordelaarsbetrouwbaarheid Deze wordt bepaald door de begrippen zo goed mogelijk te operationaliseren. Ze dienen duidelijk te zijn en het instrument moet goede instructies bevatten. (Braada, de Goede, 2006). De kwaliteit van de operationalisering is bevorderd door het gebruik van experts tijdens de ontwikkelfase. Of de indicatoren en handleiding duidelijk en helder zijn, wordt geëvalueerd op de vier testscholen. In de handleiding wordt aandacht besteed aan de interbeoordelaars-overeenstemming en hoe deze verkregen kan worden. Dit wordt besproken in hoofdstuk 6 van de handleiding:


38

� De auditoren hebben de handleiding en scoringslijsten vooraf samen goed doorgenomen.

� Beide auditoren hebben de te voeren gesprekken voorbereid en afspraken gemaakt over eenzelfde handelingswijze. Dit in verband met de betrouwbaarheid van de te verkregen informatie.

� De auditoren beoordelen achteraf samen aan de hand van de vermelde normering. Daarna brengen ze de informatie van de individuele leraar over op het scoringsformulier van de school. Ook de scoring op schoolniveau doen beide auditoren samen. Dit om de interbeoordelaarsbetrouwbaarheid te vergroten.

� Onduidelijkheden worden in samenspraak met beide auditoren opgelost en genoteerd in de rapportage.

� Rapporteren van de resultaten aan het managementteam en team. COTAN (2004) geeft aan dat training de interbeoordelaarsbetrouwbaarheid positief beïnvloedt. Op de vier testscholen hebben de auditoren een gezamenlijke training gehad van de auteur van het zelfevaluatie-instrument MKVS. Een andere manier om aan het criterium van reproduceerbaarheid dus de mate van generaliseerbaarheid van de resultaten te voldoen is volgens Baartman (2008) de focus leggen op het combineren van informatiebronnen in plaats van het combineren van tests. Daarom zouden er bij een competentie assessment meerdere assessoren, meerdere assessment taken en meerdere situaties gecombineerd moeten worden. Hier is sprake van triangulatie. Triangulatie is een multi-methode aanpak waarbij verschillende soorten van gegevensbronnen en verschillende dataverzamelingsmethoden worden toegepast. (Baarda, de Goede, Teunissen, 2005)

Het zelfevaluatie-instrument MKVS maakt gebruik van verschillende soorten gegevensbronnen (digitale MKVS, leraren, klassenmanagement) daarnaast maakt het gebruik van verschillende dataverzamelingsmethoden (documentanalyse, observatie en bevragen). In de handleiding wordt geadviseerd dat twee auditoren evalueren en de resultaten met elkaar bespreken, prepareren, analyseren, resultaten bij elkaar brengen op de verzamelstaat en normeren op schoolniveau. Vervolgens worden de bevindingen besproken met het management en het team.

Eindoordeel: Wanneer de COTAN-eisen worden toegepast dan kan de kwaliteit van de betrouwbaarheid nog niet positief worden beoordeeld door het ontbreken van passende data. Wanneer andere benaderingen bij de tegemoetkoming aan de betrouwbaarheidseis worden betrokken dan ontstaat er een genuanceerder en positiever beeld. Het instrument bevat methoden voor het verkrijgen van betrouwbare evaluatieresultaten.

5.Validiteit Begripsvaliditeit Basisvraag: 5.1. Worden gegevens over de begripsvaliditeit verstrekt? Score: + Bij begripsvaliditeit ofwel constructvaliditeit gaat het erom of je daadwerkelijk meet wat je wilt meten. Belangrijk is of de begrippen treffend zijn geoperationaliseerd. Volgens de COTAN (2004) betreft het een onderzoek naar de interne en externe structuur. Er worden geen correlaties tussen testscores of externe variabelen gegeven. Ook is het evaluatie-instrument niet gevalideerd aan soortgenoten, omdat het instrument uniek is. Wel worden gegevens verstrekt over de wijze van ontwikkeling (handleiding: hoofdstuk 3). Bij deze werkwijze is gebruik gemaakt van een zogenaamd forum van experts. Deze experts hebben gekeken of de standaarden en indicatoren de kwaliteit van het gebruik van het MKVS meten in een montessorischool. Daarvoor waren twee factoren van belang; namelijk passen de meeteenheden bij de theoretische constructen / standaarden van het MKVS en zijn de indicatoren geldig en passend bij de theoretische constructen / standaarden.


39

Verder wordt de kwaliteit van het gebruik van het MKVS op een montessorischool beoordeeld door meerdere standaarden en meerdere indicatoren per standaard. (handleiding: hoofdstuk 3, bijlage 4 en 5) Dit is in analogie met de assessment cultuur waar volgens het model van Segers (2004) het er om gaat dat het begrip door meerdere competenties wordt gemeten. In deze zin wordt er aandacht besteed aan de begripsvaliditeit. Bij de interne validiteit gaat het er om of het onderzoek zorgvuldig is uitgevoerd. Dit wordt mede bepaald door de kwaliteit van de onderzoekers en duidelijkheid van de handleiding en het instrument. Deze onderwerpen komen aan bod in hoofdstuk 6 van de handleiding en bijlage 4 en 5. De afnameprocedure, de duidelijkheid van de handleiding en instrument zijn onderwerp van onderzoek naar de gebruikerskwaliteit. De gebruikerskwaliteit vormt een bijdrage aan de interne validiteit. Bij de externe validiteit is de vraag of de uitspraken ook generaliseerbaar zijn naar anderen dan de testgroep. Er worden met het zelfevaluatie-instrument MKVS alleen uitspraken gedaan die gelden voor de onderzochte school. De vraag is of de genomen steekproef uit het lerarenkorps maakt dat de uitspraken generaliseerbar zijn voor alle teamleden. In de handleiding zijn criteria omschreven voor een representatieve steekproef. (hoofdstuk 6) Volgens de handleiding van COTAN (2004) wordt externe structuur normaal onderzocht door de relaties met andere tests te bepalen (convergente en discriminante validiteit). Er bestaan, naar mijn weten, geen vergelijkbare instrumenten die de kwaliteit van het MKVS meten. Om het bewijs van validiteit te vergroten kan een correlerende hypothese worden geformuleerd met een ander schooldiagnose-instrument. Een dergelijke procedure kent twee problemen. Wanneer er geen samenhang wordt gevonden dan rijst de vraag welke meting valide is. Verder is het nodig dat beide instrumenten de data niet op eenzelfde wijze verzamelen, dit vermindert de consistentie van de meting. (Bryman, 1995) Bij het bepalen van de discriminante validiteit gaat het om het vinden van een lage correlatie met metingen van een verschillend concept. Ook hiervoor kunnen mogelijk andere schooldiagnose-instumenten worden gebruikt. Ook hier is het belangrijk dat de datacollectie verschillend is, hetgeen meestal een probleem is. (Bryman, 1995) 5.2. Maken de resultaten voldoende aannemelijk dat het begrip zoals bedoeld wordt

gemeten (of: maken de resultaten voldoende duidelijk wat wordt gemeten)? Score: -

Een voldoende beoordeling kan volgens COTAN (2004) alleen verkregen worden door stapeling van onderzoek, zogenaamde multi-trait-multi-methode-onderzoek. In de traditionele zin is het instrument niet gevalideerd. Dus kan dit onderdeel in de bedoeling van COTAN (2004) nog niet positief worden beoordeeld. Hoe staat het met de kwaliteit van het instrument wanneer deze gelegd wordt naast de 12 criteria van Baartman2 (2008)? Hier is ook sprake van stapeling van aspecten die te maken hebben met de construct validiteit, behalve dan het criterium kosten en efficiëntie. Fit for purpose Het doel is een beeld krijgen van de kwaliteit van het gebruik van het MKVS, zodat de school weet wat goed is en wat voor verbetering vatbaar is. Doordat het instrument is ontwikkeld door experts ten aanzien van het MKVS is dit in hoge mate gegarandeerd en

2 Het criterium ‘fitness for selfassessment’ (Baartman, 2008) is in het kader van dit onderzoek vervangen door het criterium ‘directheid’. (zie hoofdstuk 5)


40

aannemelijk. Uit de evaluatie met de testscholen zal dit herkenbaar moeten zijn in de uitkomsten. Vergelijkbaarheid Hier hoort ook de externe validiteit thuis met het multi-trait-multi-methode-onderzoek. Het gaat hier ook om de vraag of de beoordeling van de twee auditoren eenzelfde waardering geeft. Mogelijke onderzoeksvorm is dat twee auditoren aanwezig zijn bij het interview. De één als interviewer en beoordelaar en de ander als observator en onafhankelijk beoordelaar. Het na elkaar interviewen van leraren door twee auditoren zou een vertekend beeld kunnen geven door het leereffect (zie ook test-hertest bij betrouwbaarheid). Deze vorm is in dit onderzoek niet meegenomen. De vergelijkbaarheid is ook van toepassing op de omstandigheden waaronder het interview plaatsvindt, de indicatoren en de normeringcriteria. De te meten indicatoren en de normering zijn gestandaardiseerd, hetgeen de vergelijkbaarheid vergroot. Voor de omstandigheden waaronder de evaluatie plaatsvindt, zijn de school en de auditor in hoge mate verantwoordelijk. In hoofdstuk 6 van de handleiding wordt hier aandacht aan besteed. Reproduceerbaarheid Hier is het belangrijk dat verschillende informatiebronnen worden gebruikt. Het instrument geeft aan dat informatie voor de beoordeling van de indicatoren wordt gegenereerd door documentanalyse, observatie en bevragen. Ook wordt er door verschillende indicatoren een standaard gemeten. Hier is triangulatie van toepassing zoals bij de betrouwbaarheid reeds besproken. Ook is replicatie hier van toepassing. Dit wil zeggen dat de onderzoeker via herhaling van de waarneming probeert of dezelfde gegevens naar boven komen.(Wester, Peters, 2004) Dit gebeurt door de toepassing van verschillende informatiebronnen en indicatoren. Een andere werkwijze om in deze zin de begripsvaliditeit te vergroten is de ‘peer debriefing’. (Wester, Peters, 2004) In de handleiding (hoofdstuk 6) wordt aangegeven dat de auditoren samen de evaluaties per leraar doornemen en gezamenlijk de verzamelstaat en de daarbij horende bevindingen invullen. Verder worden onduidelijkheden in samenspraak opgelost en genoteerd in de rapportage. De bevindingen op schoolniveau worden daarna besproken in het team en vormen een bijdrage aan de teamontwikkeling. Dit alles valt onder het begrip ‘peer debriefing’. Transparantie De afnameprocedure, de beoordeling en de indicatoren moeten voor alle partijen helder en duidelijk zijn. Dit is in het belang van het verkrijgen van informatie van de leraren. Onduidelijkheid vergroot de weerstand en vermindert openheid. Hiermee wordt een open en gulle medewerking verkregen van de leraren. (handleiding, hoofdstuk 6). De mate van transparantie in het geval van het zelfevaluatie-instrument MKVS wordt mede bepaald door de handelwijze van respectievelijk de schoolleiding en de auditoren. In de handleiding wordt hier aandacht aan besteed. Of de handleiding en het instrument voldoen aan de eis van transparantie wordt meegenomen in de evaluatie op de testscholen. Acceptatie De stakeholders moeten de standaarden, indicatoren en werkwijze goedkeuren. Wanneer er vertrouwen is in het instrument zal dit ten goede komen aan de kwaliteit van de verkregen informatie en het effect van de evaluatie op de schoolontwikkeling. Dit aspect wordt meegenomen in de analyse van de gebruikerskwaliteit. Eerlijke kans Hiervoor moeten de standaarden door meerdere indicatoren gemeten worden. Dit is bij het zelfevaluatie-instrument MKVS van toepassing. Het instrument meet alle kennis, vaardigheden en gedragingen die nodig zijn voor het gebruik van het MKVS. Verder wordt er door de vorm van de meting, documentanalyse, observatie en vooral het interview, rekening gehouden met de herkenning van verschillen tussen de leraren. De


41

auditoren spelen hier een belangrijke rol in. De rol van de auditoren wordt beschreven in hoofdstuk 6 van de handleiding. Daarnaast is voor het bieden van een eerlijke kans de onbevooroordeelde en open houding van de auditor van belang. Ook dit wordt besproken in de handleiding in hoofdstuk 6 onder het kopje ‘eisen aan de auditoren’. Verder is binnen deze context de waardering van de leraren en school belangrijk. Ervaren zij het zelfevaluatie-instrument als eerlijk en is er gelegenheid om bezwaar te maken. Of de leraren / school het instrument als eerlijk beschouwen dient zelf door de testscholen te worden beoordeeld. De resultaten worden in teamverband besproken en daar is de mogelijkheid aanwezig voor bezwaar. De directeur en auditoren van de school zullen moeten afwegen of een bezwaar gegrond is of niet. Hier wordt in de handleiding niet expliciet aandacht aan besteed. Authenticiteit Biedt het instrument een geïntegreerde beoordeling van alle benodigde kennis, vaardigheden en gedragingen voor het gebruik van het MKVS. Het instrument omvat indicatoren die de kennis meten, zoals bijvoorbeeld: de indicatoren 1.3, 1,4, 7.3, 7.10. Het instrument bevat indicatoren die vaardigheden meten, zoals onder andere: 1.1, 2.2, 2.3, 2.4, 3.6. Het instrument heeft indicatoren die gedragingen beoordelen, zoals bijvoorbeeld: 1.2, 2.1, 3.2, 3.3, 3.4, 3.5. Of de kennis, vaardigheden en gedragingen van toepassing zijn voor het gebruik van het MKVS is beoordeeld door experts van het MKVS. (handleiding hoofdstuk 3) Cognitieve complexiteit Hiermee wordt bedoeld de mate waarin de complexiteit van de denkprocessen zoals gemeten met het instrument overeenkomen met de benodigde complexiteit van de denkprocessen als nodig voor het gebruik van het MKVS. Deze zijn meegenomen in de vaardigheden als nodig voor het MKVS. Denk bijvoorbeeld aan de standaarden 1, 2 en 7. Deze zijn beoordeeld door de reeds eerder genoemde experts. Betekenisvol De standaarden en bijbehorende indicatoren moeten herkenbaar en zinvol zijn voor de leraren en de school. Ook de informatie die wordt verkregen voor de schoolontwikkeling moet als waardevol worden ervaren. In onderzoeksvraag 2b wordt dit meegenomen. Directheid De dataverzameling gebeurt bij en met de betrokkenen zelf (de leraren, de school in kwestie). Onduidelijkheden of misinterpretaties kunnen door beide partijen gemakkelijker worden herkend en besproken. Hierdoor is het beoordelen voor de auditoren gemakkelijker vergeleken met schriftelijke evaluaties. Een directe meting heeft in verband met de validiteit de voorkeur boven een indirecte meting. (Baarda, De Goede, 2006) Consequentie De bedoeling is dat de evaluatie een positief effect heeft op de Individuele ontwikkeling en die van de school. Verder moet de evaluatie als een doelbewust middel worden ingezet voor het kwaliteitsverbeteringproces en ervaren worden als een gids voor schoolontwikkeling ten aanzien van het gebruik van het MKVS. Het moet focus bieden. Dit onderdeel wordt meegenomen in de evaluatie met de testscholen. Eindoordeel: Wanneer de COTAN-eisen worden toegepast dan kan de begripsvaliditeit nog niet positief worden beoordeeld. Wanneer andere benaderingen bij de tegemoetkoming aan de validiteiteis worden betrokken dan ontstaat er een genuanceerder en positiever beeld. Een aantal kwaliteitseisen komt terug bij de evaluatie van de gebruikerskwaliteit.


42

Criteriumvaliditeit

Basisvraag 5.4. Worden er gegevens verstrekt over het verband test-criterium? Score: - In hoeverre is de testscore een goed voorspeller van niet-testgedrag. Het gaat hier om beïnvloedende factoren. Er worden geen gegevens verstrekt, omdat deze niet voorhanden zijn. 5.5. Zijn de resultaten voldoende, gelet op het beoogde type beslissingen dat met de

test moet worden genomen? Score: - Gezien de beperkte consequentie van de beslissingen ontleend aan de formatieve evaluatie is de vraag of een dergelijk onderzoek in dit kader noodzakelijk is. De consequentie geldt alleen voor de onderzochte school en staat in het teken van leren, schoolontwikkeling en ten behoeve van kwaliteitsverbetering.

Eindoordeel: Wanneer de COTAN-eisen worden toegepast dan kan de criteriumvaliditeit nog niet positief worden beoordeeld.

6.2 Conclusie

De vraag “Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen?” dient als volgt te worden beantwoord: “Het instrument voldoet aan drie van de vijf COTAN-onderdelen. Voor bindende conclusies ten aanzien van betrouwbaarheid en validiteit is verder onderzoek nodig.”

De onderdelen uitgangspunten testconstructie, kwaliteit van het testmateriaal, de handleiding en de normen leveren een positieve beoordeling. De vragen ten aanzien van de betrouwbaarheid en validiteit leveren volgens de psychometrische benadering vooralsnog geen positieve beoordeling op. Wanneer we edumetrische kwaliteitsaspecten erbij halen dan ontstaat er een genuanceerder beeld.

Een andere nuancering ten aanzien van de betrouwbaarheid en de validiteit is dat de positieve beoordeling op de eerste drie kwaliteitsaspecten ook een positieve bijdrage leveren aan de betrouwbaarheid en de validiteit van de evaluatie. De kwaliteit van het testmateriaal is verregaand bepalend voor validiteit en betrouwbaarheid. (Keuning, 2004) De vraag is hier relevant of de kwaliteit van het testmateriaal zodanig is dat de gebruikers het zelfevaluatie-instrument MKVS op een dusdanige wijze hanteren zoals bedoeld. Onduidelijkheden in het testmateriaal werken een niet correcte handelwijze in de hand en dat geeft niet betrouwbare en valide resultaten. Daarnaast beïnvloeden aspecten als transparantie en acceptatie door de stakeholders de betrouwbaarheid en de validiteit van de verkregen resultaten. Een prachtig gevalideerd instrument dat niet transparant is voor of geaccepteerd wordt door de gebruikers heeft weinig waarde. Uit het onderzoek van Schildkamp (2007) blijkt dat het gebruik van een zelfevaluatie-instrument negatief wordt beïnvloed door doelonduidelijkheid en het ontbreken van een goede instructie.

Wat de gebruikers van de testscholen van het zelfevaluatie-instrument MKVS vinden zal in het volgend hoofdstuk worden besproken.

Ook zal de verdere invulling van de 12 criteria van Baartman (2008)3, meer inzicht geven in de tegemoetkoming aan de eisen van betrouwbaarheid en validiteit volgens de edumetrische benadering. 3 Het criterium ‘fitness for selfassessment’ (Baartman, 2008) is in het kader van dit onderzoek vervangen door het criterium ‘directheid’. (zie hoofdstuk 5)


43

Het is interessant om verder onderzoek te doen naar de validiteiteisen volgens de psychometrische benadering, zoals onderzoek met behulp van andere schooldiagnose-instrumenten. De vraag is, of dit haalbaar is wat betreft het voorhanden zijn van voor het onderzoek geschikte instrumenten, wat dit oplevert en in hoeverre het zinvol is na afweging van kosten en baten. Het gaat hier nog altijd om een formatieve evaluatie met een beperkte consequentie, namelijk borgen, leren en verbeteren en dat alleen voor de onderzochte school.

Een andere suggestie voor verder onderzoek is de interbeoordelaars-overeenstemming. Hiermee kan de betrouwbaarheid verder worden geoptimaliseerd.


44

7. De ervaringen van de 4 testscholen In dit hoofdstuk wordt een antwoord gegeven op de vraag: Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS?

Bij de beantwoording van deze vraag staat de gebruikerskwaliteit van het instrument centraal. Niet alleen het gebruiksgemak en betrouwbare en valide resultaten zijn van belang, maar ook de beleefde meerwaarde, het nut, van het instrument voor het gebruik van het MKVS zijn in deze context van toepassing. Succesvol gebruik van de zelfevaluatie in de school wordt medebepaald door factoren als: begrip van het doel en toepassing, ervaren betrokkenheid en invloed van de leraren, acceptatie van de auditoren en instrument, heldere en duidelijke evaluatierichtlijnen met focus en een eenvoudig evaluatie-instrument (OECD, 2009) (Schildkamp, 2007) (McNamara, O’Hara, 2008)

Met de testscholen is binnen dit onderzoek gezocht naar betekenisvolle inzichten ter verbetering van de gebruikerskwaliteit.

7.1 Methode

7.1.1 De testscholen

Aan dit onderzoek namen vier montessorischolen deel. De vier scholen zijn gelegen in de provincies: Noord-Brabant, Zuid-Holland en Noord-Holland. Al deze scholen zitten in een implementatietraject van het MKVS. Deze scholen zijn eerst gestart met de papieren versie en na 2008 overgestapt op de digitale versie van het MKVS. Het aantal jaren dat de scholen bezig zijn met het implementatieproces MKVS verschilt van drie tot zeven jaar. Er zijn nog geen scholen in Nederland die het implementatieproces hebben afgesloten. Al deze scholen worden begeleid door onderwijsadviseurs verbonden aan de begeleidergroep MKVS (www.montessori.nl/mkvs/index.htm, waar de onderzoeker ook lid van is). Uit evaluaties van deze groep blijkt dat het MKVS meer inhoudt dan het in beeld brengen van ontwikkelingsmomenten van kinderen, het is ook een professionaliseringsinstrument voor montessorileraren. Professionalisering houdt onder andere in het ontwikkelen van een objectieve wetenschappelijke houding van de leraar om via signaleringen, gerichte observaties en registraties transparante en verantwoorde beslissingen te kunnen nemen over de begeleiding van de leerlingen op de korte en de lange termijn. Daarbij is het noodzakelijk dat de leraren hun professionaliteit aan de orde stellen. (Begeleidersgroep MKVS, 2007) In deze zin is het zelfevaluatie-instrument MKVS hier passend bij.

De scholen die het MKVS gebruiken mogen gezien worden als koploperscholen met een innovatieve houding die hun handelwijze en schoolontwikkeling op transparante wijze willen afstemmen op de ontwikkelingen in het wetenschappelijke, politieke en maatschappelijk landschap met het gedachtegoed van Maria Montessori als leidinggevend principe. (Inspectie van Onderwijs, 2007)

Voor de scholen bracht de overstap naar het digitale MKVS vele voordelen met zich mee.

De voordelen van het digitale MKVS: • Na het signaleren kan men snel en gemakkelijk de registratieonderdelen vinden. • Het invullen van de registraties verloopt vlot via een enkele muisklik. • De voortgang tussen de onder-, midden- en bovenbouw en de onderliggende

peilpunten worden opgeslagen


45

• Automatische koppeling tussen het individuele registratieformulier en het ontwikkelingsprofiel.

• Iedere school kan zelf naar eigen inzicht informatieteksten en gegevens toevoegen.

• Het digitaal MKVS kan extern worden benaderd, dus ook op een computer buiten het schoolnetwerk.

(Bron: site van de Nederlandse Montessori Vereniging; www.montessori.nl/mkvs/index.htm) Drie februari jongstleden heb ik de scholen middels een workshop op de landelijke MKVS-dag, geïnformeerd over het zelfevaluatie-instrument MKVS en gevraagd om deel te nemen aan dit onderzoek.

De testscholen wilden graag gebruik maken van de mogelijkheid om de wijze van toepassing van het MKVS op hun school te evalueren met behulp van het instrument. Zij waren bereid om deze investering te doen en zagen het als een win-win situatie.

7.1.2 De gevolgde procedure

Invoeringsproces en dataverzameling Bij het hele invoeringsproces en de dataverzameling is gestreefd naar transparantie door goede informatievoorziening, zowel schriftelijk als mondeling. Door transparantie wordt inzicht in de werkwijze verhoogd en daardoor zal de motivatie en openheid om er mee te werken toenemen. Allereerst hebben de testscholen de onderzoeksvraag met de onderzoeksopzet, horend bij vraag 2b, gekregen, zodat ze goed geïnformeerd waren over de investering en implicaties van de evaluatie. Daarna hebben de scholen definitief hun medewerking bevestigd. Zo was de deelname van de scholen voor het onderzoek verzekerd. Daarna is de invoering van het instrument op de scholen gestart. Alle scholen hebben de handleiding en het instrument ontvangen. Tevens zijn alle auditoren en directeuren (bij drie testscholen was de directeur actief betrokken als onderwijskundig leider) geïnstrueerd over de te volgen procedure, de taakuitvoering en invulling van de auditoren, en de standaarden en indicatoren. Aan dit laatste aspect is de meeste tijd besteed. Hierin heeft de onderzoeker en tevens auteur de behoeften van de auditoren gevolgd. Goede instructie is een belangrijke voorwaarde voor het slagen van een implementatie van een zelfevaluatie. (McNamara, O’Hara, 2008) (OECD, 2009)

De scholen hebben zelf de auditoren gekozen. Voor één school waren dit zes leden van het kernteam. Dit kernteam stuurt de implementatie van het MKVS aan op die school. Zij hebben dan ook alle leraren geaudit, dit zijn er veertien. De andere scholen hebben ervoor gekozen om de helft van hun leraren te auditen volgens een representatieve steekproef, zoals beschreven in de handleiding. Drie scholen hadden elk twee auditoren gekozen. Op elke school nam de intern begeleider de rol van auditor op zich. Op één school was de adjunct-directeur auditor naast de intern begeleider. De andere auditoren waren leraren die zich op een actieve wijze inzetten voor de implementatie van het MKVS. Acceptatie van de auditoren door de geëvalueerde leraren is belangrijk voor de effectiviteit van de evaluatie. Acceptatie wordt vergroot door de vaardigheden en competenties van de auditoren. (OECD, 2009) Op één school was ik ook auditor. Dus deze school had in totaal drie

scholen auditoren wie steekpr.

A 2 IB / leraar

helft lk-en

B 2 IB / adjunct

helft lk-en

C 3 IB / leraar / onderz.

helft lk-en

D 6 kernteam: IB / leraren

alle lk-en


46

auditoren. Hiervoor gekozen om praktische redenen; in verband met haalbaarheid voor de zomervakantie.

Na de instructie zijn alle vier de scholen gestart met de uitvoering van de zelfevaluatie waarna met alle scholen de ervaringen met het instrument zijn geëvalueerd.

De hoofdvragen van de evaluatie waren: 1. Hoe is de evaluatie verlopen, wat zijn jullie ervaringen? 2. Is de afnameprocedure van de evaluaties duidelijk? 3. Zijn de indicatoren duidelijk en helder? 4. Is het scoren van de indicatoren duidelijk? 5. Heeft de school bruikbare informatie verkregen voor het gebruik van het MKVS in

de school? 6. Is de verkregen informatie herkenbaar? 7. Heeft de verkregen informatie ook geleid tot nieuwe inzichten? 8. Heeft de school input gekregen voor kwaliteitsverbetering van het MKVS in de

school? 9. Zijn er nog andere suggesties om het gebruiksgemak te vergroten? 10. Zouden jullie in de toekomst gebruik willen maken van dit zelfevaluatie-

instrument MKVS? Alle scholen hebben één week voor de eindevaluatie een agenda ontvangen met de evaluatievragen zoals opgenomen in de onderzoeksopzet. (hoofdstuk 4) Tevens zijn in deze evaluaties de evaluaties na de instructie en de tussentijdse vragen meegenomen. Hierdoor is een compleet beeld ontstaan van alle ervaringen van de scholen met het zelfevaluatie-instrument MKVS. De evaluaties zijn in dialoogvorm gevoerd. Er is in gezamenlijkheid gezocht naar betekenisvolle inzichten over de gebruikerskwaliteit van het instrument. De evaluaties duurden ongeveer anderhalf uur. Ik was, als onderzoeker, bewust van mijn rol als evaluator en had een openstaande houding, geïnteresseerd in de ervaringen van de school, het doel van de evaluatie voor ogen houdend en een actieve luisterhouding. In de hoedanigheid als evaluator heb ik gebruik gemaakt van verschillende gespreksinterventies die gericht waren op de inbreng, gedachten en ervaringen van de ander. Interventies die onder andere toegepast zijn: bevragen, terugkoppelen, samenvatten, verhelderen, doorvragen, vragend aansluiten, stimuleren, vragend toevoegen, positief waarderen van zowel positieve als negatieve geuite meningen en ervaringen. Uit feedback van de scholen bleek dat de openstaande, stimulerende en de samenvattende terugkoppelende houding positief werd gewaardeerd. De open en prettige sfeer waarin de gesprekken verliepen behoren ook tot de spontaan geventileerde reacties in feedback enige tijd na de evaluaties. Op de school waar ik tevens de rol van auditor had, heb ik ook mijn bevindingen ingebracht in de evaluatie op de betreffende school. Om de rolscheiding tijdens deze evaluatie transparant te houden heb ik duidelijk aangegeven wanneer het ging om een ervaring als auditor. Van deze eindevaluaties zijn met toestemming geluidsopnamen gemaakt. Vervolgens zijn met behulp van deze opnames transcripties gemaakt in de vorm van notulen. Elke school heeft deze ter goedkeuring voorgelegd gekregen. Twee scholen hebben enkele kleine wijzigingen in de formulering aangebracht. Alle scholen hebben hun goedkeuring aan de notulen gegeven. Analyse en Synthese De meningen en ervaringen zijn per school, zoals beschreven in de notulen, gelabeld. De ervaringen en meningen zijn ingedeeld in de categorieën Claims, Concerns en Issues (CCI’s), zoals vermeldt in hoofdstuk 4 ‘Onderzoeksopzet’. Bij de oordeelsvorming en het categoriseren waren de volgende begrippen het leidmotief:

• Claims = verwachtingen • Concerns = zorgen / problemen


47

• Issues = discussiepunten / onderwerpen die een rol spelen.

Vervolgens zijn de data gekoppeld aan een theoretisch kader. Hiervoor zijn de reeds eerder aan bod gekomen 12 criteria uit het onderzoek van Baartman (2008)4 genomen. Deze criteria worden gebruikt bij de zelfevaluatie van competentie-assessment programma’s. Het competentie-assessments programma en het zelfevaluatie-instrument MKVS hebben een op elkaar lijkende meetpretentie en meetdomein. (zie hoofdstuk 5 van dit verslag)

Alle data van de CCI’s per school zijn verzameld en ingedeeld volgens deze 12 criteria. Voor een zorgvuldige oordeelsvorming en keuze zijn de definities en beschrijvingen van de 12 criteria in het onderzoek van Baartman (2008) genomen. Vervolgens zijn ze nogmaals gescreend op de juistheid van de keuze. Daarna zijn de data overgebracht in een handzaam overzicht, waarin gelijkluidende evaluaties zijn samengenomen. Dit resulteerde in een overzicht van meningen en ervaringen van de scholen verdeeld over de 12 criteria en CCI’s. Het overzicht is opgenomen in dit verslag als bijlage 6. De overige documenten zijn ten alle tijden op te vragen bij de onderzoeker. Door deze werkwijze zijn via analyse, waarneming en reflectie de data ingedeeld en opgehangen aan een theoretisch kader om op zorgvuldige wijze de onderzoeksvraag te kunnen beantwoorden. De doorlopen stappen om naar achterliggende betekeniskaders te zoeken zijn: samenvatting, exegese en structurering aan de hand van een theoretisch kader. (Wester & Peters, 2004) Deze werkwijze vertoont verwantschap met de deductive category application van Mayring (2000).

7.2 Bevindingen

In deze paragraaf worden de meningen en ervaringen van de vier testscholen gegeven zoals naar voren gekomen tijdens de eindevaluaties. Alle genoemde meningen en ervaringen van de vier scholen worden als waardevol voor de gebruikerskwaliteit gezien. Gelijkvormige meningen en ervaringen zijn samengevoegd, overige meningen en ervaringen zijn alle meegenomen (bijlage 6). Ook is zichtbaar in de verzamelstaat dat er gelijkluidende meningen en ervaringen bij verschillende criteria terugkomen. Een mening c.q. ervaring kan van belang zijn voor bijvoorbeeld ‘fit for purpose’ als voor de ‘acceptatie’. Ervaart iemand dat iets adequaat is voor het gebruikersdoel dan zal deze mening ook de mate van acceptatie voor dat iets positief beïnvloeden.

Merkbaar waren enige verschillen in perspectief waarschijnlijk door onderliggende mentale modellen. Enkele voorbeelden van waargenomen kleine focusverschillen zijn: praktische organisatorische consequenties van het instrument, het zien van details, het verkrijgen van informatie via documentanalyse of observatie, de eigen rol als auditor. Waar de één geen problemen zag kon het voor de ander wel een punt van zorg zijn. Om al deze meningen en ervaringen naar hun waarde te kunnen schatten voor de kwaliteit van het instrument is niet gekozen om bijvoorbeeld een frequentieverdeling te maken. Een andere overweging om alle meningen mee te nemen is gelegen in het feit dat het aantal testscholen klein is. De achterliggende aanname hierbij is dat wanneer er meer scholen bij het onderzoek betrokken zouden zijn, gelijksoortige opinies naar voren

4 Het criterium ‘fitness for selfassessment’ (Baartman, 2008) is in het kader van dit onderzoek vervangen door het criterium ‘directheid’. (zie hoofdstuk 5)


48

komen. Zoals in de geest van Belbin5 bestaat elk team uit verschillende persoonstypen; hoe groter de onderzoekspopulatie des te groter is de kans dat alle persoonstypen bij het onderzoek betrokken zouden zijn. Wanneer het instrument een landelijk bereik wil halen, dan is de hanteerbaarheid en acceptatie van belang voor zo veel mogelijk gebruikers . Een derde overweging is dat alle feedback waardevol is en dat het aan de onderzoeker is om een transparante afweging te maken of het in een mogelijk verbetertraject van het instrument wordt meegenomen.

In de beschrijving van de meningen en ervaringen wordt de overeengekomen anonimiteit gerespecteerd.

Fit for purpose Het gaat hier om het doel van de zelfevaluatie; waar doe je het voor? De claims die de scholen hieraan geven zijn veelsoortig en kwamen tijdens alle vier de eindevaluaties aan bod. De ervaringen en meningen van de scholen beschouwend, kunnen deze in drie categorieën worden ingedeeld, nl. ervaringen en meningen over:

• het instrument zelf, • het evaluatieproces, • het resultaat.

Claims over het instrument zelf: Het zelfevaluatie-instrument geeft door zijn standaarden en indicatoren richting en sturing aan het evaluatieproces, maar ook aan het gebruik en implementatieproces van het MKVS. Je weet nu wat goed is voor het MKVS; het heeft een gidsfunctie. Eén school gaf letterlijk aan: “In grote lijnen is duidelijk hoe het MKVS het beste gebruikt kan worden, maar het zien van details die ook belangrijk zijn voor goed gebruik is lastiger.” Het instrument biedt een goed handvat voor waar het MKVS bij is gebaat. Door het instrument kun je het gebruik van het MKVS concreet beoordelen en volgen. Claims over het proces: Scholen hadden het gevoel dat ze met behulp van het instrument echt bezig waren met het MKVS. Dit lijkt eigenaardig, want het daadwerkelijk bezig zijn met het MKVS is eigenlijk het dagelijks ermee werken in de klas als leraar. Hier wordt bedoeld de concreetheid van en de focus op alle componenten van het gebruik van het MKVS. Dus het instrument richt tijdens het proces de manier van kijken en bespreken, waardoor daadwerkelijk alle ins en outs van het MKVS aan bod komen. Tijdens de interviews herkenden alle auditoren dat zij door hun vragen, doorvragen en de ruimte die leraren kregen voor hun eigen verhaal, een spiegel voor hielden. Tijdens het vertellen merkten de audiotoren dat de leraren gingen reflecteren. Door het onder woorden brengen stonden de geïnterviewde leraren stil bij hoe ze werken met het MKVS, welke keuzes ze daarbinnen maken, welke vaardigheden ze daarbij inzetten en hoe dat voelt. Een andere claim in het verlengde hiervan is de bewustwording van hun competenties. Eén auditor vertelde met trots: “Eén leerkracht dacht eerst dat ze het niet zo goed deed, maar door de vragen ontdekte ze dat het toch goed ging.” Geconstateerd werd dat leraren soms onbewust bekwaam zijn, bijvoorbeeld ze passen wel de lus toe (hier wordt bedoeld het lusmodel; bijlage 2), maar gebruiken nog niet de taal die daarbij hoort. Claims over het resultaat: Ook hier waren de meningen en ervaringen eensluidend. Het instrument geeft een echte diagnose van wat goed gaat en wat beter kan ten aanzien van het gebruik van het MKVS op school. Het geeft beter inzicht. De scholen hebben zowel herkenbare als nieuwe

5 Meredith Belbin (geb. 1926) is een Britse wetenschapper die bekend is geworden door zijn onderzoek naar de effectiviteit van management teams. Hij heeft de negen teamrollen ontwikkeld. (Bron: Wikipedia)


49

inzichten opgedaan. Overige reacties waren dat door het instrument bruikbare informatie en veel informatie wordt verkregen. De scholen gaven aan dat ze door de informatie gerichte input hebben gekregen voor de schoolontwikkeling. Het is een meerwaarde voor het implementatieproces van het MKVS. Er werd ook aan gegeven dat de school nu instaat is om beter en gerichter feedback te geven. Er werd door alle scholen veel minder gesproken over het borgen van wat goed gaat. Dit komt waarschijnlijk doordat alle vier de scholen bezig zijn met een invoeringstraject. De behoefte of het denken aan borgen staat nog niet zo op het netvlies. Navraag over indicatoren en of standaarden welke hoog scoorden (90%), stimuleerde de scholen om hierover na te denken. Eén school gaf toen als reactie: “ Standaard 5 en 6 dat is goed en dat moeten we zo houden.” (en lachte trots) Er werd ook een aantal ‘bijwerkingen’ van de zelfevaluatie genoemd. Als ‘bijwerkingen’ werden genoemd: het bevragen bevordert de ontwikkeling; het geeft flow door dat je weet wat goed gaat; het stimuleert het leren van elkaar (auditoren – leraren; bespreking resultaten in team) en je leert elkaar beter kennen wat betreft denken en behoeften. De scholen ervaren deze ‘bijwerkingen’ als positief voor de kwaliteit van het gebruik van het MKVS. Een concern dat ondergebracht kon worden bij ‘fit for pupose’ was dat één school als zorg aangaf dat door hun invoeringstraject nog niet alle indicatoren van toepassing zijn.

Vergelijkbaarheid Claims Vergelijkbaarheid is gerelateerd aan betrouwbaarheid. (Baartman, 2008) Twee scholen hadden meerdere ervaringen en meningen over de vergelijkbaarheid. Op drie scholen hadden de auditoren geen interpretatieverschillen ontdekt. Eén school heeft daar geen ervaring over gegeven. Auditoren van een school hadden enkele verschillen in hun mentale modellen ontdekt. Alle auditoren hebben vooraf de standaarden en indicatoren besproken onder begeleiding van de onderzoeker / auteur en hebben achteraf de evaluatieformulieren per leraar besproken. Drie van de vier scholen hebben de resultaten overgebracht op de verzamelstaat zoals beschreven in de handleiding. De vierde school heeft dit niet meer gehaald voor de tijdsplanning van dit onderzoek. De instructie vooraf werd gewaardeerd en belangrijk gevonden. Deze gaf vele goede handvatten.

Concerns Alle auditoren gaven reacties in de trant van: je moet erin komen, je moet de indicatoren leren kennen, doordat je het vaker doet verloopt het gesprek soepeler. De ervaring van de auditoren beïnvloedt het verloop van het gesprek positief. Enkele auditoren ervaren een spanningsveld tussen het voeren van een open gesprek en het beoordelen. Een auditor gaf aan dat ze daarom had geëxperimenteerd met het invullen van de beoordeling niet tijdens het gesprek, maar achteraf. Ze had tijdens het gesprek alleen korte observaties/bevindingen genoteerd. Het achteraf beoordelen vond ze ook lastig, omdat ze niet alle benodigde informatie precies kon terug halen, wat ze wel belangrijk vond voor de beoordeling. Op één school zag men het als een risico dat je te positief gaat oordelen. Als oplossing gaf de betreffende auditor aan dat het dan beter is om ‘voldoet niet’ te beoordelen en de waargenomen vooruitgang te noteren bij bevindingen met argumenten. Issues Op één school is een dialoog gevoerd over het verhogen van de betrouwbaarheid door twee auditoren bij het interview te betrekken. Beide auditoren doen dan samen alle interviews. Maar mogelijk zou dit dan weer leiden tot verminderde acceptatie van de geïnterviewde leraren. Verminderde acceptatie kan als gevolg hebben dat de geïnterviewde minder open en eerlijk is in de informatie verstrekking.


50

Reproduceerbaarheid Claims Alle scholen vonden het scoren en de beoordelingscriteria duidelijk en helder. Zoals eerder opgemerkt hebben de drie scholen geen beoordelingsverschillen tussen de auditoren gemeld. De auditoren hebben de bevindingen samen doorgenomen en overleg gevoerd bij twijfel. De instructie van de auditoren heeft veel en goede handvatten gegeven.

Alle scholen vonden de standaarden en indicatoren duidelijk en maar op één manier uit te leggen, op een enkele na (zie transparantie).

Concerns Kennis en ervaring van de auditor zijn belangrijk voor de kwaliteit van het interview. (zie ook vergelijkbaarheid – concerns) Auditoren van één school vinden indicator 1.3 vaag. Deze indicator kan verschillend worden geïnterpreteerd door zowel de auditor als de geïnterviewde leraar. Issues Belangrijk is het voor de auditor om het doel van het interview goed voor ogen te houden. Het gaat niet om afrekenen, het gaat om zoveel mogelijk informatie te verzamelen ten behoeve van kwaliteitsverbetering. Observatie zorgt ervoor dat de resultaten betrouwbaarder worden. Het geeft informatie om tijdens het gesprek naar te verwijzen. Transparantie Claims Alle scholen vinden de standaarden en de indicatoren duidelijk en helder, op enkele na (zie concerns). De afnameprocedure, het scoren en invullen van de formulieren vinden alle scholen helder en duidelijk. Het berekenen van de percentages vonden drie van de vier scholen duidelijk. Eén school had de verzamelstaat nog niet ingevuld en heeft daar dus ook geen uitspraak over gedaan. Tijdens de instructie had één auditor van een school zorg over de berekening, omdat de aantallen klein zijn. Maar tijdens de eindevaluatie had deze auditor geen bezwaren meer. De percentages geven een goed beeld. Concerns Indicator 1.3:

• volgens één school interpretatiegevoelig. (concerns reproduceerbaarheid) • het tegelijk gebruiken van hij/zij leest niet prettig. (feedback van 1 school)

Indicator 2.2: bevat twee vragen. (feedback van 1 school) Indicator 2.3:

• Drie van de vier scholen hebben vragen over hoe de term waardeoordeel op te vatten.

• De ene keer wordt de term ontwikkelingsdomein gebruikt en de andere keer ontwikkelingsgebied. Dit werkt verwarrend. (feedback van 1 school)

Standaard 5: onduidelijkheid over de norm. Is deze per kind, per groep, per week? Tijdens de instructie is de norm wel aan bod gekomen, namelijk 5 signaleringen per dag per groep. Maar deze is niet terug te vinden in de standaard.(feedback van 1 school) Standaarden 6 en 8 liggen in elkaars verlengde. Beter om deze achter elkaar te zetten. De indicatoren van standaard 8 zijn niet uitgesplitst. Deze is wel in de handleiding uitgesplitst. (feedback 1 school) Indicatoren 7.3 en 7.4 lijken op elkaar. (feedback 1 school) Indicator 7.9: hier komt het begrip ‘ de zone van de naaste ontwikkeling’ aanbod. Eén school zou dit graag eenvoudiger geformuleerd zien.


51

Indicator 7.11: om welke vragen gaat het hier? Het gaat hier om een vaardigheid en de mentale modellen die hieraan ten grondslag liggen. Het is belangrijk dat leraren dit kunnen uitleggen. Wellicht zinvol om deze indicator aan het vragenschema van de betreffende helptekst te koppelen. (feedback van 1 school) Indicator 8.6.6: wat wordt bedoeld met het vak geregistreerd gedrag? (vraag 1 school) Issues De genoteerde bevindingen waren niet altijd in termen van concreet geobserveerd gedrag beschreven. Op één school vroeg men zich af hoe de kwaliteit van een signalering wordt gemeten. Een auditor vindt het handig wanneer het instrument een module bevat waar de percentages verwerkt worden in een grafiek. Acceptatie Claims Alle scholen hebben de zelfevaluatie MKVS positief ervaren. Het evaluatieproces is goed verlopen. De leraren hebben de interviews positief ervaren en vonden het niet belastend. Er was geen weerstand waarneembaar. De leraren vertelden graag over het werken met het MKVS / hun beroep. Eén leraar vond het interview confronterend. Dit lag niet aan het interview, zoals de leraar zelf aangaf, maar aan het gebruik van het MKVS door deze leraar. De auditoren gaven aan dat de leraren een oprecht verhaal vertelden. Wanneer ze door het interview ontdekten dat ze goed bezig zijn dan motiveert dit (dit geeft een flow aan het werken met het MKVS). De standaarden en indicatoren worden als relevant en herkenbaar ervaren voor het gebruik van het MKVS. Alle auditoren vonden de evaluatie leuk om te doen en waarderen het als waardevol. Het interview geeft een samen gevoel en geen gevoel van controle. De klassenobservatie geeft een gemeenschappelijke basis. Alle scholen vonden de verkregen informatie herkenbaar en nuttig. Alle vier de scholen willen het zelfevaluatie-instrument in de toekomst gaan gebruiken. Concerns Op een school hadden de auditoren enige zorg over de observatie. Waar moet je nu precies naar kijken? Achteraf bleek de observatie mee te vallen en hebben de auditoren de observatie als positief ervaren. Tijdens de observatie noteren wat je ziet geeft handvatten voor het interview. Deze auditoren gaven aan dat het opnemen van uitleg over de observatie in de handleiding, ondersteuning biedt voor de uitvoering ervan. Taxonomie van Bloom was voor twee scholen nieuw. De taxonomie van Bloom zit in de tweede lus, de activiteiten van de leraar (zie bijlage 2, het lusmodel). Eén school vond de verwijzing naar de taxonomie van Bloom verwarrend. Eén school waardeerde de verwijzing naar de taxonomie van Bloom als positief. Het is het theoretisch kader dat er onder ligt. Goed dat dit zichtbaar is. Twee scholen hebben hier geen feedback over gegeven. Eén school ervoer het als lastig om indicatoren toe te passen in een implementatie fase. Je bent goed bezig, maar dit blijkt niet uit de audit. Deze school had er voor gekozen om alle indicatoren mee te nemen. Zij maakten een zogenaamde nulmeting. Enkele auditoren van een school vonden het lastig om te beoordelen en tegelijkertijd het gesprek positief te houden. Issues Een auditor gaf aan dat het belangrijk is om tijdens het interview de standaard te benoemen die aan bod is, zodat de geïnterviewde weet om welke standaard het gaat en waar de indicatoren voor staan. Standaard 5: uit een dialoog op een school kwam naar voren dat voor de acceptatie een gemiddelde norm van vijf signaleringen per dag per groep beter is. Wanneer je de norm


52

strak hanteert dan kan dit contraproductief werken, doordat de leraar dan te zeer gefocust is op de norm. Dit is natuurlijk ook afhankelijk van waar de leraar staat in zijn of haar ontwikkeling. Met een dergelijke norm weet je nog niet of alle kinderen gedurende een bepaalde periode signaleringen hebben. Verder werd opgemerkt dat wanneer er veel meer dan vijf signaleringen zijn gemaakt per dag per groep, de auditor zich moet afvragen wat de kwaliteit is van deze signaleringen. Voor de gespreksvoering tijdens het interview is het handiger en prettiger om notities te maken op papier. Anders zit je met twee pc’s. Bij acceptatie kan de kennis en ervaring van de auditor met het zelfevaluatie proces een rol spelen. Het is belangrijk voor het verkrijgen van informatie dat de auditor het gesprek laagdrempelig houdt. Dit item is tijdens alle evaluaties aan bod gekomen. Eerlijke kans Hierbij gaat het om de te volgen procedures om zo tot uitspraken over de kwaliteit van het gebruik van het MKVS te komen en de procedures ter rectificatie. Daarbij hoort ook het voorkomen van onjuiste inschattingen en vooroordelen. De perceptie van het krijgen van een eerlijke kans beïnvloedt ook de acceptatie. Claims In het kader van een eerlijke kans bieden voor de geïnterviewde leraren, kunnen de volgende opmerkingen worden geplaatst:

• Het is waardevol dat de leraren hun eigen verhaal / mening kunnen vertellen. • Het gaat om het neutraal kijken naar de stand van zaken. • Door de interviews gingen leraren zich competenter voelen. • Ook gaf een school aan dat het in dialoog bespreken van de evaluatieresultaten

waardevol is. Concerns Een auditor zag als risico het te positief oordelen. Zij gaf aan dat het dan beter is bij twijfel voldoet niet aan te kruisen en bij de bevindingen de positieve waarnemingen te beschrijven. Eén school miste om dezelfde reden de +/- score. De directeur van één school vond het wel prettig dat er alleen gescoord kan worden met voldoet wel of niet aangevuld met bevindingen. Dit geeft meer duidelijkheid over de ontwikkelkeuzes. Een +/- score geeft weinig informatie voor het vervolgtraject. Het is niet specifiek genoeg; biedt te weinig handvatten. Issues Eén auditor merkte op dat je met het evaluatie-instrument ook deels de mondelinge vaardigheid van de leraar meet. Eén school vond het belangrijk dat het interview geen beoordeling mag zijn, want dan zijn leraren minder bereid de vragen open en eerlijk te beantwoorden. Het interview laagdrempelig houden kan in het verlengde hiervan worden gezien. Authenticiteit Bij de authenticiteit is de focus en de herkenbaarheid van de standaarden en indicatoren voor het gebruik van het MKVS van belang. Claims In dit kader gaat het om de representativiteit van de standaarden en indicatoren voor het gebruik van het MKVS. De opmerkingen van de scholen geplaatst bij ‘fit for pupose’ en ‘betekenisvol’ zijn in dit kader ook relevant; denkend aan: echt bezig met het MKVS, weten wat goed is voor het gebruik van het MKVS, het instrument biedt een goed handvat voor waar het MKVS bij is gebaat, door het instrument kun je het gebruik van het MKVS concreet beoordelen en volgen, standaarden en indicatoren zijn herkenbaar voor het gebruik van het MKVS. Daarmee geven de scholen een waardering ten aanzien van de authenticiteit.


53

Concerns In dit kader konden geen concerns worden genoteerd. Issues Eén school ervaart de taxonomie van Bloom als representatief voor het gebruik van het MKVS. De taxonomie zit in de tweede lus. De tweede lus toont de begeleidingsactiviteiten van de leraar. Bij deze begeleiding hoort het evalueren van het begripsniveau van het kind. Een andere school waardeert het dat de taxonomie het theoretisch kader laat zien. Daarmee is het mogelijk dat leraren ontdekken dat ze onbewust bekwaam zijn. Cognitieve complexiteit Bij de cognitieve complexiteit gaat het om de representativiteit van benodigde denkprocessen voor het gebruik van het MKVS in het zelfevaluatie-instrument MKVS. Claims Bij dit item zijn enkele aspecten uit de eindevaluaties onder te brengen. De scholen ervaren het als positief dat het ‘lusmodel’ opgenomen is in het zelfevaluatie-instrument. Eén school waardeert het positief dat de taxonomie van Bloom wordt geëvalueerd. Zoals bij authenticiteit opgemerkt. Concerns Indicator 7.11: Eén school merkt op dat het hier belangrijk is dat de leraar uitleg kan geven over welke vragen de leraar stelt en het schakelen tussen de vragen. Issues Ten aanzien van bovenstaande indicator geeft dezelfde school aan, dat het een meerwaarde is, wanneer deze indicator wordt gekoppeld aan het vragenschema in de helptekst van het digitale MKVS. Betekenisvol Uit de feedback van de scholen blijkt dat de waardering van de betekenis van het instrument en de ‘ fit for porpose’ dicht bij elkaar liggen. Vele van de hieronder vermelde feedback is ook terug te vinden bij deze categorie. Ten aanzien van dit onderdeel kon alleen feedback bij de ‘claims’ worden ondergebracht. Claims Vele claims zijn uit de evaluaties te noteren. Alle scholen zijn hierin vrij eensgezind in hun ervaring en mening. Dit betekent dat de scholen een gelijkluidende betekenis aan het instrument toedichten. Alle scholen ervaren het zelfevaluatie-instrument als waardevol voor het naar boven halen van de kwaliteit van het gebruik van het MKVS. Het genereert beter inzicht en nieuwe en herkenbare informatie over het gebruik van het MKVS door de leraren op de school. Op enkele testscholen werd op gezette tijden een documentanalyse uitgevoerd. Deze scholen vinden dat het zelfevaluatie-instrument MKVS veel meer informatie geeft over het gebruik van het MKVS. Nu leer je de keuzes, denkprocessen, behoeften, kennis en vaardigheden van de leraren in relatie met het MKVS beter kennen. Alle scholen vinden de standaarden en indicatoren herkenbaar en zinvol voor het gebruik van het MKVS. De scholen ervaren de standaarden en indicatoren bij elkaar als een goed handvat en een geheugensteun voor het gebruik van het MKVS. “Je weet nu wat belangrijk is”. Het geeft inzicht in de ‘best practice’ van het MKVS. Door het instrument ben je instaat om de schoolontwikkeling ten aanzien van het MKVS concreet te volgen en beoordelen. Het is een diagnose instrument ten behoeve van de ontwikkeling. Het biedt input voor kwaliteitsontwikkeling. Een directeur van één school


54

vindt het instrument ook bruikbaar voor klassenobservaties door de directeur en voor de Persoonlijk Ontwikkel Plannen (POP’s) van de leraren. Zo worden ook andere betekenisverlenende eigenschappen aan het instrument toegeschreven, namelijk:

• Het motiveert het werken met het MKVS. • Door het instrument werd het ondersteunen en leren van elkaar gestimuleerd. • Door de interviews was er ruimte voor het eigen verhaal en de mening van de

leraar. • Door het verwoorden ontdekten leraren hun handelwijze en hun bekwaamheid ten

aanzien van het MKVS. Er trad bewustwording op. • Door de interviews bleken leraren soms onbewust bekwaam te zijn. • Doordat je samen bezig bent met de evaluatie krijg je meer inzicht. Hier wordt

gedoeld op de interviews (auditor en geïnterviewde), het voor en nabespreken van de interviews door de auditoren en het bespreken van de evaluatieresultaten met het team.

Directheid Claims Door de interviews leert de school de mentale modellen van de leraar beter kennen. Daarnaast melden alle auditoren dat leraren gaan spiegelen doordat ze hun keuzes en handelwijze onder woorden brengen. Het direct interviewen zorgt er volgens de auditoren voor dat er meer informatie wordt verkregen. Dit is zeer duidelijk voor de scholen die al een vorm van documentanalyse uitvoerden. Een ander gevolg van de interviews dat auditoren melden, is de vergrote betrokkenheid van de leraren bij het MKVS. Er zijn geen concerns en issues ten aanzien van de directheid uit de meningen en de ervaringen naar voren gekomen tijdens de evaluaties. Consequentie Wat betreft het effect van de zelfevaluatie op de schoolontwikkeling waren alleen claims uit de evaluaties te generen. Claims Uit de evaluaties kwam naar voren dat de scholen input hebben gekregen voor kwaliteitsverbetering door de verkregen inzichten. Allen ervaren het als een meerwaarde voor de implementatie van het MKVS. Het instrument geeft sturing aan de schoolontwikkeling doordat de school weet waar het MKVS bij is gebaat. Het geeft informatie voor ontwikkelkeuzes en borging van datgene dat goed gaat. Ook meldt een school dat door te kijken naar wat goed gaat er een flow ontstaat in het werken met het MKVS. Eén school geeft aan dat het door de evaluatie ontwikkelsprongen kan maken. Ook meldt een school dat je door het instrument in staat bent om beter en gerichter feedback te geven. Andere en ook al eerder gemelde effecten van de zelfevaluatie zijn: het leren van elkaar, het steunen van elkaar, bewustwording, geeft focus, verhoogt de motivatie, vermindert de weerstand ten aanzien van het MKVS doordat het betrokkenheid vergroot. Kosten & efficiëntie Tijdens de evaluaties zijn een aantal investeringen en efficiëntieverhogende tips naar voren gekomen. Deze zijn onder te verdelen onder claims en concerns. Claims Uit de ervaringen van de auditoren blijkt dat een interview ongeveer drie kwartier tot een uur duurt. Één auditor meldde dat de interviews bij hem ongeveer een half uur duurden.


55

Drie scholen hadden er voor gekozen om de documentanalyse vooraf aan het interview uit te voeren. Eén school heeft de documentanalyse tijdens het interview gedaan. De documentanalyse betekent een tijdsinvestering van ongeveer één uur per drie leraren. Auditoren ervaren dit als een flinke tijdsinvestering, maar vinden het wel prettiger om het apart te doen. Zij geven aan dat hierdoor het interview minder tijd in beslag neemt. De school die de documentanalyse tijdens het interview heeft uitgevoerd, meldt dezelfde tijdsinvestering voor de interviews als de overige scholen. Voor de observatie in de klas was een tijdsinvestering van 20 minuten voldoende. Alle scholen vonden door de opbrengsten van de zelfevaluatie de tijdsinvestering de moeite waard. Alle auditoren hebben er voor gekozen om hun bevindingen op een papieren evaluatieformulier te noteren. Zij vonden dit prettiger en laagdrempelig voor de leraar. Het alternatief was om digitale aantekeningen te maken, maar dan zit je met twee computers. Wel is het handig om de verzamelstaat meteen digitaal in te vullen. Een auditor gaf aan dat het handig is wanneer de evaluatieformulieren klaarliggen. Ook werd ingebracht dat een dubbelzijdige print onhandig is tijdens het interview. Je zit dan de hele tijd te draaien met je papier. Dit werkt storend. Concerns De volgende zaken kwamen in dit kader naar voren:

• Een school meldde dat het digitaal inkleuren van de vakjes op de formulieren niet lukt.

• Observaties zijn lastig te organiseren, maar vormen wel een meerwaarde voor de evaluatie.

• De documentanalyse is veel werk, maar toch ook werd deze werkwijze als een meerwaarde gezien.

• Er is geen tijd tijdens het interview om alles te noteren. • Eén school vond standaard 9 van een ander type vergeleken met de overige. Bij

standaard 9 zijn er indicatoren, die een voorwaarde zijn voor het gebruik van het MKVS en waar de leraar geen invloed op heeft. De verantwoordelijkheid en uitvoering ligt bij deze indicatoren op schoolniveau en de uitvoering is meestal gedelegeerd naar de administratie.

• Eén school gaf aan dat het handiger is voor de documentanalyse, wanneer het digitaal MKVS de mogelijkheid biedt, om informatie op eenvoudige wijze op te halen voor de betreffende indicatoren (zie standaard 5, 6 en 8).

7.3 Conclusies

Het doel van het onderzoek op de testscholen was om inzicht te krijgen in wat de beoogde gebruikers van het zelfevaluatie-instrument MKVS vinden. Concluderend kan worden gesteld dat de testscholen het instrument positief waarderen. Het is denkbaar dat de verkregen feedback te relateren is aan de implementatiefase waar de testscholen in zitten. Er zijn mogelijk indicatoren uit het instrument waar scholen wellicht geen feedback op gegeven hebben, omdat de school daar nog niet mee bezig is. Verder hebben de scholen nog niet zo veel ervaring met deze vorm van evalueren. Twee scholen hebben enige ervaring met de Kik-kaarten (kwaliteit in Kaart van EDUX). Dit betekent dat mogelijk sommige feedback van de auditoren te maken heeft met de geringe ervaring als auditor. Beide variabelen kunnen van invloed zijn op de ervaringen en de meningen ten aanzien van het zelfevaluatie-instrument MKVS. Ook kan de kwaliteit van de implementatie de effectiviteit van het instrument beïnvloeden (Maslowski, Visscher, 1997) Dit betekent dat dit ook als een beïnvloedende variabele is te beschouwen op de ervaren gebruikskwaliteit. In het kader van het onderzoek is door middel van instructie vooraf de kwaliteit van de implementatie en het gebruik van het instrument zoals bedoeld, bevorderd. Ook is de evaluatie met behulp van het instrument beperkt gemonitord. Door de toepassing van het instrument door meerdere auditoren


56

zijn verschillen in de implementatiekwaliteit niet uitgesloten. Uit de evaluaties is de indruk verkregen dat het instrument is gebruikt zoals bedoeld. Het aantal claims overstijgt in ruime mate het aantal concerns en issues. Dit verschil kan worden veroorzaakt door de omarming van het instrument ten gevolge van informatiebehoefte over het professionalisering- c.q. implementatietraject, de gestructureerde wijze waarop het instrument is ontwikkeld met behulp van een resonansgroep bestaande uit experts en / of het ervaringsniveau met zelfevaluatie-instrumenten. In welke mate deze variabelen de ervaren gebruikerskwaliteit en de waarde van de verkregen feedback beïnvloeden, kan in het kader van dit onderzoek niet worden achterhaald. Ten aanzien van dit punt moet worden opgemerkt, dat de testscholen representatief zijn voor de potentiële gebruikersgroep. De montessorischolen die het digitaal MKVS gebruiken zitten alle nog in een implementatietraject en hebben, zo ver in te schatten is, nog geen jarenlange ervaring met zelfevaluatie-instrumenten. Het gebruik van zelfevaluatie om de kwaliteit van de scholen te verbeteren is een ontwikkeling die zijn intrede deed eind jaren negentig. ( Mc Namara, O’Hara, 2005). Daarbij is het geteste instrument het enige in zijn soort en was voor alle testscholen nieuw. De claims ondergebracht bij ‘fit for purpose’ ondersteunen het doel van de zelfevaluatie, namelijk om voldoende en passende informatie en bewijs te krijgen over de kwaliteit van het gebruik van het MKVS. Uit de claims blijkt dat de scholen verwachtingen ontlenen aan het instrument, die passend zijn voor schoolontwikkeling ter verbetering van de kwaliteit. Opmerkingen die dit ondersteunen zijn bijvoorbeeld: hiermee kun je het gebruik van het MKVS concreet beoordelen en volgen, je krijgt zowel nieuwe als herkenbare informatie die waardevol is voor de schoolontwikkeling, het leren wordt gestimuleerd. Concluderend kan men stellen dat de testscholen het zelfevaluatie-instrument MKVS als passend voor het doel ervaren, namelijk schoolontwikkeling (the improvement function; pag. 7, OECD, 2009). De zorg dat in een implementatiefase nog niet alle indicatoren van toepassing zijn komt mogelijk voort uit een behoefte aan informatie hierover. In de handleiding en tijdens de instructie is dit aspect kort besproken, maar blijkbaar was dit onvoldoende voor deze school. Deze zorg kan worden opgevat als een behoefte aan meer duidelijkheid over wat een school moet doen wanneer ze in een invoeringstraject zitten, aan informatie over hoe om te gaan met indicatoren die nog niet van toepassing zijn, wat neem je wel of niet mee in de evaluatie en wat betekent dat voor de resultaten van de evaluatie. Hiervoor biedt uitleg over optionele handelwijzen in de handleiding mogelijk uitkomst. Daarbij kan ook informatie worden opgenomen over een zogenaamde ‘nul’-meting. Dit was de keuze van één van de testscholen. Voor de ‘vergelijkbaarheid’ noemen de scholen het belang van de instructie voor de start van de evaluatie. Door de auditoren zelf zijn geen interpretatieverschillen waargenomen. In hoeverre de oordelen werkelijk overeenkomen, is in deze evaluatie niet onderzocht. De auditoren hebben hun bevindingen in grote lijnen besproken en bij twijfel overleg gevoerd. De verzamelstaat hebben ze gezamenlijk ingevuld. De ervaring van de auditor speelt een rol bij het soepel verloop van het interview volgens de scholen. Het gaat hier om gespreksvaardigheden, het tijdens het gesprek selecteren en noteren van relevante informatie en de kennis over en de inzicht in de standaarden en indicatoren. De rol van auditor is niet eenvoudig en vergt oefening. Uit de feedback van de scholen kun je concluderen dat er een relatie bestaat tussen de ervaring en deskundigheid van de auditor en de kwaliteit van de verkregen informatie. Het door een aantal auditoren waargenomen spanningsveld tussen het voeren van een open gesprek en het beoordelen wordt mogelijk ook verminderd door de ervaring van de auditor. Ondergetekende heeft in de rol van auditor geen spanningsveld ervaren tussen het beoordelen en het voeren van een open gesprek. Mogelijk komt dit voort uit de jarenlange ervaring met audits en de kennis van het instrument.


57

Dit betekent dat instructie en begeleiding van de auditoren over de toepassing van het instrument en de bij het interview passende gespreksvaardigheden belangrijk zijn. De gegeven instructie bleek voor de auditoren belangrijk. De OECD (2009) onderschrijft het belang van getrainde en ervaren auditoren als essentiële basis voor de ‘good practice’ van de evaluatie. De opmerking van een auditor bij ‘reproduceerbaarheid’ over het belang van het voor ogen houden van het doel van het interview, vormt een onderdeel van de genoemde ‘good practice’. Naar men mag aannemen zou de mate van kennis en kunde van de auditoren de vergelijkbaarheid kunnen beïnvloeden. Dit zelfde geldt voor de reproduceerbaarheid. De suggestie om de vergelijkbaarheid te vergroten door twee beoordelaars aanwezig te laten zijn bij een interview is een afweging van drie componenten, namelijk kosten en tijd, mogelijke toename van vergelijkbaarheid en mogelijk verminderde acceptatie en daarmee samenhangende informatiebereidheid van het interview door de geïnterviewden. Wanneer auditoren goed ingewerkt zijn, nauw overleg voeren over interpretatie van de data en de evaluatieresultaten worden in het team besproken, is deze extra investering mogelijk niet nodig om de vergelijkbaarheid te vergroten. Verder onderzoek naar de interbeoordelaars-overeenstemming zou hier mogelijk meer duidelijkheid bieden. Over het algemeen kan ten aanzien ‘reproduceerbaarheid’ worden geconcludeerd, dat de standaarden, indicatoren en het beoordelingsproces duidelijk en helder zijn, op enkele uitzonderingen na die bij ‘transparantie’ worden besproken. Overige zaken die van belang zijn voor de ‘reproduceerbaarheid’ worden ook besproken bij ‘vergelijkbaarheid’ en ‘transparantie’. De scholen ervaren het instrument als ‘transparant’ op enkele indicatoren na. Over het algemeen ervaart men de standaarden en bijbehorende indicatoren als helder en duidelijk. Ditzelfde geldt ook voor de afnameprocedure, de formulieren, het scoren en berekenen van de percentages. De transparantie beïnvloedt de vergelijkbaarheid en reproduceerbaarheid. Verder heeft transparantie een positieve bijdrage aan de acceptatie van de zelfevaluatie. (hoofdstuk 5) De feedback over onduidelijkheden in enkele standaarden en indicatoren moeten op hun merites worden beoordeeld. Met uitzondering van één indicator hebben de scholen onduidelijkheden ten aanzien van verschillende indicatoren ervaren. Dit komt mogelijk door de fase van implementatie waar de scholen in zitten. Wanneer indicatoren minder relevant zijn voor een school dan zal daar ook niet zo de aandacht voor zijn. Dit betekent dat elke opmerking goed bekeken moet worden, zodat besluitvorming hier zorgvuldig over kan worden gedaan. De vraag hoe ‘waardeoordeel’ bij indicator 2.3 moet worden opgevat is een opvallende. Drie van de vier scholen hadden hierover eenzelfde vraag. Bij navraag gaven de auditoren als verduidelijking aan dat er geen waardering in de vorm van een cijfer wordt gegeven. Deze vorm van waarderen is een engere vorm van het verbinden van een waarde aan het werk van een kind. Het begrip waardeoordeel moet hier in een bredere context worden gezien en opgevat, als het waarderen ten behoeve van de begeleiding van de leerling. Hierover kan in handleiding uitleg worden opgenomen. Een aantal opmerkingen houden een kleine aanpassing in, zoals lay-out, eenduidig gebruik in terminologie, normstelling aantal signaleringen en aanpassen standaarden volgens een logische volgorde. Deze wijzigingen zullen en kunnen op eenvoudige wijze worden doorgevoerd. Overige wijzigingen behoeven verdere afweging. Hier wordt gekeken naar hoe de indicatoren zodanig kunnen worden gewijzigd dat de inhoud overeind blijft, maar dat de transparantie toeneemt voor de scholen. Bij transparantie is als issue het beschrijven van bevindingen in waarneembaar gedrag naar voren gekomen. Het beschrijven in waarneembaar gedrag is niet in alle gevallen door auditoren gedaan. Uit de evaluaties blijkt dat bevindingen omschreven in waarneembaar gedrag een meerwaarde zijn voor ontwikkelkeuzes. Deze meerwaarde


58

vergroot de waarde van de evaluatiedata en vergroot de afstemming tussen de ontwikkelbehoeften en het ontwikkelplan. Dat auditoren bevindingen noteren in waargenomen gedrag is geen automatisme. Om dit gedrag te stimuleren is het belangrijk dat zowel in de handleiding als tijdens de instructie hier aandacht aan wordt besteed. Alle scholen waarderen het instrument positief en willen het graag in de toekomst gebruiken. Ook werden de interviews positief gewaardeerd door zowel de auditoren als de geïnterviewde leraren. Alle auditoren vonden het leuk om te doen en de leraren waardeerden de aandacht voor hun eigen verhaal positief. Daarnaast vonden de scholen de standaarden en indicatoren herkenbaar voor het gebruik van het MKVS. Concluderend uit de positieve feedback kan worden gesteld dat het instrument geaccepteerd is door de testscholen. Een parallelle aanname kan worden gedaan in de acceptatie door andere montessorischolen die het MKVS gebruiken. Lerarenevaluaties ten behoeve van verbetering zijn gebaat bij een niet bedreigende evaluatiecontext. (OECD, 2009) Hetgeen passend is bij de ervaringen van de testscholen. Eén school vroeg zich af hoe de kwaliteit van een signalering wordt gemeten. Met het instrument worden niet expliciet uitspraken gedaan over de kwaliteit van de gemaakte signaleringen. Een signalering vormt het uitgangspunt / startpunt voor het handelen van de leraar. (bijlage 1) (Westra, 2010) Signaleringen worden ‘markante’ momenten in de ontwikkeling van een kind genoemd, zowel positief als negatief. (Westra, 2010) De kwaliteit van een signalering is lastig eenduidig te operationaliseren. Het probleem is gelegen in het feit dat een signalering niet eenduidig kan zijn door de taalkundige formulering. Leraren beschrijven de ‘markante’ ontwikkelingsmomenten in hun eigen bewoordingen en hun eigen taalkundige stijl. Indicatoren die te maken hebben met de kwaliteit van een signalering zijn: Elke signalering leidt tot een beslissing. Dit is in het instrument opgenomen. Uit evaluaties van de begeleidersgroep blijkt dat wanneer er veel meer dan gemiddeld vijf signaleringen per dag per groep worden gemaakt de signaleringen niet altijd signaleringen zijn die richting geven aan de begeleiding van de leraar. Een signalering is het startpunt voor de begeleiding op een bewust en planmatige wijze. (bijlage 1 en Westra, 2010) De beslissing wordt gekoppeld aan verlooptijd. (handleiding digitaal MKVS, versie 2.10.0) Een signalering valt binnen de ontwikkelkaders zoals weergegeven binnen het registratiemodel (de ‘ gele’ velden) (handleiding digitaal MKVS, versie 2.10.0) De eerste drie genoemde kenmerken worden door indicatoren geëvalueerd. Deze zouden mogelijk geëxpliceerd kunnen worden in de handleiding. De twee laatst genoemde kenmerken worden niet door indicatoren gemeten. Overwogen kan worden in hoeverre deze eigenschappen geoperationaliseerd en opgenomen kunnen worden in het zelfevaluatie-instrument MKVS. Door de ruimte die leraren kregen voor hun eigen inbreng en de gewenste openstaande houding van de auditoren, kunnen positieve ervaringen bij de ‘eerlijke kans’ worden geplaatst. Door de interviews gingen leraren zich competenter voelen, dit verhoogd het gevoel van het hebben van een eerlijke kans. De wens van een school voor een +/- score is een begrijpelijke in het kader van het tegemoet komen aan de acceptatiebehoefte van de leraar door de auditoren. Het is blijkend uit de evaluaties niet voor alle auditoren gemakkelijk om tegelijkertijd te beoordelen en een open gesprek te voeren. Het is goed mogelijk dat, zoals een andere school aangeeft het niet meer duidelijkheid biedt over het gebruik van het MKVS, waar het instrument voor is bedoeld. Een andere school wijst op het belang van de bevindingen bij twijfel. De bevindingen geven hierin uitkomst en inzicht in ‘Wat gaat goed en wat kan beter’. Gezien de feedback van de scholen en de lacunes in de formulering van de bevindingen zal de aandacht naar de kwaliteit van de beschrijving van de bevindingen uit gaan. De opmerking van een auditor dat deels de mondelinge vaardigheid van de leraar wordt gemeten, is inherent aan een interview. De mondelinge informatievergaring heeft vergeleken met een schriftelijke werkwijze, als extra waarde dat de auditor de mogelijkheid heeft om door te vragen wanneer de uitleg niet duidelijk is. Dit verhoogd de


59

eerlijk kans die de geïnterviewde krijgt om eigen werkwijze te etaleren. Het goed kunnen verwoorden dient nog een ander belang, namelijk de vaardigheid van de leraar om het handelen uit te kunnen leggen aan ouders en andere stakeholders, wat ook tot de competenties van een leraar wordt gerekend. (NMV, 2008)

De ‘authenticiteit’ wordt door de testscholen positief gewaardeerd. De standaarden en indicatoren worden herkend en als leidend gezien voor het gebruik van het MKVS. In dit kader vormt het al dan niet handhaven van de taxonomie van Bloom een discussiepunt. De feedback die ondergebracht kan worden bij de ‘cognitieve complexiteit’ is gering. Mogelijk is dit te wijten aan het feit dat de scholen hier niet expliciet naar bevraagd zijn. Aan de andere kant is het de vraag of een school daar een uitspraak over kan doen. In ieder geval vinden de scholen de standaarden en indicatoren representatief voor het gebruik van het MKVS. Dus hier kan men impliciet veronderstellen dat de scholen de standaarden en indicatoren representatief vinden voor de cognitieve complexiteit die nodig is voor het gebruik van het MKVS. Zo worden de indicatoren over het lusmodel positief gewaardeerd en één school vindt de zichtbaarheid van de taxonomie van Bloom als theoretische onderbouwing belangrijk. Bij indicator 7.11 heeft een school de zorg dat een leraar onvoldoende uitleg geeft over de vragen die een leraar stelt en hoe de leraar schakelt tussen de vragen. Om dit te voorkomen zou deze indicator mogelijk gekoppeld kunnen worden aan het vragenschema in de helptekst van het digitale MKVS. Dit zal nader moeten worden bestudeerd. Uit de vele claims en het ontbreken van concerns en issues kan worden gesteld dat de testscholen het zelfevaluatie-instrument als ‘betekenisvol’ ervaren. Dat de scholen het instrument als betekenisvol ervaren beïnvloedt de acceptatie van het instrument positief. Scholen vinden dat het instrument veel waarde heeft voor de schoolontwikkeling ten aanzien van het MKVS. Ook de ‘directheid’ van de evaluatie wordt als positief ervaren. Scholen geven aan dat ze hierdoor meer informatie over het gebruik krijgen vergeleken met andere informatiebronnen, zoals documentanalyse en teambesprekingen. De gelegenheid die een leraar krijgt voor het eigen verhaal is van grote meerwaarde hiervoor. Het vergroot ook de betrokkenheid en bewustwording. De ‘consequentie’ van het instrument wordt positief gewaardeerd. Met het zelfevaluatie-instrument krijgen de scholen informatie die ze waardevol vinden voor de kwaliteit van het gebruik van het MKVS en het biedt input voor het schoolplan. Ook hebben alle scholen opgemerkt dat er al een lerend en stimulerend effect uitgaat van de toepassing van het instrument zelf. In die zin heeft het instrument een dubbel effect op de kwaliteitszorg. Wat betreft de ‘kosten & efficiëntie’ ervaren de scholen dat de investeringen die nodig zijn voor de evaluatie, opwegen tegen de opbrengsten. De opbrengsten worden als waardevol voor de school gezien. Ondanks de flinke tijdsinvestering willen de scholen het instrument graag in hun school toepassen. De scholen verwachten dat het instrument een positieve bijdrage levert aan de kwaliteitsverbetering van het gebruik van het MKVS op hun school. De tijdsinvesteringen en de tips en trics worden opgenomen in de handleiding. Met deze ervaringen kunnen andere scholen mogelijk hun voordeel meedoen. Ook is binnen dit kader de instructie van de auditoren belangrijk.


60

De gebruikerskwaliteit is in beeld gebracht door te kijken hoe het instrument voldoet aan de edumetrische eisen, hiervoor zijn de 12 criteria van Baartman (2008)6 en de feedback van de testscholen gebruikt. Op basis van de claims kan worden gesteld dat het instrument aan de 12 criteria voldoet. Er zijn een aantal concerns geconstateerd die input geven voor verdere ontwikkeling van het instrument. Concluderend kan worden gesteld dat de scholen de gebruikskwaliteit van het zelfevaluatie-instrument MKVS positief waarderen. Het zelfevaluatie-instrument MKVS kan op enkele punten aan de hand van de gegeven feedback worden verbeterd om zodoende de gebruikskwaliteit verder te vergroten.

6 Het criterium ‘fitness for selfassessment’ (Baartman, 2008) is in het kader van dit onderzoek vervangen door het criterium ‘directheid’.


61

8. Conclusies en discussie Uit de literatuurstudie kwamen de COTAN-eisen (2004) en de 12 criteria van Baartman (2008) naar voren. In welke mate het instrument voldoet aan deze eisen is besproken in de hoofdstukken 6 en 7. Bij de beantwoording van beide deelvragen is het evaluand op meerdere deelaspecten beoordeeld, waarna een overall-oordeel is geformuleerd om de vraag te kunnen beantwoorden “Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen?”. Nu kan met de verkregen bevindingen worden gekeken in welke mate de onderzoeksresultaten de centrale vraag beantwoorden. De centrale onderzoeksvraag luidt: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS”. Middels twee deelvragen is de kwaliteit van het zelfevaluatie-instrument MKVS bestudeerd. Via literatuurstudie is gezocht naar passende kwaliteitseisen voor zelfevaluatie-instrumenten (de eerste deelvraag). De tweede deelvraag betreft de kwaliteit zoals in beeld gebracht aan de hand van de COTAN- eisen (2004) en de ervaren gebruikerskwaliteit door vier gebruikers. Bij de beantwoording van de hoofdvraag is het onvermijdelijk om te kijken in hoeverre de gekozen onderzoeksopzet beantwoording heeft bewerkstelligd. Dit beïnvloedt de legitimering van de gevonden kwaliteit. In dit hoofdstuk wordt de reflectie op de gekozen onderzoeksopzet meegenomen. Uit de literatuurstudie zijn twee benaderingen naar voren gekomen om te kijken naar de kwaliteit van evaluatie-instrumenten, de psychometrische en de edumetrische. COTAN (2004) gaat uit van de psychometrische benadering, de 12 criteria van Baartman (2008) bevatten kwaliteitseisen volgens de edumetrische benadering. Bij het in beeld brengen van de kwaliteit van het zelfevaluatie-instrument MKVS zijn beide benaderingswijzen betrokken. Ten behoeve van dit onderzoek is een wijziging doorgevoerd in de 12 criteria van Baartman (2008) (zie hoofdstuk 5). Het criterium ‘fitness for selfassessment’ is vervangen door het criterium ‘directheid’. Het criterium ‘fitness for selfassessment’ is niet van toepassing op het zelfevaluatie-instrument en het criterium ‘directheid’ is relevant voor de kwaliteit van het instrument (construct validiteit, hoofdstuk 5). De kwaliteit van het zelfevaluatie-instrument MKVS volgens de COTAN (2004) levert een positieve beoordeling voor de onderdelen: uitgangspunten testconstructie, kwaliteit van het testmateriaal en de handleiding en normen. Voor wat betreft de betrouwbaarheid en validiteit kunnen, door het ontbreken van data, vooralsnog niet positief worden beoordeeld. Validiteit is hooggewaardeerd binnen de psychometrische benadering, maar er wordt maar zelden op bevredigende wijze in voorzien. (Kane, 1990) Wanneer de edumetrische benadering wordt toegepast, ontstaat een goede indruk van de validiteit. Hier is een op argumenten gebaseerde benadering toegepast met behulp van de 12 criteria van Baartman (2008). Deze op argumenten gebaseerde redenaties passen binnen de ‘argument based approach’ van validiteit van Kane (1990). De op argumenten gebaseerde interpretaties moeten plausibel en solide zijn. (Kane, 1990) Om dit te beoordelen zijn de analyse en gehanteerde argumenten aan een critical friend ter evaluatie met verbeteringsdoeleinden voorgelegd. De argumenten werden beoordeeld als aannemelijk en steekhoudend. In de suggestie volgens Kane (1990) moet in de ontwikkeling van het ‘interpretive argument’ het argument formatief worden geëvalueerd en daarna summatief beoordeeld in een empirische test. Dit betekent dat de gebruikte argumenten ten aanzien van de betrouwbaarheid en validiteit empirisch getest moeten worden om in voldoende mate aan de validiteiteis te voldoen. Dit is niet de opzet van dit onderzoek geweest, maar gedeeltelijk is aan deze vorm van evaluatie tegemoetgekomen door het onderzoek naar de gebruikerskwaliteit op de testscholen. Mogelijk is een dergelijk onderzoek in de toekomst zinvol.


62

Een ander aspect van de validiteit is dat volgens de redenering van Messick (1994, 1995) de kwaliteit van de uitgangspunten voor de testconstructie, het testmateriaal, de handleiding en de normen gerekend kunnen worden tot de constructvaliditeit. Door de positieve beoordeling op deze punten volgens de COTAN-richtlijnen (2004) mag een hoge mate van constructvaliditeit worden verondersteld. Verder is veel bruikbare informatie, die de constructvaliditeit ondersteunen, verkregen uit de ervaringen van de testscholen. Informatie van de gebruikers is belangrijk voor een ontwerp. (Malslowski, Visscher 1997). Malsowski en Visscher (1997) stellen dat de waargenomen kwaliteit van de gebruikers doorslaggevender is dan de objectieve kwaliteit van een ontwerp. Dit betekent dat deelvraag 2b over de gebruikerskwaliteit (hoofdstuk 7) een belangrijke informatiebron is voor de kwaliteit van het zelfevaluatie-instrument MKVS. Voor het verkrijgen van een compleet beeld is het zinvol om de bevindingen van de COTAN beoordeling en de testscholen samen te beschouwen. Bij de bespreking worden de COTAN (2004) onderdelen als kapstok genomen.

8.1 De kwaliteit van de uitgangspunten van de testconstructie

Overeenkomstig de COTAN (2004) is het gebruikersdoel van de test opgenomen in de handleiding. Volgens de OECD (2009) is het gebruikersdoel van zelfevaluatie verbetering en verantwoording. Het accent ligt bij het zelfevaluatie-instrument MKVS op kwaliteitsverbetering van het gebruik van het MKVS in de montessorischool. Inherent aan de zelfevaluatie is dat er een momentopname wordt gemaakt van de huidige stand van zaken ten aanzien van het gebruik van het MKVS. Dit kan de school gebruiken voor verantwoording. In de feedback benoemen de testscholen aspecten gerelateerd aan schoolontwikkeling ten behoeve van het gebruik van het MKVS, dit is overeenkomstig het primaire gebruikersdoel van het instrument; ontwikkeling en daarmee samenhangend kwaliteitsverbetering. De ervaringen zijn passend bij het gebruikersdoel. Het zelfevaluatie-instrument MKVS is ‘fit for purpose’. De herkomst van het construct-idee zoals COTAN (2004) formuleert, is het MKVS. Dit is beschreven in de handleiding. Uit de ervaringen van de testscholen blijkt dat de scholen de standaarden en indicatoren herkennen als factoren die belangrijk zijn voor het gebruik van het MKVS. De grondslagen van het instrument worden herkend en erkend door de gebruikers. De ervaringen ondergebracht bij ‘fit for purpose’, ‘betekenisvol’, ‘authenticiteit’ en ‘consequentie’ geven hier blijk van (bijlage 6) De relevantie van de testinhoud (COTAN, 2004) wordt beschreven in de handleiding en de testinhoud wordt als relevant ervaren door de gebruikers. De relevantie blijkt ondermeer ook uit de meningen en ervaringen zoals geformuleerd bij de onderdelen ‘betekenisvol’ en ‘acceptatie’. Een andere indicie is ook de aangegeven wens om het instrument in de toekomst te gebruiken. Gesteld kan worden dat de uitgangspunten van de testconstructie duidelijk en helder zijn, hetgeen door de meningen en ervaringen van de testscholen wordt ondersteund. Een ander relevant aspect in deze is de ondersteuning van de testinhoud door de auteur van het MKVS en de begeleidersgroep MKVS. De gehanteerde werkwijze van het ontwerp, de expertbeoordeling door de auteur van het MKVS en leden van de begeleidersgroep MKVS, kan worden gesteld dat ook genoemde experts de relevantie van de testinhoud herkennen en erkennen. Deze expertbeoordeling was gericht op de interne kwaliteit van het instrument. (Maslowski, Visscher, 1997) Om persoonlijke voorkeuren tegen te gaan zijn verschillende deskundigen bij de beoordeling betrokken. (Maslowski, Visscher, 1997)


63

Vanuit het perspectief van de COTAN (2004) en de gebruikers kan de kwaliteit van de uitgangspunten van de testconstructie positief worden gewaardeerd.

8.2 De kwaliteit van het testmateriaal en de handleiding

De kwaliteit van het testmateriaal en handleiding kan op basis van de COTAN-eisen (2004) positief worden beoordeeld. Voor dit item relevante evaringen zijn in hoofdstuk 7 te vinden onder het kopje ‘transparantie’. Het testmateriaal en handleiding moeten aangeven wat er geëvalueerd wordt en op welke wijze. Dit moet voor alle stakeholders duidelijk en helder zijn. (Baartman, 2008) Over het algemeen kan worden gesteld dat de testscholen de standaarden, indicatoren, afnameprocedure, het scoren, en gebruik van de formulieren zoals opgenomen in de handleiding als helder en duidelijk ervaren. Uit de claims en concerns in de verkregen feedback zijn op dit punt wel een aantal verbeterwensen te destilleren. De gemaakte opmerkingen behelzen onduidelijkheden in interpretatie, formulering en volgorde van een aantal indicatoren. Volgens de waarneming van de scholen zijn dit verbeterpunten ten aanzien van de gebruikerskwaliteit van het instrument. Hoewel de bevindingen van de scholen niet eensluidend zijn op één onderdeel na, namelijk de interpretatie van het woord ‘waardeoordeel’ bij indicator 2.3. De ervaren gebruikerskwaliteit is belangrijk voor het toekomstige gebruik van het instrument op scholen. (Maslowski, Visscher, 1997) Dit betekent dat gekeken moet worden op welke wijze aan de concerns en issues tegemoet kan worden gekomen. De ervaren interpretatie onduidelijkheden kunnen mogelijk worden opgevangen door in de handleiding informatie te verstrekken die van belang is bij de interpretatie. Dit biedt meer duidelijkheid voor de gebruikers en verbetert de op dit punt negatieve COTAN-beoordeling (2004). Een ander punt dat de kwaliteit van het testmateriaal en handleiding verbetert, is de onduidelijkheid op te heffen, zoals ervaren door een school, over wat te doen met indicatoren die nog niet van toepassing zijn. De handleiding zal duidelijkheid moeten bieden over het niet meenemen van indicatoren in de test en wat dit betekent voor de normering. Hiermee kan het COTAN-onderdeel (2004) “Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de scoring kunnen worden vermeden” positiever worden beoordeeld. Door de ingebrachte ervaringen wat betreft de benodigde tijdsinvesteringen kan ook de COTAN-vraag (2004) “Is de instructie voor de geteste volledig en duidelijk?” positief worden beantwoord. Vanuit het perspectief van COTAN (2004) en de gebruikers kan de kwaliteit van het testmateriaal en de handleiding over het algemeen als positief worden gewaardeerd, maar hier liggen nog een aantal verbeterpunten die de kwaliteit op dit aspect kunnen vergroten.

8.3 Normen

Het gaat in het instrument om een domeingerichte normering en een interne vergelijking. De wijze van scoren is eenvoudig en wordt door de scholen als helder en duidelijk ervaren. Er is een discussie te voeren over de geuite wens van een ‘tussenscore’ (+/-). Deze wens was ingegeven door het feit dat het soms lastig is voor een auditor om voldoet wel of voldoet niet te scoren. Twee scholen hebben op dit punt geen feedback gegeven en één school heeft hierover een dialoog gevoerd. Concluderend vond deze laatst genoemde school dat een ‘tussenscore’ geen extra informatie biedt voor ontwikkelkeuzes. Een meerwaarde voor het bepalen van de ontwikkelagenda zijn de


64

genoteerde bevindingen. Een andere school bevestigt dit gegeven door het risico van te positief beoordelen te ondervangen met een negatieve score aangevuld met bevindingen. In de literatuur zijn geen empirische bevindingen gevonden over wenselijke schaalverdelingen. Ten aanzien van standaard 5 ontstond er op een school een dialoog over de gewenste norm ten aanzien van het aantal signaleringen. Overwogen moet worden of hier een norm toevoeging wenselijk is. Een school kan ook zelf een norm stellen. Uit ervaringen van de begeleidersgroep MKVS blijkt dat er een samenhang wordt waargenomen tussen het aantal signaleringen en de kwaliteit van de signaleringen. Eveneens blijkt uit ervaringen van de genoemde begeleidersgroep dat een gemiddelde van vijf signaleringen per groep per dag adequaat blijkt. Deze bevindingen zijn niet gebaseerd op empirisch onderzoek. Wel ondersteunt de genoemde school deze mening. Mogelijk zou onderzoek meer duidelijkheid op dit punt bieden. Dit betekent geenszins dat er niet overwogen moet worden om een gewenste norm bij deze signalering op te nemen. Het zou scholen c.q. leraren een richtlijn bieden, hetgeen de representativiteit van deze standaard ten goede komt en zo ook de kwaliteit van de normen. De kwaliteit van de normering kan op basis van de COTAN (2004) en de verkregen feedback van de gebruikers positief worden beschouwd. Wat betreft de ‘tussenscore’ en het bieden van een gewenste norm bij standaard 5 moet meer duidelijkheid worden geboden voor de gebruikers.

8.4 Betrouwbaarheid

Wanneer de betrouwbaarheid vanuit de COTAN (2004) wordt bezien dan kan het zelfevaluatie-instrument MKVS vooralsnog niet positief worden gewaardeerd. Daarmee is niet gezegd dat het instrument geen betrouwbare gegevens genereert, maar de kans is groter dat de evaluatiedata beïnvloed zijn door toevallige fouten. (Baarda & De Goede, 2006). De betrouwbaarheid wordt ook beïnvloed door de transparantie van het testmateriaal en de handleiding. (Keuning, 2004) Het bevordert een juiste handelwijze en dus de betrouwbaarheid van de evaluatiedata. Dit is reeds besproken en laat een positieve waardering zien met enkele ontwikkelpunten. Wanneer deze ontwikkelpunten worden verbeterd dan vergroot dit de betrouwbaarheid. Andere aspecten die te maken hebben met de betrouwbaarheid zijn ‘vergelijkbaarheid’ en ‘reproduceerbaarheid’. (Baartman, 2008) De vooraf bepaalde en gevolgde procedure ter bevordering van de betrouwbaarheid bestond uit instructie en het gezamenlijk bespreken van de standaarden en indicatoren vooraf en achteraf gezamenlijk bespreken van de evaluatieformulieren per leraar en het gezamenlijk invullen van de verzamelstaat door de auditoren. De auditoren van drie scholen gaven aan dat ze geen verschillen hebben geconstateerd in hun waarderingen van de indicatoren. Naar men mag aannemen heeft de gevolgde procedure daar een positieve invloed op gehad. Voorzichtigheid is hier geboden, omdat de mate van overeenstemming tussen de auditoren niet op objectieve wijze is vastgesteld. Uit de evaluaties blijkt dat door toenemende ervaring met het instrument de evaluatie voor het gevoel beter verloopt. De instructie hebben de auditoren als noodzakelijk en zinvol ervaren. Getrainde en ervaren auditoren zijn essentieel voor een goede en consistente uitvoering van de evaluatie. (OECD, 2009) McNamara en O’Hara (2008) benoemen ook het belang van training. COTAN (2004) geeft aan dat training een positief effect heeft op de betrouwbaarheid. Dit betekent dat een investering in een goede instructie vooraf en begeleiding gedurende het evaluatieproces van minder ervaren auditoren nodig is. Oorspronkelijk lag het in de bedoeling dat het instrument zonder begeleiding door scholen kon worden gebruikt. Naar aanleiding van de verkregen feedback van de scholen blijkt dit niet haalbaar voor auditoren die weinig tot geen ervaring hebben met het voeren van evaluatie-interviews in het algemeen en met het


65

zelfevaluatie-instrument MKVS in het bijzonder. De auditoren hebben behoefte aan instructie en begeleiding en dit komt ten goede aan de betrouwbaarheid. Ook blijkt uit feedback dat de observatie een bijdrage levert aan de betrouwbaarheid van de evaluatiedata. Uit de gebruikerservaring blijkt dat de observatie handvatten biedt voor het interview en een gemeenschappelijk kader. Het gebruik van meerdere gegevensbronnen (triangulatie) levert een positieve bijdrage aan de betrouwbaarheid. (Baarda, De Goede, Teunissen, 2005) De toegepaste gegevensbronnen zijn: documentanalyse, observatie en bevragen. Een ander aspect is de generaliseerbaarheid. Deze strekt binnen de pretentie van het instrument niet verder dan de eigen school. Dit betekent dat alleen eisen worden gesteld aan de steekproef die genomen wordt uit het eigen lerarenkorps. In de handleiding wordt de procedure beschreven van het nemen van een representatieve steekproef uit het lerarenkorps. Scholen herkenden de op schoolniveau verkregen evaluatieresultaten. De testscholen hebben de uit de evaluatie verkregen informatie over het gebruik van het MKVS als waardevol, steekhoudend en zinvol ervaren. Hetgeen ook een indicatie is voor de ervaren betrouwbaarheid van de evaluatiedata. Vanuit de edumetrische benadering ziet de tegemoetkoming aan de betrouwbaarheidseis er positiever uit. De scholen waarderen de betrouwbaarheid beïnvloedende variabelen als transparantie, vergelijkbaarheid en reproduceerbaarheid positief op enkele punten na. Worden deze concerns aangepakt dan heeft dit een positieve invloed op de betrouwbaarheid.

8.5 Validiteit

Bij de ontwikkeling van het instrument en de handleiding is vanzelfsprekend aandacht besteed aan de validiteit van het instrument. Op welke wijze aan de validiteit tegemoet is gekomen, is uitgebreid in hoofdstuk 6 besproken. Vooralsnog is nog niet in het door COTAN (2004) gevraagde valideringsonderzoek voorzien. Zoals reeds eerder opgemerkt is de tegemoetkoming aan de validiteit volgens de psychometrische benadering een lastige, zeker wanneer COTAN (2004) stelt dat hier gestapelde bewijsvoering nodig is. Wanneer men de meetpretentie en de daarvoor benodigde kosten en baten in ogenschouw neemt, kan men zich afvragen in hoeverre dit zinvol is en verwezenlijkt kan worden. Voor zover is na te gaan zijn een aantal testen lastig uitvoerbaar door het ontbreken van vergelijkbare evaluatie-instrumenten en / of instrumenten die gebruikmaken van verschillende gegevensbronnen. (hoofdstuk 6) In hoofdstuk 6 en 7 zijn de 12 criteria van Baartman (2008) meegenomen in het onderzoek. Deze criteria zijn, binnen de edumetrische benadering van validiteit, nuttig gebleken, behoudens een kleine aanpassing (zie hoofdstuk 5). De eerder in dit hoofdstuk besproken gebruikerswaarderingen voor ‘fit for purpose’, ‘ ‘vergelijkbaarheid’ en ‘representativiteit’ leveren elk een positieve bijdrage aan de validiteit. Mogelijke revisies ten aanzien van de geformuleerde concerns verhoogt de validiteit. Uit de ervaringen van de testscholen blijkt dat de scholen, auditoren en leraren het instrument accepteren. Dit is belangrijk voor de kwaliteit van de evaluatie en het ontwikkeltraject daarna. “Teacher evaluation and the resulting feedback, reflection and professional development will only work if teachers make it work. To a great extent it is

the motivated teacher who ensures the successful implementation of reforms in school.


66

Hence, it is imperative to find ways for teachers to identify with the goals and values of

teacher evaluation arrangements and practices. (OECD,2006)” (blz. 22, OECD, 2009) Dit betekent dat acceptatie cruciaal is voor het welslagen van de evaluatie. Ook blijkt uit andere studies dat zelfevaluatie positieve resultaten oplevert. Leraren blijken kritisch te zijn op hun eigen handelen, omdat ze zelfevaluatie als minder bedreigend ervaren. (Mc Namara & O’ Hara, 2005) Dus de positieve waardering van het instrument en de werkwijze is zeer waardevol te noemen. Deze ervaren gebruikerskwaliteit is positief voor de validiteit van de verkregen evaluatieresultaten. De ervaren ‘eerlijke kans’, ‘betekenis’ en ‘directheid’ beïnvloeden de mate van acceptatie. De scholen ervaren het instrument en de daarbij horende procedure als eerlijk. De directheid van de meting en de hoge mate van betrokkenheid van de leraren leveren een positieve bijdrage aan dit aspect. (OECD, 2009) (Schildkamp, 2007) (McNamara & O’Hara, 2005) Ook de betekenis die aan het instrument door de scholen wordt gehecht speelt hierbij een rol. De waarderingen van de testscholen zijn ten aanzien van deze criteria positief te noemen. Bij de criteria ‘acceptatie’ en ‘eerlijke kans’ zijn enkele concerns en issues onder te brengen. Het betreft de onduidelijkheid ten aanzien van de inhoud van de observatie, de taxonomie van Bloom, een +/- score, het mag geen beoordeling zijn, norm standaard 5, kennis en ervaring van de auditor. Ook hiervoor geldt dat het aannemelijk is dat de ervaren gebruikerskwaliteit verder positief wordt beïnvloed wanneer verbeteringen op deze punten worden doorgevoerd. Aan de eis van ‘authenticiteit’ is door de gehanteerde ontwerpmethode tegemoetgekomen en de standaarden en indicatoren en worden door de testscholen als herkenbaar en representatief beschouwd voor het gebruik van het MKVS. De ‘cognitieve complexiteit’ van het instrument wordt als passend ervaren voor het gebruik van het MKVS. Belangrijke zaken voor dit aspect zijn de positieve waardering voor de aanwezigheid van het lusmodel en de door een school geuite waardering voor de taxonomie van Bloom. Ten aanzien van indicator 7.11 merkt een school op dat het positief zou zijn wanneer er aandacht is voor de verschillende typen vragen en het schakelen tussen de vragen. Een mogelijke meerwaarde op dit punt is de koppeling met het vragenschema uit de helptekst van het MKVS. De ‘consequentie’ van het instrument wordt positief gewaardeerd. De scholen vinden dat het instrument leren, reflectie, bewustwording en ontwikkeling bevordert. De positief beleefde ervaringen van de testscholen op de bovengenoemde punten hebben positieve repercussies op de validiteit. Volgens de edumetrische benadering kan de validiteit van het instrument positief worden gewaardeerd. Hoewel er ook enkele ontwikkelpunten zijn, die de kwaliteit van het instrument mogelijk verbeteren. Volgens de psychometrische benadering is verder valideringsonderzoek wenselijk.

8.6 De kwaliteit van het instrument

De COTAN-beoordeling (2004) biedt een overzichtelijk kader, al bleek hij beperkt toepasbaar. Wanneer met de 12 criteria van Baartman (2008) de ervaringen van de testscholen worden beschouwd in de bepaling van de kwaliteit van het zelfevaluatie-instrument MKVS ontstaat er een positief beeld ten aanzien van die kwaliteit. Er zijn uit de ervaringen en meningen van de testscholen ook enkele ontwikkelpunten gekomen, die verder worden besproken in hoofdstuk 9. De ervaringen van de testscholen zijn van grote meerwaarde voor de bepaling van de kwaliteit van het instrument. In hoeverre de ervaring van de scholen met de zelfevaluatie en de implementatiefase van het MKVS in de beleefde gebruikerskwaliteit een rol spelen, is binnen het kader van dit onderzoek niet duidelijk.


67

De kwaliteit van een ontwerp wordt bepaald door de kwaliteit van het ontwerp zelf (objectieve kwaliteit) en de waargenomen kwaliteit van de gebruikers. (Maslowski, Visscher, 1997) Beide aspecten zijn in dit onderzoek naar voren gekomen en bieden een compleet beeld over de kwaliteit van het zelfevaluatie-instrument MKVS. Volgens bovengenoemde auteurs is het erg aannemelijk dat de waargenomen kwaliteit zelfs van doorslaggevende betekenis is. “Een ontwerp dat objectief van zeer goede kwaliteit is, maar door gebruikers als ‘slecht’ gekwalificeerd wordt, is een slecht ontwerp”. (blz. 33, Maslowski, Visscher, 1997) Onderzoek naar het gebruik van ZelfEvaluatie-BasisOnderwijs (ZEBO) laat zien dat het niet vanzelfsprekend is dat een ontwerp ook daadwerkelijk wordt gebruikt en daarin speelt de houding van leraren ten opzichte van het instrument een rol. (Schildkamp, 2007) Het is dus van wezenlijk belang dat de gebruikers het instrument accepteren en omarmen. Dit komt ten goede aan de kwaliteitsverbetering in de scholen. (OECD, 2009) (McNamara, O’Hara, 2005) ( Schildkamp, 2007) De ervaringen van de testscholen ondersteunen dit gegeven. Dus specifiek kan worden gesteld dat het zelfevaluatie-instrument MKVS een positieve bijdrage levert aan de kwaliteitsverbetering van het gebruik van het MKVS op montessorischolen. De vraag “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?” kan over het algemeen positief worden beantwoord. Weliswaar dient er volgens de psychometrische benadering de betrouwbaarheid en validiteit nog een aantal ontwikkelslagen te worden gemaakt. De gebruikerskwaliteit wordt positief gewaardeerd, hetgeen als leidend kan worden gezien. Zoals verwacht, heeft de zoektocht naar de kwaliteit een aantal ontwikkelpunten opgeleverd zowel wat betreft de psychometrische als de edumetrische benadering.


68

9. Aanbevelingen De zoektocht naar de vraag: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?” had een formatieve functie, namelijk verbetering. In dit hoofdstuk wordt besproken welke zaken hierin worden meegenomen. Bij de keuze van de aan te brengen verbeteringen in het instrument zijn terughoudendheid en zorgvuldige afweging belangrijk. Een vermeende verbetering kan ongewenste neveneffecten hebben (Maslowsk, Visscher, 1997) en die moeten worden voorkomen. Bij het bepalen van het al dan niet verbeteren, zijn volgens bovengenoemde auteurs de volgende overwegingen van belang: het relatieve belang van elk probleem in vergelijking met de overige problemen; de verhouding tussen de ernst van een gebrek en de algehele kwaliteit van het instrument en kosten en baten afweging die de revisies met zich meebrengen. (Maslowski, Visscher, 1997) Een andere overweging die van belang is bij de revisiekeuze is de pretentie van het instrument. Deze is formatief en niet summatief. Verder is de toepassing van het instrument niet een beoordeling die een andere consequentie heeft dan verbetering en ontwikkeling. Dit betekent dat de kwaliteitseisen minder zwaar gelden (COTAN, 1988) en er dus minder verstrekkende revisies nodig zijn. Een verdere overweging is de reeds positieve waardering van de gebruikers. Mogelijk zouden verstrekkende revisies het instrument minder gebruiksvriendelijk maken. Een eenvoudig evaluatie-instrument draagt positief bij aan een evaluatie met verbeteringsdoeleinden. (OECD, 2009) De waargenomen gebruikerskwaliteit is belangrijk voor de acceptatie van de gebruikers, daarom zullen de claims en issues zoals die naar voren zijn gekomen in de evaluatie op de testscholen, worden meegnomen bij de verbeterkeuzes. Bovenstaande overwegingen in ogenschouw nemend wordt vooralsnog het accent van verbetering gezocht in de handleiding. De handleiding kan worden gezien als de belangrijkste informatiebron voor een goed gebruik van het zelfevaluatie-instrument MKVS. (Maslowski, Visscher, 1997) De handleiding is in eerste instantie voor de testfase geschreven. Door het verkregen inzicht over de kwaliteit van het instrument kan de handleiding worden verbeterd. (COTAN, 2004)

9.1 Ontwikkelkeuzes

• Hoe moet een school handelen wanneer nog niet alle indicatoren van toepassing zijn? Aanvullende informatie in de handleiding kan hier uitkomst bieden. Daarbij wordt ook de handelwijze en eventuele consequenties opgenomen bij een nul-meting.

• Door de ervaringen van de testscholen is duidelijk welke investering het

instrument voor een school inhoudt. Ook zijn een aantal efficiëntieverhogende ervaringen door de testscholen aangereikt. Deze worden opgenomen in de handleiding.

• Overeenkomstig de aanbeveling van COTAN (2004) wordt de samenvatting van

dit onderzoek opgenomen in de handleiding.

• Uit de literatuur en de ervaringen van de testscholen blijkt dat instructie en begeleiding belangrijk is voor een betrouwbare toepassing van het instrument. Dit komt ten goede aan de vergelijkbaarheid en reproduceerbaarheid van de evaluatiedata. Er wordt een instructie en begeleidingsmodule ontwikkeld. De instructie en begeleiding van de auditoren dient op dusdanige wijze gegeven te


69

worden zodat met behulp van het zelfevaluatie-instrument MKVS betrouwbare en valide data worden verkregen. De ervaringen opgedaan met dit onderzoek worden daarin meegenomen. Het werken aan de kennis en vaardigheden van de auditoren komt ten goede aan het voeren van het interview, de beoordelingswerkwijze, de interpretatie van de indicatoren, het genereren van betrouwbare informatie, het scoren en de interbeoordelaars-overeenstemming bij meerdere auditoren.

• De claims bij het criterium ‘transparantie’ worden in de revisie meegenomen. Daar

waar de interpretatie een rol speelt, wordt informatie, zo nodig aangevuld met voorbeelden, in de handleiding ingevoegd. Dit is overeenkomstig de aanbeveling van COTAN (2004) (vragen 2.11 en 2.12, hoofdstuk 6). De overige punten zijn met kleine aanpassingen in de testformulieren te verhelpen. Begrippen die onduidelijk zijn, worden in de handleiding toegelicht.

• Ten aanzien van de normstelling bij standaard 5 wordt een norm toegevoegd,

overeenkomstig de ervaringen van de begeleidersgroep MKVS (zie hoofdstuk 7). In de handleiding wordt een aanvulling opgenomen waarin vermeld staat dat scholen de norm ook schoolspecifiek kunnen maken. Dit komt tegemoet aan de wens om meer duidelijkheid op dit punt.

• De wens van een tussenscore (+/-) wordt vooralsnog niet meegenomen in de

revisie. In welke mate dit een meerwaarde zou zijn voor de evaluatiedata is niet duidelijk. Wel wordt in de handleiding beschreven hoe te handelen bij twijfel. Daarbij wordt ook de notatiewijze van bevindingen besproken. Dit punt wordt meegenomen in toekomstige gebruikersevaluaties.

• Er waren wat discussies over de taxonomie van Bloom. Daar deze theoretische

achtergrond waardevol is wordt aanvullende uitleg hierover in de handleiding op genomen. Verder wordt daarin het verband met het lusmodel uitgelegd.

• Indicator 7.11 wordt in de handleiding toegelicht, en de link wordt gelegd met het

vragenschema zoals vermeld in de helptekst van het digitaal MKVS.

• Naar aanleiding van de geopperde mogelijkheid om het zelfevaluatie-instrument MKVS voor beoordelingsdoeleinden te gebruiken, wordt een toevoeging in de handleiding opgenomen. Hier moet namelijk prudent mee om worden omgegaan. Formatief en summatief evalueren liggen dicht bij elkaar, alleen de functie is verschillend. (Hopkins, 2008) Het summatief gebruik van het instrument kan de acceptatie van het zelfevaluatie-instrument negatief beïnvloeden, hetgeen nadelig zou zijn voor de ontwikkelfunctie. (OECD, 2009) Aandacht hiervoor is derhalve op z’n plaats.

• In de handleiding het advies opnemen om één maal per drie jaar het

zelfevaluatie-instrument MKVS door een externe auditor (bij voorkeur een andere dan de aan de school verbonden onderwijsadviseur) te laten uitvoeren; de onafhankelijke beoordeling verhoogd de betrouwbaarheid. Een ander voordeel is dat mogelijke blinde vlekken opgespoord kunnen worden. (Stevens Consultancy, 2007)

• Uit de gebruikersfeedback blijkt dat de kwaliteit van signaleringen uitdrukkelijker

naar voren kan komen in het instrument. Hoe dit te realiseren wordt bestudeerd. Verder worden de volgende items uit gewerkt in indicatoren: De beslissing wordt gekoppeld aan verlooptijd (handleiding digitaal MKVS, versie 2.10.0) en een signalering valt binnen de ontwikkelkaders zoals weergegeven binnen het registratiemodel (de ‘ gele’ velden) (handleiding digitaal MKVS, versie 2.10.0).


70

9.2 Overige aanbevelingen

Interessant is de vraag, in welke mate er overeenstemming is tussen de beoordelaars met behulp van het zelfevaluatie-instrument MKVS. Een dergelijk onderzoek zou informatie kunnen geven over in hoeverre de indicatoren voldoende uitgewerkt en richtinggevend zijn. Daarnaast kan mogelijk gekeken worden welke schaalverdeling voor zelfevaluatie het meest geschikt is. Voor het valideren van het instrument is verder onderzoek nodig, dit vergroot de kwaliteit van het instrument. Een empirische test naar de gebruikte argumenten binnen de context van Kane (1990) is mogelijk een haalbare optie. Met de aanbevelingen zoals ontwikkeld naar aanleiding van het voor u liggende onderzoek wordt de kwaliteit van het zelfevaluatie-instrument MKVS verder vergroot. Daardoor neemt, naar men mag aannemen en overeenkomstig de feedback van de scholen, de kwaliteit van het gebruik van het MKVS in montessorischolen ook toe, en dat is in het belang van zowel kind als leraar.


71

Nawoord Het toepassen van zelfevaluatie voor kwaliteitsverbetering, professionele ontwikkeling en verantwoording staat al enige tijd in de belangstelling. Niet alleen in Nederland, maar ook in het buitenland wordt het gezien als een belangrijke manier waarop leraren en scholen hun onderwijs kunnen verbeteren en verder professionaliseren. (OECD, 2009) (MCNamara & O’Hara, 2005,2008) Ondanks deze belangstelling is systematische en voortdurende zelfevaluatie nog lang geen gemeengoed op scholen. (McNamara & O’Hara, 2008) “Ondanks de groeiende invloed van Donald Schöns ‘Reflective Practitioner’ en de toenemende belangstelling voor ‘action research’7 in de lerarenopleidingen zal het nog

enige tijd duren voordat de competentie van zelfevaluatie wijdverspreid is onder de

leraren”. (blz. 175, McNamara, O’Hara, 2008) Het lastige bij zelfevaluatie is dat hoe meer de nadruk wordt gelegd op beoordeling en verantwoording des te minder de evaluatie ten goede komt aan de schoolverbetering en professionele ontwikkeling. (OECD, 2009) (McNamare, O’Hara, 2008). Beoordeling en verantwoording zijn belangrijke zaken die niet vergeten mogen worden, maar het onderwijs is primair gebaat bij schoolverbetering en professionele ontwikkeling van de leraren. Het is de uitdaging om op creatieve en adequate wijze te zoeken naar eenvoudige instrumenten die leraren en scholen stimuleren en uitdagen om hun professie op een hoog niveau vorm te geven binnen een schoolcultuur die zelfevaluatie bevordert en in stand houdt. De schoolleider heeft hier een belangrijke rol in. (OECD,2009) (Schildkamp. 2007) Dit onderzoek is uitgevoerd ten behoeve van mijn Master in Leadership in Education. Binnen dit onderzoek heb ik vooral gewerkt aan de volgende doelen met bijbehorende competenties (uit opleidingscompetenties Master in Leadership in Education van Windersheim, Stenden, Fontys): Doel 11: De student onderzoekt, herkent en begrijpt de essentiële elementen van vraagstukken in hun onderlinge samenhang. Competentie: probleemanalytisch vermogen. Doel 12: De student is gericht op het leveren van kwaliteit en op de mogelijkheden om kwaliteit hoog te houden en waar mogelijk te verbeteren. Competentie: Kwaliteitsgerichtheid. Doel 14: De student kan een praktijkrelevant onderzoek opzetten en uitvoeren. Competentie: Onderzoeksvaardigheid. Ik heb met veel plezier gewerkt aan dit onderzoek, het was uitdagend, boeiend en de contacten met de testscholen waren zeer verrijkend. De fasen die je doorloopt tijdens een onderzoek zijn: waarneming, analyse en reflectie. Deze heb ik zeer bewust ervaren. Hiermee bleef ik op het goede pad. Het zorgde ervoor dat ik elke stap kon verantwoorden en transparant houden. Belangrijk daarbij was zicht houden op waar je het voor doet – de onderzoeksvraag. Het bepaalt de keuzes in de grote informatiestroom. Wat is relevant en wat niet? Wat heb ik nu niet nodig maar kan in een latere fase van het onderzoek wel relevant zijn? Wat heeft een meerwaarde voor het onderzoek en wat niet? (eindtermen: 11.1, 11.2, 11.3, 11.8, 14.6, 14.11) Een voorbeeld daarvan is de gebruikte literatuur. De referenties zijn verschillend van aard: gericht op de inhoud van het instrument zelf, de bouwstenen van het zelfevaluatie-instrument, kwaliteitszorg, het ontwerpproces, de kwaliteitseisen van zelfevaluatie-instrumenten, onderzoeksmethodologie en reviews over het gebruik van zelfevaluatie-instrumenten. Hierbij heb ik telkens moeten schakelen; waar heb ik wat voor nodig. Hiervoor is het voortdurend reflecteren op waar je mee bezig bent belangrijk. Hier

7 Action research= een reflectief proces van geleidelijke probleem oplossing. De grondlegger is Kurt Lewin (1890-1947)


72

bewust mee omgaan is zeker belangrijk gezien het veelal solitaire proces van lezen, begrijpen, analyseren, categoriseren, schrijven waar je als onderzoeker mee bezig bent. Het was een uitdaging, die ik met veel plezier ben aangegaan. Voor de kritische noot ben ik op zoek gegaan naar feedback bij onder andere mijn afstudeerbegeleider drs. W. Folker, critical friend drs. P. Paans en testscholen. De feedback heeft mij geholpen om mijn onderzoekspad goed te kunnen volgen en aan te sluiten bij het doel van het onderzoek. Het is er gewoon beter van geworden en ik heb daar veel van geleerd. Relevante competenties in dit kader zijn: het probleemanalytisch vermogen en onderzoeksvaardigheid. Een ander aspect dat ik boeiend heb gevonden, is het uiteenrafelen van het probleem in deelproblemen en soms inzoomen op details om dan vervolgens weer te kijken naar het grotere geheel en de verbanden onderzoeken. Dit proces komt niet alleen in de onderzoeksvraag naar voren maar ook in de hoofdstukken 6, 7 en 8. (eindterm 11.4, 11.5, 14.3 ) Een uitdaging vormde de heldere communicatie op verschillende fronten; de scholen, auditoren, directeuren, afstudeerbegeleider en critical friend. De volgende vraagarticulaties heb ik daarbij toegepast: Wat wil ik bereiken?, Wat vraag ik?, Hoe vraag ik dat?, Waarvoor vraag ik dat?. Hiervoor zijn inhoudelijke kennis (weten dat), procedurele kennis (weten hoe) en normatieve kennis (waarden en doelen) van nut geweest. Daarnaast waren de roldifferentiaties (ontwikkelaar, onderzoeker, instructeur, coach en evaluator) boeiend, deze ben ik met graagte en zeer bewust aangegaan. Belangrijk vond ik de objectieve, geïnteresseerde, openstaande houding met als doel input te verkrijgen voor verbetering. (Hierin was ik mij ook bewust van mijn voorbeeldfunctie ten aanzien van de auditoren.) Het doel van deze houding was het zo veel mogelijk generen van informatie. Ik heb bewust geschakeld tussen de rollen. Zeker die tussen instructeur (accent op verteller) en evaluator (accent op luisteraar). Tijdens het onderzoek heb ik bewust afstand genomen van mijn rol als auteur van het zelfevaluatie-instrument MKVS. Hiermee wilde ik op enigerlei wijze voorkomen dat ik niet als onderzoeker maar als ambassadeur van het zelfevaluatie-instrument MKVS zou optreden. Het onderzoek is niet gebaat bij een verdedigende of uitleggevende houding waarom bepaalde keuzes in het ontwerpproces zijn gemaakt. Een dergelijke houding wordt volgens mij direct herkend en zorgt mogelijk voor een informatiedrempel vanuit de scholen. Uit de feedback van de scholen bleek dat zij de evaluaties als prettig en open hebben ervaren waarin ruimte was voor alle feedback. In hoofdstuk 8 is tevens beschreven welke gesprekstechnieken ik heb gebruikt voor de interviews. Het schrijven van het onderzoeksverslag is een proces geweest van zorgen voor kennisoverdracht van het onderzoek en helder blijven in de beschouwingen. In het onderzoeksverslag heb ik het probleem verkend en uitgewerkt in een hoofdvraag en deelvragen, de onderzoeksopzet beschreven, en in de hoofdstukken 6,7 en 8 heb ik de resultaten en daadwerkelijk gehanteerde werkwijze toegelicht. De hypothese dat dit onderzoek informatie zou generen om de kwaliteit van het instrument te verbeteren is uitgekomen. (eindtermen doel 14, competentie onderzoeksvaardigheid) Het domein van dit onderzoek is een praktijkrelevant probleem passend bij de kwaliteitszorg van montessorischolen die het MKVS gebruiken. Een passend en geschikt evaluatie-instrument was nog niet voorhanden en daar was behoefte aan. De volgende stap is dat het instrument wordt gereviseerd zoals geformuleerd in hoofdstuk 9 en wordt geïntroduceerd in het montessorionderwijs. Niet alleen is het instrument op zich een kwaliteitsinstrument, maar ook binnen dit onderzoek stond kwaliteit als issue voorop. Er is geanticipeerd op mogelijkheden en kansen om de kwaliteit van het ontwerp te verbeteren en daarvoor is gewerkt met geformuleerde kwaliteitsnormen. Bij dit onderzoek zijn de testscholen actief betrokken en is overleg gevoerd met de directeuren om het instrument te testen, informatie te


73

verzamelen en de kwaliteit te verbeteren. (eindtermen doel 12, competentie kwaliteitsgerichtheid) Als onderzoeker werk je veelal alleen achter je pc, omringd door vele boeken, uitdraaien, artikelen, logboek en notulen. Elvira, mijn hulp, heeft veelal om mijn papierverzameling en mij heen moeten stoffen en zuigen, ondertussen haar hoofd schuddend dat mijn werkkamer zo niet schoon te maken is. Dit onderzoek heb ik onmogelijk kunnen volbrengen zonder hulp, steun en medewerking van anderen. Daar ben ik allen zeer dankbaar voor en kan ik daar alleen maar nederig en respectvol voor buigen. Allereerst wil ik de testscholen ontzettend bedanken voor hun spontane medewerking aan dit onderzoek en ook voor de gastvrije ontvangst en fijne samenwerking. Zonder jullie was er geen onderzoek geweest en kon de gebruikerskwaliteit van het instrument niet verder worden ontwikkeld. Dank aan de Amsterdamse Montessorischool, dank aan de Montessorischool Bergen op Zoom, dank aan de Eerste Westlandse Montessorischool in Monster en dank aan de ombs ZieZo in Roosendaal. Ook veel dank voor de steun en support van Els Westra (auteur van het MKVS) en de begeleidersgroep MKVS. Specifiek noem ik daarbij nog Janneke Geluk, Els Wasman en Nel de Groot die tijdens de ontwerpfase als expert hebben opgetreden ten behoeve van de interne kwaliteit. In het bijzonder moet ik danken, voor de steun en kritische noot op vele fronten drs. Pieter Paans, een fijn mens. Hij heeft mij met raad en daad bijgestaan tijdens de ontwerpfase en tijdens dit onderzoek. Menigmaal heb ik hem om feeback gevraagd en heb ik heerlijk met hem kunnen sparren. De bereidheid, zorgvuldigheid en kennis waarmee hij mijn verzoeken honoreerde hebben dit onderzoek en mij verrijkt. De lectoren Dr. Marjan Vermeulen en Dr. Ir. Quinta Kools hebben door hun kritische vragen er voor gezorgd dat de onderzoeksvragen en opzet werden aangescherpt. Dank voor jullie inspiratie en enthousiasme. Drs. Wim Folker, mijn afstudeerbegeleider en kerndocent van de afgelopen twee jaar, dank ik voor zijn kennis, feedback, inspiratie en humoristische blik. Het waren twee fijne jaren waar ik veel heb geleerd. Chrstianne Muusers, een dierbare vriendin, en Mark van Dooren bedank ik voor het doorlezen van de uiteindelijke versie van het onderzoeksverslag om er voor te zorgen dat mijn blinde vlekken wat betreft grammatica en lay-out konden worden verholpen. Ook bedank ik al diegenen waar ik de afgelopen jaren mee heb gespard over onderwijs. Deze dialogen hebben mij mede gevormd en hebben mij veel inspiratie gegeven. Het is de motor voor reflectie, spiegelen, ideevorming en dus steeds beter zicht krijgen op alle perspectieven die een rol spelen in het onderwijs. Als allerlaatsten maar niet de minsten bedank ik mijn man Tom en mijn kinderen Sebastiaan en Lidwien voor hun steun en acceptatie van een eeuwig studerende echtgenote en moeder.


74

Samenvatting In dit onderzoek is de kwaliteit van het zelfevaluatie-instrument MKVS (Montessori KindVolgSysteem) onderzocht. Na twee jaar ontwikkeling van het zelfevaluatie-instrument MKVS voor montessorischolen, is het instrument formatief geëvalueerd. Het instrument maakt de manier waarop het MKVS wordt gebruikt zichtbaar. Het past in een cyclische toepassing voor kwaliteitsverbetering en professionele ontwikkeling ten aanzien van het MKVS. De centrale vraag in het onderzoek luidde: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?” Door de kwaliteit in beeld te brengen wordt de waarde van het instrument zichtbaar en genereert het mogelijk verbeterpunten die de toepasbaarheid vergroten. De onderzoeksvraag valt uiteen in twee deelvragen: 1. Welke kwaliteitseisen gelden er voor een zelfevaluatie-instrument? 2 Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen?

a. Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen? b. Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS?

Onderzoeksopzet Vraag 1: Literatuuronderzoek: verkenning van de in de theorie gestelde kwaliteitseisen aan een zelfevaluatie-instrument. Vraag 2: Kwalitatief formatief evaluatief onderzoek van het zelfevaluatie-instrument MKVS. Het gaat hier om een analytische dimensionele evaluatie; het betreft de beoordeling van een evaluand op meerdere deelaspecten (dimensies), waarna de deeloordelen tot een overall-oordeel worden gecombineerd. (Maslowski, Visscher 1997) Vraag 2a: Het zelfevaluatie-instrument MKVS wordt beoordeeld met behulp van het COTAN-kwaliteitsbeoordelingssysteem voor tests (2004). Op basis van literatuuronderzoek wordt er een theoretische vergelijking gemaakt. Het resultaat wordt ter beoordeling voorgelegd aan een critical friend (drs. P. Paans). Daarna zal op basis van de bevindingen de beoordeling worden gecomplementeerd en zo nodig aangepast. Voor verdere operationalisering van de variabelen wordt het beoordelingssysteem voor de kwaliteit van tests ontwikkeld door COTAN (2004) gebruikt. Vraag 2b: Bij deze vraag gaat het vooral om de gebruikerskwaliteit. Deze evaluatie vindt plaats in een ‘echte’ omgeving. De ‘echte’ omgeving in dit onderzoek bestaat uit vier montessorischolen, tevens gebruikers van het MKVS. Om deze vraag te kunnen beantwoorden worden de auditoren van de vier testscholen actief betrokken. Eisen die aan de testscholen gesteld worden:

• Allen gebruiken het digitaal MKVS als leerlingvolgsysteem. • Minimaal 50% van de leraren die worden geaudit, worden verdeeld over de

verschillende bouwen met een evenwichtige verdeling wat betreft ervaring. Gekozen is voor een evenwichtige verdeling wat betreft bouw en ervaring, opdat deze variabelen de evaluatieresultaten niet zullen verstoren.

• Per school worden twee auditoren aangewezen. Deze worden door de schoolleiding van te voren aan gewezen. De auditoren maken deel uit van het schoolteam.

• De school is zelf verantwoordelijk voor de wijze waarop ze gebruikt maakt van de door de zelfevaluatie gegenereerde informatie.

Om tot een beoordeling te komen die leidt tot kwaliteitsverbetering van het zelfevaluatie-instrument MKVS, zijn de meningen en ervaringen van de auditoren van belang. Het gaat hierbij om de zogenaamde ‘claims’, ‘concerns’ en ‘issues’ (CCI’s) van de belanghebbenden (de auditoren). De term 'claims' verwijst naar verwachtingen ten


75

aanzien van het instrument, 'concerns' naar de zorgen, en 'issues' naar de discussiepunten. Deze CCI's zijn niet vooraf kenbaar, en moeten gaandeweg het onderzoek worden verkend. Naast het identificeren en beschrijven van de CCI's moet de evaluator achterliggende motiveringen en waardesystemen verhelderen. (Abma, 2000) Deze manier van evalueren behoort tot de vierde-generatie-evaluatie van Guba en Lincoln (1989). Hier wordt het evalueren gezien als een interactief proces van oordeelsvorming tussen groepen wier belangen door de evaluatie worden geraakt. (Abma, 2000). Onderzoeksresultaten Vraag 1: Welke kwaliteitseisen gelden er aan een zelfevaluatie-instrument? In de beantwoording van deze vraag kan er een combinatie gemaakt worden van de COTAN-eisen (2004) en de 12 criteria van Baartman (2008). De COTAN (2004) gaat uit van de psychometrische benadering en bij de 12 criteria van Baartman (2008) ligt het accent op de edumetrische benadering van kwaliteit. Bij het beoordelen van de ontwerpkwaliteit moet volgens Maslowski en Visscher (1997) een aantal kanttekeningen worden geplaatst, omdat het formatief evalueren geen garantie is voor een effectief ontwerp. Vraag 2a: Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen? Het instrument is beoordeeld op de vijf COTAN-onderdelen (2004), namelijk uitgangspunten van de testconstructie, kwaliteit van het testmateriaal en de handleiding, normen, betrouwbaarheid en validiteit. Het instrument voldoet aan drie van de vijf COTAN-onderdelen. Voor bindende conclusies ten aanzien van betrouwbaarheid en validiteit is verder onderzoek nodig. De onderdelen uitgangspunten testconstructie, kwaliteit van het testmateriaal, de handleiding en de normen leveren een positieve beoordeling. De vragen ten aanzien van de betrouwbaarheid en validiteit leveren volgens de psychometrische benadering vooralsnog geen positieve beoordeling op. Wanneer we edumetrische kwaliteitsaspecten erbij halen dan ontstaat er een genuanceerder en positiever beeld. Verder moet worden opgemerkt dat de positieve beoordeling op de eerste drie kwaliteitsaspecten ook een positieve bijdrage leveren aan de betrouwbaarheid en de validiteit van de verkregen resultaten met het zelfevaluatie-instrument MKVS. De kwaliteit van het testmateriaal is verregaand bepalend voor de validiteit en betrouwbaarheid. (Keuning, 2004) Vraag 2b: Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS? Voor dit doel is het instrument ingevoerd op vier testscholen en geëvalueerd. Ten behoeve van de analyse van de testresultaten is de feedback gecategoriseerd met behulp van de CCI’s en vervolgens gelabeld met behulp van 12 criteria van Baartman (2008)8. Met de vraag “Hoe voldoet het zelfevaluatie-instrument aan deze kwaliteitseisen (de 12 criteria)?” en de meningen en ervaringen van de testscholen is de gebruikerskwaliteit in beeld gebracht. Gesteld kan worden dat de scholen de gebruikskwaliteit van het zelfevaluatie-instrument MKVS positief waarderen. Besproken zijn de criteria: fit for pupose, vergelijkbaarheid, transparantie, acceptatie, eerlijke kans, authenticiteit, cognitieve complexiteit, betekenisvol, directheid, consequentie en kosten & efficiëntie. De uit de feedback naarvoren gekomen claims onderschrijven de 12 criteria. Uit de evaluatie zijn een ook een aantal concerns en issues naar voren gekomen. Vooral bij transparantie zijn een aantal concerns genoemd die de gebruikerskwaliteit na revisie verder verbeteren. De scholen ervaren het instrument als waardevol en richtinggevend voor het gebruik van het MKVS. Allen vinden dat het de schoolontwikkeling ten aanzien van het MKVS ten 8 Het criterium ‘fitness for selfassessment’ (Baartman, 2008) is in het kader van dit onderzoek vervangen door het criterium ‘directheid’.


76

goede komt. Uit de ervaringen van de scholen blijkt ook dat het de acceptatie van het MKVS en betrokkenheid in het gebruik van het MKVS bij leraren vergroot. Conclusie en discussie Uit de literatuurstudie kwamen de COTAN-eisen (2004) en de 12 criteria van Baartman (2008) naar voren. Bij de beantwoording van beide deelvragen is het evaluand op meerdere deelaspecten beoordeeld, waarna een overall-oordeel is geformuleerd om de vraag te kunnen beantwoorden “Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen?”. Met de verkregen bevindingen werd gekeken in welke mate de onderzoeksresultaten de centrale vraag beantwoorden. De centrale onderzoeksvraag luidde: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS”. Middels twee deelvragen is de kwaliteit van het zelfevaluatie-instrument MKVS bestudeerd. Via literatuurstudie is gezocht naar passende kwaliteitseisen voor zelfevaluatie-instrumenten (de eerste deelvraag). De tweede deelvraag betreft de kwaliteit zoals in beeld gebracht aan de hand van de COTAN- eisen (2004) en de ervaren gebruikerskwaliteit door vier gebruikers. De kwaliteit van het instrument wordt beschouwd met de COTAN-eisen (2004) als kapstok en verder ingevuld aan de hand van de 12 criteria van Baartman (2008), behoudens het criterium “fit for selfassessment’ dat vervangen is door het criterium ‘directheid’. Hierdoor is een compleet beeld ontstaan van de kwaliteit van het instrument. De kwaliteit van een ontwerp wordt bepaald door de kwaliteit van het ontwerp zelf (objectieve kwaliteit) en de waargenomen kwaliteit van de gebruikers. (Maslowski, Visscher, 1997) De ervaringen van de testscholen zijn van grote meerwaarde voor de bepaling van de kwaliteit van het instrument. Volgens Maslowski en Visscher (1997) is het erg aannemelijk dat de waargenomen kwaliteit van doorslaggevende betekenis is. “Een ontwerp dat objectief van zeer goede kwaliteit is, maar door gebruikers als ‘slecht’

gekwalificeerd wordt, is een slecht ontwerp.” (blz. 33, Maslowski, Visscher, 1997) Het is dus van wezenlijk belang dat de gebruikers het instrument accepteren en omarmen. Dit komt ten goede aan de kwaliteitsverbetering in de scholen. (OECD, 2009) (McNamara, O’Hara, 2005) (Schildkamp, 2007) De ervaringen van de testscholen ondersteunen dit gegeven. Dus specifiek kan worden gesteld dat het zelfevaluatie-instrument MKVS een positieve bijdrage levert aan de kwaliteitsverbetering van het gebruik van het MKVS op montessorischolen. In hoeverre de ervaring van de scholen met de zelfevaluatie en de implementatiefase van het MKVS in de beleefde gebruikerskwaliteit een rol spelen, is binnen het kader van dit onderzoek niet duidelijk. De vraag “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?” kan over het algemeen positief worden beantwoord. Weliswaar dient er volgens de psychometrische benadering de betrouwbaarheid en validiteit nog een aantal ontwikkelslagen te worden gemaakt. De gebruikerskwaliteit wordt positief gewaardeerd, hetgeen als leidend kan worden gezien. Zoals verwacht, heeft de zoektocht naar de kwaliteit een aantal ontwikkelpunten opgeleverd zowel wat betreft de psychometrische als de edumetrische benadering. Aanbevelingen De zoektocht naar de vraag: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?” had een formatieve functie, namelijk verbetering. In de aanbevelingen wordt prioriteit gegeven aan verbeteringen die de gebruikerskwaliteit verder vergroten. De meeste aanbevelingen zijn gericht op revisies in de handleiding, omdat de handleiding belangrijk is voor goed gebruik van het instrument. (Maslowski, Visscher, 1997) Tevens wordt hiermee voorkomen dat mogelijke correcties de kwaliteit van het ontwerp verslechteren.


77

Met de aanbevelingen zoals ontwikkeld naar aanleiding van het voor u liggende onderzoek wordt de kwaliteit van het zelfevaluatie-instrument MKVS verder vergroot. Daardoor neemt, naar men mag aannemen en overeenkomstig de feedback van de scholen, de kwaliteit van het gebruik van het MKVS in montessorischolen ook toe, en dat is in het belang van zowel kind als leraar. Astrid Ottenheym-Vliegen [email protected]; 0164-245154 / 06-42062786; http://nl.linkedin.com/pub/astrid-ottenheym/14/a9/4a.


78

Referenties Abma, T.A. (2000). “Onderhandelend evalueren; 'Fourth Generation Evaluation' van Egon

Guba en Yvonna Lincoln”. Serie: Klassieke studies in de bestuurskunde Nr. 17, december 2000 jaargang 9, nummer 8, 393-403.

Baarda, D.B., Dr., De Goede, M.P.M., Dr. ( 2006). Basisboek Methoden en technieken. Groningen/Houten: Wolters-Noordhoff.

Baarda, D.B., Dr. De Goede, M.P.M., Dr.Teunissen, J. (2005). Basisboek Kwalitatief

Onderzoek. Groningen/Houten: Noordhoff uitgevers. Baartman, L.K.J. (2008). ‘Assessing the assessment’ Development and use of quality

criteria for Competence Assessment Programmes. NWO en ICO, Zwolle: Print Partners Itskamp.

Baatman, L.K.J. Bastiaens, T.J. Kirschner, P.A. Van der Vleuten, C.P.M. (2007). “Evaluating assessment quality in competence-based education: A qualitative comparison of two frameworks”. Educational Research Review, 2, 114-129.

Baartman, L.K.J. Bastiaans, T.J. Kirschner, P.A. (2004). Requirements for Competency

Assessment Programmes. Open University of the Netherlands, Paper presented at the Onderwijs Research Dagen 2004, Utrecht.

Bakker, C.G., Steenbergen-Meerstens, E. (2006). Integrale Kwaliteitszorg en

verbetermanagement, IKZ. Groningen/ Houten: Wolters-Noordhoff bv. Begeleidersgroep MKVS, (2007). Nota: begeleidersgroep Montessori KindVolgSysteem.

site Nederlandse Montessori Vereniging / Montessori KindVolgSysteem / Nota’s. Bloom, B.,S.(1984). Taxonomie of educational objectives, Boston MA: Allyn and Bacon. Borsboom, D. Mellenberg, G. J. Heerde, van, J. (2004). “The Concept of Validity,

Psychological Review”. The American Psychological Association, 2004, Vol. 111, No. 4, 1061–1071.

Bryman, A. (1995). Research Methods and Organization Studies. London/New York:

Routledge. Bügel, K. Sanders, P.F.(1998). Richtlijnen voor ontwikkeling van onpartijdige toetsen.

Arnhem: CITO. COTAN. (2004). Beoordelingssysteem voor de Kwaliteit van Tests. NIP. Edelenbos, J. Buuren, A. (2005). “Evalueren als leerproces, Een nadere kennismaking

met de ‘lerende evaluatie”. Bestuurskunde, 14 (6), 2-12. Evers, A. Caminada, H. Koning, R. Laak, J. ter. Maesen de Sombreff, P. Starren, J.

(1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen, Amsterdam: Nederlands Instituut van psychologen.

Evers, A. Vliet-Mulder van J.C. Groot C.J. (2000). Documentatie van tests en

testresearch in Nederland. Assen: Koninklijke van Gorcum. Evers, A. Zaal, J. N. Evers, A. K. (2002). “Ontwikkelingen in testgebruik van


79

Nederlandse Psychologen”. De Psycholoog, wetenschap, februari 2002, 54-64. Gersten, R. Baker, S. (2002). “The relevance of Messick’s four faces of understanding

the validity of high stakes assessments”. hoofdstuk 3 uit: Large scale assessment programes for all students; validity,technical adequacy, and implementation.

Edited by: Tindal, G. Haladyna, T.M. New Jersey: Lawrence Erlbaum Associates. Haaijer, R. Linde, van der A. (2004). Kwaliteitszorg is een werkwijze, kwaliteitszorg in

het primair onderwijs. Malden: Algemene Vereniging Schoolleiders en Van Beekveld & Trepstra,.

Hopkins, D. (2008). Elke school een TOPschool; de kracht van systeemleiderschap

realiseren. Nijmegen: AVS. Inspectie van het onderwijs. (2009). Analyse en Waarderingen van opbrengsten; primair

onderwijs. Inspectie van onderwijs, oktober 2009. Inspectie van onderwijs; (2007). Het Montessori Basisonderwijs. Utrecht, site:

Nederlandse Montessori Vereniging / Montessori KindVolgSysteem / Nota’s. Kane, M.T.(1990). “An Argument-Based Approach to Validation”. ACT Research Report

Series 90-13, www.act.org. Keuning, J. (2004). De ontwikkeling van een beoordelingssysteem van computer based

tests. Arnhem: CITO. Joosten-ten Brinke, J. Stijnen, M. Vrie, J., v.d. Lemmen, K. Kees, D. (2006). EVC bij de

open universiteit, Evaluatie van een EVC-pilot bij de faculteit informatica bij de

OUNL. Heerlen: Open Universiteit. Linde, A., v.d. Majoor, D. (2006). Zorgen voor kwaliteit. Alphen aan den

Rijn: Kluwer. Luyten, P. Lowyck, B. (2003-2004). Practicum Methoden van Onderzoek in de

Psychologie Handleiding bij de sessies Onderzoeksinterview. Departement Psychologie, Leuven: Katholieke Universiteit Leuven.

Lowyck, J., Verloop, N.,(2004). Onderwijskunde, een kennisbasis voor professionals.

Groningen: Wolters-Noordhoff. Majoor, D. (2004). “Instrumenten voor kwaliteitszorg de maat genomen”. LVGS Concent

berichten nr. 4, december 2004, 11-14. Maslowski, R. Visscher, A.J. (1997). Methoden en technieken voor formatieve evaluatie

in sociaal-wetenschappelijke ontwerpsituaties. Enschede: Universiteit Twente Faculteit der Toegepaste Onderwijskunde Vakgroep Onderwijsorganisatie en – management.

Mayring, P. (2000). “Qualitatieve Content Analysis”. FQS, Forum: Qualitative Social

Research, volume 1, no 2, art 20, june 2000. Mc Namara, G., O’ Hara, J. (2008). “The importance of the concept of selfevaluation in

the changing landscape of educational policy”. Studies in Educational Evaluation 34, 173-179.

Messick, S. (1994). “The interplay of evidence and consequences in the validation of

performance assessments”. Educational Researcher, 23, 13-23.


80

Messick, S. (1995). “Validity of psychological assessment. Validation of inferences from

persons- responses and performances as scientific inquiry into score meaning”. American psychologist, 50, 741-749.

Mouly, G. J., (1978). Educational Research, the Art and Science of Investigation. Boston,

London, Sydney, Toronto: Allyn and Bacon inc. Mabe, P.A. West, S.G. (1982). “Validity of Self-Evaluation of Ability: A Review and

Meta-Analysis”. Journal of Applied Psychology 1982, Vol. 67, No. 3, 280-296. Nederlandse Montessori Vereniging (NMV). (2008) Bekwaamheidseisen leid(st)ers

montessoribasisonderwijs. NMV. www.montessori.nl (NMV-stukken, blauwe map).

Newton P.E. (2007). Evaluating Assessment Systems. Head of Assessment Research Regulation and Standards Division. Qualifications and Curriculum Authority www.qcda.gov.uk

Pietersen, S. (2007). Competentiegericht beoordelen op de Hogeschool van Arnhem en

Nijmegen. onderbegeleiding van Stokking, prof. dr. K.M., Universiteit Utrecht, Onderwijskunde, November 2007.

Projectgroep Q*primair, handboek Kwaliteitszorg,

Inleiding. Doen we de goed dingen?, Doen we de dingen goed?, Hoe weten we dat? Wat doen we met die informatie?

deel 1. Doen we de goede dingen?, Wat is onze visie op kwaliteit? deel 2. Doen we de dingen goed?, Uitvoeren van een zelfevaluatie. deel 3. Hoe weten we dat?, werkwijzen voor zelfevaluatie. deel 4. Vinden anderen dat ook?, Uitvoeren van een audit. deel 5.1 Wat doen we met die informatie?, schoolontwikkeling. deel 5.2 Wat doen we met die informatie?, Borgen.

Po-raad, projectbureau kwaliteit, te downloaden bij www, schoolaanzet.nl. OECD. (2009). Teacher Evaluation, A Conceptual Framework and examples of Country

Practices. OECD Review on Evaluation and Assessment Framework for improving school Outcomes. Mexico: OECD.

Ottenheym, A. (2008). “Gebruiken we het MKVS goed en hoe weten we dat”. Montessori Mededelingen 31-4.

Projectteam ‘Zelfevaluatie als motor voor kwaliteitszorg’. (2008). “Zicht op zelfevaluatie, werkboek “Zelfevaluatie als motor voor kwaliteitszorg in het schoolbeleid integreren”, Basisonderwijs, Secundair onderwijs en volwassenonderwijs”. ONDERWIJS van de Vlaamse gemeenschap, schoolbeleidscahier nummer 1, september 2008

Roelofs, E. Dr. (2006). “Een procesmodel voor beoordeling van competent handelen”. Den Haag. Tijdschrift voor Hoger Onderwijs (TVHO) jaargang 24-2006/3, 152- 167. Sanders, P.F. Prof. Dr. Roelofs, E. Dr. (2002). Beoordeling van docentcompetenties. Vereniging voor Onderwijs Research (VOR) themaconferentie 2002. Schildkamp, K. (2007). The utilisation of a self-evaluation instrument for primary education. Thesis University of Twente Enschede


81

Stefels, M., Rubinstein, M.,(2007). Montessorischolen in beweging. Antwerpen – Apeldoorn: Garant . Stevens, R. Wolters, J.(2007) Kijk eens in de spiegel, handreiking zelfevaluatie en auditing. PO Platform kwaliteit en innovatie/ Q*primair. Den Haag. September 2007. Stevens Consultancy bv. (2007). Draaiboek interne audit 2007-2009. Overveen, Stevensconsultancy bv. Straetmans, G.J.J.M. (2006). Bekwaam beoordelen en beslissen. Lectorale rede.

Deventer: Saxion Hogescholen. Van der Vleuten, C. P. M. Schuwirth, L. W. T. (2005). “Assessing professional competence: From methods to programmes”. Medical Education, 39, 309-317. Verbiest, E. (2004). Samen wijs, bouwstenen voor professionele leergemeenschappen in scholen. Antwerpen-Apeldoorn: Garant. Verloop. N. & Lowyck (2003). Onderwijskunde. Een kennisbasis voor professionals. Groningen: Woters Noordhoff. Wester, F. Peters, V. (2004). Kwalitatieve Analyse, uitgangspunten en procedures. Bussum: Coutinho. Westra, E. (2003). Kindvolgsysteem voor het Montessorionderwijs. Utrecht: Nedelandse Montessorivereniging,.

Westra, Els (2007) digitaal MKVS, NMV- Eduscope, Sittard: Unilogic.

Westra, E. (2008-2009). Het lusmodel, Vleuten. website Nederlandse Montessori Vereniging. Westra, E. (2010). Het lusmodel: Didactiek en mathematiek in beeld. Vleuten: [email protected]. Wools, S. (2008). Evaluation of Validity and validation, Quality criteria for the validity and validation of tests. Paper presented at the 9th Annual AEA-Europe Conference 6-9 november 2008, Hisar, Bulgaria. Wools, S. (2007). Evaluatie van een instrument voor kwaliteitsbeoordeling van competentieassessments. Arnhem:Universiteit Utrecht, Cito.


82

Bijlagen:

Bijlage 1, Het beslissingsmodel De leraar richt de omgeving in, kan deze variëren en is in staat beslissingen te nemen op basis van het signaleren en observeren van het gedrag van het kind. Het gaat erom op het juiste moment de juiste begeleiding te geven. Met het werken volgens de stappen in de lus en het bewust nemen van beslissingen (zoals hieronder in het schema uitgewerkt) wordt een manier van werken in het montessorionderwijs gepresenteerd, die garant kan staan voor een hoge kwaliteit van onderwijs met een individueel, persoonlijk karakter.


83

Bijlage 2, Het lusmodel

Het ‘lusmodel’ beschrijft een cyclische opeenvolging van leermomenten bij kinderen tijdens het werken. Het model is een hulpmiddel voor de leraar om planmatig het kind te kunnen begeleiden. Het lusmodel is daarom een didactisch model. Verwerving= het ontdekken van de essentie. Met het kiezen van nieuw materiaal of nieuwe taak gaat een kind het verwervingsmoment in. Voorbeeld: het ontdekken van het verschil in groot/klein, het begrip delen,het begrip vierkant/kwadraat. Tijdens dit moment is het kind vrij in de wijze waarop het ontdekkend bezig is. Verwerking= veelzijdigheid in het denken. Het kind kan met hetzelfde of ander materiaal aan de slag dat past bij de essentie van het verwervingsmoment. Het kind ontdekt nieuwe variaties, het verwerft inzicht in de functie van de essentie, het ontwikkelt een nieuw begrip of nieuwe strategieën, het oefent ook om werkwijzen te automatiseren en feiten te memoriseren. Voorbeeld: het kind verzamelt groot/klein in de omgeving, het verdeelt allerlei materiaal over allerlei delers, het kind kan verwoorden wat een vierkant of het kwadraat is en wat deze uitdrukken. Betekenisverlening= abstracties vormen. Dit komt tot uitdrukking in het gebruik van abstracte beelden. Het kind gaat op zoek naar hoofdzaken, overeenkomsten en verschillen. Elk kind komt daarbij tot een persoonlijke werkwijze en tot persoonlijke uitdrukkingen en expressies. Voorbeeld: het gaat om de grootte en niet om de kleur, het verband tussen delen en vermenigvuldigen, het verdelen van vierkanten en kwadraten. integratie= integreren van inzicht. Kennis en ervaring kan het kind integreren in verschillende toepassingssituaties. (Els Westra)


84

Bijlage 3, Taxonomie van Bloom (1956) De taxonomie geeft de verschillende niveaus van iets begrijpen weer. De niveaus zijn opklimmend in moeilijkheidsgraad. Het hogere niveau omvat steeds de lagere niveaus. Wil je weten op welk niveau het begrip zit, dan zul je daar een andere vraag voor moeten stellen om het begripsniveau te achter halen. Het begripsniveau kan voor elk onderwerp verschillend zijn, dat hangt af in welk leerproces het kind voor dat onderwerp zit.

1. Kennis: Welke informatie kan het kind zich herinneren?

2. Begrip: Wat kan het kind in eigen woorden omschrijven, samenvatten.

3. Toepassing: Kan het kind de kennis en begrip toepassen.

4. Analyse: Kan het kind verbanden aanbrengen tussen delen van de kennis?

5. Synthese: Kan het kind de kennis in een nieuwe situatie toepassen?

6. Evaluatie: Kan het kind een oordeel geven?

Opleiding Master in Leadership in Education onderzoeksverslag Windesheim - Nes - Magistrum Astrid Ottenheym-Vliegen © Afstudeerbegeleider: drs. W. Folker Augustus 2010

85

Bijlage 4, evaluatieformulier MKVS per leraar (1ste pagina) invuldatum:……………………………….

Ingevuld door: …………………………..

Naam leraar: …………………………….

Leraar : onderbouw / middenbouw / bovenbouw (doorstrepen het geen niet van toepassing is)

Aantal jaren werkzaam als leraar in het montessorionderwijs: …………………………..

50% en minder voldoet aan de indicator; onvoldoende

meer dan 50% maar minder dan 80% voldoet aan de indicator; matig

80% of meer voldoet aan de indicator; voldoende


Voldoet:

+ / -

Bevindingen Verbeter suggesties

Indicatoren 1.1 De leraar kan uitleggen aan de hand van het lusmodel met welke leeractiviteit een kind bezig is. (verwerving, verwerking, betekenisverlening en integratie).


86

1.2 De leraar heeft aan de beslissingen, daar waar van toepassing, een tijdpad verbonden.

1.3 De leraar kan onderbouwd uitleggen / verantwoorden hoe hij/zij zijn/haar gedrag afstemt op de ontwikkeling en leeractiviteiten van een kind.

1.4 De lusmomenten waarin het kind en de leraar zitten, kan de leraar aan de hand van het lusmodel duidelijk maken.

Wijze van evaluatie Bevragen: aan de hand van 2 random gekozen kinderen n.a.v. 2 random gekozen signaleringen.


87

Bijlage 5, verzamelstaat resultaten zelfevaluatie MKVS Montessorischool…………………………………………… (1ste pagina) Datum:………………………………………………………..

Ingevuld door:………………………………………………

Invoeringsjaar digitaal MKVS:………………………..

Aantal leraren die geaudit zijn :……………………...

Aantal leraren per bouw die zijn geaudit: onderbouw:……… / middenbouw:…………. / bovenbouw:……….

Aantal leraren per ervaringsperiode: < 3 jaar…… / < 6 jaar / >6 jaar

minder dan 50% voldoet aan de indicator; onvoldoende

50% en meer, maar minder dan 90% voldoet aan de indicator; matig

90% of meer voldoet aan de indicator; voldoende

1. De leraar kan de lusmomenten die

zich voordoen tijdens de

werkactiviteiten van een kind

herkennen, verwoorden en gebruiken

om het eigen handelen op af te

stemmen.

Bevindingen: Verbeter suggesties: meenemen als

ontwikkelpunt:

Ja / nee

1.1 De leraar kan uitleggen aan de hand van het lusmodel met welke

Ja / nee


88

leeractiviteit een kind bezig is. (verwerving, verwerking, betekenisverlening en integratie).

1.2 De leraar heeft aan de beslissingen, daar waar van toepassing, een tijdpad verbonden.

Ja / nee

1.3 De leraar kan onderbouwd uitleggen / verantwoorden hoe hij/zij zijn/haar gedrag afstemt op de ontwikkeling en leeractiviteiten van een kind.

Ja / nee

1.4 De lusmomenten waarin het kind en de leraar zitten, kan de leraar aan de hand van het lusmodel duidelijk maken.

Ja / nee


89

Bijlage 6, Verzamelstaat evaluaties testscholen evaluaties 4 testscholen ingedeeld; 12 criteria Baartman (2008) en verdeeld in Claims / Concerns / Issues A. fit for purpose B. vergelijkbaar C. reproduceerbaar D. transparantie E. acceptatie F. eerlijke kans Claims Claims Claims Claims Claims Claims *spiegel *geen interpretatie verschil *scoren duidelijk *indicatoren/standaarden *alles goed gegaan. * van incompetent voelen

*reflectie door 3 scholen gemeld. *beoordelingscriteria duidelijk helder en duidelijk *lk interviews positief er- naar competent voelen.

*bewustwording *instructie gaf vele goede *geen interpretatie ver- op enkele na. varen.Niet belastend. *lk- eigen verhaal/mening.

*gids/ richting/sturing handvatten. Belangrijk. schillen geconstateerd. *afnameproc.helder/duidelijk *lk geen weerstand, praten vertellen.

*echt bezig met MKVS *bevindingen samen door- *scoren duidelijk graag over MKVS/hun vak. *nabespreken met team in

*diagnose Concerns nemen, overleg bij twijfel. *percentages duidelijk. 3x 1lk.wel confronterend, lag dialoog.

*input schoolontwikkeling *ervaring auditor *beoordelingscriteria helder Concerns niet aan interview. *beter inzicht *kennis auditor indicatoren. *st. zijn maar op 1 manier *1.3 interpretatie gevoelig *lk-en oprecht verhaal. Concerns

*biedt goed handvat. *open gesprek versus uit te leggen.op enkele . *2.3: waardeoordeel? *lk-en ontdekken goed bezig *risico te positief oordelen

*herkenbare en nieuwe beoordelen. na; zie D *2.3 ene keer domein en / geeft flow. beter - met bevindingen +

inzichten *hoever ga je met noteren *door instructie auditoren andere keer ontwikkelge- *indicatoren relevant/ argumenten.

*bevordert de ontwikke- bevindingen? veel en goede handvatten. bied, verwarrend. herkenbaar *geen score +/-

keling *te positief beoordelen: erg nuttig. *2.2 bevat 2 vragen;2a,2b? *auditten: leuk, waardevol *meerwaarde implementatie beter voldoet niet en aan- *indicatoren st.8 niet uitge- *geeft samengevoel/geen Issues *concreet beoordelen en vulling geven van vorde- Concerns splitst, wel in handleid. controle gevoel. *je beoordeelt deels mon-

volgen. ring *ervaring / kennis auditor *hij/zij/leider/leidster leest *gebruik toekomst: ja. delinge vaardigheid.

*beter zicht op wat goed *gesprek op gang houden. niet prettig. *verkregen info nuttig / *geen beoordeling,

gaat; geeft flow. Issues *1,3:interpretatie gevoelig *zone naaste ontwikkeling herkenbaar. belangrijk voor het ver-

*bruikbare info gekregen. *betrouwbaarheid verho- door auditor en lk. eenvoudiger. *observatie geeft ge- krijgen van info en

*veel info gekregen. gen door 2 auditoren bij *st. 6 en 8 na elkaar zetten meenschappelijke basis/ laten vertellen.

*kunnen hierdoor betere en interview. Dit leidt weer Issues liggen in elkaars verlengde. Concerns *laag drempelig houden

gerichtere feedback geven tot mogelijke verminderde *belangrijk als auditor doel *7.3/7.4 lijken op elkaar. *obser.:waar naar kijken? *stimuleert leren van elkaar. acceptatie lk-en. van interveiw voor ogen *7.11welke vragen? *taxonomie van Bloom *leert elkaar kennen w.b. houden. 8.6.6.vak geregistreerd *gebruik in implementatie behoeften,denken. *observatie maakt resulaten gedrag. Wat is dat? *posit.gesprek versus be- Concerns betrouwbaarder; geeft Issues oordelen.

*invoeringstraject: nog info om tijdens gesprek *st.5 norm onduidelijk Issues

niet alle indicatoren van naar te verwijzen. *bevindingen in waar- *st. benoemen

toepassing. (1school) neembaar gedrag. *st.5 norm gemid. Accept.

*kwaliteit signalering? *ervaring au./laag dremp. *notities op papier


90

evaluaties 4 testscholen ingedeeld; 12 criteria Baartman (2008) en verdeeld in Claims / Concerns / Issues G. authenticiteit H. cog. Complexit. I. betekinsvol J. directheid K. consequentie M. kosten&efficientie Claims Claims Claims Claims Claims Claims

*st./indic. Herkenbaar *goed dat lus er in zit *weet wat belangrijk is. *leert mentale modellen lk *(nieuw) inzicht interview: 3/4 - 1 uur

voor MKVS. *taxonomie van Bloom zit *beter inzicht. *spiegelen door onder- *leren van elkaar doc.analyse: 3lk-1 uur *gids/ richting/ sturing in tweede lus. Goed dat *nieuwe inzichten woorden brengen. *POP observatie:20 min.

*echt bezig met MKVS deze erbij zit geeft theore- herkennen van niet han- *door individuele gesprek- SOP *tijdsinvestering waard

tische onderbouwing + dige afspraken. ken meer info gekregen. *meerwaarde implementa- *tijdens interview notities

beter ontdekken van *herkenbare /bruikbare *lk-en waardevol plezierg tie MKVS. op papier, anders 2 pc's.

Concerns onbewust bekwaamheid info gekregen het mogen vertellen. *geeft input kwaliteitsver- laag drempelig. . *concreet volgen en beoor- *interview geeft betrok- betering. *zorg dat alles klaarligt; Concerns delen/diagnose/ontwikkeling kenheid. *elkaar ondersteunen niet dubbelzijdig geprint. *7.11 uitleg over welke *input voor kwaliteitsver- *bewustwording *verzamelstaat handig Issues vragen en het schakelen betering/ontwikkel keuzes *focus meteen digitaal *Bloom zit al in lus. tussen vragen. *elkaar ondersteunen minder weerstand MKVS *doc.analyse apart,

*Bloom laat de theoretisch *leren van elkaar. *moitiveert werken MKVS minder tijd nodig

kader zien, mogelijk lk. Issues *goed te gebruiken klas- *geeft betrokkenheid voor interview. ontdekt onbewust be- *7.11koppelen aan vrag- senobser.dir.+POP *betere gerichtere feed- Concerns kwaam. enschema helptekst. *verwoorden->ontdekken back *digitaal kleuren vakjes *bewustwording *sturing aan schoolont- likt niet. *st.+indicatoren relevant/ wikkeling. *observatie organisat. richting gevend / goed *weet waar MKVS bij ge- lastig.wel meerwaarde. handvat/geheugensteun baad is. *docanalyse veel werk *ontdekken onbewust be- *gerichte info borging. wel meerwaarde. kwaam. *info ontwikkelkeuzes *geen tijd om alles te *bewustwording *hiermee kunnen we ont- noteren. *eigen mening/verhaal lk wikkel sprongen maken. *opzoek troubels bij doc. *door samen meer inzicht *kijken wat goed gaat analyse in digitaal MKVS *meer info dan alleen do- geeft flow cument analyse *geeft inzicht in best Prak. MKVS *st/indicat. Herkenbaar MKVS/zinvol doc.analyse *team in evaluatieproces *motiveerd werken MKVS


91

Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

Education

Transcript of Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"