Beter inzicht in opbrengstdata in het speciaal basisonderwijs

Goed worden en goed blijven

Beter inzicht inopbrengstdata in het

speciaal basisonderwijs

Beter inzichtin opbrengstdata in hetspeciaal basisonderwijs

Hoe geef ik vorm aan mijn opbrengstanalyses?Een handreiking met voorbeelden uit de praktijk

Voorwoord 4

Inleiding 7

HET GEBRUIK VAN DATA 8

Extern en intern 8Welke vraag wil je beantwoorden? 9Categorie 1 van opbrengstanalyses 10Categorie 2 van opbrengstanalyses 11Categorie 3 van opbrengstanalyses 12Overzicht gebruik opbrengstgegevens 14

DRIE VOORBEELDEN VAN DATAGEBRUIK BINNEN HET SBO 17

Toelichting bij de voorbeelden 17

SBO school ‘A’: Opbrengstanalyses op basis van het behalen van tussendoelen 18Het gebruik van opbrengstgegevens 18Analyse van de rekenopbrengsten 20Analyse van de opbrengsten begrijpend lezen 22Ervaringen van het team op school ‘A’ 23Leeropbrengsten sociaal emotionele ontwikkeling 24

SBO school ‘B’ 26Het gebruik van opbrengstgegevens 26Analyse en verantwoording 28Resultaten: gemiddelde leerwinst in DLE’s 29Resultaten: vooruitgang naar verwachting 30Resultaten: trend over meerdere jaren 30Opbrengstgegevens kunnen signalen afgeven 31Andere data: leerlingkenmerken 33Conclusies en verbeterpunten 34

INHOUD

2 BETER INZICHT IN OPBRENGSTDATA IN HET SPECIAAL BASISONDERWIJS

SBO school ‘C’ 36Het gebruik van opbrengstgegevens 36Leerstandaard 37Leerstandaard 38Het ontwikkelingsperspectief 38Opbrengstanalyse 40Reflectie op de opbrengsten 43Analyse van de leerwinst 44Beschouwing op schoolniveau 45

Terugblik op de drie voorbeelden 47Reflectie op de voorbeelden 47

INTERNE EN EXTERNE VERANTWOORDING 49

Interne verantwoording: het bestuur 49Externe verantwoording: de onderwijsinspectie 50Externe benchmarks: Zelfevaluatie voor een SBO school 51Opbrengstgegevens uit CoolSpeciaal 52Normering onderwijsinspectie 53Normering onderwijsinspectie 55

SLOTSOM 58

Samenvatting 58

Bijlage 60

BETER INZICHT IN OPBRENGSTDATA IN HET SPECIAAL BASISONDERWIJS 3

VOORWOORD

Leerlingen in het speciaal basisonderwijs krijgen steeds beter les. De Inspectie van het Onderwijs constateert dat het aantal scholen met voldoende onderwijs-kwaliteit de afgelopen twee jaar spectaculair is toegenomen. Volgens de inspectie komt dit vooral doordat de scholen voor speciaal basisonderwijs vaker in staat blijken om de ontwikkelingsperspectieven op het niveau van de leerling te verta-len in een passend onderwijsaanbod. En dat is mensenwerk. Ik ben trots op al die leerkrachten die in de dagelijkse praktijk leerlingen weten te boeien en te moti-veren om zich te ontwikkelen. Door de inzet van die leerkrachten kan een school goed worden en goed blijven.

Wat daarbij zeker helpt, is om een goed beeld te hebben van de onderwijsdoe-len en de resultaten. Met instrumenten als het ontwikkelingsperspectief kijken leraren vooraf naar welke resultaten ze van een leerling verwachten. Op basis daarvan richten ze het onderwijs voor deze leerling in.

De leerlingen uit het speciaal basisonderwijs krijgen vaak reguliere toetsen met een reguliere landelijke normering. Die meetlat is niet altijd zinvol voor deze leerlingen. En kan bovendien demotiverend werken. Het zou goed zijn om beter in te kunnen spelen op verschillen tussen leerlingen, hun eigen opbrengsten beter inzichtelijk te maken en de resultaten beter te analyseren. Niet alleen om de leerling, maar ook om de omgeving te laten zien wat scholen bereiken met hun leerlingen. Geen wonder dat steeds meer scholen in het speciaal basisonderwijs behoefte hebben om meer inzicht te hebben in alle gegevens die er over de vorde-ringen per leerling beschikbaar zijn. De scholen moeten daarvoor de beschikbare data binnen de school effectief gebruiken.


Met deze brochure wil de PO-Raad de scholen in het speciaal basisonderwijs een handreiking geven, zodat ze aan de gang kunnen met een meer effectief gebruik van data. De brochure bevat de theorie over het analyseren van opbrengsten en het gebruiken van de data, maar vooral ook veel praktijkervaring.

De professionaliteit in het gehele onderwijs neemt steeds verder toe. Dat bete-kent dat we ook steeds meer gepersonaliseerd en evidence-based te werk willen gaan. Een beter inzicht in de data kan daar bij helpen. Zo worden we van goed nog beter! n

Rinda den BestenVoorzitter PO-Raad


INLEIDING

Deze publicatie gaat over het analyseren van opbrengsten en het gebruik van data in het speciaal basisonderwijs. Met de invoering van Passend onderwijs kunnen ook scholen in het speciaal onderwijs en brede zorgscholen in het reguliere onderwijs hier mee te maken gaan krijgen. Zij kunnen ook gebruik maken van deze publicatie en van de ervaringen in het speciaal basisonderwijs.

De primaire doelgroep voor de publicatie bestaat uit (bovenschoolse) directeuren en intern begeleiders van scholen voor speciaal basisonderwijs. Zij zijn primair degenen die zich bezighouden met dataverzameling en analyses, met het oog op de resultaten in de school maar ook (in samenspraak met het team) op de interne kwaliteitsverbetering en op de externe verantwoording. De tweede doelgroep bestaat uit kwaliteitsmedewerkers in grotere stichtingen. Zij zijn in opdracht van hun besturen steeds meer bezig met het in kaart brengen en analyseren van de opbrengsten van de scholen. Als derde doelgroep kan genoemd worden andere scholen, zij het regulier of speciaal, die net als SBO scholen onderwijs bieden aan groepen leerlingen met leerachterstanden. Een vierde doelgroep bestaat uit externe belanghebbenden, zoals leveranciers van systemen die gebruikt worden om de opbrengsten van leerlingen te registreren.

Bij het bepalen van de focus van deze publicatie spelen enkele afwegingen een rol. De ervaring leert dat medewerkers binnen (SBO) scholen naast een theoretisch kader vooral behoefte hebben aan praktische voorbeelden en uitwerkingen. Niet alleen het ‘waarom’ maar ook het ‘hoe’. Een tweede afweging is dat het gesprek over opbrengsten niet alleen gaat over verantwoording aan ‘derden’, waarmee dan meestal het bestuur of de inspectie bedoeld wordt, maar vooral ook over de ‘schooleigen’ reflectie.

Vanuit deze overwegingen ziet de inhoud er na deze inleiding als volgt uit:

• Het gebruik van data• Voorbeelden van datagebruik binnen het SBO (reflectie)• Verantwoording vanuit het SBO (intern en extern)• Externe benchmarks• Slotsom


HET GEBRUIK VAN DATA

Extern en internDe trend om verantwoording te moeten afleggen aan de hand van cijfers en sta-tistieken is onmiskenbaar. “Economisering van de samenleving” noemt Tobias Reijngoud het in zijn boek uit 2012 dat typerend de titel “Weten is meer dan meten” kreeg.

Professionals in het onderwijs zijn niet altijd blij met die trend, zo laat de recente discussie over de publicatie van eindopbrengsten in het basisonderwijs nog eens duidelijk zien. Ze vrezen een te eenzijdige definitie van kwaliteit. In deze publicatie zullen we dit debat niet voeren. Uitgangspunt is dat onderwijs een publieke zaak is waar verantwoording, door middel van meten en het openbaren van data, in meer of mindere mate bij zal horen.

Over het gebruiken van data binnen de eigen onderwijsorganisatie is minder debat. Weinig professionals zullen twijfelen aan het nut van een cyclische benadering om onderwijskwaliteit te handhaven of te verbeteren. In een dergelijke cyclus zoe-ken we feedback op de resultaten, op het effect dat onze inspanning heeft gehad. Daar zullen data een belangrijke rol bij spelen. Dat geldt voor het niveau van de school, van een klas en van een individuele leerling. Om die mogelijkheden en de meerwaarde van data te benutten moeten professionals wel weten welke data ze wanneer kunnen gebruiken.

Lorna Earl en Steven Katz signaleren het risico dat schoolleiders zich “victims of unfair judgements based on data” voelen (Leading schools in a data rich world, 2012).Zij hanteren het begrip ‘data literate’, om de essentiële vaardig-heid voor schoolleiders om effectief om te gaan met data te duiden. Als bijlage (zie pagina 60) is een aantal pagina’s opgenomen om weer te geven wat ze daar onder verstaan.


Welke vraag wil je beantwoorden?Binnen het speciaal basisonderwijs zijn scholen zich bewust van de kwaliteit van het onderwijs en de leerrendementen die leerlingen behalen. In die cultuur is het niet de vraag of opbrengstgegevens belangrijk zijn. Maar bij SBO scholen komt wel vaak de vraag boven “hoe geef ik vorm aan mijn opbrengstanalyses?”. Met het gebruik van het ontwikkelingsperspectief is de voortgang van individuele leerlingen binnen de school een vanzelfsprekend focuspunt. Maar die individuele leerrende-menten zijn niet zonder meer geschikt om te communiceren als ‘de opbrengsten’ van de school. Omgekeerd geven de toetsresultaten op landelijk genormeerde toetsen geen zinvol beeld omdat die niet gerelateerd zijn aan de mogelijkheden van de specifieke leerlingenpopulatie in de (SBO)school.

Het probleem dat zich voordoet is dat scholen dezelfde set data die ze beschik-baar hebben, willen gebruiken op verschillende niveaus in de school. De kunst is echter om voor verschillende doelstellingen de meest relevante data te genereren. De vraag “hoe geef ik vorm aan mijn opbrengstanalyses?” is een afgeleide van de vraag “welke vraag wil ik met mijn opbrengstanalyse beantwoorden?”.

In grote lijnen zijn er drie categorieën van vragen die op een SBO school leven:

1. Vragen die dienen om het didactisch handelen van de leerkracht te sturen (om tot een plannend aanbod te komen, om handelingsgericht te werken en tot optimale afstemming in de groep te komen). Deze vragen leven vooral bij leerkracht en IB-er.

2. Vragen die dienen als reflectie op de onderwijskwaliteit van de school (en daarmee handvatten leveren voor kwaliteitsverbetering en schoolontwikkeling). Deze vragen liggen met name op het bord van directie en eventueel IB-er.

3. Vragen die dienen om verantwoording af te leggen aan derden. Primair maar niet exclusief het domein van de directie.

Deze vragen kennen ieder hun eigen bronnen. Het advies aan SBO scholen is dan ook om dit soort vragen indien nodig met afzonderlijke analyses te beantwoorden. Soms zal dat lukken met data en overzichten die gemakkelijk uit het leerling-volgsysteem te halen zijn, maar het zal ook voorkomen dat er andere manieren gevonden moeten worden om met de gegevens binnen de school te werken.


Categorie 1 van opbrengstanalysesDoor de leerkracht, ten behoeve van handelingsgericht werken

Vragen die dienen om het didactisch handelen van de leerkracht te sturen (om tot een plannend aanbod te komen, om handelingsgericht te werken en tot optimale afstemming in de groep te komen).

Binnen deze categorie vallen de vragen of, en in hoeverre, één of meerdere leerlingen zich naar verwachting ontwikkel(t)(en)?

Degene die deze vraag als het goed is stelt, de eigenaar van de vraag, is de leer-kracht. Die heeft om de vraag te beantwoorden twee gegevens nodig: wat is de ontwikkeling die de leerling heeft doorgemaakt (de opbrengst) en wat was de verwachting?

• Voor het vaststellen van de opbrengst heeft de leerkracht meerdere instru-menten ter beschikking, bijvoorbeeld observaties, mondeling vragen stellen, methodetoetsen en methode-onafhankelijke toetsen.

• De verwachte opbrengst kan in een groepsplan zijn vastgelegd en staat naar alle waarschijnlijkheid ook in het ontwikkelingsperspectief van deze leerling(en).

De opbrengsten zijn in absolute termen te meten, bijvoorbeeld in DLE’s of in vaardigheidsscores, of zelfs als simpele ja/nee- of kleurencodering. Dat hoeft niet alleen een cognitieve leerwinst te betreffen, ook op het gebied van gedrag of sociaal emotionele ontwikkeling kan een leerkracht een doel c.q. verwachting for-muleren en meten in hoeverre die is uitgekomen. Een landelijke normering (zoals een Cito A-E of I-V score) is hier minder relevant, het gaat immers om concreet te formuleren leerwinsten voor een of meerdere leerlingen.

Het kan wel zijn dat de school zelf standaarden heeft bepaald. Bijvoorbeeld: voor een leerling met <uitstroom x> is de doelstelling bij <dl y> een <vaardig-heidsscore z> (concreet: voor rekenen/wiskunde streven we bij een leerling met een uitstroomverwachting Praktijkonderwijs bij een didactische leeftijd van 40 naar een vaardigheidsscore van 45). Het interne gebruik van dergelijke schooleigen streefdoelen kan zeer effectief zijn. Het geeft de leerkracht maar ook de school referentiepunten (géén ‘afrekenpunten’!). We zullen hier verderop voorbeelden van zien.


De verwachte en de gerealiseerde opbrengstgegevens die de leerkracht bij deze analyses nodig heeft komen waarschijnlijk uit het leerlingvolgsysteem, of zijn anders tenminste terug te vinden in de eigen groepsadministratie.

Nogmaals benadrukt: Dit gebruik van data en analyses staat primair ten dienste van een optimaal afgestemd (lesstof)aanbod en heeft niet als eerste doel om verantwoording af te leggen, zeker niet extern.

Categorie 2 van opbrengstanalysesDoor de schoolleiding, ten behoeve van de schoolontwikkeling

Vragen die dienen als reflectie op de onderwijskwaliteit van de school (en daarmee handvatten leveren voor kwaliteitsverbetering en schoolontwikkeling). Deze vragen liggen met name op het bord van directie en eventueel IB-er.

Binnen deze categorie vallen vragen naar de vooruitgang die een groep leerlingen c.q. alle leerlingen op één of meer vakgebied(en) boek(t)(en), ten behoeve van reflectie op bijvoorbeeld organisatie, leerkrachtenvaardigheden of lesmethode.

De eigenaar van deze vragen is de schoolleiding. Die zal hier vaak samen met de IB-er naar kijken. Wáár ze naar kijken is niet vast bepaald. De kwaliteitsontwikke-ling in een school, als lerende organisatie, is geen lineair of mechanisch proces maar vereist een cyclische, iteratieve aanpak. Earl en Katz bepleiten voor school-leiders een “inquiry habit of mind, collecting and interpreting evidence in ways that advance their understanding” (zie ook de bijlage).

Bij dergelijke bewijsvoering horen opbrengstgegevens, opnieuw in absolute termen gemeten. Wat zijn bijvoorbeeld schoolbreed de rekenresultaten in DLE’s? Vaak zal de vraag zich tevens toespitsen op trends. Denk bijvoorbeeld aan een vergelij-king van vaardigheidsscores voor en na invoering van een leesverbeterplan of een nieuwe methode. Bij deze absoluut gemeten opbrengsten dient zich opnieuw de mogelijkheid aan om schooleigen leerstandaarden te hanteren. Wat is de leer-winst ten opzichte van de referentiepunten die we als school hebben opgesteld, ten opzichte dus van onze eigen streefdoelen?


Het is voor schoolleiders prettig om, naast de eigen standaarden, te kunnen verge-lijken met externe gegevens, benchmarking. Dat kan op twee manieren. De eerste is om zelf een referentiegroep van SBO scholen op te zoeken, bijvoorbeeld in de vorm van de regionale netwerken van het SBOwerkverband. De tweede is een benchmark met nationale data. Het landelijk genormeerde systeem van Cito scores geeft reguliere basisscholen een gemakkelijk te hanteren nationale benchmark. Voor SBO scholen zijn er echter maar weinig nationale data beschikbaar om te ver-gelijken. COOLSpeciaal (wat staat voor CohortOnderzoek OnderwijsLoopbaan in het speciaal onderwijs en het speciaal basisonderwijs) geeft lees- en rekenresultaten van leerlingen in de leeftijd van groep 5 en 8 van 33 SBO scholen. De onderwijsinspec-tie hanteert sinds kort aan IQ gerelateerde minimum normen voor eindopbrengsten in het SBO en zal dat ook gaan doen voor tussenopbrengsten. Zie deel 5 voor een overzicht van beide benchmarks. Cito beschikt over een verzameling toetsgegevens van SBO leerlingen, deze zijn (nog) niet gepubliceerd maar binnen het Cito LOVS moet dit wel leiden tot een benchmarkmogelijkheid.

De opbrengstgegevens die de schoolleiding bij reflectieve analyses nodig heeft komen uit het leerlingvolgsysteem. Maar ook andere data kunnen een rol spelen. Kenmerken van de leerlingpopulatie bijvoorbeeld. Of observaties van leer-krachtvaardigheden uit klassenbezoeken. Of informatie uit ouder-, leerlingen medewerkersenquêtes.

Nogmaals benadrukt: Dit gebruik van data en analyses heeft als doel het sturen van de schoolontwikkeling en niet het afleggen van verantwoording. Althans, niet over de opbrengsten zelf. Het biedt de schoolleiding uiteraard wel een mooie gelegenheid om het cyclisch en evaluatieve karakter uit te leggen en daarmee verantwoording af te leggen over het proces van kwaliteitszorg.

Categorie 3 van opbrengstanalysesDoor de school, ten behoeve van verantwoording

Vragen die dienen om verantwoording af te leggen aan derden. Primair maar niet exclusief het domein van de directie. Binnen deze categorie vallen de vragen of, en in hoeverre, de leerlingen

zich ontwikkelen naar de verwachtingen dan wel de normen van mensen buiten de school?


Bepalend voor de aard van deze analyses is: aan wie wordt verantwoording afge-legd? Meestal zal de verantwoordingsvraag komen van het eigen bestuur (intern) of van de onderwijsinspectie (extern).Veel scholen in het speciaal basisonderwijs hebben ervaren dat hun bestuur net als aan alle reguliere basisscholen vraagt om Cito A-E of I-V scores. Die data leve-ren vanuit de SBO school weinig informatie. Hier doet zich voor de schoolleiding opnieuw de kans voor om met schooleigen leerstandaarden aan de interne verant-woordingsvraag tegemoet te komen.

Het is voor SBO scholen lange tijd lastig geweest om zich richting de inspectie te verantwoorden over de opbrengsten. Officieel werd de indicator niet beoordeeld in het toezicht voor het SBO, maar gaf de inspectie in haar rapportage wel een indruk weer. Er zijn nu wel inspectienormen voor eind- en tussenopbrengsten voor SBO scholen aan het ontstaan en dat maakt het voor schoolleiders helder welke opbrengstgegevens voor de inspectie beschikbaar moeten zijn (zie bijlage 2 voor normering en deel 4 voor nadere informatie van de inspectie).

Naast bestuur en inspectie legt de school, al dan niet expliciet, aan nog een gele-ding van de school verantwoording af, namelijk aan de ouders. In de eerste plaats gebeurt dat door met individuele ouders in gesprek te zijn over de verwachte en gerealiseerde ontwikkeling van hun kind. Dat zal meestal de leerkracht zijn, soms de IB-er en zelden de directeur. Het ontwikkelingsperspectief vormt een goede basis om dit gesprek te voeren, omdat daarin de verwachte uitstroom, de doelen en de vorderingen vermeld zijn. In de tweede plaats zal de schoolleiding, in de school-gids of in nieuwsbrieven, terugkoppeling aan ouders geven over de gerealiseerde opbrengsten van de school, op zijn minst de uitstroomgegevens.

De opbrengstgegevens voor de verantwoording komen waarschijnlijk uit het leer-lingvolgsysteem, maar de schoolleiding zal die data ten behoeve van het bestuur of de onderwijsinspectie normaliter ‘handmatig’ moeten afzetten tegen de eigen standaarden dan wel tegen de normen van de inspectie. Hopelijk wordt het in de toekomst mogelijk om deze (al dan niet landelijke) normen in te voeren in het leerlingvolgsysteem van de school. Dan wordt het ook gemakkelijker om de trends daarin duidelijk te krijgen.

Nogmaals benadrukt: Deze opbrengstanalyses zijn primair bedoeld om verantwoording af te leggen, intern dan wel extern. Dat neemt niet weg dat ze tevens een rol kunnen spelen bij de reflectie van de school op de eigen kwaliteit en de schoolontwikkeling.


Overzicht gebruik opbrengstgegevensDe overzichten van de vorige pagina’s zijn in onderstaande tabel samengevat.

Categorie Vragen Eigenaar Vorm (voorbeelden) Bron(nen)

1. Handelingsgericht werken

Vragen die dienen om het didactisch handelen van de leerkracht te sturen.Binnen deze categorie vallen de vragen of, en in hoeverre, één of meerdere leerlingen zich naar verwachting ontwikkel(t)(en)?

Leerkracht

Vaardigheidsscores, DLE, Ja/nee, kleurencodering OntwikkelingsperspectiefGroepsoverzichtenEvaluatie groepsplannen

LVSGroeps-administratie

2. Reflectie op de schoolontwikkeling

Vragen die dienen als reflectie op de onderwijskwaliteit van de school.Binnen deze categorie vallen vragen over de vooruitgang van een groep leerlingen c.q. alle leerlingen op één of meer vakgebied(en), ten behoeve van reflectie op de inrichting van het onderwijs

SchoolleidingEventueel IB-er

Vaardigheidsscores, DLE, Ja/nee, kleurencodering, observatieverslagen, leerlingkenmerkenSchooloverzichtenGroepsoverzichtenEvaluatie verbeterplan

LVSSchool-administratie

3. Verantwoording

Vragen die dienen om verantwoording af te leggen aan derden.Binnen deze categorie vallen de vragen of, en in hoeverre, de leerlingen zich ontwikkelen naar de verwachtingen dan wel de normen van mensen buiten de school?

Schoolleiding, naar bestuur en inspectie

Vaardigheidsscores, DLE, IQ’s, uitstroomgegevensGroepsgemiddelden


Idem Leerkracht, naar oudersVaardigheidsscores, DLE, uitstroomverwachtingOntwikkelingsperspectief



Overzicht gebruik opbrengstgegevensDe overzichten van de vorige pagina’s zijn in onderstaande tabel samengevat.

Categorie Vragen Eigenaar Vorm (voorbeelden) Bron(nen)

1. Handelingsgericht werken

Vragen die dienen om het didactisch handelen van de leerkracht te sturen.Binnen deze categorie vallen de vragen of, en in hoeverre, één of meerdere leerlingen zich naar verwachting ontwikkel(t)(en)?

Leerkracht

Vaardigheidsscores, DLE, Ja/nee, kleurencodering OntwikkelingsperspectiefGroepsoverzichtenEvaluatie groepsplannen

LVSGroeps-administratie

2. Reflectie op de schoolontwikkeling

Vragen die dienen als reflectie op de onderwijskwaliteit van de school.Binnen deze categorie vallen vragen over de vooruitgang van een groep leerlingen c.q. alle leerlingen op één of meer vakgebied(en), ten behoeve van reflectie op de inrichting van het onderwijs

SchoolleidingEventueel IB-er

Vaardigheidsscores, DLE, Ja/nee, kleurencodering, observatieverslagen, leerlingkenmerkenSchooloverzichtenGroepsoverzichtenEvaluatie verbeterplan


3. Verantwoording

Vragen die dienen om verantwoording af te leggen aan derden.Binnen deze categorie vallen de vragen of, en in hoeverre, de leerlingen zich ontwikkelen naar de verwachtingen dan wel de normen van mensen buiten de school?

Schoolleiding, naar bestuur en inspectie

Vaardigheidsscores, DLE, IQ’s, uitstroomgegevensGroepsgemiddelden


Idem Leerkracht, naar oudersVaardigheidsscores, DLE, uitstroomverwachtingOntwikkelingsperspectief



DRIE VOORBEELDEN VAN DATAGEBRUIK BINNEN HET SBO

Toelichting bij de voorbeeldenOm het gebruik van opbrengstanalyses en de in deel 2 onderscheiden categorieën en vragen te verduidelijken wordt, in dit deel, van een aantal scholen voorbeeld-materiaal getoond. Het is belangrijk te benadrukken dat de voorbeelden illustratief zijn. Ze zijn niet bedoeld als exemplarisch of ideaal. Wellicht kun je als school nu al iets heel anders en kun je daar goed mee uit de voeten. Of je kunt los van, of met behulp van deze voorbeelden je eigen methodiek inrichten. Als je maar bedenkt: wat past bij de informatiebehoeften en informatiebronnen binnen mijn school of mijn omgeving? Welke vragen wil ik beantwoorden?

De voorbeelden richten zich achtereenvolgens op:

A. Het percentage leerlingen binnen iedere groep dat zijn/haar doel bereikt.Er worden reflectieve vragen gesteld als het percentage dat de doelen niet haalt laag is of blijft. De analyse zit heel dicht bij het onderwijs en het handelen van de leerkrachten. Daarbij wordt ook gekeken naar de schoolbrede consequenties en acties. De opbrengstanalyse dient categorie 1 (op het niveau van de groepen, niet de individuele leerlingen) en soms categorie 2 (het niveau van de school).

B. De leerwinst binnen de groepen, ten opzichte van de doelen in de ontwikkelings perspectieven, door de leerkrachten. Hiervoor wordt de term ‘resultaat verantwoording’ gebruikt. Ook op deze school zien we dat de resultaten worden gerelateerd aan de doelen in de ontwikkelings-perspectieven. Maar in deze school wordt ook gerekend met die DLE’s om te bepalen hoeveel de leerwinst is en of de gemiddelde groeps- en bouwresultaten afwijken van de doelen. De verbeteracties worden in teamverband op schoolniveau vastgesteld. Daarnaast reflecteert de school op de kenmerken van de leerlingen, bijvoorbeeld bij de schoolverlaters. De opbrengstanalyse dient ook hier categorie 1 (op het niveau van de groepen, niet de individuele leerlingen) en in sterkere mate categorie 2 (het niveau van de school).


C. Het vergelijken van de groepsscores met de leerstandaarden die de school heeft opgesteld. De vragen die hier centraal staan hebben betrekking op de mate waarin de school voor de verschillende uitstroomperspectieven op groepsniveau daadwerkelijk de tussendoelen realiseert die bij die verschillende typen vervolgonderwijs horen. De school betrekt daarbij absolute scores (in termen van vaardigheidsscores per groep) én de leerwinst tussen meetmomenten. De opbrengstanalyse dient dus vooral categorie 2, reflectie op het onderwijs op schoolniveau.

SBO SCHOOL ‘A’: OPBRENGSTANALYSES OP BASIS VAN HET BEHALEN VAN TUSSENDOELEN

Het gebruik van opbrengstgegevens vooral in categorieën 1 en 2, op SBO school ‘A’

Op de volgende pagina’s zijn voorbeelden opgenomen van de analyse van de opbrengsten die op school ‘A’ is ontwikkeld. Twee keer per jaar worden de toets-resultaten gebruikt om vast te stellen of leerlingen hun doelen hebben behaald of niet. Per groep is vervolgens in kaart gebracht welk percentage van de leerlingen scoort op de driepuntsschaal: ‘boven doel’, ‘doel behaald’ of ‘onder doel’. De voor-beelden betreffen de toetsen afgenomen in januari en juni 2013. De school heeft, om de resultaten goed meetbaar te maken, enkele veranderingen doorgevoerd in de manier waarop naar de resultaten wordt gekeken. Juni 2013 is de eerste keer dat de resultaten goed vergeleken konden worden met de voorafgaande periode.

In januari 2013 zijn afspraken gemaakt en interventies gepleegd, die zouden moeten leiden tot een verbetering in leerresultaat. Eén van deze afspraken was dat directie en IB de ontwikkeling in leerresultaten beter zouden monitoren en terugkoppelen aan het team. In april 2013 zijn de leeropbrengsten tussentijds geëvalueerd. Aan de hand van deze tussentijdse evaluatie tussen leerkrachten en IB-er is gekeken naar de verschillende interventies en de gerealiseerde resultaten en zijn aanvullende handelingstips gegeven om leerkrachten, waar nodig, extra ondersteuning te bieden. Dit illustreert dat de school de opbrengsten gebruikt om het handelingsgericht werken in de groepen te ondersteunen. Het valt daarmee in wat we noemden Categorie 1.


Maar de school evalueert de resultaten ook op het niveau van groep en school, uitgesplitst naar vakgebied en daar komen acties uit in het kader van de kwaliteits-verbetering. Op deze wijze gebruikt de school de opbrengsten dus ook in wat we eerder noemden Categorie 2.

De overzichten worden tenslotte ook gebruikt binnen het kwaliteitssysteem van de stichting, in de communicatie en verantwoording richting het eigen bestuur, Categorie 3 dus, maar deze verantwoording is vooral gericht op het proces van kwaliteitsverbetering en niet zozeer op de hoogte van de opbrengsten zelf.

Samengevat, door groepsgewijs de resultaten van leerlingen in kaart te brengen en over tijd te vergelijken kan deze SBO school de leerkrachten ondersteunen maar tevens haar onderwijs, per vakgebied, op groepsniveau en schoolniveau evalueren en bijsturen.


Analyse van de rekenopbrengsten(percentage leerlingen per groep)

rekenen juli 2013

100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0 21 3 4 5 6 gemiddelde school

perc

enta

ge

boven doel

doel behaald

onder doel

rekenen januari 2013

100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0 1 2 3 4 5 6 gemiddelde school

perc

enta

ge

boven doel

doel behaald

onder doel


Gemaakte afspraken / Interventies naar aanleiding van januari 2013:Inzetten op computergebruik binnen de klas door middel van een vast computer-schema voor de leerlingen.

Wat valt op:• De verbetering in leerresultaten die reeds in januari al zichtbaar was, heeft zich

voortgezet. Een van de redenen die hiervoor wordt aangegeven is dat diverse leerkrachten ervoor hebben gekozen om vertraagd door de methode heen te gaan. Eén van de tips vanuit het team naar aanleiding van de analyse van de leer-opbrengsten in januari.

Vraag: kun je de groepsplannen aanpassen?• Vanuit een analyse van de methode gebonden toetsen kan in overleg met IB

besloten worden om de uitvoering van groepsplannen aan te passen.

Het inzetten van de leerling software blijkt nog steeds lastig realiseerbaar. Mede door technische problematiek rondom de software maar ook wordt aangegeven dat, zeker met drie instructiegroepen, het lastig is om daar tijd voor vrij te maken. Directie benadrukt het belang van de software als onderdeel van de methode.

Afspraken naar aanleiding van deze vergadering:• Goed gebruik maken van de leerling software. Indien dit niet lukt in overleg met

IB kijken naar mogelijkheden dit toch te realiseren.• Goede analyse van de methodetoetsen.

Plan van aanpak:• Directie en IB doen onderzoek naar een efficiënte manier van de inzet van

RT / onderwijsassistent om de leerkrachten met drie instructiegroepen meer ondersteuning te bieden.

• Directie / IB blijven monitoren tijdens IB uur of de leerling software in voldoende mate wordt ingezet.


Analyse van de opbrengsten begrijpend lezenpercentage leerlingen per groep

begrijpend lezen juli 2013

100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0 21 3 4 5 6 gemiddelde school

perc

enta

ge

boven doel

doel behaald

onder doel

begrijpend lezen januari 2013

100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0 1 2 3 4 5 6 gemiddelde school

perc

enta

ge

boven doel

doel behaald

onder doel


Gemaakte afspraken / Interventies naar aanleiding van januari 2013:• Leerkrachten brengen meer structuur aan bij het maken van de toets, door te

oefenen met het stappenplan van Nieuwsbegrip.• Er wordt in iedere groep gebruik gemaakt van de hulpboeken.

Wat valt op:• De resultaten van begrijpend lezen zijn in de meeste groepen nog steeds in

onvoldoende mate verbeterd. De strategieën worden ook niet voldoende beheerst door de leerlingen. De inzet van hulpboeken is in onvoldoende mate geïntegreerd in het lesprogramma. De resultaten van één groep vallen positief op. Leerkracht geeft aan vier keer per week begrijpend lezen aan te bieden. Dit kan ingepast worden in het lesprogramma door het aanbieden van de strategieën te integreren bij andere vakken (zoals Blokboek Taal en Wereld-oriëntatie).

Plan van aanpak:• IB zal met de leerkrachten kritisch kijken naar het rooster en mogelijkheden om

Begrijpend Lezen vaker aan te bieden.• Daarnaast zal directie op korte termijn een teamtraining inplannen om een

school brede aanpak voor begrijpend lezen te bepalen en te inventariseren wat men nodig heeft om de gemaakte afspraken te kunnen naleven.

Afspraken naar aanleiding van deze vergadering:• Nieuwsbegrip (wekelijks) en hulpboeken of Goed Gelezen (om de week)

gebruiken.• Meer structuur bieden bij toets afname (teksten los aanbieden van de vragen, uit-

vergrote versie dyslecten).

Ervaringen van het team op school ‘A’De directie geeft aan een groei te zien in de manier waarop de school naar opbrengsten kijkt en in de professionaliteit van de leerkrachten om hier mee om te gaan. Bevindingen die het team noemt bij het op deze manier bespreken van de resultaten:

• Het houdt je scherp• We gaan nu ontspannen om met het kijken naar de resultaten• Je reflecteert om te denken over wat je zelf doet voor goede resultaten• Je leert je kwetsbaar op te stellen• Het is fijn om de resultaten meteen om te zetten in praktische

handelingssuggesties


• Sommige factoren blijven buiten beschouwing zodat het abstract blijft• Het is nuttig om tips te horen van anderen• Het draagt bij aan het verder vergroten van onderlinge samenwerking

Een mooie bijkomstigheid van de ervaringen die dit team heeft opgedaan is de toepassing op de opbrengsten binnen het domein sociaal emotionele ontwik-keling. Dit is op veel (SBO) scholen nog geen gemeengoed. Op de volgende pagina is weergegeven hoe de school hier een start mee maakt op leerling-, groeps- en schoolniveau.

Leeropbrengsten sociaal emotionele ontwikkelingEen domein in ontwikkeling op school ‘A’

Alle leerkrachten vullen twee keer per jaar (in januari en in juni) de vragenlijst van ZIEN in over hun eigen groep. Vervolgens wordt er op leerlingen groepsniveau naar de uitslag gekeken.

Analyse van de sociaal-emotionele opbrengsten op leerlingniveauUit de indicatie-uitspraak volgt een score op de volgende gebieden: betrokken-heid, welbevinden, sociaal initiatief, sociale flexibiliteit, sociale autonomie, impuls beheersing en inlevingsvermogen. Als het vakje rood gekleurd is, behoort de score tot de laagste 25% van leeftijdsgenoten. Bij een blauw gekleurd vakje behoort de score tot de hoogste 25% van leeftijdsgenoten. Bij een oranje of groen gekleurd vakje scoort de leerling rond het gemiddelde.

Wanneer de score van de leerling tot de 25% laagste scores behoort, is er reden tot zorg. Voor deze leerling wordt een pedagogisch doel opgenomen in het ontwik-kelingsperspectief. Dit doel is ook terug te vinden in het groepshandelingsplan of in een individueel handelingsplan. Het consequent formuleren van dit doel in het ontwikkelingsperspectief is een aandachtspunt.

Zodra uit ZIEN naar voren komt dat het raadplegen van een orthopedagoog gewenst is, wordt de orthopedagoog ingeschakeld. Het betreffende leerlingdossier wordt bekeken en er wordt een notitie in ParnasSys gemaakt.De formulering van ZIEN is echter niet handelingsgericht. Orthopedagoog en intern begeleider onderzoeken de mogelijkheid om de individuele doelen uit het document ‘Samenvatting handelingssuggesties’ te halen. Uit dit document wordt tevens de formulering van de groepsdoelen gehaald.


Analyse van de sociaal-emotionele opbrengsten op groepsniveauIn januari 2013 hebben we besloten dat we de uitkomst van ZIEN op groepsniveau terug willen zien in het sociaal-emotionele groepshandelingsplan. Hiervoor hebben we afgesproken dat voor elk van de twee laagst scorende criteria ( betrokkenheid, welbevinden, sociaal initiatief, sociale flexibiliteit, sociale autonomie, impuls beheersing en inlevingsvermogen), één groepsdoel uit het bestand: ‘Samenvatting handelingssuggesties’ wordt gehaald. Aan deze twee doelen wordt vervolgens een half jaar gewerkt via de aanpak zoals beschreven staat in het groepshandelings-plan. Deze doelen worden d.m.v. observatie van de leerkracht geëvalueerd.

Analyse van de sociaal-emotionele opbrengsten op schoolniveauVoor het analyseren van de sociaal-emotionele opbrengsten op schoolniveau wordt in schooljaar 2013-2014 een plan van aanpak opgesteld door directie en intern begeleider.


SBO SCHOOL ‘B’: OPBRENGSTANALYSES OP BASIS VAN LEERWINST, TEN OPZICHT VAN DE ONTWIKKELINGSPERSPECTIEVEN

Het gebruik van opbrengstgegevensVooral in categorieën 1 en 2, op SBO school ‘B’

De volgende pagina toont de cyclus die school ‘B’ hanteert voor de planning en evaluatie van het onderwijs. Op twee momenten wordt daarin de term ‘RV’ gebruikt, dat staat voor Resultaatverantwoording. Dat is de vorm waarin de leerkracht de didactische en sociaal-emotionele ontwikkeling van iedere leerling afzet tegen de doelen die in het OPP waren gesteld (dit gebeurt in DLE’s).

De cyclus laat zien dat deze vorm van opbrengstanalyses voor de leerkracht een essentiële stap is in het handelingsgericht werken. Daarmee valt dit gebruik van data in wat we eerder noemden Categorie 1. In de navolgende pagina’s volgt een toelichting op de wijze waarop de school dit proces organiseert en welke overzich-ten daarbij gebruikt worden. De school gebruikt een leerlingvolgsysteem maar het is duidelijk dat deze overzichten daar zo niet uitgehaald kunnen worden.

Behalve op individueel en groepsniveau aggregeert de school de resultaten naar het niveau van bouw en school. Dat levert voor de hele school informatie op over de mate waarin leerlingen hun OPP realiseren. Door dat bovendien per vakgebied uit te splitsen ontstaat informatie over de mate waarin leerlingen zich op de ver-schillende deelgebieden ontwikkelen. De school bespreekt de uitkomsten plenair en daaruit komen acties in het kader van de kwaliteitsverbetering. Op deze wijze gebruikt de school de opbrengsten dus ook in wat we eerder noemden Categorie 2. De school kijkt daarbij overigens ook naar opbrengsten en kenmerken van de schoolverlaters. Ook daarvan zijn voorbeelden opgenomen in de hiernavolgende pagina’s.

Legt de school met deze werkwijze dan geen verantwoording af? Intern wel, expli-ciet zelfs op de resultaten zelf, van leerkracht naar directie. Extern ook expliciet naar de ouders, zoals te zien is in het schema op de volgende pagina. Dit gebruik van data valt dus ook enigszins in Categorie 3. Maar de verantwoording naar eigen bestuur en inspectie is veel meer gericht op het gehanteerde proces, als onderdeel van de kwaliteitszorg, dan op de hoogte van de opbrengsten zelf.


Samengevat, ook deze SBO school neemt als basis voor haar opbrengstanalyse de resultaten van iedere individuele leerling, ten opzichte van de doelen die in het ontwikkelingsperspectief waren gesteld. Door deze leerwinsten op te tellen tot groeps-, bouw- en schoolniveau is de school in staat haar onderwijs op veel manieren te evalueren en bij te sturen. Compliment!

Rapportage naar ouders

RV analyses opbouw- en schoolniveau

Stap 8: RV op ind. lln.Doelen behaald?OPP bijstellen?

Stap 1: in de bouw*Groepsplannen schrijven

(uitz.) Handelingsplan

Stap 2: in de bouw + ibTussentijdse evaluatie

groepsplannenmethode-gebonden toetsen

* leerlingen met dezelfde onderwijsbehoeften clusteren

Stap 5: in de bouw + ibEvaluatie groepsplannen

(uitz.) handelingsplan

Stap 6: in de bouw + ibTussentijdse evaluatie

groepsplannenmethode-gebonden toetsen

Stap 7: toetswekenObservaties en methode-

onafhankelijke toetsen

Stap 3: toetsweken:Observaties en methode-

onafhankelijke toetsen

Stap 4: RV op ind. lln.Doelen behaald?OPP bijstellen?

RV analyses op groeps- bouw- en schoolniveau

Rapportage naar ouders

Evaluatie groepsplannen

Na 9 weken

Na 18 weken

Na 36 weken

Na 27 weken


Analyse en verantwoordingGekoppeld aan het OPP

Als toelichting en aanvulling op het schema:De leerkracht legt na het afnemen van de halfjaarlijkse methode-onafhankelijke observaties en toetsen, resultaat-verantwoording af aan de directie over de pedagogische en didactische resultaten van zijn groep en van de individuele leer-lingen. De stappen 4 en 8 in het cyclisch model. Leerkrachten dienen dus van alle leerlingen van hun groep op de hoogte te zijn van de didactische ontwikkelingen, sociaal-emotionele ontwikkelingen, protectieve en belemmerende factoren.

Resultaten van de leerlingen worden altijd afgezet tegen de doelen van hun OPP. De resultaten ten opzichte van het OPP zijn gebaseerd op de vooruitgang van het aantal DLE’s dat hoort bij het OPP. Bijvoorbeeld: een leerling met OPP Vmbo-lwoo (bb/kb) moet een Leerrendement behalen tussen 50% en 75%. Dit staat gelijk aan een vooruitgang van 2.5 -3.75 DLE in 5 maanden (de tijd tussen 2 toetsperiodes).

De adjunct-directeur houdt tijdens de gesprekken de vooruitgang per leergebied bij. In het Excel-overzicht van alle leerlingen noteert zij de vooruitgang per leerge-bied in DLE’s. Tevens wordt genoteerd hoe de leerling per leergebied ten opzichte van het niveau van zijn OPP scoort:

• Geel: binnen OPP op niveau• Groen: boven OPP op niveau• Rood: onder OPP op niveau


Als alle Resultaatverantwoordingen zijn geweest, maakt de directie een overzicht van alle didactische resultaten ten opzichte van het OPP van de leerlingen. Deze resultaten worden met de leerkrachten en intern begeleiders op een gezamenlijk moment besproken en geanalyseerd. Per bouw wordt een analyse geschreven en zo nodig actiepunten vast gesteld. De directie schrijft vervolgens een opbrengstana-lyse voor de hele school.

Op de volgende pagina zien we een voorbeeld van een overzicht van de resultaten op groepsniveau, voor verschillende vakgebieden. In de kolom met de zwarte cijfers staat de gemiddelde leerwinst in DLE’s. In de kolom daarnaast is met groene en rode cijfers aangegeven hoe deze gerealiseerde leerwinst zich verhoudt tot de (gemiddelde) doelen van de OPP’s.Voor het overzicht op de pagina daarna is niet gekeken naar de leerwinst maar naar het aantal leerlingen dat hun doel wel of niet gehaald heeft. Dit is vergelijkbaar met het voorbeeld van school A. De pagina daarna geeft de trend hierin weer, op schoolniveau, in percentages per vakgebied.

Resultaten: gemiddelde leerwinst in DLE’s2e deel schooljaar, op groeps- en schoolniveau

Groep

Aantal

leerlingen

Tecnisch lezen

Technisch lezen O

PP

Begrijpend

lezen

Begrijpend

lezen OPP

Spelling

Spelling O

PP

Rekenen

RekenenO

PP

OB 2/3 24 1,5 0,6 0,4 2,4

OB 4 15 3,5 1,4 1,4 -0,7 2,9 0,5 1,9 -0,4

OB 5 15 1,5 -0,4 0,7 -0,9 3,3 1,2 0,5 -1,5

Gemiddelde OB 2,0 0,5 1 -0,8 3,1 0,9 1,3 -1,2

MB 1 17 2,8 0,5 6,1 4,4 4,6 2,3 7,8 5,3

MB 2 17 1,3 -0,8 5,4 3,1 3,6 1,3 3,5 0,8

MB 3 17 2,9 0,5 7,3 4,5 3,3 0,9 2,3 -0,1

MB 4 18 2,1 -0,5 5,0 2,0 3,8 0,7 3,5 0,5

MB 5 17 6,1 3,4 3,8 1,3 3,7 1,1 3,5 1,0

Gemiddelde MB 3,0 0,6 5,5 3,1 3,8 1,3 1,5

BB 1 18 2,5 0,0 -0,3 -2,2 2,7 0,3 0,0

BB 2 15 3,4 1,2 5,0 2,7 3,5 1,0 0,0

BB 3 15 1,3 -1,1 1,8 -0,6 6,0 2,8 2,1

BB 4 15 0,8 -1,9 2,9 -0,2 3,1 0,2 0,8

Gemiddelde BB 2,0 -0,5 2,3 -0,1 3,8 1,1 3,8 0,7

Gemiddelde RV deel2 2,6 0,1 4,1 1,7 3,8 1,2 3,8 1,2

Gemiddelde RV deel 1 3,5 1,1 5,2 2,7 4,2 1,6 4,3 1,9


Resultaten: vooruitgang naar verwachtingDidactische ontwikkeling ten opzichte van OPP

Het verloop van de didactische ontwikkeling van de leerlingen ten opzichte van de didactische vooruitgang behorend bij hun OPP (in aantal leerlingen die onder, gelijk aan of boven hun OPP scoren):

Resultaten: trend over meerdere jarenleerwinst per vakgebied

Percentage leerlingen dat zich ontwikkelt onder, binnen of boven het tempo van hun OPP:

Conclusie:Er zijn op alle leergebieden relatief weinig leerlingen (16%) die binnen hun OPP van het leergebied vallen. De grootste groep leerlingen ontwikkelt een Leerrendement (LR) boven het niveau van hun OPP (48%).

Lezen Begrijpend lezen Spelling Rekenen

t.o.v. OPP – = + – = + – = + – = +

OB 3

OB 4 3 2 9 4 4 5 9 2 3

OB 5 7 1 3 4 1 6 7 2 2

Totaal OB 10 3 12 – – – 8 5 11 16 4 5

MB 1 4 3 9 9 0 7 2 3 1 1 3 12

MB 2 4 5 1 8 1 8 8 2 7 7 1 8

MB 3 4 6 4 2 1 11 7 2 7 4 5 7

MB 4 9 2 3 4 2 10 5 2 10 4 4 9

MB 5 7 2 8 5 4 7 3 4 10 5 4 8

Totaal MB 28 18 25 28 8 43 25 13 35 21 17 44

BB 1 6 3 6 6 1 3 7 3 8 8 1 9

BB 2 3 5 1 1 1 7 4 3 8 5 4 6

BB 3 6 4 4 4 1 3 1 0 14 3 0 12

BB 4 7 3 6 6 0 8 7 1 6 4 1 9

Totaal BB 22 15 17 17 3 21 19 7 36 20 6 36

Totaal dSt deel 2 60 36 45 45 11 64 52 25 82 57 27 85

Lezen Begrijpend lezen Spelling Rekenen

t.o.v. OPP tempo – = + – = + – = + – = +

2009–2010 deel 1 41% 21% 38% 15% 11% 74% 36% 18% 46% 19% 12% 69%

2010–2011 deel 1 39% 11% 50% 43% 13% 44% 39% 14% 47% 29% 12% 59%

2011–2012 deel 1 27% 38% 35% 35% 41% 24% 28% 51% 21% 17% 61% 22%

2011–2012 deel 2 39% 24% 37% 38% 9% 53% 32% 16% 52% 34% 16% 50%


Opbrengstgegevens kunnen signalen afgevenAndere bevindingen op schoolniveau

Naast de getoonde overzichten kan deze school de data gebruiken om mogelijke andere vragen te beantwoorden c.q. andere signalen op te vangen, bijvoorbeeld:Aantal leerlingen dat een Leerrendement onder het niveau van hun OPP heeft:

79 op 0 leergebieden46 op 1 leergebied38 op 2 leergebieden9 op 3 leergebieden, waarvan: – 5 leerlingen met uitstroomperspectief OPP Praktijkonderwijs, – 2 leerlingen met uitstroomperspectief OPP Praktijkonderwijs / Vmbo-lwoo

(bb / kb) en – 2 leerlingen met uitstroomperspectief OPP Vmbo-lwoo (bb/kb).3 op 4 leergebieden, waarvan: – 2 leerlingen met uitstroomperspectief OPP Praktijkonderwijs en – 1 leerling met uitstroomperspectief OPP Vmbo-t.

Of:

Aantal leerlingen per leergebied, dat onder OPP scoort:• Technisch lezen: 54• Spelling: 39• Begrijpend lezen: 33• Rekenen: 29


Deze school zocht externe benchmarksZoals eerder gesteld zijn er niet veel externe benchmarks voorhanden voor SBO scholen. Deze school vond een vergelijking met data uit COOL 2011 om tenminste een indruk te krijgen van de eigen opbrengsten.

* dle 52 is hoogst haalbare score op DMT3* dle 52 is hoogst haalbare score op Begrijpend lezen 2009* dle 55 is hoogst haalbare score op Spelling 2009* dle 58 is hoogst haalbare score op Rekenen 2009

** gegevens uit onderzoek COOL 2011

Technisch lezen Begrijpend lezen Spelling Rekenen / Wiskunde IQ

gem. sbo dle 36** 29** 30 32**

dle 36* dle 39* dle 35* dle 38* 83


Andere data: leerlingkenmerkenIQ en diagnoses bij schoolverlaters

Hoewel niet specifiek op opbrengsten gericht laat deze pagina nog een aspect zien van het gebruik van data, namelijk het in kaart brengen van de leerlingkenmerken (in dit geval van de schoolverlaters) om in te kunnen schatten welke mogelijke invloed deze kunnen hebben op de resultaten.

IQ-gegevens schoolverlaters 2011 – 2012

Diagnoses

201816141210

86420

50

Dyslexie

ASS

ADD

ADHD

ODD

Hechtingsangst

DCD

Angst

55 60 65 70 75 80 85 90 95 100 105 110 115 >120

43%

19%

12%

7%

5%5%

2%2% 2%

3%


Conclusies en verbeterpuntenActies op schoolniveau

Rode acties: moeten nog worden uitgevoerd.Zwarte acties: is in gang gezet, nog niet volledig afgerond.Groene acties: zijn uitgevoerd.

Algemeena) De ib-ers gaan de lijst pedagogische onderwijsbehoeften uitbreiden.b) Verbetering kan nog gevonden worden in het plannende aanbod sociaal-

emotionele ontwikkeling in relatie met belemmerende factoren van de leerling.c) De werkgroep ‘sociaal-emotionele ontwikkeling’ gaat zich verdiepen in een LVS

dat waardevoller is voor onze leerlingen.d) Concreter beschrijven van specifieke onderwijsbehoeften.e) De OPP-startformulieren moeten, vooral voor de leerlingen <DL 15, meer smart

worden ingevuld.f) Bij doelen voor de komende 5 maanden beschrijven welk doel gehaald moet zijn,

zie groepsplan. Niet welk deeltje van een methode gehaald moet worden.g) Het beschrijven van concreet onderwijsaanbod kan verbeterd worden.h) Het onderwijsaanbod voor de Verlengde Leertijd inhoudelijk gaan beschrijven.

Dus niet alleen het leergebied, maar concreet wat en hoe de leerling het komende half jaar gaat oefenen.

i) Gebruik maken van collegiale consultatie voor het invullen van de RV’s.j) Verdieping in het maken van analyse bij Taal voor Kleuters.k) Het format van het RV-formulier is geëvalueerd (02-2012) en kleine

verbeteringen zijn aangebracht.l) Meer uitleg en richtlijnen over het onderwerp ‘autonomie van de leerling’

(werkgroep Autonomie).m) Aanschaf van de Toetsen voor Speciale leerlingen voor niveau 6,7, en 8.n) Gaan werken van methodevolgend naar werken in Arrangementen. Om te

beginnen met Rekenen en Spelling.


Nieuwe acties

Technisch lezen:o) Beantwoorden van de vragen onder Invloed gebruik nieuwe toetsen DMT 2009

blz. 13: - In het overleg dat de ib-ers binnenkort met Cito hebben, vragen we of dit ook

de landelijke ervaring is. - We gaan ook naar de ervaringen van andere sbo-scholen vragen.p) Afspraak maken welke AVI-scores worden gebruikt (ib-overleg) als notering

in de RV’s.

Begrijpend lezen:q) We hebben geen doorgaande lijn van Begrijpend lezen. Dit is een aandachtspunt

door de hele school. Tijdens de studiemiddagen van het CED zijn we bezig met een doorgaande leerlijn Begrijpend luisteren en Begrijpend lezen.

Spelling:r) Oriëntatie op werken met leerlijn Spelling: ib-ers komen met een voorstel. Dit heeft tevens als voordeel dat de Cito-toetsen meer aansluiten bij ons

onderwijsaanbod, zodat we meer waarde kunnen hechten aan de behaalde scores Spelling.

s) Overleg met Cito over het groot aantal opgaven in de spellingtoetsen ‘Zoek de fout’.

Rekenen:t) De werkgroep Rekenen evalueert dit schooljaar de eerste ervaringen met

Alles Telt.


SBO SCHOOL ‘C’: OPBRENGSTANALYSES OP BASIS VAN LEERSTANDAARDEN

Het gebruik van opbrengstgegevensVooral in categorie 2, op SBO school ‘C’

Deze school gaat bij het stellen van leerdoelen en bij haar opbrengstanalyses uit van zogenaamde leerstandaarden. Deze hebben de vorm van oplopende vaar-digheidsscores, voor verschillende vakgebieden, uitgesplitst naar verschillende uitstroombestemmingen. In de pagina’s hierna wordt daar een voorbeeld van gegeven. De leerstandaarden worden door de school gebruikt in de cyclus van handelingsgericht werken, bijvoorbeeld in de doelen in het ontwikkelingsperspec-tief die op deze manier per vakgebied aan het uitstroomniveau van de leerling zijn gekoppeld. Ook daar is een voorbeeld van opgenomen.

In het kader van deze publicatie is vooral van belang hoe de opbrengsten langs deze standaarden in kaart worden gebracht. De school stelt op groepsniveau gemiddeldes vast van de resultaten op methode-onafhankelijke toetsen. Die gemiddeldes zijn af te lezen in het leerlingvolgsysteem. Vervolgens worden die gemiddeldes vergeleken met de streefdoelen (de leerstandaarden) die de school per uitstroombestemming hanteert. Deze vorm van opbrengstanalyse richt zich op vragen van Categorie 2. Door de opbrengsten die de leerlingen realiseren op een structurele manier in kaart te brengen ontstaat feedback op het onderwijs zoals dat op de school gegeven wordt. Enerzijds betreft de analyse de opbrengsten op een gegeven moment. Het zegt iets over de vaardigheden van leerlingen in de school, bijvoorbeeld per groep op verschillende vakgebieden dan wel per vakgebied door verschillende leerjaren heen. Door opbrengsten van dezelfde groep leerlingen op verschillende momenten met elkaar te vergelijken ontstaat inzage in de leerwinst die zij boeken. Als we de opbrengsten over een langere periode kunnen vergelijken, ontstaat een beeld van de ontwikkeling van de effectiviteit en afstemming van het onderwijs op de behoeften van de leerlingen.

Net als bij school ‘A’ is de verantwoording naar eigen bestuur en inspectie (Cate-gorie 3) gericht op het gehanteerde proces, als onderdeel van de kwaliteits zorg, en niet op de hoogte van de opbrengsten zelf. Het gebruik van leerstandaarden is een heldere manier om met ouders en leerlingen in een vroeg stadium het uitstroom-perspectief te bespreken.


Samengevat, deze SBO school neemt als basis voor haar opbrengstanalyse de leerstandaarden die de school per uitstroombestemming heeft opgesteld. Door deze referentiepunten kan de school per leerling maar zeker ook per groep en door de hele school heen de gerealiseerde opbrengsten en leerwinst structu-reel vergelijken met de eigen streefpunten.

LeerstandaardDe uitstroombestemming geeft ook tussendoelen aan

Leerstandaarden zijn geen ‘normen’ voor de leerlingen in termen van goed of fout, gehaald of niet gehaald, bevorderd of niet bevorderd. Leerstandaarden zijn punten op een schaal, ze dienen als referentiepunten om opbrengsten en vorderingen te bespreken. Leerstandaarden worden hier uitgedrukt in vaardigheidsscores, zoals die door Cito zijn opgesteld als schalen die de vaardigheden van leerlingen op een bepaald deelgebied (bijvoorbeeld spelling of rekenen) weergeven.

Een SBO school kan deze schalen gebruiken om voor haar eigen leerlingpopulatie ijkpunten te formuleren waarlangs leerlingen typisch hun loopbaan aan deze SBO school doorlopen, een loopbaan die gewoonlijk in één van een beperkt aantal voort-gezet onderwijsvormen (bijvoorbeeld Praktijkonderwijs of VMBO kadergericht) een vervolg krijgt. Zo ontstaan op die school voor verschillende deelgebieden dus een aantal ‘curves’ die voor die school als leerstandaard kunnen gelden.

didactische leeftijd

vaar

digh

eids

scor

e

uitstroom C

uitstroom B

uitstroom A


LeerstandaardVoorbeeld van tussendoelen voor een vakgebied (R/W)

De leerstandaarden voor deze school zijn per vakgebied per didactische leeftijd opgesteld. Hierboven ter illustratie die voor rekenen. De standaarden zijn tot stand gekomen door een analyse van de uitstroom van de afgelopen jaren (balans tussen VMBO en Praktijkonderwijs) en de vaardigheidsscores die naar de niveaus leiden die bij die uitstroom horen. Voor zover externe validatie mogelijk was (bijvoorbeeld met COOLSpeciaal) is vastgesteld dat de gekozen leerstandaarden ambitieus van aard zijn.

Het ontwikkelingsperspectief (zie pagina hiernaast)Bevat uitstroomperspectief en tussendoelen

Voor een leerling die de ambitie heeft om naar een bepaalde vervolgopleiding uit te stromen, wordt (per vakgebied) zichtbaar langs welke lijn de benodigde vaardig-heden verworven (dienen te) worden.

PRO VMBO (B + K) VMBO T

Groep DL Streefdoel Funct. niveau Streefdoel Funct. niveau Streefdoel Funct. niveau

8 55 60

51 55 65 M5 87 E6 108 M8

7 46 50 57 E4 82 M6 104 E7

41 45 50 E4 75 E5 100 M7

6 36 40 45 M4 66 M5 92 E6

31 35 40 M4 56 E4 87 M6

5 26 30 37 E3 51 E4 78 E5

21 25 33 E3 47 M4 74 M5

4 16 20 25 M3 40 E3 61 E4

11 15 17 33 E3 52 M4

3 6 10 9 25 M3 39 E3

0 5 31 M3


Dat

umD

L5

1015

2025

3035

4045

5055

60

Tech

nisc

h le

zen

Leer

rout

ePR

OSt

reef

doel

3453

6272

7682

8790

9496

Resu

ltaa

tTo

ets

Spel

ling

Leer

rout

ePR

OSt

reef

doel

100

104

109

112

115

118

120

123

126

128

Resu

ltaa

tTo

ets

Beg

rijp

end

leze

nLe

erro

ute

PRO

Stre

efdo

el-3

513

24Re

sult

aat

Toet

s

Woo

rden

scha

tLe

erro

ute

PRO

Stre

efdo

el32

3539

4244

4749

5254

5860

Resu

ltaa

tTo

ets

Reke

nen

Leer

rout

ePR

OSt

reef

doel

917

2533

3740

4550

5765

Resu

ltaa

tTo

ets


Opbrengstanalyseop schoolniveau per toetsmoment

In de gele velden valt af te lezen wat de gemiddelde vaardigheidsscore (VS) was op de Cito toetsen die in juni 2012 zijn afgenomen, per vakgebied per groep.In de blauwe velden zijn de leerstandaarden vermeld, voor de route die naar uitstroomniveau Praktijkonderwijs (PRO) leidt en voor de route die naar uitstroom-niveau VMBO-KB leidt. Voor Technisch Lezen is maar 1 standaard benoemd. De reden daarvoor is dat de school zich ten doel stelt om met alle leerlingen het eindniveau te halen.De grafieken geven weer hoe de gemiddelde vaardigheidsscores van de groepen (de blauwe balken) zich verhouden tot de leerstandaarden voor PRO uitstroom (de rode balken) en voor VMBO-KB uitstroom (de groene balken).

Technisch lezenDL Groep Gemiddelde VS Streefdoelen AVI

50 7 69,9 94 E7

40 6 57,4 87 E6

30 5 59,2 76 E5

20 4 48,1 62 E4

10 3 21,4 34 E3

Begrijpend lezenDL Groep Gemiddelde VS Streefdoelen PRO Streefdoelen VMBO

50 7 15,2 24 35

40 6 8,8 13 30

30 5 3 5 22

20 4 -5 -3 12

10 3 -12,2 – -3

10080604020

0

40302010

0-10-20

Gr.7 Gr.6 Gr.5 Gr.4 Gr.3


Gemidd. VS

Gemidd. VS

Streefdoelen

Streefdoelen PROStreefdoelen VMBO


WoordenschatDL Groep Gemiddelde VS Streefdoelen PRO Streefdoelen VMBO

50 7 64,4 58 78

40 6 55,3 52 78

30 5 47,2 47 72

20 4 38,8 42 62

10 3 31,6 35 46

SpellingDL Groep Gemiddelde VS Streefdoelen PRO Streefdoelen VMBO

50 7 123,1 126 135

40 6 122,7 120 130

30 5 120,2 115 126

20 4 118,6 109 118

10 3 106,3 100 108

Rekenen / wiskundeDL Groep Gemiddelde VS Streefdoelen PRO Streefdoelen VMBO

50 7 65,3 65 87

40 6 67,7 50 75

30 5 47,4 40 56

20 4 44,2 33 47

10 3 28,7 17 33

10080604020

0

150

100

50

0

10080604020

0




Gemidd. VS

Gemidd. VS

Gemidd. VS

Streefdoelen PRO

Streefdoelen PRO

Streefdoelen PRO

Streefdoelen VMBO

Streefdoelen VMBO

Streefdoelen VMBO


Naast het analyseren van groepsgemiddelden is het interessant om te weten hoeveel leerlingen binnen de verschillende groepen de PRO en VMBO-KB niveaus daadwerkelijk realiseren. Daartoe is voor iedere groep en voor ieder vakgebied bepaald hoeveel leerlingen onder de PRO lijn scoren, tussen de PRO en VMBO-KB lijn in en boven de VMBO-KB lijn. Bij Technisch Lezen zijn er maar twee catego-rieën onderscheiden, namelijk onder of boven de standaard.

Vakgebieden, over groepen heen

Groepen, over vakgebieden heen


Reflectie op de opbrengstenPer vakgebied en per groep

Observaties op schoolniveauTL De resultaten voor Technisch Lezen liggen ver onder de door de school

geambieerde niveaus. De achterstand van groep 6 is heel groot (onder het gewenste groep 4 niveau), dat is consistent met de zwakke scores van de groep 5 van vorig schooljaar.

BL De scores op Begrijpend Lezen zijn laag, gemiddeld liggen ze ver onder het gewenste niveau PRO.

WS De groepen 3 en 4 scoren laag op Woordenschat. De gemiddelde scores in groepen 5, 6 en 7 liggen boven het niveau PRO maar nog ver onder het niveau VMBO-KB. Dit is consistent met eerdere meetmomenten.

SP De Spelling opbrengsten zijn relatief gezien niet slecht. De gemiddelde scores liggen door de school heen boven het niveau PRO, met uitzondering van groep 7.

RW De groepen laten voor Rekenen/Wiskunde resultaten zien die tussen PRO en VMBO-KB liggen.

Observaties op groepsniveau3 Groep 3 presteert op het gebied van TL niet sterk. Voor WS scoort een klein

aantal leerlingen boven de VMBO-KB standaard. Voor de vakken SP en RW laten de leerlingen overwegend resultaten zien boven de VMBO-KB standaard.

4 Ook een behoorlijk aantal leerlingen van groep 4 heeft voor SP en RW resultaten behaald boven de VMBO-KB score. Voor BL en WS zijn dat er minder, de meesten hebben een resultaat onder PRO. Op het gebied van TL presteert 30% van de leerlingen boven het door de school geambieerde niveau. Dat is het hoogste percentage binnen de school maar onder de resultaten van groep 3 in het vorige schooljaar.

5 Voor de vakken SP en RW scoren de leerlingen van groep 5 redelijk gespreid, maar voor TL, BL en WS voornamelijk rondom de PRO standaard.

6 Leerlingen van groep 6 scoren overwegend rondom het niveau PRO. Op het gebied van TL en BL is ongeveer 30% van de leerlingen boven het niveau PRO geëindigd.

7 Groep 7 laat over alle vakgebieden heen resultaten zien die voornamelijk onder de standaard voor PRO liggen.


Analyse van de leerwinstTussen twee toetsmomenten

Een andere vraag voor een opbrengstanalyse is of leerlingen in een periode ook voldoende leerwinst hebben laten zien. Daartoe kunnen de resultaten van een groep, zeg groep 5, vergeleken worden met de resultaten van een groep eerder in het voorgaande jaar, in dit geval groep 4. In onderstaande tabel is in de gele velden per vakgebied per groep af te lezen wat de gemiddelde leerwinst was tussen de Cito toetsen die in juni 2011 en juni 2012 zijn afgenomen. In de blauwe velden zijn de beoogde leerwinsten vermeld, voor de route die naar uitstroom-niveau Praktijkonderwijs (PRO) leidt en voor de route die naar uitstroomniveau VMBO-KB leidt. De grafiek geeft weer hoe de gemiddelde leerwinst van de groepen (de blauwe balken) zich verhouden tot de beoogde leerwinst voor PRO uitstroom (de rode balken) en voor VMBO-KB uitstroom (de groene balken).

Tussen 2 toetsmomenten (leerwinst juni – juni)

40

35

30

25

20

15

10

5

0Gr.8 Gr.7 Gr.6 Gr.5 Gr.4 Gr.3

Gemidd. VSStreefdoelen PROStreefdoelen VMBO

Rekenen / wiskundeDL Groep Gemiddelde VS Streefdoelen PRO Streefdoelen VMBO

50–60 8

40–50 7 12,3 15 12

30–40 6 18,7 10 19

20–30 5 19,4 7 9

10–20 4 34,2 16 14

0–10 3 28,7 17 33


Beschouwing op schoolniveauConclusies en beleidsprioriteiten

Door middel van de gehanteerde opbrengstanalyse zijn de opbrengsten van de hele school over de periode juni 2011 tot en met juni 2012, zowel in absolute zin (ten opzichte van de leerstandaarden die de school geformuleerd heeft) als in relatieve zin (de leerwinst over deze periode) bekeken. Daaruit komen voor de school conclu-sies en speerpunten voor beleid om gerichte acties uit te zetten ter verbetering van de kwaliteit van het geboden onderwijs.

• De analyse laat duidelijk zien dat de opbrengsten op het gebied van Technisch Lezen veel lager liggen dan de school zou willen. De school dient met de grootst mogelijke urgentie haar technisch lezen onderwijs tegen het licht te houden. Eerste interne analyses geven aan dat er verbeteringen mogelijk zijn op de hoe-veelheid leertijd, op de gehanteerde instructievormen en op ondersteuning door een voortgezet technisch lezen methode. Inmiddels zijn er stappen gezet om externe expertise bij de analyse en de verbeteractiviteiten te betrekken.

• Ook de gemiddelde niveaus van het Begrijpend Lezen liggen onder de door de school geformuleerde (PRO) standaarden. In de hogere groepen wordt wel leer-winst geboekt maar die is onvoldoende om de trage start te compenseren. Het is de vraag of de recent ingevoerde methode Taaltrapeze hier een kentering in gaat brengen. Ook is onduidelijk in hoeverre de effecten van verbeteringen in het technisch lezen de vaardigheden begrijpend lezen zullen stimuleren.

• De resultaten voor Woordenschat en Spelling liggen op verschillende meet-momenten voornamelijk rondom de leerstandaarden PRO. Opvallend is dat de gerealiseerde leerwinst in het afgelopen jaar gemiddeld genomen aanzienlijk is. Ook de spelling scores in de groepen 3, 4 en 5 zijn bemoedigend hoog. Het is bovendien te verwachten dat het toegespitste Taaltrapeze onderwijs met name op WS een positief effect zal hebben. De resultaten 2012 lijken in ieder geval een verbetering ten opzichte van 2011 te laten zien. Al blijft de doelstelling om meer leerlingen op de VMBO-KB lijnen te krijgen helder, deze vakgebieden vormen voor de school op dit moment geen prioriteit.

• Dat laatste kan ook gezegd worden van Rekenen/Wiskunde. Een toenemend aantal leerlingen scoort boven de VMBO-KB lijn en er werd afgelopen jaar een behoorlijke leerwinst geboekt. Deze ontwikkelingen zijn voor de middenbouw uitgesprokener dan voor de bovenbouw.


TERUGBLIK OP DE DRIE VOORBEELDEN

Reflectie op de voorbeeldenWat leveren de opbrengstanalyses op?

Eerder werd aangegeven dat een analyse van de opbrengsten verschillende doelen kan hebben, afhankelijk van de vraag die men als uitgangspunt neemt, waarbij drie categorieën werden onderscheiden: vragen die dienen om het didactisch handelen van de leerkracht te sturen, vragen die dienen als reflectie op de onderwijskwaliteit van de school, vragen die dienen om verantwoording af te leggen aan derden.Wat kunnen we, terugkijkend op de voorbeelden, zeggen over het nut van de opbrengstanalyses die de voorbeeldscholen uitvoeren, wat levert het op, waar is nog winst te halen?

Een belangrijke conclusie is dat de schoolteams kennelijk in gesprek zijn over de opbrengsten en dat gebruiken om samen over het onderwijs te praten. Op deze manier geven zij invulling aan de cyclische benadering ten aanzien van hun onder-wijskwaliteit en dat leidt in alle voorbeelden tot concrete conclusies. Bijvoorbeeld: de analyse laat duidelijk zien dat de opbrengsten op het gebied van Technisch Lezen veel lager liggen dan de school zou willen. Of: de implementatie van een nieuwe rekenmethode heeft tot betere resultaten geleid. Of: de school zoekt verdie-ping in het maken van analyse bij Taal voor Kleuters. Ook wordt in alle voorbeelden de stap gezet naar concrete verbeteracties: inhoudelijke studiemomenten worden ingepland, nieuwe toetsen aangeschaft, leertijd wordt tegen het licht gehouden. Deze dienen kwaliteitsverbetering en zijn daarmee zeer zinvol.

In de voorbeelden wordt steeds naar de opbrengsten per groep gekeken maar de conclusies en vervolgacties vallen vooral in categorie 2, op schoolniveau. Er komen wel conclusies en richtlijnen voor het didactisch handelen van de leerkrachten boven maar de analyse van de resultaten binnen een bepaalde groep leerlingen vindt in de praktijk op een ander moment plaats, bij de groeps- en leerlingbespre-kingen. Dat is op zich terecht, maar het is een uitdaging voor de schoolleiding om de koppeling tussen de schoolbrede aandachtspunten en de groepsaanpakken zichtbaar te maken en te houden.

Een ander opvallend kenmerk van de analyses is dat er niet vaak expliciet benoemd wordt welke data volgende keer verzameld en geanalyseerd moeten worden. Vragen die dieper binnen bepaalde domeinen liggen en groepsoverschrijdend


(een rekendomein of een spellingscategorie of schrijfvaardigheden) dan wel leerstofoverschrijdend zijn (zoals sociale vaardigheden) hebben waarschijnlijk analyses nodig met aanvullende gegevens, als item analyses of methode toetsen of eigen vragenlijsten. Met andere woorden, de signalen komen nu uit ‘standaard’ opbrengstanalyses maar het vooraf formuleren van vragen als verdieping of om een complexere issue te begrijpen is nog niet zichtbaar, en dus worden daar ook geen specifieke aanvullende data bij gezocht.

Het is begrijpelijk dat de vragen uit categorie 3, met betrekking tot verantwoording, in de voorbeeldanalyses geen expliciete rol spelen. Met name de dialoog met de inspectie komt in het volgende deel aan de orde.


INTERNE EN EXTERNE VERANTWOORDING

Interne verantwoording: het bestuurInterne kwaliteitsprocessen en -systemen

In de voorbeelden is te zien geweest dat opbrengstgegevens door SBO scholen worden ingezet als middel tot eigen reflectie op de onderwijskwaliteit. Maar ook het bevoegd gezag wil iets weten en vinden van die kwaliteit. Terecht, zo is het ook vastgelegd in de Codes Goed Bestuur. Die van het primair onderwijs onderscheidt zich van de andere onderwijssectoren door de expliciete focus op leerresultaten gekoppeld aan de kwaliteit van het onderwijs. In artikel 7 van de Code – de ‘opdracht’ – stellen het schoolbestuur en het interne toezichtorgaan zich ervoor verantwoordelijk dat “ieder kind het maximale rendement uit zijn of haar mogelijk-heden kan halen, doordat hij of zij het best mogelijke onderwijs krijgt”.

De meeste bestuurders c.q. hun beleidsmedewerkers verzamelen daarom kwali-tatieve en kwantitatieve informatie over hun scholen. Dit dient enerzijds als input voor het gesprek over de schoolontwikkeling in algemene zin. De gehanteerde voorbeelden laten zien dat dit ook voor SBO scholen prima kan. Deze scholen hebben immers zelf al hun opbrengsten geanalyseerd, hun onderwijskwaliteit geëvalueerd en hun verbeteracties benoemd. Anderzijds zoeken besturen ook naar een vorm van verantwoording en beoordeling: is de kwaliteit op orde en zijn de opbrengsten voldoende. De landelijke Cito normeringen vormen hiervoor veelal de basis. Voor wat betreft de SBO scholen is het lastig om de opbrengsten in absolute zin te duiden. De Cito scores zeggen niet veel, ze bevestigen vooral dat de leerlin-gen gemiddeld een leerachterstand hebben.

SBO scholen staan daarmee voor de opdracht om hun opbrengsten inzichtelijk te maken en te duiden ten behoeve van de interne verantwoording. Het ligt voor de hand om daarvoor benchmarks te gebruiken. Dat kunnen zijn eigen leerstan-daarden die binnen de school als benchmark opgesteld zijn (zoals bijvoorbeeld school ‘C’ heeft gedaan) dan wel externe benchmarks. Die laatste zijn er tot nu toe nauwelijks geweest maar gelukkig komen er steeds meer mogelijkheden om die te gebruiken. In het volgende deel wordt een aantal voorbeelden en ontwikkelingen beschreven.


Passend Onderwijs gaat voor veel scholen een interessant en uitdagend nieuw kader geven, ook waar het de analyse van opbrengsten betreft. Het is heel goed mogelijk dat er nieuwe ‘interne’ verantwoordingsrelaties ontstaan. Het samenwerkingsverband heeft de verplichting om de ingezette middelen te verantwoorden (net als binnen WSNS maar beter) en die vraag zal richting (de opbrengsten van) de scholen worden doorvertaald. Daarnaast is nu al zichtbaar dat er al dan niet vaste arrangementen ontstaan die specifiek bekostigd en dus verantwoord moeten worden, bijvoorbeeld aan het samenwerkingsverband zelf of aan een andere school binnen of zelfs buiten het samenwerkingsverband.

Externe verantwoording: de onderwijsinspectieOntwikkelingen in het toezicht

In de voorbeelden is te zien dat opbrengstgegevens worden ingezet als middel tot eigen reflectie op de onderwijskwaliteit. Externe verantwoording is van een andere orde. De inspectie wil de opbrengsten van SBO scholen kunnen beoordelen als op reguliere basisscholen, dat wil zeggen met normen voor eind- en tussenopbreng-sten. Er wordt binnen het risico gericht toezicht per school inmiddels gekeken naar het uitstroompercentage Praktijkonderwijs. Uit de analyses van de inspectie blijkt dit het meest betrouwbare kengetal op te leveren en de sterkste correlatie te heb-ben met verstrekte toezichtarrangementen en het niveau van leerprestaties. SBO scholen hebben gemiddeld een uitstroom van 36% naar Praktijkonderwijs. Op basis van de verdeling van scholen is de inspectie tot een norm voor risico van 45% of meer uitstroom naar Praktijkonderwijs gekomen.

Inmiddels heeft de inspectie ook een (voorlopige) normering voor de eindop-brengsten in het SBO vastgesteld. Als ondergrens wordt van de schoolverlaters de gemiddelde vaardigheidsscore/DLE van rekenen/wiskunde en begrijpend lezen gekoppeld aan het gemiddelde IQ van die groep. Dit is vergelijkbaar met de tabel Cito eindscore in relatie tot het percentage gewichtenleerlingen in het reguliere basisonderwijs. Ter informatie is de tabel in het volgende deel opgenomen. Voor technisch lezen geldt als absolute ondergrens: 80% van de schoolverlaters haalt tenminste een DLE van 20, hetgeen overeenkomt met een AVI niveau E4 of DMT score 55. Bij al deze cijfers hoort een waarschuwing: het is niet uitgesloten dat uit validatieonderzoeken en voortschrijdend inzicht blijkt dat de normen bijstelling behoeven.


De inspectie verwacht dat meer onderwerpen met een uniforme meetlat zullen worden ondergebracht in het kwaliteitsaspect ‘opbrengsten’. Te denken is dan aan de tussenopbrengsten, sociaal emotionele aspecten en de zogenaamde ‘bestendig-heid’ (hoe vergaat het leerlingen in het voortgezet onderwijs).

Het zal voor SBO scholen niet moeilijk zijn om op basis van de gevraagde cijfers invulling te geven aan de externe verantwoording aan de onderwijsin-spectie. Deze data zullen ongetwijfeld ook in het gesprek binnen de school en met het schoolbestuur een plek krijgen, zoals dat ook in het reguliere basison-derwijs gebruikelijk is. Dat scholen op individuele basis moeite hebben met de totstandkoming en hoogte van de normering (bijvoorbeeld het gebruik van IQ gegevens of het buiten beschouwing laten van dyslexie) is een discussie voor een ander moment.

Externe benchmarks: Zelfevaluatie voor een SBO schoolvanuit het Cito LOVS

Door het maken van opbrengstanalyses kan een SBO school evalueren of het al dan niet goed gaat en waar eventuele verbeteringen mogelijk zijn met betrekking tot het taal- en rekenonderwijs. Dat hebben de voorbeelden duidelijk laten zien. Maar hoe doet een school het in vergelijking met soortgelijke scholen in Nederland?

Cito krijgt van SO- en SBO-scholen regelmatig de vraag op welke manier zij toets-gegevens kunnen gebruiken voor schoolzelfevaluatie. Om een antwoord op deze vraag te geven start Cito een project over opbrengstanalyses, in opdracht van OCW en samen met het SBOwerkverband, LECSO (het landelijk expertise centrum speci-aal onderwijs) en Siméa (de vereniging van besturen in cluster 2).

Basis voor dit project over opbrengstanalyses zijn de gegevens van de afgelopen onderzoeken voor de ontwikkeling van de toetsen voor speciale leerlingen, aangevuld met recente en actuele toetsgegevens van cluster 2 en 4 scholen en SBO-scholen.

Cito zoekt nog deelnemende scholen, die hun toetsgegevens uit het leerlingvolg-systeem willen insturen. Daarnaast start een werkgroep met deskundigen en experts van de scholen om te waarborgen dat de opbrengstanalyses werkelijk pas-sen bij hun behoefte.


Opbrengstgegevens uit CoolSpeciaal

Voor het onderzoek COOLSpeciaal zijn in het speciaal basisonderwijs en in cluster 4 van het speciaal onderwijs in het schooljaar 2010/2011 toetsen afgenomen bij de leerlingen uit de geboortejaren 2001 en 1998. Het gaat daarbij om de toets reke-nen/wiskunde, technisch lezen (DMT) en begrijpend lezen. In het basisonderwijs zijn deze toetsen in dezelfde periode ook afgenomen in groep 5 en in groep 8, in het kader van de tweede meting van het onderzoek COOL5-18. Het betreft in beide onderzoeken ongeveer dezelfde leeftijdsgroepen.

In de grafieken hiernaast worden de toetsresultaten van de leerlingen in het speciaal basisonderwijs vergeleken met die van de leerlingen in het reguliere basisonderwijs en in cluster 4. Voor het BaO is in het onderzoek onderscheid gemaakt tussen ‘reguliere’ leerlingen en leerlingen voor wie een handelingsplan was opgesteld en die extra aandacht of extra hulp krijgen binnen de klas of de school.

De data kunnen door SBO scholen worden gebruikt als externe benchmark.

Gemiddelde scores rekenen/wiskunde

120

100

80

60

40

20

0Groep 5

geb. 2001Groep 8

geb. 1998

Bao regulierBao zorgSboSO Cluster 4


120

100

80

60

40

20

0Groep 5

geb. 2001Groep 8

geb. 1998


120

100

80

60

40

20

0Groep 5

geb. 2001Groep 8

geb. 1998


Gemiddelde scores begrijpend lezen

Normering onderwijsinspectieVoor eindopbrengsten, bij SBO schoolverlaters

Gemiddeld niveau technisch lezenBij technisch lezen kiest de inspectie ervoor geen rekening te houden met de ken-merken van de leerlingenpopulatie wat betreft IQ of dyslexie. Dit doet men omdat uit eigen onderzoek blijkt dat de gemiddelde intelligentie weinig invloed heeft op het leesniveau en omdat men van oordeel is dat het overgrote deel van de kinderen in het sbo een minimale vaardigheid van technisch lezen moet kunnen behalen.Als ondergrens hanteert de inspectie DLE van 20. Deze ondergrens cor-respondeert bij AVI met het niveau E4 beheersingsniveau en bij de DMT met vaardigheidsscore 55.

Gemiddelde scores technisch lezen (DMT)


Als norm hanteert de inspectie dat minimaal 80 procent van de schoolverlaters van dat betreffende schooljaar de ondergrens moet hebben behaald. Als het percentage lager is dan 80 procent, dan is het jaaroordeel op dit vakgebied onvoldoende.

Gemiddeld niveau rekenen-wiskunde en begrijpend lezenHet niveau van rekenen-wiskunde en van begrijpend lezen kan door de school uit-gedrukt worden in gemiddelde vaardigheidsscore (bij gebruik van Cito-toetsen) of het gemiddeld DLE (bij andere toetsen of na omzetting van de vaardigheidsscores in DLE).

Voor het beoordelen of het gemiddelde niveau van rekenen-wiskunde en van begrij-pend lezen voldoet aan de verwachting, wordt het gemiddeld niveau afgezet tegen het gemiddelde IQ van de betreffende schoolverlatersgroep, volgens de tabellen op de volgende pagina’s.


Normering onderwijsinspectieVoor eindopbrengsten, bij SBO schoolverlaters

Ondergrens begrijpend lezen en rekenen in vaardigheidsscores

Gemiddeld IQ Begrijpend Lezen Rekenen/wiskunde

Gelijk aan of lager dan 71 19 64

72 20 65

73 20 67

74 21 68

75 22 69

76 23 70

77 23 71

78 24 72

79 25 73

80 26 74

81 26 75

82 27 76

83 28 77

84 29 78

85 29 79

86 30 80

87 31 81

88 32 82

89 32 83

90 33 84

91 34 85

92 34 86

93 35 86

Gelijk aan of hoger dan 94 36 87


Ondergrens begrijpend lezen en rekenen in DLE’s

Gemiddeld IQ Begrijpend Lezen Rekenen/wiskunde

Gelijk aan of lager dan 71 26 24

72 26 25

73 27 25

74 28 26

75 28 27

76 29 27

77 30 28

78 30 29

79 31 29

80 32 30

81 32 30

82 33 31

83 33 32

84 34 32

85 35 33

86 35 33

87 36 34

88 36 34

89 37 35

90 37 36

91 38 36

92 38 37

93 39 37

Gelijk aan of hoger dan 94 39 38


SLOTSOMSamenvattingOpbrengstanalyses in het SBO

Startpunt voor deze publicatie was dat SBO scholen ambities hebben om hun opbrengsten inzichtelijk te maken en intern te analyseren, of hun externe verant-woording zinvol vorm te geven. We hebben het belang laten zien om de vraag “hoe geef ik vorm aan mijn opbrengstanalyses?” te laten vooraf gaan door de vraag “welke vraag wil ik met mijn opbrengstanalyse beantwoorden?”. We hebben daarbij drie categorieën van vragen onderscheiden:

1. Vragen die dienen om het didactisch handelen van de leerkracht te sturen (om tot een plannend aanbod te komen, om handelingsgericht te werken en tot optimale afstemming in de groep te komen). Deze vragen leven vooral bij leerkracht en IB-er.

2. Vragen die dienen als reflectie op de onderwijskwaliteit van de school (en daarmee handvatten leveren voor kwaliteitsverbetering en schoolontwikkeling). Deze vragen liggen met name op het bord van directie en eventueel IB-er.

3. Vragen die dienen om verantwoording af te leggen aan derden. Primair maar niet exclusief het domein van de directie.

Met een aantal actuele voorbeelden uit SBO scholen is geïllustreerd dat scholen beschikbare data verzamelen, groeperen en analyseren om vragen uit alle boven-staande categorieën te beantwoorden. Hopelijk inspireert dit andere scholen om hun eigen werkwijzen kritisch tegen het licht te houden en eventuele scherpere analyses binnen hun teams te ontwerpen. De volgende observaties kunnen daar mogelijk behulpzaam bij zijn:

• Alle voorbeelden van opbrengstanalyses vergen relatief veel inspanning. De meeste leerlingvolgsystemen zijn nog nauwelijks op een effectieve manier te gebruiken. Dit mag geen reden zijn om geen analyses te maken. Wel verdient het aanbeveling om een gekozen manier niet te snel in te ruilen voor iets compleet anders. Hou waar mogelijk vast aan wat eerder is gebruikt, ook al voldoet het niet helemaal. Benut de interne ervaring en bouw daarop voort, dat voorkomt frustratie en vergroot de kans dat data over een langere periode vergelijkbaar blijven.


Opbrengstanalyse is en blijft een boeiend en uitdagend onderwerp. Het helpt om er met andere scholen aan te werken en van te leren.

• De ervaring leert dat scholen met hun analyses vooral op een eenduidige manier terugkijken, voor alle leerlingen, groepen en vakgebieden op dezelfde manier. Er komen, zo laten ook de voorbeelden zien, wel verbetervoornemens uit. Maar deze zijn vaak niet gekoppeld aan concrete en specifieke beleidsdoelstellingen die op hun beurt om diepgaander onderzoek en analyses vragen. Het advies is om voor-afgaand aan de opbrengstanalyses na te denken over de onderzoeksvraag, wat wil ik beter begrijpen, en daar de data analyse op aan te passen.

• Naast het interne gebruik van analyses is ook de externe verantwoording volop in beweging. Enerzijds omdat het toezichtkader van de inspectie nog in ont-wikkeling is, zowel de meetinstrumenten als de normeringen. Ook het begrip ‘toegevoegde waarde’ speelt hierin nog een onzekere rol. Anderzijds zal de wereld van passend onderwijs dynamische schoolpopulaties creëren die de stan-daard analyses doorkruisen (zeer gemengde en wisselende onderwijsbehoeften, tijdelijke plaatsingen e.d.). Daarbij zou ook wel eens een andere verantwoor-dingsrelatie kunnen ontstaan, bijvoorbeeld richting samenwerkingsverband of de ‘leverende’ school, over overeengekomen onderwijsarrangementen.


BIJLAGELEADING IN A DATA RICH-WORLDHARNESSING DATA FOR SCHOOL IMPROVEMENTBy Lorna M. Earl, Ph.D.

The data literate leader...

• Thinks about purposeNo doctor would take a patient’s temperature and use it to ascertain their car-dio-vascular fitness; neither would pilots be content with wind-speed, as the only data needed to plan transatlantic flights. All too often, educational decisions get made using no data or available data, rather than appropriate data. Data-literate leaders realize that they need different data for different purposes

• Recognizes Sound and Unsound DataData are numbers or words or pictures that represent some underlying ideas. They are estimates, with some degree of uncertainty, not absolute measurements. One of the first challenges for anyone interpreting data is to ascertain the quality of the data that they intend to use. Bad data can contribute to bad decisions. For some leaders, the existence of flawed data is sufficient reason to ignore or mistrust data, altogether. But to blame the data is unreasonable. When people use words to make false claims or offer unreasonable ideas, we don’t blame the English language. Rather than trashing all statements with numbers in them, a more reasonable response is to learn enough about the statistics to distinguish honest, useful con-clusions from skulduggery or foolishness (Abelson, 1995).

• Is Knowledgeable about Statistical and Measurement ConceptsData in education are generally measurements of something, often analyzed using statistics. But statistics strike fear into the hearts of many people. For the most part, educators have not seen statistics as a useful addition to their tool kit for decision-making. Instead, statistics are either imbued with a magical quali-ty of numerical “truth”, or they are mistrusted as blatant attempts to distort or to manipulate an audience. Neither of these positions is defensible. Tests and


statistical procedures have been developed to try to provide estimates of invisible human qualities like achievement or creativity. And, there are conventions and rules for the measurement of student achievement that are extremely important, espe-cially when the results are being used to make significant decisions. If leaders are going to use data to enhance rather than distort educational decisions, they have a responsibility to understand the principles that underlie the statistics.

• Makes Interpretation ParamountData and statistics may provide the tools for measuring educational concepts, but the numbers are only as good as the thinking and interpretation. Data do not provide right answers or quick fixes. Instead, they are necessary but not sufficient elements of the conversations that ensue. Data offer decision-makers an opportunity to view a phenomenon through a number of different lenses, to put forward hypotheses, to challenge beliefs and to pose more questions. Interpretation requires time, thought-fulness, reservation of judgements and open challenge of, as well as support for, ideas. Interpretation, then, is thinking – formulating possibilities, developing con-vincing arguments, locating logical flaws and establishing a feasible and defensible notion of what the data represent.

• Pays Attention to Reporting and to AudiencesNot only do data provide lenses for seeing more clearly, leaders can use data to explain and justify their decisions to those who care to know. Jaeger et al. (1993) found that reports prepared for parents about schools did not contain the informa-tion parents considered most important for them. They were also misinterpreted by 30-50% of the parents who received them. Attention to audience, presentation of data, interpretation and key messages can’t be overlooked as essential elements in using data wisely.

With an inquiry habit of mind...

• Values deep understandingLeaders with an inquiry habit of mind do not presume an outcome; instead they allow for a range of outcomes and keep searching for increased understanding and clarity.

• Reserves judgement and has a tolerance for ambiguityLearning from data requires a tolerance for uncertainty and a willingness to live in the dissonance long enough to investigate and explore ideas until there is some clarity about what it might mean.


• Takes a range of perspectives and systematically poses increasingly focused questionsData almost never provide answers. Instead, using data usually leads to more and more focused investigation and to better questions.

Who wants to create a culture of inquiry

• Involves others in interpreting and engaging with the dataNew insights don’t happen by osmosis. They come from facing ideas that challenge the familiar ways of viewing issues. They happen in the dissonance and in the con-struction of new and shared meaning. Leaders contribute to a culture of inquiry by providing opportunities for others to become inquiry- minded and data literate. This means facilitating, sponsoring, mentoring and convincing others to engage with the data and think about it, even (and especially) when it is hard work. Fullan (1999) describes learning communities as places where: “interaction inside and outside the organization converts tacit knowledge to explicit knowledge on a ongoing basis” (p.16). But, all too often, “new insights fail to get put into practice because they conflict with deeply held internal images of how the world works” (Senge, 1990, p. 174). Data can offer a vehicle for investigating tacit knowledge to refine and even transform it as it is converted into explicit knowledge for use in making institution-al decisions.

• Stimulates an internal sense of “urgency”Data can be a powerful mechanism for refocusing the agenda or recasting the problem. No school is as good as it can be; there are always areas that deserve attention. Data become the window for identifying “what next” and instilling “urgency” as a way of unleashing the energy associated with embarking on a course of action that makes sense in fulfilling the moral purpose of schooling (Earl & Lee, 1998)

• Makes timeMaking sense of data and using it to come to collective meaning and commitment is not an overnight process and it doesn’t happen in one-shot. Leaders and the people who work with them are going to need time, and lots of it – to think about the important issues, to decide what data is relevant and make sure they have it, to consider the data and try to make sense of it, to argue and challenge and reflect, to get more information, to argue and challenge and reflect again, to formulate and reformulate action plans, to prepare thoughtful and accessible ways to share


their learning with the community and to stand back to consolidate what they have learned. Luckily the time spent will be an investment in organizational learning and better decision-making, but leaders have the task of managing this precious commodity to ensure that important things are done well.

• Uses “critical friends”The idea of critical friends is a powerful one. Friends bring a high degree of positive regard, are forgiving and are tolerant of failings. Critics are often conditional, neg-ative and intolerant of failure. Critical friends offer both support and critique in an open, honest appraisal (MacBeath, 1998). As Costa and Kallick (1995) describe it, a critical friend is “a trusted person who asks provocative questions, provides data to be examined through another lens, and offers critique of a person’s work, as a friend”(p. 154). External critical friends, with expertise in data collection, inter-pretation and use, as well as sensitivity and the ability to listen and think on their feet, come without vested interests and can building trust and bring a dispassion-ate perspective. They can observe what may not be apparent to insiders, facilitate reflection on the issues that arise, explain complex data in accessible ways, ask questions, probe for justification and evidence to support perceptions and help reformulate interpretations. They are not afraid to challenge assumptions, beliefs or simplistic interpretations in a non-judgmental and helpful way. Critical friends are well placed to remind the participants of what they have accomplished and facilitate their movement towards the next goals.

Leading schools in a data rich world, 2012Lorna M. Earl, Ph.D.Lorna Earl & Associates123 Kenilworth Ave.Toronto M4L 3S7


Deze publicatie maakt onderdeel uit van het programma ‘Goed worden en goed blijven’ van de PO-Raad. Op poraad.nl/content/zeer-zwakke-scholen vindt u meer informatie over het programma.

REGIEPO-Raad

TEKSTMartin van den Oetelaar

FOTOGRAFIERob Nelisse, Hedel

EINDREDACTIEKevin Basari

VORMGEVING, LITHOGRAFIE EN DRUKThoben Offset Nijmegen

© PO-Raad, juli 2014

Niets uit deze uitgave mag worden verveelvoudigd, overgenomen ofopenbaar gemaakt, zonder vooraf gaande schriftelijke toestemmingvan de uitgever.

Aidadreef 4, 3561 GE UtrechtPostbus 85246, 3508 AE UtrechtTelefoon: 030 3100 [email protected] www.poraad.nl

mailto: [email protected]

www.poraad.nl

Beter inzicht in opbrengstdata in het speciaal basisonderwijs

Documents

Transcript of Beter inzicht in opbrengstdata in het speciaal basisonderwijs