JGs

CONSISTENTIE IN DIDACTISCHE WERKWUZE BINNEN DE SCHOOL ENPRESTATIES VAN LEERLINGEN IN HET BASISONDERWUS

Consistentie in didactische werkwijze binnen de school enprestaties van leerlingen in het basisonderwijs

G. Driessen & J. Doesborgh

INSTITUUT VOOR TOEGEPASTE SOCIALE WETENSCHAPPEN

De partculiere prijs van deze uitgave is / 25,-.Deze uitgave is te bestellen bij het Instituut voor Toegepaste Sociale Wetenschappen,024 - 3653500.

CIP-GEGEVENS KONINKLUKE BIBLIOTHEEK, DEN HAAG

Driessen, G.

Consistentie in didactische werkwijze binnen de school en prestaties van leerlingen in hetbasisonderwijs. / G. Driessen & J. Doesborgh - Nijmegen : Instituut voor Toegepaste SocialeWetenschappenISBN 90-55540-87-0NUGI 724

Trefw.: basisonderwijs ; onderwijseffectiviteit; methodologie

© 1998 Instituut voor Toegepaste Sociale wetenschappen (ITS) van de Stichting KatholiekeUniversiteit te Nijmegen

Behoudens de in ofkrachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit dezeuitgave warden verveelvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilmof op welke andere wijze dan ook, en evenmin in een retrieval systeem warden opgeslagen, zonderde voorafgaande schriftelijke toestemming van het Instituut voor Toegepaste Sociale weten-schappen te Nijmegen (ITS) van de Stichting Katholieke Universiteit te Nijmegen.

No pan of this book/publication may be reproduced in any form, by print, photoprint, microfilm orany other means without written permission from the publisher.

Voonvoord

In 1996 publiceerde het ITS de resultaten van een onderzoek naar de effecten van dedidactische werkwijze van leerkrachten op prestaties op het gebied van het voorberei-dend lezen en rekenen van leerlingen in de kleutergroepen (Driessen & Claassen,1996). Het onderzoek kende een kwantitatief en een kwalitatief onderdeel. Voor hetkwantitatieve deel werd gebruik gemaakt van gegevens die in 1994/95 waren verza-meld in het kader van het zogenaamde PRIMA-cohort. Bij de leerkrachten van dieklassen was via vragenlijsten informatie verzameld over hun didactisch handelen enbij de leerlingen waren toetsen afgenomen. Met behulp van multilevel-analyses is derelatie tussen de didactische werkwijze en de prestaties onderzocht. De conclusieluidde dat er tussen werkwijze en prestaties geen significante samenhangen bestaan.Voor het kwalitatieve deel van het onderzoek werden gesprekken gevoerd met eenaantal leerkrachten. Hieruit kwamen aanwijzingen nasa voren dat het mogelijk welvan belang is of de leerkracht is opgenomen in het team en of de leerkrachten van eenschool een-en-dezelfde visie op het onderwijs aanhangen en dezelfde didactischeaanpak hanteren. Consistentie in werkwijze zou daarmee een relevante factor kunnenzyn.

Mede naar aanleiding van deze bevindingen heeft het ITS een serie secundaire analy-ses uitgevoerd op de beschikbare PRIMA-data. Daarbij is een relatie gelegd tussen dedidactische aanpak van de leerkracht in een bepaalde jaargroep en de prestaties vande leerlingen. Als extra kenmerk is bij deze analyses rekening gehouden met de matevan consistentie in aanpak binnen het leerkrachtenteam op een school. Centraal staangegevens van de leerkrachten en leerlingen in de hoogste jaargroepen van het basis-onderwijs. Op dat moment heeft de aanpak en de consistentie daarin namelijk hetmeeste tijd gehad zijn beslag te krijgen.

Het onderzoek is gefinancierd door NWO-SGW. Het is uitgevoerd binnen hetITS-thema Onderwijs en Maatschappelijke Kansen. De analyses zijn opgezet en uitge-voerd door drs. J. Doesborgh. Hij werd daarbij in methodologisch-technische zinondersteund door dr. J. Hutjes. De uiteindelijke rapportage is verzorgd door dr. G.Driessen.

INSTITUUT VOOR TOEGEPASTE SOCIALE WETENSCHAPPEN

drs. A.J. Mensdirecteur

Inhoud

1 Inleiding

1.1 Achtergronden1.2 Probleemstelling1.3 Onderzoeksopzet1.4 Leeswijzer

9111314

2 'Consistentie' als factor in schooleffectiviteitsonderzoek

2.1 Inleiding2.2 Interpretaties en operationalisaties van consistentie2.3 Conclusies

17

171728

3 Didactische werkwijze en prestaties in groep 8

3.1 Opzet3.2 Consistentie in didactische werkwijze binnen de school3.3 De didactische werkwijze in groep 73.4 Selectie van de analyse-eenheden3.5 Regressie-analyse op groepsniveau3.6 Multilevel-analyses3.7 Vergelijking groep 4, 6 en 8

31

31314354566671

4 Samenvatting en conclusies

4.1 Achtergronden4.2 Probleemstelling4.3 Analyse-opzet4.4 Didactische werkwijze en prestaties in groep 84.5 Vergelijking groep 4, 6 en 84.6 Nabeschouwing

77

777779798383

Literatuur 85

Bijlage 1 Additionele tabellen

Bijlage 2 Bepaling factorscores

Bijlage 3 Fixed of random intercept modellen

Bijlage 4 Interactie-bepaling

Bijlage 5 Kritieke p-waarden

Bijlage 6 De leerkrachtenvragenlijst groep 3, 5 en 7

89

99

101

105

Ill

113

1 Inleiding

1.1 Achtergronden

Recentelijk publiceerden Driessen & Claassen (1996) een rapport met betrekking tothet voorbereidend aanvankelijk lezen, rekenen en schrijven in de kleutergroepen vanhet basisonderwijs. Centraal daarbij stand de relatie tussen de didactische werkwijzevan de groepsleerkracht en de toetsprestaties wat betreft het voorbereidend lezen enrekenen van hun leerlingen. Bij wijze van plaatsbepaling en als intro op het onder-zoek waarvan we in het navolgende verslag doen, geven we allereerst een samenvat-ting van de opzet van dat onderzoek en de belangrijkste conclusies (vgl. ook Dries-sen, 1996a, 1996b, 1997a, 1997b). We concentreren ons hier op de relatie tussenwerkwijze en prestaties.

Onderzoeksopzet

In het onderzoek zijn twee fasen onderscheiden. In de eerstefase zijn analyses ver-richt op gegevens die in het schooljaar 1994/95 zijn verzameld in het kader van hetcohort-Primair Onderwijs ('PRIMA'). Dit is een landelijk onderzoek waaraan intotaal ongeveer 700 basisscholen en 70000 leerlingen meewerken. Bij deze leerlingenwarden tweejaarlijks toetsen afgenomen en wordt ook niet-cognitieve informatieverzameld. Daamaast verstrekken hun ouders gegevens over de thuissituatie, en deleerkrachten en schooldirecties over de school en het onderwijs dat daar wordt gege-ven. Uit PRIMA is een groep van 4455 leerlingen en 355 leerkrachten van 270scholen geselecteerd. Het doel van dit deelonderzoek was zicht te krijgen op detoetsresultaten en niet-cognitieve leerlingkenmerken, op het sociaal-etnische her-komstmilieu van de leerlingen, op de werkwijzen van hun leerkrachten, en op deonderlinge relaties tussen al deze kenmerken. De leerlingen zaten ten tijde van detoetsafname halverwege groep 2; de vragen over het onderwijs zijn gesteld aan deleerkrachten die in groep 1 aan hen les hadden gegeven.In de tweede fase zijn vervolgens op basis van de bevindingen uit de eerste fasediepte-interviews gehouden met 12 leerkrachten. Het doel van dit deelonderzoek waste komen tot een verdieping en verbreding van onderzoeksresultaten uit fase 1.

Toetsen en vragenlijsten

In groep 2 zijn twee toetsen afgenomen uit het Cito-leerlingvolgsysteem, namelijkBegrippen en Ordenen. Met de Begrippentoets wordt vastgesteld in hoeverre leerlin-

gen begrippen beheersen die warden gebruikt bij het leren lezen en rekenen (bv.'veel', 'weinig', 'eerste', 'laatste'). De toets geeft er een indruk van of de leerlingenmet het aanvankelijk lees- en rekenonderwijs kunnen beginnen. De toets Ordenen isopgebouwd rond drie principes: classificeren (voorwerpen bij elkaar plaatsen), seri-eren (rangschikken), en vergelijken en tellen (bepalen van volgorde en aantal). In hetonderzoek hebben we de resultaten op beide toetsen opgevat als indicatoren van hetniveau voorbereidend lezen en rekenen.

Toetsresultaten geven een idee van het cognitieve niveau van de leerlingen. Daarnaastis bij de leerkrachten naar een aantal gedrags- en houdingskenmerken van de leerlin-gen gei'nfonneerd. Genoemd kunnen warden: welbevinden (de leerling voelt zichthuis op school), zelfvertrouwen (is zeker van zichzelf), sociaal gedrag (kan goed metanderen omgaan), werkhouding (werkt nauwkeurig, geeft niet snel op), gezondheid(slaapt voldoende, krijgt genoeg beweging). Tevens is bij de leerkrachten gevraagdnaar enkele onderwijsbijzonderheden. Concreet gaat het om de volgende concepten:onderwijs-ondersteunend thuisklimaat (er is thuis veel belangstelling voor lezen, dethuis- en schoolsimatie sluiten goed bij elkaar aan), onderpresteren (de prestatiesblijven achter bij de capaciteiten), risico-leerling (kan moeilijk meekomen, heeft extrahulp nodig).

Wat het sociaal-etnische milieu betreft, is onder andere informatie verkregen over hetopleidingsniveau van de ouders en de etnische herkomst.

De leerkrachten hebben ook een uitgebreide vragenlijst ingevuld over hun achter-grand (opleiding, ervaring), hun klas (samenstelling) en hun didactische aanpak. Aandit laatste zijn onder meer de volgende aspecten onderscheiden: het gebruik vanprogramma's en kant-en-klare methodes gericht op de ontwikkeling van de leerlin-gen, het monitoren van deze ontwikkeling, het gebruik van screeningslijsten entoetsen met betrekking tot ontwikkeling, oefening en instructie van begrippen endenkvaardigheden, toetsing begrippen en denkvaardigheden, planning voorwaarden-scheppende en sturende activiteiten (eigen initiatief van het kind wordt aangemoe-digd, respectievelijk instructie en gerichte opdrachten), nadruk op training en voorbe-reidend lezen, rekenen en schrijven in het curriculum, overleg tussen onderbouw engroep 3, voorbereiding aanvankelijk lezen en rekenen, gebruik voorlopers lees- enrekenmethodes.

Bevindingen

Een belangrijk aandachtspunt in het onderzoek was de didactische aanpak van deleerkrachten, de manier waarop zij onderwijs geven. Daarbij is een onderscheidgemaakt tussen leerkrachten die sterk-sturend en leerkrachten die zwak-sturend bezigzijn. Met 'sturend' wordt bedoeld: planmatig, volgens programma's en kant-en-klare

10

methodes met regelmatige controle van de vorderingen, gericht op training en voorbe-reidend lezen en rekenen. Tegen de verwachtingen in blijken verschillen in aanpakniet van invloed te zijn op de toetsprestaties van de leeriingen. Voor de verklaring vanprestatieverschillen vormen met name de gedrags- en houdingsaspecten en de onder-wijsbijzonderheden de belangrijkste factoren. Dit wil dus zeggen dat kleuters die -in'de'ogen van hun leerkrachten - positief scoren op aspecten als werkhouding,zelfvertrouwen, gezondheid en risico-leerling, beter presteren dan kleuters die daarnegatief op scoren. Verder is het zo dat autochtone, maar vooral allochtone kinderenvsa\ laag-opgeleide ouders het aanzienlijk slechter doen dan kinderen van hoog-opgeleide ouders. Zoals al opgemerkt, hebben verschillen in aanpak geen invloed opde prestaties; daamaast blijkt dat het effect van aanpak niet verschilt voor klassen meten klassen zonder allochtone kinderen. Wel is het zo dat kleuters in klassen metrelatief veel allochtone en autochtone kinderen van laag-opgeleide ouders het extraslecht doen, ook als al rekening is gehouden met de individuele sociaal-etnischeherkomst van deze kleuters.

Hoewel de analyses laten zien dat, als het gaat om de didactische aanpak, de oplei-ding en onderwijservaring van de leerkrachten geen rol spelen, komt uit de vraagge-sprekken met de leerkrachten naar voren dat die in zekere opzichten mogelijk welrelevant zijn. Een en ander hangt waarschijnlijk af van de mate waarin de leerkrachtdeel uitmaakt van, gei'ntegreerd is in het team van een school. Eventuele tekorten ofonzekerheden in dit opzicht kunnen wellicht door het team warden opgevangen. Vanbelang is mogelijk ook ofhet team als geheel een-en-dezelfde visie aanhangt en dezein de praktijk ook consistent ten uitvoering brengt. Dit alles komt wellicht het bestetot uitdmkking in de overeenstemming die er tussen leerkrachten binnen een schoolbestaat in de wijze waarmee zij concreet vorm geven aan het onderwijs.

1.2 Probleemstelling

Samenvattend kan op basis van bovenstaande warden geconcludeerd dat er tussen dedidactische aanpak van de leerkrachten en de toetsscores van de leerlingen geenverband bestaat. Ook in ander Nederlands effectiviteitsonderzoek komt men tot dezeteleurstellende conclusie (bv. Van der Werf, 1994, 1995; Van der Velden, 1996).Een van de redenen dat er in grootschalig effectiviteitsonderzoek zo weinig signifi-cante effecten naar voren komen, kan gelegen zijn in het feit dat het op scholen vaakvoorkomt dat iedere leerkracht zijn/haar eigen visie heeft en eigen werkwijze han-teert. Het is niet ondenkbaar dat bepaalde activiteiten pas werken als ze consequentdoor alle leerjaren been warden toegepast. In het kwalitatieve deel van het onderzoekvan Driessen & Claassen werden hiervoor aanwijzingen gevonden. Om hier meerzekerheid over te verkrijgen wordt in het navolgende het onderzoek van Driessen &Claassen ten dele gerepliceerd, maar dan met een aantal aanvullingen en specificaties.

11

Gebruik wordt gemaakt van de gegevens die zijn verzameld in het kader van de eerstePRIMA-meting, dat wil zeggen die van het schooljaar 1994/95. Op basis van dePRIMA-vragenlijsten wordt - voor zover mogelijk - onderzocht in hoeverre dewerkwijzen van de leerkrachten in de onderscheidenjaargroepen met elkaar overeen-stemmen. Vervolgens wordt de relatie gelegd tussen de consistentie in werkwijzenbinnen een school en de effectiviteit van de door Driessen & Claassen onderscheiden

didactische werkwijze van de (individuele) groepsleerkracht. De hypothese is dat erop scholen waar een sterke consistentie bestaat binnen het team wat betreft het gevenvan onderwijs, er positieve effecten worden gevonden van de didactische werkwijzevan de leerkrachten op de leeqirestaties. Driessen & Claassen hebben bij de analysesmet name gekeken naar de aanpak als geheel; de aanpak is samengesteld op basis vaneen serie deeldimensies. Hier wordt gepoogd ook meer zicht te krijgen op de relatiestussen deze deeldimensies en de prestaties.Bovendien wordt niet gekeken naar de toetsresultaten van groep 2, maar naar detoetsresultaten van groep 8. Aangezien de school langer invloed heeft kunnen uitoefe-nen op de leerlingen in groep 8 dan op die in groep 2, is de kans dat de didactischeaanpak er in groep 8 wel toe doet groter. Dan zal immers het cumulatieve effect vanalle voorafgaandejaren zichtbaar warden (Bosker, 1991).Op basis van onze eerdere bevindingen in combinatie met de ter beschikking staandeonderzoeksinstrumenten en -gegevens, komen we nu tot een omschrijving van watwij onder 'consistentie' verstaan. Consistentie is de overeenstemming tussen leer-krachten binnen een school in de manier waarop zij concreet vorm geven aan hetonderwijs. Voor het onderhavige onderzoek is de kem dat het om gegevens gaat dieop een moment verzameld zijn, bij leerkrachten van verschillende jaargroepen, dathet gaat om verschillende aspecten van de pedagogisch-didactische aanpak, en dat dieinformatie van de leerkrachten zelfafkomstig is.

Een en ander leidt tot de volgende onderzoeksvragen:1. Welke didactische werkwijze(n) hanteren de leerkrachten en welke dimensies

kunnen daarbinnen warden onderscheiden?

2. In welke mate is er op scholen sprake van consistentie in didactische werkwijzetussen leerkrachten van verschillendejaargroepen?

3. Welke van de betreffende didactische werkwijzen spelen een rol bij de verklaringvan verschillen in het gerealiseerde prestatieniveau?

4. Welke relatie is er tussen het effect (op de prestaties van de leerlingen) van dedidactische werkwijze en de consistentie daarin binnen het team ?

Bij dit laatste punt gaat het dus om de interactieve working van didactische aanpak enconsistentie op prestaties. Onze hypothese is dat toetsverschillen tussen verschillendeaanpakniveaus groter zullen zijn als de aanpak ook consistent wordt uitgevoerdbinnen de school. Concreet verwachten we dat de combinatie sterke consistentie -

zwakke aanpak de laagste prestaties laat zien, de combinatie sterke consistentie -sterke aanpak de hoogste prestaties oplevert, terwijl niet-sterke consistentie en sterke

12

aanpak gemiddelde toetsprestaties zal geven.

Het effect van consistentie zelf op de toetsprestaties zal niet warden onderzocht.Omdat hoge consistentie kan betekenen: consistent niets doen aan een werkwijze,maar ook consistent sterk daar mee bezig zijn, is het totale effect van consistentiedirect afhankelijk van de verhouding van het aantal groepen (i.c. klassen) in dezetwee combinaties van sterke consistentie met niveau van aanpak. Als consistent nietsdoen een negatief effect op prestaties heeft en consistent sterk daar mee bezig zijn eenpositief effect, dan is er bij een oververtegenwoordiging van de eerste combinatie eennegatief effect van consistentie te verwachten en in het andere geval een positiefeffect.Omdat het totale effect van consistentie dus direct afhankelijk is van de correlatietussen aanpak en consistentie, is dit totale effect niet interessant. Consistentie is vanbelang in zoverre het een specificerende werking van het aanpak effect kan geven(vgl. Scheerens & Bosker, 1997).

In methodisch opzicht zal consistentie warden bepaald door de scores van de ver-schillende aanpak-aspecten binnen elk van de jaargroepen via z-scoring te standaardi-seren en vervolgens voor elke school de standaarddeviatie daarvan te berekenen.

1.3 Onderzoeksopzet

Alvorens in te gaan op de methode die wordt gebmikt om de onderzoeksvragen tebeantwoorden, is het - teneinde verwarring te voorkomen - wellicht hier de plaatsnogmaals te wijzen op de opzet van PRIMA. In PRIMA zijn in de groepen 2, 4, 6 en8 prestatietoetsen afgenomen bij de leerlingen; dat is doorgaans in het laatste kwartaalvan het (kalender)jaar gebeurd. Tegelijkertijd hebben de leerkrachten van wie debetreffende leerlingen het schooljaar daaraan voorqfgaand les kregen, een vragen-lijst ingevuld over onder andere hun didactische werkwijze. Het betreft dus de leer-krachten van groep 1,3, 5 en 7. Voor deze opzet is gekozen, omdat de leerkrachten inhet voorgaande jaar het meeste invloed hebben gehad op de leerlingen, namelijk eentot anderhalf jaar, terwijl de 'huidige' leerkrachten hooguit een half jaar met deleerlingen hebben gewerkt. De vragenlijst voor de leerkrachten van groep 3, 5 en 7identiek; die van groep 1 heeft voor een deel afwijkende vragen. In het onderhavigeonderzoek wordt met name een koppeling gemaakt tussen de werkwijze van deleerkrachten in groep 7 en de prestaties van de leerlingen in groep 8. Hoewel dit in desubsidie-aanvrage niet is voorgesteld, maken we additioneel nog een vergelijkingtussen de groepen 4, 6 en 8.

Onze onderzoeksopzet houdt nu het volgende in. Op basis van de beschikbareleerkrachtvragenlijsten voor groep 3, 5 en 7 zullen selecties van vragen wardengemaakt. Het betreft de vragen waarin aspecten van de didactische aanpak tot uit-

13

drukking komen. Omdat de vragenlijst voor de leerkrachten van groep 1 niet identiekis, laten we die hier buiten beschouwing.Omdat de vragenlijsten voor de groepen 3, 5 en 7 identiek zijn, is het mogelijk opbasis van geselecteerde variabelen de consistentie van de aanpak binnen de schooltebepalen. Nagegaan zal worden in hoeverre de uiteindelijke dimensies van de aanpak-variabelen van groep 7 dezelfde kunnen zijn als die van dimensies die gebruiktwarden voor de consistentie-variabelen.

Een speciaal aandachtspunt vomit de sociaal-etnische achtergrond van de leerlingenen de sociaal-etnische samenstelling van de klas waarin de leerling zit. Als indicatordaarvoor hanteren we in beide gevallen de zogenaamde wegingsgfactor uit het On-derwijsvoorrangsbeleid (OVB). Hier worden drie categorieen onderscheiden: 1.9, deallochtone achterstandsleerlingen; 1.25, de autochtone achterstandsleerlingen; 1.0, deleerlingen die zich niet in een achterstandssituatie bevinden. Hoewel deze variabeleeigenlijk op ordinaal meetniveau ligt, zullen wij hem als interval-variabele opvatten:uit eerdere analyses is namelijk gebleken dat de samenhangen tussen de wegingsfac-tor en onder meer de prestaties sterk lineair waren.

De relatie tussen de didactische werkwijze van de leerkrachten en de toetsprestatieszullen warden onderzocht met behulp van multilevel-analyses, alsook met meerconventionele regressie- en variantie-analyses. De prestaties warden gevormd door descores op de PRIMA-toetsen taal en rekenen. Stapsgewijs wordt nagegaan wat heteffect is van de verschillende predictoren op de prestaties. Allereerst wbrdt nagegaanwat het effect is van de individuele sociaal-etnische achtergrond van de leerling. Danvolgt de sociaal-etnische samenstelling van de klas. Vervolgens wordt het effect vande didactische aanpak van de leerkracht van groep 7 bepaald. Als laatste wordtvastgesteld wat het specificerende effect is van de consistentie in aanpak binnen hetteam.

1.4 Leeswijzer

Na deze inleiding doen we in hoofdstuk 2 allereerst verslag van een literatuurstudienaar de factor 'consistentie' in theorie en onderzoek op het gebeid van schooleffecti-viteit. In hoofdstuk 3 rapporteren we vervolgens over de analyses die zijn verricht metbetrekking tot groep 8. In dat hoofdstuk presenteren we tevens de bevindingen uit devergelijking van groep 4, 6, en 8. Ter afsluiting vatten we vervolgens in hoofdstuk 4het onderzoek samen en trekken enkele conclusies. Het rapport wordt gecompleteerddoor een serie bijlagen waarin de uitgevoerde analyses uitgebreider warden verant-woord en toegelicht. In de laatste bijlage zijn de vragen opgenomen die zijn geselec-teerd uit de PRIMA-vragenlijst.

Het onderhavige rapport is in hoge mate een methodisch-technisch verhaal, zonder al

14

te veel franje. We verantwoorden op vrij uitgebreide wijze de procedures die zijngevolgd bij het analyseren van het datamateriaal. We laten daarbij via tabellen enfiguren zien wat de resultaten zijn van allerlei analyse-fasen. Dit zijn stappen dienoodzakelijkerwijs zijn gevolgd om te komen tot de kem-analyses waamiee deonderzoeksvragen kunnen warden beantwoord. De resultaten van deze analyseshebben we uiteindelijk samengevat in twee tabellen. Deze staan op het einde van hethoofdstuk met betrekking tot groep 7/8. We kunnen ons voorstellen dat de tekst zoalsdie in hoofdstuk 3 wordt gepresenteerd minder toegankelijk is. Degenen die niet zogeinteresseerd zijn in de methodisch-technische aspecten van het onderzoek kunneneventueel ook meteen overstappen naar het afsluitende hoofdstuk 4.

15

2 'Consistentie' als factor in schooleffectiviteitsonderzoek

2.1 Inleiding

In het inleidende hoofdstuk hebben we geconcludeerd dat er vanuit de onderwijsprak-tijk aanwijzingen komen dat consistentie in werkwijze binnen een school mogelijkvan invloed zijn op de prestaties van de leerlingen. We hebben gekozen voor eenoperationele definitie van consistentie waarin de nadruk ligt op overeenstemmingtussen leerkrachten binnen een school wat betreft de manier waarop zij concreet hetonderwijs verzorgen. Gelet op de ons ter beschikking staande gegevens willen wij demate van consistentie vaststellen door binnen een school de aanpakaspecten vanleerkrachten in verschillende jaargroepen met elkaar te vergelijken en te bepalen inhoeverre zij overeenstemmen. Er is daarbij sprake van een meetmoment, verschillen-de respondenten, namelijk de leerkrachten uit drie jaargroepen die over hun eigenactiviteiten oordelen, meerdere aanpak-aspecten, en concrete activiteiten. In metho-disch opzicht zullen we consistentie bepalen door de scores op de aanpak-variabelenbinnen elk van de groepen middels het berekenen van z-scores te standaardiseren envervolgens de standaarddeviatie per school te nemen.

In de literatuur wordt regelmatig gewag gemaakt van factoren die in meerdere ofmindere mate verwant zijn aan consistentie. In het navolgende doen we verslag vaneen literatuurstudie naar deze factor. In feite kunnen hieraan twee aspecten wardenonderscheiden. Op de eerste plaats zijn we nagegaan wat er nu precies met 'consis-tentie' wordt bedoeld en of de verwante begrippen dezelfde lading dekken. Op detweede plaats zijn we op zoek gegaan naar empirische studies waarin de factor con-sistentie is gewerkt. Niet alleen waren we daarbij geinteresseerd in de wijze vanoperationaliseren van consistentie, maar ook in de uitkomsten van dergelijk onder-zoek.

2.2 Interpretaties en operationalisaties van inconsistentie

In schooleffectiviteitsonderzoek warden relevant geachte kenmerken doorgaans rondeen aantal factoren geclusterd. Het betreft meestal kenmerken waarvan op basis vanempirische studies is vast komen te staan dat ze relevantie bezitten als het gaat om hetverklaren van prestatie- en positieverschillen tussen leerlingen door verschillen op hetniveau van de klas/leerkracht en/of school. Het meest bekend is het zogenaamde vijf-factoren model (vgl. Scheerens, 1992; Creemers, 1994c). Volgens dit model zijn devolgende aspecten van belong:

17

een sterk onderwijskundig leiderschapnadruk op het verwerven van de basisvaardighedeneen ordelijk en veilig klimaathoge verwachtingen met betrekking tot leerlingprestatiesregelmatig bepalen van leerlingvorderingen.

In sommige gevallen is dit model aangevuld tot een zeven-factoren model (vgl.Levine & Lezotte, 1990). In dit model is de factor 'nadruk op basisvaardigheden'weggelaten en zijn drie nieuwe factoren toegevoegd:

de school heeft een duidelijke missie'opportunity to leam' en 'time on task'positieve thuis-school relaties.

Sinds de start van het effectieve-schoolonderzoekparadigma (middels het rapport vanColeman et al., 1966), is deze opsomming drastisch uitgebreid, mede op basis van eenbijna explosieve groei van dit onderzoeksgebied, die weer op zijn beurt mee veroor-zaakt wordt door het beschikbaar komen van meer geavanceerde onderzoeksmetho-den en -programmatuur (cf. Creemers & Scheerens, 1994; Scheerens, 1992; Rey-nolds, Sammons, Stoll, Barber & Hillman, 1996). Het op basis van een uitgebreidreview samengestelde overzicht van Scheerens & Bosker (1997, pp. 99-138) iswaarschijnlijk een van de meest uitputtende in deze reeks (maar vergelijk bv. ookCotton, 1995). Deze auteurs komen tot een totaal van dertien algemene factoren,waarbinnen zij vervolgens nog een aantal componenten onderscheiden. In Tabel 2.1geven we hun overzicht.

18

Tabel2.1 - Componenten van effectiviteitsbevorderendefactoren

Factors Components

Achievement orientation,

high expectations

Educational leadership

Consensus and cohesionamong staff

Curriculum quality/opportunity to learn

School climate

Clear focus on mastering basic subjectsHigh expectations (school level)High expectations (teacher level)Records of pupils' achievement

General leadership skillsSchool leader as information providerOrchestrator ofparticipative decision makingSchool leader as coordinatorMeta-controller of classroom processesTime educational/administrative leadershipCounsellor and quality controller of classroom teachersInitiator and facilitator of staff professionalization

Types and frequency of meetings and consultationsContents of cooperationSatisfaction about cooperationImportance attributed to cooperationIndicators of successful cooperation

The way curricular priorities are setChoice of methods and textbooksApplication of methods and textbooksOpportunity to learnSatisfaction with the curriculum

Orderly atmospheres:The importance given to an orderly climateRules and regulationsPunishment and rewardsAbsenteeism and drop-outGood conduct and behavior of pupilsSatisfaction with orderly school climate

Climate in terms of effectiveness orientation and good internal relation-ships:

Priorities in an effectiveness-enhancing school climatePerceptions on effectiveness-enhancing conditionsRelationships between pupilsRelationships between staffRelationships: the role of the head teacherEngagement of pupilsAppraisal of roles and tasksJob appraisal in terms of facilities, conditions of labor, task load andgeneral satisfactionFacilities and building

19

Tabel2.1 (vervolg)

Evaluative potential

Parental involvement

Classroom climate

Effective learning time

Structured instruction

Independent learning

Differentiation

Evaluation emphasisMonitoring pupils' progressUse of pupil monitoring systemsSchool process evaluationUse of evaluation resultsKeeping records of pupils' performanceSatisfaction with evaluation activities

Emphasis on parental involvement in school policyContacts with parentsSatisfaction with parental involvement

Relationships within the classroomOrderWork attitudeSatisfaction

Importance of effective learning timeMonitoring of absenteeismTime at schoolTime at classroom level

Classroom managementHomework

Importance ofstmctured instructionStructure of lessonsPreparation of lessonsDirect instruction

Monitoring

(No subcomponents)

General orientationSpecial attention for pupils at risk

Reinforcement and feedback CNo subcomponents)

(Bron: Scheerens & Bosker, 1992; pp.135-136)

Voor het onderhavige onderzoek is vooral de factor 'consensus and cohesion amongstaff interessant. Een specificatie van wat daar onder wordt verstaan, geven Schee-rens & Bosker in een meer gedetailleerd overzicht. Dit hebben we overgenomen inTabel 2.2.

20

Tabel 2.2 - Componenten en elementen van 'Consensus en samenwerking binnenscholen'

Types and frequency of meetings and consultations- Number of fonnal staff meetings with the head teacher- Frequency of informal meetings among groups of teachers

Informal contacts between staff

The contents of cooperationPedagogical missionEducational conceptSchool aims, objectivesPedagogic actions

- Planning and implementation of lessons- Acquiring teaching methods and materials

Discussing pupils' achievement- Establishing entrance behavior at the beginning of the school year- Treatment of pupils with learning difficulties

Educational change and innovationSubject matter choice, assignments, achievement test, homework, preparation of lessons, observationof lessons

- Counseling ofbegmning teachers

Satisfaction about cooperation- Satisfaction in relation to colleagues with respect to allocation of duties and coordination, concer-

ning:variety of interestsprofessional competencesupporting school improvementinvolvement in pupils' learning and satisfactionthe amount ofcurriculum/techniques discussion in team meetingsacceptance, support and opportunity to cooperatecooperation at school and within the team

The importance attributed to cooperation- To what degree do head teachers agree on the importance of the following activities as

effectiveness-enhancing conditions?the necessity of aligning the curriculum of subsequent grade levelssimilarity in teaching approach among grades and classroomsa common policy with respect to pupils with special learning and behavioral problemsthe use of pupil records to be passed from one grade level teacher to the nextthe importance of cooperation within departments

Other indicators of successful cooperation- Explicit policy aimed at furthering cooperation among staff- Encouragement of consultations on lesson goals, teaching strategies and use of equipment- Explicit division of tasks and coordination activities

An established practice of team teachingConsensus among staff, within departmentsFrequent discussions about curriculum and teaching approach

(Bron: Scheerens & Bosker, 1992; p.109)

21

Uit het gedetailleerde overzicht in Tabel 2.2 kan warden afgeleid dat er eigenlijktwee, weliswaar samenhangende, maar in principe ook onafhankelijk van elkaarvoorkomende elementen kunnen warden onderscheiden. Wellicht kunnen deze hetbeste warden gedefinieerd als zijnde van verschillende niveaus. Enerzijds is er het'ideele' niveau; dit betrefit het geheel van ideeen, visies, normen en waarden, doelen,plannen, opvattingen, beleid van het schoolteam (en evt. in breder verband: van hetschoolbestuur). Anderzijds is er het praktische niveau: de manier waarop er op deschool concreet gewerkt wordt. Sammons, Hillman & Mortimore (1995) spreken indit verband over 'the cultural and normative' versus 'the more "practical"' aspectenvan consistentie en collegialiteit. Wij zouden liever willen spreken over enerzijds'consensus' and anderzijds 'consistentie'. We sluiten daarbij in zekere zin aan bij dein Scheerens & Bosker (1997) aangehaalde Malowski (1995) die in organisatorisch-cultured opzicht drie aspecten onderscheidt. Hier is vooral van belang het aspect vande homogeniteit van de cultuur, dat wil zeggen de mate waarin de cultuur van eenorganisatie wordt gedeeld door haar leden. Volgens Malowski is dit met name vooronderwijsinstellingen relevant, omdat deze vaak warden gekarakteriseerd als 'looselycoupled', 'professional bureaucracies' en 'organized anarchies' (vgl. Scheerens,1992). Het versterken van de consistentie in werkwijze en de cohesie en consensusonder leerkrachten wordt daarom meestal gezien als een belangrijke factor die bij-draagt aan het vergroten van de schooleffectiviteit (vgl. ook Hargreaves, 1995).

De indeling die Reynolds, Sammons, Stall, Barber & Hillman (1996) hanteren, sluitten dele aan bij de bovenstaande. Deze auteurs onderscheiden - hoewel gebaseerd opsterk gedateerde literatuur - onder de noemer 'shared visions and goals' drie elemen-ten (o.c. p. 141):

Unity of purpose: consensus on values.- Collaboration: collegiality and teacher involvement in decision making.

Consistency of practice: adopting a particular approach to school curriculumguidelines and to discipline.

Ook bij deze indeling zou van verschillende niveaus gesproken kunnen worden,waarbij de consensus over waarden het hoogste niveau vormt en de consistentie in deconcrete aanpak het laagste.

Interessant in dit verband is de - voornamelijk theoretische - benadering van Cree-mers (1994a, b). Hij stelt dat tot nu toe de geisoleerde instructiecomponenten geensterke effecten op leerlingprestaties laten zien. Daarom is een geintegreerde benade-ring op klasniveau nodig, waarvoor hij het 'consistentie-principe' introduceert. Degecombineerde en op elkaar afgestemde aspecten van effectief leerkrachtgedrag,leermateriaal en groeperingsvormen zullen volgens Creemers tot een synergetischeffect leiden. Belangrijk hierbij is dat de doelen, structurering en evaluatie van dezeaspecten in een lijn liggen; ze hoeven niet per se hetzelfde te zijn, maar dienen elkaar

22

wel te ondersteunen. In de aangehaalde publikaties gaat Creemers verder niet in op deconcrete operationalisatie van consistentie; elders doet hij dat wel. In Creemers(1991) en Creemers & Reezigt (1996) wordt het consistentie-principe nader uitge-werkt (vgl. ook Weide, 1995). Onderscheiden warden vier elementen:

- Consistentie: de voorwaardelijke condities voor effectieve instructie met betrek-king tot methoden, groeperingsvormen en leerkrachtgedrag zijn op schoolniveauop elkaar afgestemd.Cohesie: alle teamleden zijn consistent met betrekking tot de effectieve kenmer-ken, zodat er een garantie is voor effectieve instructie in alle klassen.Constantie: de leerlingen zijn verzekerd van effectieve instructie gedurende hunhele schoolperiode.

- Controle: er is niet alleen sprake van een evaluatie van leerlingprestaties en leer-krachtgedrag, maar ook van een ordelijk en rustig schoolklimaat; leerkrachtenstellen elkaar verantwoordelijk voor effectieve instmctie.

Hoewel er in deze nadere uitsplitsing van consistentie een duidelijke logica en plausi-biliteit zit, stelt Creemers vast dat het aan empirische evidentie hiervoor vooralsnogontbreekt. De door ons gekozen definitie van consistentie komt wellicht het meesteovereen met wat Creemers 'consistentie' noemt. Toch moet hierbij opgemerkt wor-den dat de vier elementen vrij globaal zijn gedefinieerd en het is de vraag hoe eenvertaling naar de praktijk er uit zou zien.

Keren we nu terug naar de opsomming in Tabel 2.2, dan valt op dat voornamelijkwordt gesproken in termen van 'samenwerking'; 'consistentie' zelf komt slechts inzeer beperkte mate en dan ook nog alleen impliciet aan de orde, namelijk als het gaatom 'similarity in teaching approach among grades and classrooms'. Maar zelfsdaarbij betreft het in feite alleen maar een opvatting, te weten de mate waarin deschooldirecties dit een belangrijke effectiviteitsversterkende conditie achten.

Consistentie valt dus op verschillende manieren te interpreteren en vast te stellen.Richten we ons op wat meer concreet onderzoek, dan is een eerste - vrij grove -benadering die waarbij de consistentie van effecten van bepaalde school- en klasken-merken op prestaties van leerlingen over bijvoorbeeld jaren of over vakken beenwordt bepaald. In dit verband wordt ook wel over 'stabiliteit van schooleffecten'gesproken. Scheerens & Bosker (1997) merken op dat consistentie refereert aanverschillende criteriumvariabelen, terwijl stabiliteit te maken heeft met verschillendetijdstippen. Ze maken daarbij de volgende indeling (o.c., p. 83):

- Stability over time:across years;

across grades.- Consistency over criteria:

23

across domains of success;

(in particular) across subject areas.- Stability across pupils with different background characteristics ('differential

effectiveness').Wat Scheerens & Bosker 'stability over time across years' noemen, komt bij Cree-mers terug als 'constantie', terwijl 'stability over time across grades' - indien cross-sectioned opgevat - in de buurt komt van Creemers' 'consistentie' en 'cohesie'.

Elders stelt Bosker (1991) dat de begrippen 'stabiliteit' en 'equivalentie' kunnenwarden gevat onder het meer algemene begrip 'consistentie'. Op dit terrein is inNederland enig onderzoek verricht, bijvoorbeeld Roeleveld, De Jong & Koopman(1990), Bosker (1991), Blok (1992), Blok & Hoeksma (1993), Luyten (1994), Vander Werf& Guldemond (1996). Voor soortgelijk onderzoek buiten Nederland verwij-zen we naar Reynolds e.a. (1994), Gray, Jesson, Goldstein, Hedger & Rasbash (1995)en Thomas, Sammons, Mortimore & Smees (1997). Nadere inspectie van dit typeonderzoek leert echter dat het doorgaans betrekking heeft op het bepalen van heteffect van de pedagogisch-didactische aanpak of het leerkrachtgedrag in uiterstglobale zin. In feite gaat het meestal puur om het vaststellen van de consistentie in hettotale effect dat uitgaat van het leerkrachtniveau. Ofanders gezegd: is het percentagevariantie in bijvoorbeeld prestaties dat verklaard kan warden door verschillen diegerelateerd zijn aan kenmerken gelegen op leerkrachtniveau consistent over cohorten,over klassen binnen leerjaren, over leerjaren, over schooljaren, over schooltypen, ofover vakken/domeinen? Het gaat bij dit soort vraagstellingen dus om het leerkrachtni-veau in z'n algemeenheid, en niet om daarbinnen onderscheiden specifieke aspectenvan de pedagogisch-didactische aanpak. Behalve dat men geinteresseerd is de effec-ten die hun oorsprong vinden in het leerkrachtniveau, is men daamaast ook wel ge-interesseerd in het relatieve belang van effecten vanuit het leerkracht-, dan welschoolniveau.Met enige goede wil zou verondersteld kunnen warden dat consistentie in school- enklas/leerkrachteffecten - uitgaande van een redelijk stabiele instroom, i.c. de kwaliteitvan de leerlingenpopulatie op een school - (mede) het gevolg is van consistentie in depedagogisch-didactische aanpak (vgl. Blok & Hoeksma, 1993). Anders gezegd: er ismogelijk aanleiding te veronderstellen dat als de effecten bij vergelijkbare leerlingenconsistent zijn, er daarmee grond is te verwachten dat ook de aanpak consistent zalzijn geweest. Echter, voor het onderhavige onderzoek is dit een niet echt interessanteweg. Immers, deze veronderstelling valt niet te toetsen. Bovendien blijkt uit de diver-se reviews dat de bevindingen op dit terrein zelf verre van consistent zijn. En tenslotte moet warden opgemerkt dat wij toch veel meer geinteresseerd zijn in de speci-fieke aspecten van de pedagogisch-didactische aanpak. Wij laten deze benaderingdaarom voor wat ze is.

Een altematieve mogelijkheid is die waarbij consistentie eveneens wordt opgevat intermen van stabiliteit, maar dan in een andere betekenis. Omdat deze benadering

24

elementen bevat die ook wij zullen gebruiken, blijven we er wat langer bij stilstaan.Sontag (1997) bijvoorbeeld, is voor haar promotie-onderzoek nagegaan in hoeverre erin groep 1 en groep 2 van het basisonderwijs sprake is van stabiliteit van leerkracht-gedrag. (Ze heeft overigens niet onderzocht in hoeverre stabiliteit in leerkrachtgedragsamenhangt met leeriingprestaties.) Dat heeft ze gedaan door de correlaties te bereke-nen tussende pedagogisch-didactische aanpak van leerkrachten die in het ene school-jaar aan groep 1 lesgaven en in het volgende aan groep 2. Sontag onderscheiddedaarbij enkele afzonderlijke kenmerken (registratie leervorderingen, basisvaardighe-den, NT2-materiaal, ordelijk klimaat en ouderparticipatie) en daamaast een gesom-meerde score van deze kenmerken (vgl. voor deze werkwijze ook Driessen & Claas-sen, 1996). Bij de berekening van de samenhangen heeft Sontag twee perspectievengehanteerd. Op de eerste plaats het perspectief van de leerkrachten. Hierbij is devraag aan de orde of de leerkrachten stabiel zijn in hun pedagogisch-didactischeaanpak. Op de tweede plaats het perspectief van de leerlingen. In dat geval gaat hetom de stabiliteit van de leeromgeving van de leerlingen, ofanders gezegd: in hoever-re verkeert de leerling in groep 2 in dezelfde leeromgeving als in groep 1. In Tabel2.3 en Tabel 2.4 vatten we Sontags bevindingen samen. In deze twee tabellen staanniet alleen de correlaties, maar ook de verdelingskenmerken per leerjaar vermeld.Wat dit laatste betreft gaat het om de gemiddelde scores en (standaarddeviaties),respectievelijk frequenties uitgesplitst naar leeijaar.

Tabel 2.3 - Stabiliteit leerkrachtgedrag in groep 1 en 2 (leerkrachtniveau; N=15):correlaties en gemiddelden (standaarddeviaties), c.q. frequenties per groep

groep 1x (sd)

groep 2i (sd)

registratie vorderingenbasisvaardighedenNT2-materiaal

ordelijk klimaatouderparticipatieped.-did. aanpak

.42

.29-.13-.11-.42

73%26.260%3.3857.65.7

wel

(11.9)wel

(.87)(44.7)(1.8)

100%33.033%3.3337.56.6

wel

(15.7)wel

(.54)(21.5)(1.6)

* niet te berekenen: geen variantie in groep 2(Bron: Sontag. 1997, pp. 88-89)

25

Tabel 2.4 - Stabiliteit leerkrachtgedrag in groep 1 en 2 (leerlingniveau; N=245):correlaties en gemiddelden (standaarddeviaties), c.q. frequenties per groep

groep 1; (sd)

groep 2i (sd)

registratie vorderingenbasisvaardighedenNT2-materiaal

ordelijk klimaatouderpanicipatieped.-did. aanpak

-.05.53*.32*.16

-.06.12

87%25%61%3.2

73.76.0

wel(11.6)

wel(1.0)

(47.5)(1.8)

98%30%41%3.2

39.76.4

wel(13.9)

wel(.7)

(23.2)(2.0)

* p<.001(Bron:Sontag,1997,p.91)

Sontag concludeert dat er op het niveau van de leerkrachten geen sprake is vanstabiliteit in aanpak: geen van de samenhangen is namelijk significant op 5%-niveau.De hoogste correlatie treedt op met betrekking tot de mate waarin de leerkrachtaandacht besteedt aan de basisvaardigheden (r=.42). Daamaast is de correlatie tussende gesommeerde score (aanpak-totaal) in groep 1 en groep 2 -.42. Dit laatste wijst erdus op dat de pedagogisch-didactische aanpak zich wijzigt per leerjaar. Op het niveauvan de leerlingen zijn de samenhangen grofweg van een vergelijkbare orde vangrootte. Een uitzondering betreft de totaalscore; deze is op leerlingniveau aanmerke-lijk lager dan op leerkrachtniveau. Dit laatste houdt volgens Sontag in dat een leerlingdie in groep 1 is geconfronteerd met een bepaalde aanpak zich in groep 2 waarschijn-lijk moet 'aanpassen' aan een andere aanpak.Sontag acht deze bevindingen niet helemaal vreemd; immers, zij stroken met degedachte dat leerkrachtgedrag mede bepaald dient te warden door het ontwikkelings-niveau van de leerlingen. Zo zal een leerkracht gaandeweg de kleutergroepen meeraandacht gaan besteden aan de verwerving van de basisvaardigheden taal en rekenenen - daarmee samenhangend - ook meer gebruik gaan maken van vorderingenregistra-tiesystemen. Wat betrefit het ordelijk klimaat en de ouderparticipatie is er volgensSontag geen reden om aan te nemen dat deze verschillen per leerjaar. Wat betreft hetgebruik van NT2-materiaal ligt dat weer wel voor de hand: in het tweede jaar isdaartoe de noodzaak geringer dan in het eerstejaar. Zo beredeneerd liggen de uitkom-sten in de lijn van de verwachtingen.Overigens willen wij bij deze conclusies van Sontag aantekenen dat deze inderdaadzeer plausibel klinken. Echter, we moeten hier goed bij bedenken dat het hier gaat omde situatie in groep 1 en 2, een periode waama er veel verandert in de benadering vande kinderen. Het is een fase waarin de leerlingen de geleidelijke overgang meemakenvan spelen naar intentioneel leren. Op veel scholen zal het zo zijn dat een jaar later -bij de overgang van groep 2 naar groep 3 - de ontwikkeling naar het 'echte leren'(nog) abrupter zal zijn (Driessen, 1997; Van Gennip & Ruijs, 1992). Vanafdat punt

26

echter, in de leerjaren van de voormalige lagere school (groep 3 - 8) is er aanzienlijkminder aanleiding om te veronderstellen dat er qua pedagogisch-didactische aanpakzich zulke grote verschillen zullen voordoen als in de eerste twee a drie jaren.

Een andere benadering van 'consistentie' is die waarbij op directe wijze aan bijvoor-beeld de directeur van de school (vgl. Bosker & Scheerens, 1994) of aan de leer-krachten de vraag wordt gesteld in hoeverre er sprake is van consistentie in didacti-sche aanpak. De veronderstelling is daarbij dat de betreffende informant zicht heeftop de aanpakken van de verschillende leerkrachten. Het gaat dus om een impressie ofoordeel, waarbij de consistentie rechtstreeks in een score wordt uitgedrukt. Van derVelden (1996) bijvoorbeeld, hanteert deze aanpak met betrekking tot een verwantconcept 'samenwerking team' (dit kenmerk blijkt overigens niet relevant voor deverklaring van prestatieverschillen).

Een andere variant is die waarbij eerst de aanpakken van verschillende leerkrachtenwarden bepaald. Dat kan bijvoorbeeld via observaties of via het laten invullen vanvragenlijsten door de betrokkenen. Vervolgens warden deze aanpakken vergelekenop hun consistentie. De scores op deze aanpakken warden dan met behulp van statis-tische programmatuur met elkaar vergeleken en uitgedrukt in een samenvattendescore. Een mogelijkheid daarbij is bijvoorbeeld het berekenen van een soort afwij-kingsscore. Het is deze benadering waarvan we in het empirisch gedeelte van dezestudie gebruik hebben gemaakt.In een Nederlandse studie hebben we een uitwerking van deze aanpak teruggevon-den, namelijk die van Weide (1995). Haar onderzoek was gericht op de mate waarinbasisonderwijs effectief is voor allochtone kinderen. Voor haar analyses heeft zegebruik gemaakt van gegevens uit de landelijke evaluatie van het Onderwijsvoor-rangsbeleid. De gegevens met betrekking tot de leerkrachten hadden betrekking opgroep 6 en 7. Uit de vragenlijsten die zij hebben ingevuld zijn een aantal effectieve-schoolkenmerken geselecteerd. Twee daarvan schaart Weide onder de noemer'cohesie': de mate waarin alle leerkrachten op een school consistent zijn in de wijzewaarop zij - effectief - lesgeven. Het betrefit twee schalen die zijn gebaseerd op eenserie afzonderlijke items, namelijk: (1) prestatiegerichte houding, en (2) mate vandifferentiatie. Omdat er sprake is van leerkrachten uit verschillende jaargroepen heeftWeide de scores van beide groepen eerst gemiddeld. De mate van consistentie is nubepaald door de standaarddeviatie van beide dimensies te nemen.Uit de analyses komt naar voren dat scholen sterk verschillen qua consistentie watbetreft prestatiegerichte houding en mate van differentiatie. Voor de meeste scholengeldt dat de leerkrachten binnen een team meer op elkaar dan op leerkrachten vanandere scholen lijken. Opvallend is echter dat er geen samenhang bestaat tussen detwee dimensies: consistentie ten aanzien van prestatiegerichtheid houdt dus nietautomatisch verband met consistentie wat betreft differentiatie.Met behulp van multilevel-analyse schat Weide vervolgens het effect van de onder-scheiden aanpakkenmerken op de taal- en rekenprestaties van de leerlingen. Deze

27

analyses maken duidelijk dat geen van beide consistentie-dimensies tot (extra) signifi-cante effecten leidt.Bij Weide's analyses dient overigens te warden aangetekend dat hetaanbevelingswaardig zou zijn geweest als bij de bepaling van consistentie de scoresper groep eerst waren gestandaardiseerd ten opzichte van het gemiddelde van debetreffende groep en daama pas het gemiddelde per school en de bijbehorende stan-daarddeviatie zou zijn bepaald. Bovendien moet warden opgemerkt dat 'consistentie'geisoleerd is beschouwd; er is namelijk geen rekening gehouden met de richting vande bijbehorende aanpak (is er bv. sprake van erg veel ofjuist van weinig of geendifferentiatie?). Dat wil zeggen dat er wel iets over consistentie op zich gezegd kanwarden, maar dat een effect vervolgens niet inhoudelijk kan warden gei'nterpreteerd.Volgens Scheerens & Bosker (1997) en Brandsma (1993) dienen consistentie en derichting van het aanpak-aspectjuist beide verdisconteerd te worden.

In de literatuur zijn we nog een andere aanpak met betrekking tot de bepaling vanconsistentie tegengekomen. Hoewel het inhoudelijk gezien om een wat andere invul-ling gaat, dan die wij op het oog hebben, is het toch interessant hier even bij stil teblijven staan. Brandsma (1993) heeft in zijn studie gebruik gemaakt van het concept'teamhomogeniteit', hetgeen dicht aansluit bij de eerder genoemde factor 'consen-sus'. Het gaat om variabelen als 'tevredenheid met de school', 'innovatie-attitude','gerichtheid op de basisvaardigheden' en 'participatie van de stafin besluitvorming .Voor de operationalisering van 'teamhomogeniteit' heeft Brandsma gebruik gemaaktvan de scores van de directeur en de leerkrachten van de groepen 5, 6, 7 en 8 op dezevariabelen. Voor de bepaling van de homogeniteitsscores heeft hij voor elke variabelede range bepaald die er binnen een school bestaat. Rekenkundig gezien gaat het dusom de grootste afstand tussen de scores van twee respondenten van een school. Hoegroter de range, hoe lager de homogeniteit. Hoewel het inhoudelijk gezien dus overeen andere factor gaat dan wij bedoelen, willen we afsluiten met Brandsma's conclu-sie dat op grond van zijn onderzoek teamconsensus niet kan warden beschouwd alseen effectiviteitsbevorderende dan wel -belemmerende factor.

2.3 Conclusies

In hoeverre consistentie van aanpak - gedefinieerd zoals in de inleiding verduidelijkt -nu effectief is of niet, valt uit de door ons bestudeerde literatuur nauwelijks af teleiden. Op de eerste plaats wordt consistentie slechts enkele malen in de vele reviews(van reviews) genoemd als (mogelijke) effectiviteitsbevorderende factor (zie hierbo-ven). Op de tweede plaats blijkt dat consistentie in het algemeen op een 'hoog' niveauwordt gedefinieerd. Het betreft doorgaans elementen op het niveau van de cultuur vaneen school (visies, doelen); de praktijksituatie (de concrete aanpak in de klas) vormtslechts in een enkel geval onderwerp van onderzoek. Op de derde plaats, bij hetvorige aansluitend, wordt in praktisch geen van deze reviews verwezen naar concrete

28

studies waarin consistentie als verklarende variabele is meegenomen. Mortimore e.a.(1988) stellen in hun studie dat 'consistency in teacher approach' een effectiviteitsbe-vorderende factor is, bijvoorbeeld als binnen een school alle leerkrachten richtlijnenop dezelfde manier uitvoeren. Bovendien verwijzen deze auteurs in hun - zeer de-scriptieve - studie naar enkele oudere onderzoeken waarin het belang van deze factorzou warden aangetoond. Uit deze beschrijvingen wordt evenwel niet echt duidelijkhoe 'consistency' is gedefmieerd en geoperationaliseerd. De indruk bestaat dat heteerder om 'consensus' dan 'consistentie' gaat. Wel is er in enkele Nederlandse stu-dies aandacht besteed aan de consistentie-factor; deze bleek daar echter niet vanbelang (Weide, 1995). Het lijkt er daarmee dus op dat de werkwijze die door ons inde onderhavige studie is gevolgd vrij uniek is.

29

3 Didactische werkwijze en prestaties in groep 8

3.1 Opzet

In aansluiting op datgene wat we in paragraaf 1.3 in zijn algemeenheid over deonderzoeksopzet hebben gezegd, kunnen we nu de opzet voor de analyses met betrek-king tot groep 8 nader specificeren. Wat betreft de te onderzoeken kenmerken is hetin principe mogelijk drie niveaus te onderscheiden.

1. Het leerlingniveau, met:- de te voorspellen variabelen, te weten toetsprestaties taal en rekenen;- de predictor weegfactor (het OVB-leerlinggewicht).

Op leerlingniveau wordt een voor weegfactor gecorrigeerde toetsscore berekend, dievervolgens voorspeld zal warden vanuit gegevens op hogere niveaus.

2. Het leerkracht/groepsniveau, met:de didactische aanpak van de leerkracht;

- de gemiddelde weegfactor van de groep (als indicator van de sociaal-etnischesamenstelling van de klas).

3. Het schoolniveau, met:- de consistentie in didactische aanpak, berekend als de variatie in didactische

aanpak van de leerkrachten binnen de school (zie hiema).

Hoewel er dus in feite drie niveaus kunnen warden onderscheiden, is het toch nietzinvol gebleken om een drie-niveau multilevel-analyse uit te voeren. Dit heeft temaken met de positie van de variabele 'consistentie in aanpak' op het derde niveau;dit betreft een (geaggregeerd) schoolgegeven. Uit een serie voorbereidende analyseskwam naar voren dat de meeste scholen slechts 1 groep 8 hebben (402 van de in deanalyse gebruike 492 groepen). Slechts 45 groepen hebben 2 groepen 8. Daarom kangeen betrouwbare schatting worden gemaakt van de 'groep binnen school'-variantie.Om die reden zullen we twee-niveau multilevel-analyse uitvoeren met een leerling-en groepsniveau, waarbij de consistentie-maten als contextvariabelen van de groep opgroepsniveau als predictoren warden gebruikt.

3.2 Consistentie in didactische werkwijze binnen de school

Voor de bepaling van de consistentie in aanpak gaan we uit van het PRIMA-bestandmet leerkrachtgegevens van 1714 leerkrachten in groep 3, 5 en 7 binnen 567 scholen.

31

Voor deze leerkrachten is gekozen, omdat de vragenlijsten voor deze drie groepenidentiek waren. De vragenlijst voor de leerkrachten van groep 1 kent maar een zeerbeperkt aantal overeenkomsten met die van de hogere groepen.

Oorspronkelijk was het idee om de consistentie van de aanpak binnen een school pergroep te bepalen, om vervolgens door combinatie over groepen een consistentie-indexte maken. Voor het berekenen van consistentie zijn echter de aanpak-gegevens vanminimaal twee leerkrachten nodig. Binnen groepen komt het nauwelijks voor datgegevens van meer dan een leerkracht beschikbaar zijn. Bijlage 1A laat dit zien. Debetreffende tabel geeft de patronen van de aantallen leerkrachten per groep. Het eerstecijfer van het patroon heeft betrekking op het aantal geretoumeerde leerkrachtvragen-lijsten van groep 3, het tweede cijfer betreft de vragenlijsten van groep 5 en het derdede vragenlijsten van groep 7.De tabel maakt duidelijk dat 323 van de 567 scholen (57%) in het bestand vertegen-woordigd zijn met een leerkracht per groep (patroon 111). In totaal zijn er 18 scholenmet twee ofmeer leerkrachten in elk van de groepen (patronen 222,232,322 en 332).We zien ook dat er 41 scholen zijn met in totaal slechts een leerkracht in het bestand;deze hebben we bij de consistentie-bepaling weggelaten (patronen 001, 010, 100). Opbasis van deze bevindingen is besloten de consistentie van de aanpak te berekenenover de drie groepen heen, dus gebaseerd op de gegevens van alle leerkrachten ingroep 3, 5 en 7 binnen een school.

Bij het bovenstaande moeten we wel rekening houden met het volgende. Stel dat eenbepaalde didactische aanpak met een range van 1 'zwak' tot 5 'sterk' voor de driegroepen gemiddelden laat zien van 2, 3 en 4. Het gemiddelde niveau van de didacti-sche aanpak verschilt dus tussen de groepen, bijvoorbeeld op grand van de in diegroep behandelde leerstof (inhoud, niveau). Als nu drie leerkrachten in ieder van dedrie groepen binnen een school scores krijgen van 3, 4 en 5, dan zien we dat er abso-luut gezien grote variatie tussen leerkrachten is in de sterkte van de aanpak. Relatieften opzichte van aanpak-sterkte die voor de groep normaal is, scoren de drie leer-krachten echter even hoog, namelijk alle drie 1 punt boven het gemiddelde. Rekeninghoudend met wat algemeen een normale sterkte is van de didactische aanpak binneneen groep, is er dan binnen deze school een perfecte consistentie in aanpak, namelijkde variatie is 0.

Dat er niveauverschillen tussen de drie groepen bestaan op didactische aanpak laathet volgende variantie-analyse overzicht in Tabel 3.1 zien. Hierin staan alle variabe-len die we voor de constructie van de consistentie-maten zullen gebmiken. Voor deprecieze vraagstelling, labels en nummering verwijzen we naar Bijlage 6 waar weleerta-achtvragenlijst hebben opgenomen. Voor een compleet overzicht van de vra-genlijsten verwijzen we naar Ledoux & Overmaat (1996). Enkele voorbereidendewerkzaamheden waren nodig.Zo zijn de variabelen V9a en V9b allereerst gedichotomiseerd in 0,1=0 en 2,3,4=1,

32

omdat de klassen 2, 3 en 4 niet minstens ordinaal zijn.Ook is van V22a,b, V33a,b,c en V45 de categorie 'n.v.t.' samengevoegd met decategorie 'niet', respectievelijk 'nooit', om schijnvariatie, en daarmee schijninconsis-tentie, te vermijden.Er is nog een nieuwe variabele geconstmeerd op basis van V68 'in welk opzichtonderscheidt uw onderwijs zich ...', namelijk als altematief nummer 15 'extra nadrukop basisvaardigheden' bij een van de drie belangrijkste is genoemd, dan wordt devariabele 'Onders' (voor 'onderscheid') 1, anders 0.Verder kan warden opgemerkt dat de variabelen V6a,b,c zijn opgenomen als uren perweek.Ten slotte zijn in het variabelenblok V66a Vm V66h (uitspraken met betrekking totdidactische aanpak/houding) de items V66c, e en h vooraf 'gespiegeld', teneinde alleitems in dezelfde richting te kunnen interpreteren.

De frequentieverdelingen van de variabelen na deze 'vaste', dat wil zeggen ook in denavolgende analyses gehanteerde, hercoderingen staan in Bijlage IB. Vet aangegevenstaan de categorieen die zijn samengevoegd voor gebmik als afhankelijke variabele inde variantie-analyses.

Dan nu in Tabel 3.1 het overzicht van de variantie-analyses. In de tabel hebben weverschillende blokken onderscheiden. Het eerste heeft betrekking op de tijdsbestedingen huiswerk, het tweede op het lezen, het derde op taal, en het vierde op rekenen.Variabelen waarop relevante verschillen bestaan (Eta s. 15; m.a.w. er wordt minimaal2.25% variantie 'verklaard') hebben we in de tabel met vet gemerkt.

33

Tabel 3.1 - Verschillen tussen groepen in niveau van didactische aanpak (gemiddel-den)'

vraagnr. Ngroep

3 5 7 totaal Eta p label vraag

V6ATOT 1593 4.2 2.7 2.3 3.1 .44 .00 lezen in uren per weekV6BTOT 1559 4.2 4.9 4.8 4.7 .20 .00 taal in uren per weekV6CTOT 1591 4.2 4.8 4.8 4.6 .30 .00 rekenen in uren per weekV9A 1703 23 51 68 47 .37 .00 huiswerktaalV9B 1703 16 50 71 45 .45 .00 huiswerk rekenenV22A 1688 42 13 13 23 .32 .00 registratie vorderingen technisch lezenV22B 1688 15 13 18 15 .06 .04 registratie vorderingen begrijpend lezenV23 1694 29 31 31 31 .02 .71 vonn instructie bij leeslessenV24 1686 22 71 81 58 .53 .00 aanleren leesstrategieenV31 1594 19 20 24 21 .05 .10 vorm instructie taallessenV32A 1589 79 87 90 86 .13 .00 frequentie controletoetsenV32B 1589 58 54 71 61 .15 .00 frequentie exteme toetsenV32C 1589 47 55 62 55 .12 .00 frequentie diagnostische toetsenV33A 1686 9 13 18 13 .11 .00 frequentie registratie woordenschatV33B 1686 41 46 46 44 .04 .21 frequentie registratie spellingV33C 1686 23 32 36 30 .11 .00 frequentie registratie taalvorderingenV35A 1491 12 18 24 18 .12 .00 nakijken: cijfer gevenV35B 1563 45 59 60 55 .13 .00 nakijken: leerlingen serieusV35C 1580 56 58 59 58 .02 .61 nakijken: uitleg leerstofV35D 1507 43 33 29 35 .12 .00 nakijken: nieuwe opdrachtenV35E 1577 57 41 37 45 .17 .00 nakijken: foutenanalyseV43 1701 20 26 35 27 .14 .00 vorm instructie rekenlessenV44A 1702 83 96 93 91 .19 .00 frequentie controletoetsenV44B 1702 39 49 71 53 .27 .00 frequentie exteme toetsenV44C 1702 38 57 59 51 .19 .00 frequentie diagnostische toetsenV45 1698 58 55 49 54 .07 .01 frequentie registratie rekenvorderingenV47A 1509 10 20 25 18 .16 .00 nakijken: cijfergevenV47B 1622 44 56 61 54 .14 .00 nakijken: leerlingen serieusV47C 1652 62 65 63 63 .02 .75 nakijken: uitleg leerstofV47D 1586 49 42 35 42 .12 .00 nakijken: nieuwe opdrachtenV47E 1647 59 49 43 50 .14 .00 nakijken: foutenanalyseV66A 1692 64 63 71 66 .07 .02 inzet leerlingenV66B 1676 54 57 65 59 .10 .00 omgaan heterogene groepenV66C 1686 60 60 63 61 .03 .51 moeilijk eisen aan zwakke llnV66D 1682 38 35 34 36 .04 .35 prestaties achterstandslln verbeterenV66E 1684 80 82 83 81 .04 .30 niet te veel verwachten van llnV66F 1683 72 78 77 76 .06 .03 langzame lln kunnen presterenV66G 1680 60 61 73 64 .12 .00 les geven aan lastige leerlingenV66H 1676 63 62 58 61 .05 .17 scepsis leervermogen sommige llnONDERS 1714 54 49 51 51 .04 .31 extra nadruk basisvaardigheden

' Vetgedrukt zijn variabelen waarop relevante verschillen bestaan tussen groepen (Eta >.15)

34

De verschillen tussen de groepen hebben bijna altijd te maken met het verschil tussengroep 3 enerzijds en groep 5 en 7 anderzijds. In groep 3 besteden de leerkrachtenrelatief veel tijd aan lezen, registreren ze per jaar vijf keer of vaker vorderingen intechnisch lezen, en noemen ze taalwerk nakijken om foutenanalyse te kunnen makenals zeer belangrijk.In groep 5 en 7 besteden de leerkrachten relatiefveel tijd aan taal en rekenen, gevenze veel meer frequent huiswerk, besteden ze veel aandacht aan leesstrategieen, ennemen ze vaak controle- en diagnostische toetsen af.Groep 7 springt eruit wat betreft de frequentie van het gebmik van exteme toetsen enwerk nakijken om een cijfer te kunnen geven.

Gelet op bovenstaande hebben we voor de berekening van de consistentie de aanpak-gegevens van de leerkrachten eerst binnen groepen gecentreerd op eenzelfde gemid-delde. Om niet van 40 afzonderlijke aanpak-variabelen de consistentie in de analyseste hoeven gebruiken, is eerst middels factoranalyse geprobeerd een kleiner aantalaanpak-constructies samen te stellen. In Bijlage 1B zagen we dat de variabelen rangeshebben van 2 t/m 7 klassen. Voor het berekenen van factorscores is het nodig dat devariabelen die binnen een factorscore warden samengenomen eenzelfde range heb-ben.Deze twee transformaties, te weten het centreren en eenzelfde range maken, hebbenwe doorgevoerd door het berekenen van z-scores binnen groepen. Zo zijn binnengroepen de gemiddelden op 0 gezet en de standaarddeviaties (ook over groepen heen)op 1. Vervolgens is factoranalyse met scheve rotatie uitgevoerd op deze binnengroepz-scores. In Bijlage 1C geven een beeld van de verdeling van de Eigen-waarden vande correlatiematrix. Deze verdeling laat zien dat ongeveer 10 factoren alle bovenkansvoorkomende samenhangen beschrijven. De totaal verklaarde variantie bedraagt 50%.In Tabel 3.2 geven we allereerst de bijbehorende factorladingen; in Tabel 3.3 volgende correlaties tussen de tien factoren.

35

Tabel 3.2 - Factoranalyse consistentie-variabelen: factorladingen

factor5 6 10

V6ATOT*V6BTOTV6CTOTV9AV9BV22AV22BV23V24*V31V32A*V32BV32CV33AV33BV33CV35AV35BV35CV35DV35EV43V44A*V44BV44CV45V47AV47BV47CV47DV47EV66AV66BV66CV66DV66EV66FV66GV66HONDERS*

.01 .06

.01 -.04-.05 .00.00 .00-.05 .05-.04 -.01-.04 -.04.00 -.00.01 .01.07 -.10-.02 .03-.04 .01.14 -.05.00 .11.02 -.03.02 .01.05 .85-.03 .12.09 -.11.00 .00.85 .03-.00 -.01.06 .01-.09 .00.14 -.01.05 -.04.04 .91-.06 .13.12 -.14.00 .00.80 .05-.03 .03.00 .00.01 -.04.06 .04-.00 -.00-.03 .02.01 .05.01 -.08.00 -.01

-.00 -.03 -.01 .00 .01 .23 .02 -.02 lezen in uren per week.06 .01 .04 .01 -.06 .52 -.01 .01 taal in uren per week.04 .04 -.02 -.06 -.02 .77 -.01 -.01 rekenen in uren per week-.00 -.00 -.03 .02 .77 -.06 -.05 .04 huiswerktaal-.02 .02 -.02 .06 .74 -.02 -.00 -.02 huiswerk rekenen.40 -.02 .03 .03 .02 .01 .04 .00 registr. vord. tech. lezen.50 -.01 .02 .00 .03 .08 .02 .00 registr. vord. begr. lezen.09 .01 .01 .47 .00 -.01 .03 -.05 vorm instructie leeslessen.14 .01 .08 -.02 .04 .08 .06 -.03 aanleren leesstrategieen.04 .00 .03 .70 .04 .01 .05 -.00 vonn instructie taallessen.12 .00 .01 -.15 .02 -.06 .08 -.07 freq. controletoetsen-.03 -.02 .00 -.04 -.00 .01 .55 .05 freq. exteme toetsen.05 .05 -.03 .05 .04 .03 .49 -.09 freq. diagnost. toetsen.50 -.00 -.03 .06 .01 .04 .03 -.02 freq. registr. woordenschat.77 .00 -.03 -.00 -.06 -.04 -.09 .04 freq. registratie spelling.76 .01 -.05 .02 -.02 .01 -.03 -.01 freq. registr. taalvorder.-.01 -.00 -.00 -.06 .05 .05 -.01 -.02 nakijken: cijfer geven-.00 -.74 -.03 .05 -.07 -.05 .01 .07 nakijken: lln serieus.00 -.61 .03 -.03 .06 .08 -.00 -.14 nakijken: uitleg leerstof-.07 -.00 .00 .03 -.02 .03 .00 -.85 nakijken: nwe opdrachten-.01 -.02 .00 .01 -.03 .00 .00 .01 nakijken: foutenanalyse-.00 .00 .03 .65 .05 -.04 .03 -.02 vorm instr. rekenlessen.09 .00 .04 -.15 .05 -.07 .02 -.02 freq. controletoetsen-.04 -.03 -.01 .03 -.03 -.02 .56 .04 freq. exteme toetsen.06 .04 .01 .03 -.00 .00 .44 -.02 freq. diagnost. toetsen.59 -.01 -.02 -.00 -.01 -.02 -.03 .04 freq. registr. rekenvord.-.02 .00 .01 -.02 .04 .04 -.01 .01 nakijken: cijfer geven.02 -.75 -.02 .05 -.07 -.05 .01 .07 nakijken: tin serieus.00 -.63 .00 -.06 .08 .02 .00 -.11 nakijken: uitleg leerstof

-.05 -.06 -.01 .03 .00 .01 -.06 -.83 nakijken: nwe opdrachten-.02 -.05 .01 .01 -.02 -.02 -.02 -.01 nakijken: foutenanalyse.03 -.15 .26 -.05 .04 .02 -.05 .03 inzet leerlingen.00 -.01 .46 .21 -.00 -.01 .04 -.03 omgaan heterogene grpn

-.02 .01 .34 .00 .01 .09 -.00 -.01 moeilijk eisen zwakke lln.00 -.00 .42 .03 -.00 -.00 .01 .01 prest. achterstlln verbet.

-.01 .00 .36 -.07 -.06 -.07 .01 .00 niet te veel verwachten Un.03 -.01 .53 -.04 -.01 .01 -.04 -.02 langz. lln kunnen presteren-.00 .00 .60 .08 .04 -.00 .00 .06 les geven aan lastige Un-.02 .05 .33 -.00 -.00 -.01 .00 -.05 scepsis leervermogen lln-.02 .00 -.00 -.08 .03 .05 .02 .03 extra nadruk basisvaard.

' 'Losse' items

36

Tabel 3.3 - Factoranalyse consistentie-variabelen: correlaties tussen defactoren

factor

5 6 10

factor 1factor 2factor 3factor 4

factor 5

factor 6factor 7factor 8factor 9factor 10

1.00-.05.14

-.06.17.01.11.04.14-.35

1.00.09-.20-.05-.09.14

-.02-.01.06

1.00-.06.16

-.01.16.02.23-.16

1.00-.10.03-.06-.04.10.11

1.00.00.05.03.08

-.18

1.00-.14-.04-.06-.11

1.00.09.16

-.08

1.00.08 1.00.01 -.09 1.00

We zien dat de tien factoren een duidelijke structuur opleveren, dat wil zeggen: erzijn geen meerdimensionele items. Wel zijn de meeste factoren niet in strikte zin alsfactoren te beschouwen, namelijk een factor met slechts twee hoge ladingen represen-teert maar een correlatie. Meestal gaat het daarbij om de correlatie tussen taal- enrekenvorm van een bepaald aanpak-item. Omdat onze opzet in eerste instantie eenindikking van het materiaal beoogt, zullen we items op deze factoren toch bij elkaarnemen. Met een * zijn in Tabel 3.2 items aangegeven die op geen enkele factor hoogladen; we nemen ze als losse items in de analyse mee, respectievelijk laten ze uit deanalyse weg.

De tien factoren zijn gescoord door middeling van de z-scores van de hoog ladendeitems.

Wat de scoring van factor 4 (nakijken ter controle op serieus maken/goed uitgelegdhebben) betreft, is een scoring toegepast die niet strikt bij de factoroplossing hoort:we hebben V35b en V47b als een aparte factor gescoord en V35c en V47c eveneensals een afzonderlijke factor. De reden hiervoor is dat voor een zinvolle analyse vanleerkrachtaanpak in relatie tot de consistentie van aanpak een 'een-op-een'-koppelinggemaakt moet kunnen warden tussen dimensies van aanpak en dimensies van consis-tentie. Het lijkt immers niet zinvol om de (interactieve) werking van bijvoorbeeldconsistentie in intensiteit van registratie te relateren aan bijvoorbeeld het aantal urenonderwijs als leerkrachtaanpak-variabele of aan een registratie aanpak-scoring dieniet op dezelfde items is gebaseerd.

In een hiema volgende paragraaf 'didactische aanpak dimensies in groep 7' zullen welaten zien dat wat betrefit groep 7 de aanpak-dimensies vrijwel identiek zijn aan dehier gevonden aanpak-dimensies voor de drie jaargroepen samen (na centrering). Ingroep 7 zitten echter V35b en V47b op een factor en V35c en V47c op een aparte

37

factor.

Hoewel bijna alle items met betrekking tot de uitspraken bij V66 een redelijk hogelading hebben op factor 5, is deze factor om inhoudelijke redenen toch niet als eenfactor gescoord, maar als twee factoren waarvan de tweede wat 'zwakker' is dan deeerste, namelijk:- V66b,d,f en g als ' inschatting eigen capaciteit';- V66a,c,e en h als 'verwachting ten opzichte van de leerling'.

Op grand van bovenstaande factoranalyse zijn de volgende aanpak-variabelen gecon-strueerd:

factor:1. belang nakijken werk om nieuwe opdrachten te kunnen geven (taal en rekenen);2. belang nakijken werk om cijfer te geven (taal en rekenen);3. intensiteit registratie (lezen, taal en rekenen);4. belang nakijken werk ter controle op serieus maken (taal en rekenen);4. belang nakijken werk ter controle op goed uitgelegd hebben (taal en rekenen);5. inschatting eigen capaciteit;5. verwachting ten opzichte van de leerling;6. gerichtheid van instructie (lezen, taal en rekenen);7. huiswerk geven (taal en rekenen);8. uren per week onderwijs (taal en rekenen);9. frequentie exteme/diagnostische toetsen (taal en rekenen).10. belang nakijken werk om foutenanalyse te kunnen maken (taal en rekenen).

De volgende variabelen zullen bovendien als 'losse' aanpak-variabelen wardenmeegenomen:

V6atot: uren per week onderwijs in lezen;V24: aandacht besteed aan leesstrategieen;Onders: onderscheid ten opzichte van andere scholen wat betreft de basisvaardig-heden.

De variabelen V32a en V44a met betrekking tot de frequentie van controletoetsenzullen niet meer in de analyse warden gebruikt. Deze variabelen kennen namelijk teweinig variantie door het hoge percentage scores in de antwoordcategorie '5 keer perjaar ofmeer' (vgl. Bijlage 1B).

Op deze plaats willen we overigens opmerken dat de geconstrueerde 15 aspecten vandidactische aanpak vrijwel ongerelateerd zijn (vgl. Tabel 3.3). Vooralsnog hebben wegeen verklaring voor dit merkwaardige gegeven. Het meer ofminder intensiefwerkenop een bepaald gebied zegt blijkbaar niets over de aanpak-intensiteit op een andergebied. Een mogelijke verklaring is dat leerkrachten/scholen binnen beperkende

38

mogelijkheden van tijd en geld een aantal aspecten kiezen op basis van schoolhisto-rie/samenstelling, leerkrachtvoorkeur of door toeval. De aspectvariabelen gedragenzich dan rekentechnisch als 'random pick' variabelen, waardoor geen correlatie metwelke andere variabelen dan ook kan bestaan.Alleen in de mate waarin bepaalde aspecten dikwijls wel/niet samengaan in prakti-sche situaties, danwel (wettelijk) verplicht samen uitgevoerd moeten warden, kanmen correlaties verwachten tussen aspecten.

Naast de 15 inhoudelijke aanpak-aspecten is nog een algemene maat voor aanpak-intensiteit gemaakt door telling van het aantal 'sterke' inhoudelijke aanpak-aspecten(zie ook hiema), waama deze telling in een binnengroep z-score is omgezet.

We hebben nu 16 didactische-aanpakaspecten waarvoor de consistentie op schoolni-veau bepaald kan worden. Dat kan door van elk aspect de standaarddeviatie van descores binnen een school te berekenen. Dit levert een bestand op schoolniveau metper school 16 'consistentie-maten'.

Het grootste deel van de 526 scholen met meer dan een leerkracht in het bestand heeftniet-missing scores op alle 15 inhoudelijke aspecten, namelijk 470 scholen (89%).Enkele scholen hebben op niet alle aspecten een score. Er zijn 23 scholen met eenmissing en 33 scholen met twee missings. Omdat dit op een totaal van 15 aspectenniet veel is, en omdat het voor de multilevel-analyses de voorkeur verdient missingsvooraf uit te sluiten (alleen listwise selectie is mogelijk), zijn voor deze scholen deconsistentie-maten op het gemiddelde van de overige scholen gezet.

Omdat de consistentie berekend is als de standaarddeviatie van z-scores, ligt degrootte van de consistentie bijna altijd tussen 0 en 2. Dit komt omdat 95% van de z-scores tussen -2 en +2 ligt. Een school met drie leerkracht z-scores van -2, 0 en +2(maximale variatie) krijgt dan een consistentie-index van ^((-22 + 02 + 22)/(3-1))=2.De frequentieverdelingen van de indexen laat dan ook slechts voor een paar scholeneen standaarddeviatie groter dan 2 zien (m.n. op het aspect tijdsbesteding op basis vanV6). Deze 'outliers' kunnen alleen maar vertekening geven bij een algemene analyse.Daarom hebben we consistentie-indexen groter dan 2 naar een waarde 2 geherco-deerd. De indexen lopen nu van 0 (geen variatie in leerkrachtaanpak, dat wil zeggen:maximale consistentie) tot 2 (maximale inconsistentie).Om de indexen inhoudelijk van weinig naar veel te laten lopen hebben we alle in-dexen van 2 afgetrokken. De indexen lopen dan van 0 (geen consistentie) tot 2 (maxi-male consistentie). De gemiddelden en standaarddeviaties van de consistentie-in-dexen presenteren we in Tabel 3.4.

39

label 3.4 - Gemiddelden en standaarddeviaties van de consistentie-maten

consistentie-maat sd label

CAANPINT 1.18 .44 aantal sterke aanpak-aspecten

CTYDLZ 1.39 .40 tijd besteed aan lezenCTyDTLRK 1.43 .41 tijd besteed aan taal en rekenenCHUISWRK 1.28 .35 huiswerk in taal en rekenenCREGISTR 1.47 .32 registratie van vorderingenCINSTRUC 1.51 .37 intensiteit van instructieCLEESSTR 1.21 .44 aandacht voor leesstrategieCPRFEXDI 1.48 .32 frequentie exteme/diagnostische toetsenCNACYFER 1.26 .42 belang nakijken om cijfer te gevenCNASERIE 1.23 .46 belang nakijken om controle serieusheidCNAUITLG 1.26 .51 belang nakijken om controle uitlegCNANIEUW 1.22 .42 belang nakijken om nwe opdrachtenCNAFOUT 1.21 .42 belong nakijken om foutenanalyseCSTERK 1.44 .33 inschatting eigen capaciteit (zwak-sterk)CVERWACH 1.52 .28 verwachting t.o.v. leerling (laag-hoog)CONDERSD 1.17 .51 extra nadruk op basisvaardigheden

We zien dat alle indexen gemiddeld boven het midden van de range 0-2 liggen,Gemiddeld is er dus een redelijke mate van consistentie in aanpak. Ook is er voldoen-de variatie random deze gemiddelden. Om een indmk te geven van de verdelingen,hebben we in Bijlage ID een histogram afgebeeld van de index voor 'registratie vanvorderingen', de meest betrouwbare van de indexen (meeste items in de factor), dierepresentatief is voor de verdeling van de overige consistenties (behalve 'condersd').Ook de verdelingen van de andere indexen hebben meestal een lichte scheefheid in derichting van volledige consistentie en een klein aantal uitlopers in de richting vanvolledige inconsistentie.

Tabel 3.5 laat nog de correlaties zien tussen de indexen.

40

Tabel 3.5 - Correlaties tussen de consistentie-indexen

cryDLZ 1.00CTyDTLRK .18 1.00CHUISWRK -.00 .01 1.00CREGISTR .02 -.02 -.03 1.00CINSTRUC .07 .05 .02 -.02 1.00CLEESSTR .03 -.01 .05 .01 -.03 1.00CPRFEXDI .08 .01 .02 .09 .02 .02 1.00CNACYFER .05 -.01 .02 .11 .01 .11 .08 1.00CNASERIE .01 .05 .02 .01 .03 .13 .05 .05 1.00CNAUITLG -.07 -.02 -.04 .06 .06 -.01 .02 .00 .18 1.00CNANIEUW -.02 .03 .03 .01 -.03 .05 -.09 .00 .13 .17 1.00CNAFOUT .00 .04 .03 -.07 .06 .05 -.08 .03 .02 .06 .19 1.00CSTERK .05 .12 -.02 .07 .01 .02 .05 .01 .07 .04 .07 .05 1.00CVERWACH .08 .08 .02 -.03 .04 -.01 .03 .07 .00 .00 .04 .05 .19 1.00CONDERSD -.01 .00 .05 -.00 .01 -.01 .01 -.04 .06 .03 .07 .03 -.00 -.06 1.00

We zien de (overigens vreemde) situatie dat relatieve consistentie op een bepaaldedidactische aanpak binnen een school niets zegt over de relatieve consistentie opandere aanpak-aspecten: de correlaties zijn bijna allemaal nul. De enkele uitzonde-ringen met correlaties van ongeveer .19 zijn aspecten die vanuit de factorstructuur alsniet geheel onafhankelijk bekend waren. Dit betekent onder andere dat het consistentniets doen aan een bepaalde werkwijze niet leidt tot het consistent veel aandachtbesteden aan een andere werkwijze.

Tabel 3.6 geeft de vonn van de verdelingen nog eens weer. We hebben hiertoe derange van 0-2 ingedeeld in vijf gebieden van elk .4 breed. Gesorteerd is naar hetpercentage in de ++ kolom.

41

Tabel 3.6 - Percentages scholen in vijf consistentie-klassen

consistentie-klasse

0-.4 .4-.8 .8-1.2 1.2-1.6 1.6-2.00 + ++

CAANPINT 6 11 31 35 17 aantal sterke aanpak-aspecten

CINSTRUC 2 5 9 36 48 intensiteit van instructieCVERWACH 0 2 9 46 42 verwachting t.o.v. leerlingCPRFEXDI 2 2 13 42 41 frequentie exteme/diagnostische toetsenCTVDTLRK 4 4 13 41 39 tijd besteed aan taal en rekenenCKEGISTR 0 3 17 41 38 registratie van vorderingenCSTERK 1 3 16 45 35 inschatting eigen capaciteitCTVDLZ 4 4 16 42 34 tijd besteed aan lezenCLEESSTR 6 10 25 30 29 aandacht voor leesstrategieCONDERSD - 8 63 0 29 extra nadruk op basisvaardighedenCNASERIE 6 9 32 27 26 belang nakijken om controle serieush.CNACYFER 3 10 24 38 25 belang nakijken om cijfer te gevenCNAUITLG 6 10 40 20 25 belang nakijken om controle uitlegCNANIEUW 3 16 27 32 23 belang nakijken om nieuwe opdrachtenCHUISWRK 2 6 28 43 21 huiswerk in taal en rekenenCNAFOUT 4 13 31 32 20 belang nakijken om foutanalyse

We zien dat consistentie in intensiteit van de instmctie in sterke mate (categorie ++)voorkomt bij 48% van de scholen. Sterke consistentie komt het minste voor bij hetgeven van huiswerk in taal en rekenen, (21%) en bij het belang van het nakijken vanwerk om een foutenanalyse te kunnen maken, namelijk bij 20% van de scholen.Alleen de consistentie wat betrefit extra nadruk op basisvaardigheden kent een twee-toppige verdeling met de meeste scholen in de middencategorie.Bij 17% van de scholen is ook sprake van een sterke consistentie in het aantal sterke-aanpak-aspecten.

We willen er hier nogmaals op wijzen dat een hoge consistentie niets zegt over hetniveau van de bijbehorende aanpak. Hiema zullen we zien datjuist aspecten met eenhoge consistentie dikwijls een laag gemiddeld niveau van aanpak hebben. Hogeconsistentie betekent op een aantal aspecten dus: consistent weinig/niets doen. Wezullen zien dat dit niet voor alle aspecten geldt.

Op basis van deze 15 'inhoudelijke' consistentie-maten hebben we nog een algemenemaat geconstrueerd door telling van het aantal malen dat een school in sterke mateconsistent is op de aspecten. Dit is dus een telling van het aantal malen dat een schoolin de categorie ++ van de ingedikte consistentie-maten scoort. De frequentieverdelingvan deze telling volgt in Tabel 3.7.

42

Tabel 3.7 - Frequentieverdeling consistentie-maten op basis van telling

klasse 0 1 8 9 10 11 12 13

% 1 4 11 16 16 19 15 1100

Het gemiddelde van de telling is 4.8 en de mediaan 5.0. We zien aan de percentagesdat 53% van de scholen op meer dan 4 aspecten een sterk consistente aanpak heeft.

Merk nog op dat dit aantal sterke consistentie-maten iets anders is dan de consistentiein het aantal sterke aanpak-aspecten. Alleen dit laatste wordt in de verdere analysesgebruikt als consistentie-maat horend bij de variabele 'aantal sterke aanpak-aspecten'

3.3 De didactische werkwijze in groep 7

Bij het zoeken naar dimensies van didactische aanpak bij leerkrachten van groep 7gebruiken we alle variabelen die ook gebruikt zijn bij de bepaling van consistentie inaanpak. Bij de analyses met betrekking tot de aanpak in groep 7 gaan we in grotelijnen op dezelfde wijze te werk als bij de analyses van de consistentie in aanpak overde drie groepen (3, 5 en 7) been. We zullen daarom wat minder lang stil staan bij detechnische verhandelingen.

Om tot een beter hanteerbaar en interpreteerbaar aantal dimensies te komen, hebbenwe allereerst factoranalyse toegepast. Het analysebestand telt 565 leerkrachten ingroep 7. In Bijlage IE laten we de resulterende verdeling van de Eigen-waarden zien.Deze verdeling laat zien dat ongeveer 10 factoren alle relevante correlaties uit decorrelatiematrix beschrijven. Evenals bij de analyses met betrekking tot deconsistentie-variabelen, hebben we ook hier een variantieverklaring van 50%.De factorladingen en correlaties tussen de factoren geven we in Tabel 3.8, respectie-velijk Tabel 3.9.

43

label 3.8- Factoranalyse aanpak-variabelen: factorladingen

factor

5 6 7 9 10 11

V6ATOT* .04V6BTOT .08V6CTOT -.00V9A -.00V9BV22AV22BV23V24*V31V32A*V32BV32CV33AV33BV33CV35AV35BV35CV35DV35EV43V44A*V44BV44CV45V47AV47BV47CV47DV47EV66AV66BV66CV66DV66EV66FV66GV66H

-.02.35.50.16.13.07.11-.01.03.61.84.88.01.02-.02-.09-.02-.07.09-.04.07.60-.01.01-.02-.08-.02.01-.00-.01.02.02.04

-.01-.02

ONDERS* .03 -,

.01 .08

.05 -.00

.03 .01

.03 -.03

.03 .01

.04 -.01

.03 -.02

.02 .04

.03 .09

.01 .03

.01 .03

.00 -.08

.05 .15

.00 .01

.03 -.01

.04 -.00

.01 -.01

.84 .02

.10 .05

.00 .92

.03 .03

.01 .02

.01 .05

..04 -.01

..02 .08

.01 -.06

.02 -.04

.86 .00

.10 -.03

.01 .79

.00 .05

.07 .00

.15 .02

.00 .05-.00 -.00-.05 .02-.03 -.02.12 -.05-.11 .03-.02 .04

.13 .01 .09 .02 .04 .02 -.04 .02 lezen in uren per week

.01 -.00 -.00 .05 -.03 .08 .66 .04 taal in uren per week

.03 -.00 .05 -.00 .15 .03 .63 .02 rekenen in uren per week

.01 .03 -.05 .00 .06 -.73 -.08 .03 huiswerktaal

.08 -.02 .01 .07 .12 -.66 .00 .05 huiswerk rekenen-.00 -.02 .07 .01 .06 .00 -.05 .03 registr. vorder. techn.lezen-.01 .02 .03 -.03 .07 -.00 .01 .02 registr. vorder. begr.lezen.03 -.01 .03 .45 -.04 -.05 -.03 .02 vorm instructie leeslessen..01 .08 .03 -.06 -.03 -.06 .01 -.04 aanleren leesstrategieen-.12 .04 -.01 .72 -.06 -.00 .09 .04 vorm instructie taallessen.00 .01 .01 -.10 -.03 -.02 .06-.01 freq. controletoetsen.02 -.00 .61 -.01 -.05 .02 .03 .01 freq. exteme toetsen-.11 -.19 .38 .07 -.24 -.15 .17 -.11 freq. diagnostische toetsen.17 .02 .00 .04 -.02 -.00 -.01 .01 freq. registr. woordenschat-.02 .00 -.11 .08 -.03 .06 .01 -.04 freq. registratie spelling.01 .02 -.06 .00 -.02 .03 .04 -.04 freq. registr. taalvorder..91 -.04 -.04 -.05 -.10 -.08 .07 .00 nakijken: cijfer geven.02 -.01 -.02 -.00 .01 .06 -.02 .11 nakijken: leerlingen serieus.02 .02 .02 .00 -.03 -.05 .09 .80 nakijken: uitleg leerstof-.00 .00 -.00 .01 .01 .02 -.01 -.00 nakijken: nwe opdrachten.05 .08 .01 -.01 -.82 .10 -.07 .05 nakijken: foutenanalyse-.03 .07 -.05 .64 .03 -.04 -.01 -.01 vonn instr. rekenlessen-.05 .00 -.02 -.18 -.12 -.13 -.01 .07 freq. controletoetsen-.00 .09 .80 -.04 .13 .04 -.02 .02 freq. exteme toetsen-.04 -.09 .38 .04 -.18 -.14 .17-.05 freq. diagnostische toetsen-.04 -.03 -.04 .03 -.05 -.03 .04 -.00 freq. registr. rekenvorder..90 -.02 -.01 -.05 -.07 -.06 .03 -.02 nakijken: cijfer geven.02 -.05 -.01 -.03 .03 .07 -.03 .09 nakijken: leerlingen serieus-.02 -.01 .03 .03 -.12 -.10 -.00 .90 nakijken: uitleg leerstof-.00 -.00 -.10 .03 -.03 .00 -.00 .03 nakijken: nwe opdrachten.05 .02 -.05 .02 -.80 .08 -.04 .06 nakijken: foutenanalyse.00 .21 -.04 -.05 .04 -.01 .12 .05 inzet leerlingen-.02 .40 .07 .14 -.06 -.05 -.03 -.06 omgaan heterogene grpn.02 .44 -.13 .05 .01 .02 .16-.03 moeilijk eisen zwakke lln.01 .39 .12 .09 -.18 -.01 -.03 .01 prest. achtst.lln verbeteren-.03 .43 .03 -.08 .03 .05 -.04 .01 niet te veel verwachten lln.00 .46 .01 -.01 .01 .03 -.05 .04 langz. Un kunnen presteren.03 .48 .01 .04 -.05 -.13 -.07-.08 les geven aan lastige Un-.06 .41 -.00 .02 -.03 .00 .07 .06 scepsis leervermogen lln-.00 -.01 -.00 .05 .03 .06 -.11 .04 extra nadruk basisvaardigh.

'Losse' items

44

Tabel 3.9 - Factoranalyse aanpak-variabelen: correlaties tussen defactoren

factor

4 5 10 11

factor 1factor 2factor 3factor 4factor 5factor 6

factor 7factor 8factor 9factor 10factor 11

1.00.01.16.06.11.20-.02-.12-.15.09.08

1.00.00.23.10.01.06

-.03-.08-.05.18

1.00.02.11.11.11

-.23-.07.02.17

1.00-.03.06

-.05.09-.05-.10.11

1.00.00.05-.09-.05.07.08

1.00.04

-.11-.15.03-.04

1.00-.01 1.00.06 .20-.17-.01

-.08.02

1.00-.14 1.00.03 -.08 1.00

De factoroplossing komt bijna geheel overeen met de oplossing die we eerder aan-troffen bij de consistentie-analyses over de drie groepen been. Alleen de items in defactoren 2 en 11 zaten daar bij elkaar op een factor (zie ook Bijlage 2).

Bij de constructie van de aanpak-maten zijn we als volgt te werk gegaan. De (groeps-gecentreerde) z-scores van de afzonderlijke items zijn eerst gedichotomiseerd (0-1)met als grens .5 standaarddeviatie boven het gemiddelde. Boven deze grens ligt (bijeen normaalverdeling van scores) ongeveer 30% van de respondenten. De dichoto-mieen geven dus aan ofer op dat item een sterke/intensieve aanpak is ofniet.De frequentieverdeling van het aantal malen 'intensief geven we in Tabel 3.10(N=aantal niet-missing scores, n=aantal items).

45

label 3.10 - Frequentieverdelingen aantal malen intensieve aanpak

N

TYDLZTyDTLRK

75 2568 22

HUISWRK 20 21 59REGIST 16 18 18 14 15 11INSTRUC 64 27 7 2LEESSTR 82 18PRFEXDI 46 22 23 4 4NACYFER 73 6 21NASERIE 35 10 55NAUITLG 33 12 55NANIEUW 62 13 26NAFOUT 53 14 33STERK 43 31 15VERWACH 16 31ONDERSD 49 51

730 17

531 1 tijd besteed aan lezen533 2 tijd besteed am taal en rekenen563 2 huiswerk in taal en rekenen565 6 registratie van vorderingen565 3 intensiteit van instructie

563 1 aandacht voor leesstrategie565 4 freq. exteme/diagnostische toetsen522 2 belang nakijken om cijfer te geven540 2 belang nakijken controle serieusheid549 2 belong nakijken om controle uitleg536 2 belang nakijken om nwe opdrachten552 2 belong nakijken om foutenanalyse562 4 inschat. eigen capaciteit (zwak-sterk)562 4 verwachting t.o.v. 11 (laag-hoog)565 1 extra nadruk op basisvaardigheden

Vervolgens is het gemiddelde van deze dichotomieen berekend, dat wil zeggenbovenstaande telling van het aantal intensieve items is gedeeld door het totale aantalitems in dat aspect. Op deze manier zijn de aspecten onderling direct vergelijkbaaromdat ze eenzelfde range hebben. Als een leerkracht bijvoorbeeld op 4 van de 6'registratie vorderingen'-items een intensieve aanpak heeft, krijgt hij/zij een score van4/6=.67, ofwel de proportie intensieve items.De aanpak-maten hebben dus een range van 0 (=op geen enkel item intensief) t/m 1(=op alle items intensief).Op de aspecten die in feite maar door een variabele gemdiceerd warden (V6atot,V24,Onders) krijgen we natuurlijk alleen de scores 0 ofl, en op aspecten die door tweevariabelen warden geindiceerd de scores 0, .5 of 1. De aanpak-aspecten zijn dan ookniet, zoals de meeste consistentie-maten, continu verdeeld. Voor gebmik als onaf-hankelijke variabele is dit echter geen probleem.

Van de 565 leerkrachten hebben er 476 geen enkele missing score op de 15 aspecten,25 hebben een missing en 64 hebben twee missings. Het betreft voomamelijk mis-sings op de aspecten 'nakijken om cijfer te geven' (N=43) en 'tijd besteed aanonderwijs' (N=30). Omdat we deze aspecten niet uit de analyse willen houden,hebben deze leerkrachten de gemiddelde waarde van de overige scores gekregen.

Zoals bij de behandeling van consistentie al vermeld, hebben we nog een algemeneaanpak-variabele gemaakt door telling van het aantal malen dat de aanpak-scoreboven .5 ligt, dat wil zeggen het aantal aanpak-aspecten waarop de leerkracht de helftofmeer van de activiteiten intensief uitvoert. De verdeling van deze telling geven we

46

in Tabel 3.11. Het gemiddelde van deze verdeling bedraagt 6.1.

Tabel 3.11 - Frequentieverdeling aanpak-aspecten op basis van telling

klasse 1 8 9 10 11 12 13

7 11 17 16 20 14 1 0 0

Deze algemene aanpak-intensiteit is vervolgens gedeeld door 15 (maximaal), zodatwe een aanpak-intensiteit score krijgen die ligt tussen 0 (geen intensieve aspecten) en1 (alle 15 intensief), ofwel de proportie intensieve aspecten..

Evenals bij de consistentie-maten zijn ook de aanpak-aspecten overwegend ongecor-releerd. Tabel 3.12 maakt dit duidelijk.

label 3.12 - Correlaties tussen aanpak-aspecten

TVDLZ 1.00TTOTLRK -.02 1.00HUISWRK -.02 -.02 1.00REGIST .02 .08 .05 1.00INSTRUC .03 -.05 .04 .05 1.00LEESSTR .00 -.01 .04 .03 .01 1.00PRFEXDI .00 .09 .09 .18 .06 -.01 1.00NACYFER .03 .00 .09 .04 -.07 .02 -.06 1.00NASERIE .03 -.03 .00 .04 .00 .01 -.06 .28 1.00NAUITLG .04 .04 .07 .05 .01 .01 .01 .12 .32 1.00NANIEUW .03 .01 .00 -.02 .12 .06 .07 .07 .05 .19 1.00NAFOUT -.04 -.09 -.00 .05 .06 .03 .10 .07 .03 .12 .25 1.00STERK -.02 -.00 -.01 .07 .12 .11 .04 .03 .09 .09 .07 .13 1.00VERWACH .02 .01 .01 .02 .01 .10 -.05 -.00 .06 .09 .11 .11 .43 1.00ONDERSD -.03 .03 .04 .00 -.05 -.00 .05 -.01 -.00 -.02 -.05 -.02 -.00 -.05 1.00

De correlatie tussen 'inschatting eigen capaciteit' en 'verwachting ten opzichte van deleerling' ontstaat omdat de variabelen in beide factoren feitelijk op een factor laden,maar de lading van de ene factor is lager dan die van de andere. Om inhoudelijkegronden laten we de twee factoren apart in de analyse.

We hebben ook nog de correlaties berekend met enkele leerkrachtkenmerken, teweten: geslacht; omvang aanstelling; aantal jaren in het onderwijs; aantal jaren op

47

deze school; aantal jaren ervaring in groep 7; aantal voltooide opleidingen; aantalgevolgde nascholingscursussen in de afgelopen twee jaar. De resultaten van dezeanalyses presenteren we in Tabel 3.13.

Tabel 3.13 - Correlaties tussen aanpak- en leerkrachtkenmerken

leerkrachtkenmerken*3456

AANPINTT^DLZT^DTLRKHUISWRKREGISTINSTRUCLEESSTRPRFEXDINACYFERNASERIENAUITLGNANIEUWNAFOUTSTERK

.01-.13.04.00.00.04

-.01-.03-.04.05.10.12.04.01

VERWACH -.03ONDERSD -.01

.02

.05

..01

..02

.05-.07.01.06.07-.05-.06-.00.03-.04.01.04

..03

.02-.13-.01-.06-.06-.04-.07.03.06.03.01.07-.03-.01.05

-.00.03-.10-.02-.04-.06-.01-.05.02.07.05-.00.05-.00.02.04

..02

.03-.06.01-.03-.09-.00-.04.04.04.02-.04.02-.02-.00.00

..01

.02-.10-.06-.03.01-.05-.02-.00.04-.01-.04.05.01.01.04

..01

..02

.00-.03-.02.07.03.03.04-.03-.00.04.03-.01.03-.01

.04

.02-.01.06.02.01.01.10.00.01.01

-.04-.01-.00-.03.04

* Legenda: 1: geslacht; 2: omvang aanstelling; 3: leeftijd; 4: ervaring in het onderwijs; 5: ervaring opdeze school; 6: ervaring groep 7; 7: voltooide opleidingen; 8: gevolgde nascholing

Hoewel het om marginale samenhangen gaat, zien we dat mannelijke leerkrachtenrelatiefmeer tijd besteden aan lezen, en relatief minder aan het nakijken van werk omnieuwe opdrachten te maken. Ook besteden oudere leerkrachten relatief minder tijdaan taal en rekenen.

Een overzicht van de gemiddelde aanpak-intensiteit (vermenigvuldigd met 100)vinden we in de kolom 'totaal' van Tabel 3.14. De aanpak-aspecten zijn hier alsafhankelijke variabele gebruikt in een variantie-analyse met de gevolgde beroeps-opleiding van de leerkrachten als predictor. De gemiddelden van de inhoudelijkeaanpak-aspecten in deze tabel zijn ook te zien als het gemiddeld percentage van deafzonderlijke activiteiten dat door de leerkrachten intensiefwordt beoefend.

48

Tabel 3.14- Aanpak-intensiteit naar beroepsopleiding leerh-achten

beroepsopleiding Etapabo PA kweek- klos totaal

school

AANPINT 42 40 41 44 41 .06 .61 aantal sterke aanpak-aspecten

TYDLZ 20 26 26 25 25 .05 .72 tijd besteed aan lezenTYDTLRK 25 21 19 25 20 .06 .51 tijd besteed aan taal en rekenenHUISWRK 72 70 68 75 70 .03 .89 huiswerk in taal en rekenenREGIST 47 45 42 33 44 .07 .41 registratie van vorderingenINSTRUC 20 16 15 37 16 .12 .05 intensiteit van instructieLEESSTR 21 19 16 25 18 .04 .78 aandacht voor leesstrategiePRFEXDI 27 25 23 34 25 .06 .51 freq. exteme/diagnostische toetsenNACYFER 24 23 25 25 24 .03 .90 belang nakijken om cijfer te gevenNASERIE 62 56 64 51 60 .09 .24 belang nakijken controle serieusheidNAUITLG 59 61 62 84 61 .06 .52 belang nakijken om controle uidegNANIEUW 32 31 33 45 32 .04 .78 belang nakijken om nwe opdrachtenNAFOUT 36 34 46 60 39 .14 .01 belang nakijken om foutanalyseSTERK 25 25 23 35 24 .06 .60 inschat. eigen capaciteitVERWACH 43 43 42 53 42 .05 .74 verwachting t.o.v. 11ONDERSD 49 49 55 38 51 .07 .47 extra nadruk op basisvaardigheden

Uit de tabel kan warden afgeleid, dat er met twee aspecten een (zwakke) samenhangbestaat (Eta=vet). De samenhang is steeds zo, dat groepen waar de leerkracht eenklos-opleiding heeft gevolgd een iets sterkere aanpak kennen dan de overige groepen.Gemiddeld is er op 41% van de aspecten (6.1/15) sprake van een intensieve aanpak.Ook bestaat er op bijna de helft (44%) van de zes items met betrekking tot het aspect'registratie van vorderingen' een sterke aanpak.

Als we, zoals we ook bij consistentie deden, de range van 0-1 in vijfklassen met eenbreedte van .2 indelen, dan zien de verdelingen van de aanpak-intensiteiten er alsvolgt uit (Tabel 3.15), ook weer gesorteerd op de ++ categorie.

49

Tabel 3.15 - Percentages groepen in vijf aanpak-klassen

0-.2 .2-.4aanpak-klasse.4-.6 .6-.8 .8-1.00 + ++

AANPINT 11 44 40 5 0 aantal sterke aanpak-aspectenHUISWRK 20 .21 0 59 huiswerk in taal en rekenenNAUITLG 32 .12 3 53 belang nakijken om controle uitlegNASERIE 33 .10 4 53 belang nakijken om controle serieusheidONDERSD 49 . . .51 extra nadrok op basisvaardighedenNAFOUT 52 2 14 .32 belang nakijken om foutanalyseNANIEUW 58 5 12 . 24 belang nakijken om nwe opdrachtenTYDLZ 70 6 . .24 tijd besteed aan lezenREGIST 34 18 14 15 20 registratie van vorderingenNACYFER 68 8 5 .19 belang nakijken om cijfer te gevenLEESSTR 82 . . .18 aandacht voor leesstrategieTYDTLRK 65 6 21 . 9 tijd besteed aan taal en rekenenVERWACH 16 30 30 17 7 verwachting t.o.v. leerling (laag-hoog)PRFEXDI 46 22 23 4 4 frequentie exteme/diagnostische toetsenSTERK 42 32 15 7 4 inschatting eigen capaciteit (zwak-sterk)INSTRUC 64 26 1 72 intensiteit van instmctie

Als we vervolgens in Tabel 3.16 de ++ klassen van consistentie en aanpak naastelkaar zetten, gesorteerd op mate van consistentie, dan zien we dat ruwweg een hogemate van consistentie samengaat met een lage uitvoeringsintensiteit. (De percentageszijn niet exact gelijk aan die in Tabellen 2.6, respectievelijk 2.15. In Tabel 3.16 zijnwe uitgegaan van de 492 groepen die uiteindelijk in de multilevel-analyses meedoen(zie paragraaf 3.4), waarbij groepen zijn weggelaten waarvoor de vergelijkingaanpak-consistentie niet optimaal vast te stellen is.)

50

Tabel 3.16- Percentages in de++ klassen en correlatie aanpak*consistentie

consistentie aanpak correlatie

INSTRUC 47 2 -0.41 intensiteit van instructieVERWACH 40 8 -0.05 verwachting t.o.v. leerling (laag-hoog)PRFEXDI 40 4 -0.29 frequentie exteme/diagnostische toetsenTYDTLRK 39 8 -0.17 tijd besteed aan taal en rekenenREGISTR 37 20 -0.09 registratie van vorderingenTYDLZ 35 25 -0.22 tijd besteed am lezenSTERK 34 3 -0.07 inschatting eigen capaciteit (zwak-sterk)LEESSTR 28 19 -0.29 aandacht voor leesstrategieONDERSD 27 50 0.04 extra nadruk op basisvaardighedenNACYFER 24 19 -0.25 belang nakijken om cijfer te gevenNASERIE 24 51 0.25 belang nakijken om controle serieusheidNAUITLG 24 52 0.24 belang nakijken om controle uitlegNANIEUW 22 25 -0.02 belang nakijken om nwe opdrachtenNAFOUT 19 32 0.02 belang nakijken om foutanalyseHUISWRK 17 60 0.08 huiswerk in taal en rekenen

Tabel 3.17 - Percentages in de++ klassen grqfisch weergegeven

INSTRUCVERWACHPRFEXDI TTDTLRK REGISTR TfDLZ STERK LEESSTRONDERSDNACVFER NASERIE NAUITLO NAN16UW NAFOUT HUISWRK

Legenda

niramtr

51

Zo is er in bijna de helft van de groepen een hoge mate van consistentie op school op'intensiteit van instructie'. Het gaat dan om de mate van individuele instructie. Bijslechts 2% van de groepen is echter sprake van een sterk individuele aanpak. Ander-zijds bestaat bij 'slechts' 21% van de groepen consistentie op school wat betreft hetgeven van huiswerk in taal en rekenen, terwijl in groep 8 door 59% van de leerkrach-ten huiswerk in taal en rekenen wordt gegeven.

Dat het ruwweg tegengesteld verlopen van deze trends niet noodzakelijk betekent datop groepsniveau groepen met een hoge consistentie op een bepaald aspect ook bijnaaltijd een lage aanpak-intensiteit hebben op dat aspect, laten de correlaties zien tussenaanpak en consistentie zien.Alleenbij:

intensiteit van instructie

- frequentie exteme/diagnostische toetsentijd besteed aan taal en rekenentijd besteed aan lezenaandacht voor leesstrategiebelang nakijken om cijfer te geven

kan men zeggen dat groepen met een hoge consistentie op school oververtegenwoor-digd zijn op een laag niveau van aanpak ('hoog' negatieve correlaties).Omgekeerd is het zo dat groepen met een hoge consistentie op school op:- belang nakijken om controle serieusheid- belang nakijken om controle uitlegoververtegenwoordigd zijn op een hoog niveau van aanpak ('hoog' positieve correla-ties).Omdat de verdeling van de groepen over de verschillende combinaties van aanpak-en consistentie-niveaus van belang is bij de interpretatie van de (in paragraaf 3.5uitgevoerde) interactie-effecten van aanpak en consistentie op prestaties, hebben wein Bijlage 1G de kmistabellen verzameld van de verschillende aanpak*consistentiecombinaties.

Bij de interactie-effecten gaat het immers om het vaststellen van verschillen in trendsin toetsscore over de aanpak-niveaus voor de verschillende consistentie-niveaus. Debetrouwbaarheid en stabiliteit van een dergelijke trend binnen een bepaald niveau vanconsistentie is direct afhankelijk van de (verdeling van de) aantallen groepen over debijbehorende aanpak-variabele. Als veel groepen geconcentreerd zijn in een bepaaldeaanpak-consistentie combinatie binnen een bepaald niveau van consistentie, dan is desamenhang aanpak-toetsscore voor dat niveau van consistentie onstabiel. Dit isalgemeen het geval als aanpak en consistentie hoog correleren.

Om niet te veel cellen met lage aantallen groepen te krijgen zijn zowel de aanpak- alsde consistentie-variabelen in drie klassen ingedeeld.Bij vrijwel alle consistentie-variabelen zijn de vijf klassen uit Tabel 3.6 verder in-

52

gedikt door de klassen 1, 2 en 3 (consistentie Vm 1.2) als 'lage consistentie' te be-schouwen, klasse 4 (1.2-1.6) als 'middelmatige consistentie' en klasse 5 (1.6-2.0) als'hoge consistentie'.Alleen bij 'extra nadruk op basisvaardigheden' is de klasse 3 (.8-1.2) samengevoegdmet klasse 4 als 'middelmatige consistentie'. Dit is het enige aspect met een item datalleen de score 0 of 1 heeft. De gemiddelden voor de drie groepen zijn ongeveergelijk, zodat de groepgecentreerde z-scores vrijwel alleen scores -1 en 1 hebben. Bijdrie groepen biimen een school kunnen alleen de patronen 3*-1, 3*1 (maximaleconsistentie) en -1,-1,1 of 1,1,-1 voorkomen. Deze laatste twee hebben een standaard-deviatie (consistentie-score) van 1.15. We willen deze patronen als 'middelmatigconsistentie' (2 van de 3) aanduiden.

Bij de aanpak-variabelen is vanuit Tabel 3.15 de indikking toegepast: klasse 1 (0-.2)'laag'; klasse 2 en 3 (.2-.6) 'middelmatig'; klasse 4 en 5 (.6-1.0) 'hoog'.Alleen bij het aantal sterke aanpak-aspecten is de indeling 1 'laag', 2 'midden , en3,4,5 'hoog' gemaakt.

In de kruistabellen zijn per consistentie-niveau de kolompercentages gegeven, metdaaronder het aantal groepen waarop de percentages betrekking hebben. Onder detotaalpercentages van aanpak staat nog de samenhangsmaat Cramers V. Cellen metkolompercentages die 10 %-punten of meer afwijken van het totaalpercentage, diedus de plaatsen aangeven waar groepen relatief oververtegenwoordigd zijn, zijn vetgedrukt.

We zien bijvoorbeeld bij 'tijd besteed aan lezen' dat 88% van de groepen met eenhoge consistentie een lage aanpak heeft, terwijl slechts 8% hiervan een hoge intensi-teit van aanpak heeft. De betrouwbaarheid van het verschil in toetsscore in deze tweeextremen, die in vergelijking tot het scoreverschil in de andere niveaus van consisten-tie uitsluitsel geeft over de interactieve working van consistentie, is hier negatiefbei'nvloed door het geringe aantal groepen in de hoog-hoog combinatie.Zo is onze oorspronkelijke hypothese dat consistent niets doen de laagste toetsscoreoplevert, consistent een sterke aanpak hanteren de hoogste toetsscore en anders daartussenin, niet altijd betrouwbaar te toetsen.

We willen er hier nog eens op wijzen dat de aanpak-aspecten warden opgevat alsindicatoren van een achterliggend construct die zijn gemeten bij lezen, taal en reke-nen. Daarom warden de items met betrekking tot toetsintensiteit in taal niet afzonder-lijk gerelateerd aan de taalscore, respectievelijk de toetsintensiteit in rekenen nietafzonderlijk aan de rekenscore. We stellen dus een leerkrachtkenmerk 'toetsge-neigdheid' samen op basis van specifieke gedragingen bij lezen, taal en rekenen.Om dezelfde reden gebruiken we daarom ook het aspect 'aanleren leesstrategie' alsvoorspeller bij zowel de taal- als rekenprestaties. We gaan er namelijk van uit dat descore op dit item een indicatie is voor de mate waarin de leerkracht nadruk legt op

53

systematische orientatie en willen weten of dit aspect een relatie heeft met de hoogtevan de taal- en rekenscore.We willen ook nog benadrukken dat het doel van de factoranalyses niet was om tekomen tot zeer betrouwbare constructen. Het was mede bedoeld om te verifieren dateenzelfde aanpak voor taal en rekenen dikwijls hoog correleert. De alfa-betrouwbaar-heid van zulke factoren met slechts twee ofvier items is noodzakelijk laag.

3.4 Selectie van de analyse-eenheden

Voordat we over kunnen gaan naar de multilevel-analyses is het nodig dat de ver-schillende bestanden aan elkaar zijn gekoppeld. Daarbij warden in feite de analyse-eenheden op leerling- en op leerkracht/klas-niveau geselecteerd. De gevolgde proce-dure beschrijven we in deze paragraaf.

Van het oorspronkelijke leerlingenbestand met 13406 leerlingen in groep 8 (935groepen) zijn allereerst de leerlingen verwijderd waarvan de leerkrachten geen vra-genlijst hebben geretoumeerd ofwaarvan anderszins geen relatie kan warden gelegdtussen de leerlinggegevens en leerkrachtgegevens. Deze zijn dus niet koppelbaar envoor onze analyses daannee onbruikbaar. Het betrefit 4867 leerlingen (36%) en erresteren vervolgens nog 8539 leerlingen.

Na koppeling met het leerkrachtenbestand met aanpak-indexen van groep 7 en hetscholenbestand met aanpak-consistenties vallen nog 228 leerlingen afdoordat school-of leerkrachtkoppeling niet mogelijk is. Gedeeltelijk zijn dit leerlingen op scholenmet slechts een leerkracht in het leerkrachtenbestand van groep 3, 5 en 7. Dezescholen zijn niet in het scholenbestand met consistentie-indexen opgenomen. Erblijven 8311 leerlingen over waarvoor de koppeling tot stand is gekomen.

Omdat weegfactor als voorspeller gebruikt gaat warden van toetsscores wordenleerlingen met OVB-weegfactor 1.4 en 1.7 (schipperskinderen, resp. kinderen vantrekkende ouders) ook nog verwijderd, namelijk 63 leerlingen met factor 1.4 en 46met factor 1.7. Bovendien warden 427 leerlingen met missing op weegfactor verwij-derd. Tweederde van deze zijn geconcentreerd in 14 groepen waarin van vrijweliedereen de weegfactor onbekend is.

Omdat we voor de multilevel-analyse minstens 2 leerlingen binnen een groep willenhebben, hebben we nog 2 'groepen' met 1 leerling en 4 groepen met 2 leerlingenweggelaten. Ook 1 groep met 59 leerlingen is weggelaten.

Leerlingen zonder toetsscore zijn voor onze analyses ook onbruikbaar. Dit betreft 167leerlingen voor taal en 154 voor rekenen, met een overlap in deze missings bij 14leerlingen, waardoor 307 leerlingen afvallen.

54

Na al deze uitsluitingen is eerst berekend hoeveel procent van de leerlingen binneneen groep is uitgevallen. De verdeling van het percentage uitvallers in de 935 groepenhebben we in Bijlage IF afgebeeld. De 423 niet-koppelbare groepen hebben alle100% uitvallers. Van de overige 512 groepen heeft het overgrote deel een uitvalsper-centage van 10-20% ofminder. Als laatste zijn 14 groepen met een uitval van 40% ofmeer nog van analyse uitgesloten.

Zo hebben we uiteindelijk 7410 leeriingen over, verdeeld over 492 groepen in 447scholen. Van 402 scholen hebben we 1 groep 8 in het bestand en van 45 scholen 2groepen 8.

Omdat na al deze operaties bijna de helft van de leerlingen is uitgevallen, hebben wenog gekeken naar evenmele selectiviteit van deze uitval. De variabele 'wel/nietuitgevallen' is daartoe gecorreleerd met de variabelen die we in de multilevel-analy-ses gaan gebruiken. Daarbij vinden we dat vrijwel alle correlaties onder .05 liggen.De twee hoogste samenhangen zijn de correlatie van 'tijd besteed aan taal en rekenen'met uitval (r=.ll) en van OVB-weegfactor met uitval (r=.16). Met deze laatste sa-menhangend vinden we ook een correlatie van -.12 tussen taalscore en uitval, ofweluitvallers hebbeneen gemiddeld lagere taalscore. Voor weegfactor ziet de kmistabelmet uitval er uit zoals weergegeven in Tabel 3.18.

Tabel 3.18 - Uitval op leerlingniveau naar OVB-weegfactor (in %)

weegfactor inselectie uitval totaal

1.01.251.9

totaal

N

41.6 31.038.6 34.819.8 34.4

60.9 39.1

7410 4764

37.437.025.5

100.0

12174

We zien dat in de selectie relatief weinig 1.9-leerlingen zitten. Dit betekent nietzonder meer dat de selectie wat dit kenmei-k betrefi vertekend is. Het is immersvastgesteld dat het percentage 1.9-leerlingen in de PRIMA-steekproef voor groep 825.1% ligt (juist om effecten bij kleinere groepen - bv. allochtonen - op betrouwbarewijze te kunnen schatten, heeft binnen de totale PRIMA-steekproef een oversamplingvan deze groepen plaatsgevonden; vgl. Jungbluth e.a., 1996), waarmee de selectiejuist een deel van de vertekening uit het totaalbestand heeft verwijderd.Ook hebben we geconstateerd dat de correlaties tussen de variabelen binnen de

55

uitval- en niet-uitval-groepen (voor zover te berekenen) niet relevant van elkaarverschillen. We kunnen dus stellen dat de selectie een goede afspiegeling van depopulatie is.

3.5 Regressie-analyse op groepsniveau

Om een eerste indruk te krijgen van de te onderzoeken verbanden zullen we, vooraf-gaand aan de multilevel-analyses, enkele variantie- en regressie-analyses uitvoeren ophet gekoppelde bestand.

Binnen het PRIMA-cohort zijn in het schooljaar 1994/95 twee toetsen afgenomen,een taal- en een rekentoets. Met deze toetsen wordt het niveau van de algemene taal-en rekenvaardigheid bepaald. De taaltoets kent drie typen opgaven: morfologische,syntactische en semantische. De opgaven vragen van de leerlingen te beoordelen ofgegeven woorden correct ofvolgens conventie gebouwd ofgevormd zijn, of gegevenzinnen grammaticaal juist gebouwd zijn en of gegeven woorden, woordgroepen enzinnen qua betekenis adequaat zijn. De taaltoets telt 64 opgaven, en de rekentoets 40.De toetsscores zijn vooraf genormeerd op de maximum haalbare score, dus 64,respectievelijk 40. De gepresenteerde toetsscores zijn dus percentages van het maxi-maal haalbare (percentage goed beantwoorde items). Voor taal is het gemiddeldebinnen de hier onderzochte steekproef 78.7 met een standaarddeviatie van 11.7, envoor rekenen is het gemiddelde 63.8 met een standaarddeviatie 18.3.De histogrammen in Bijlage 1H laten de precieze verdeling van de scores zien.Hoewel beide verdelingen iets scheef zijn in de richting van de relatief lage scores,laat de verdeling van de rekenscores een grotere concentratie van relatief lage scoreszien dan de taalscores.

Bij de interpretatie van de ruwe regressiecoefficienten is het van belang te letten opde range van de verschillende variabelen. De ruwe regressiecoefRcient is immers de(gemiddelde) verandering in toetsscore bij een verandering van 1 punt op de predic-tor. Wat met 'gemiddeld' wordt bedoeld, wordt aan de hand van een regressie-analy-se met weegfactor als predictor duidelijk.De regressiecoefficienten zijn -7.4 voor taal en -8.6 voor rekenen. In Tabel 3.19 staande toetsscores uitgesplitst naar de drie klassen van weegfactor. De nominaal-metri-sche correlatiemaat Eta laat zien dat er sprake is van grote verschillen in gemiddeldetoetsscore. Hoewel de verschillen bij rekenen in absolute zin groter zijn dan bij taal, isde correlatie bij rekenen toch lager omdat de totale variatie in rekenscores groter isdan de variatie in taalscore.

56

Tabel 3.19- Toetsprestaties naar weegfactor (gemiddelden)

weegfactor1.0 1.25 1.9 totaal Eta N

taalrekenen

83.9 78.2 68.6 78.7 .48 .00 741070.5 61.9 53.3 63.8 .35 .00 7410

Het verschil tussen de 1.0- en 1.25-leerlingen is voor taal 5.7 en voor rekenen 8.6.Het verschil tussen 1.25- en 1.9-leerlingen is voor taal 9.6 en voor rekenen 8.6.Gemiddeld is het verschil voor taal 7.6 en voor rekenen 8.6. Deze waarden zijn nietexact gelijk aan de eerder genoemde regressiecogfficienten omdat de regressie-analy-se ook nog rekening houdt met de verdeling van aantallen leerlingen over de driecategorieen, waardoor het verschil tussen 1.25 en 1.9 (relatief weinig leerlingen) ietsminder wordt meegewogen.

De volledige range van de aanpak-aspecten is door de constructie als proportie be-perkt tot scores 0-1. Hier geeft de regressiecoefficient dan ook het totale toetsscore-verschil tussen leerkrachten met 0% sterkte ten opzichte van 100% sterkte.

De consistentie-maten hebben een theoretische range van 0-2. We hebben echtergezien dat de meeste scholen een index hebben binnen een gebied van iets meer dan 1punt, zodat, evenals bij aanpak, het totale effect van consistentie op toetsscore rede-lijk goed door de regressiecoefRcient wordt weergegeven.

In het volgende zullen we regressie-analyses uitvoeren die een redelijke benaderinggeven van de resultaten van de multilevel-analyses. Daartoe berekenen we eerst opleerlingniveau een gecorrigeerde toetsscore door weegfactor en groepssamenstellingte gebruiken als predictor van toetsscore. De restterm van deze predictie is de toets-score onder constanthouding van weegfactor en groepssamenstelling.Vervolgens berekenen we per groep de gemiddelde gecorrigeerde toetsscores.Deze warden daama op groepsniveau voorspeld vanuit elk van de aanpak-variabelen.Voor de interactie-bepaling aanpak*consistentie zullen we tweeweg variantie-analy-ses uitvoeren, waarbij de aanpak- en consistentie-variabelen in drie klassen zijningedikt, zoals in paragraaf3.3 uitgelegd.Bij deze regressie- en variantie-analyses wordt elke groep gewogen met het aantalleerlingen. Op deze manier komt de 'gewogen N' uit op N=7410. De standaardfoutenvan de predictoren warden daardoor (ten opzichte van multilevel-analyse gebaseerdop N=492) relatiefklein, waardoor kleine effecten dan al snel significant zijn op hetbij N=492 te hanteren kritieke significantie niveau van .001( .l%-niveau).Daarom is nog een vast extra gewicht van 492/7410 toegevoegd, waardoor we effec-tiefeen N gelijk aan het aantal groepen krijgen.

57

De zo verkregen regressiecoefficienten en standaardfouten zijn een goede benaderingvan de multilevel-analyse regressiecoefficienten en standaardfouten.In multilevel-analyse wordt nog rekening gehouden met de mate van betrouwbaar-heid van de gemiddelde gecorrigeerde toetsscore (het 'intercept'. Deze betrouwbaar-heid van het intercept is afhankelijk van de groepsgrootte. Bij lage betrouwbaarheidvan het intercept in een groep wordt dit intercept gecorrigeerd in de richting van hetalgemeen gemiddelde van het intercept. Algemeen is de betrouwbaarheid van hetintercept dermate hoog (dit in tegenstelling tot de betrouwbaarheid van regressieco-efficienten berekend op leerlingniveau), dat deze correctie weinig invloed heeft.Een gewogen voorspelling van (gecorrigeerde) gemiddelden vanuit hoger-niveaupredictoren geefit dan ook algemeen een goede benadering van het 'fixed' deel (re-gressiecoefficienten en standaardfouten) van de multilevel-analyse.

In de hiema te presenteren multilevel-analyses is voor de correctie van toetsscore ookhet product van weegfactor en groepssamenstelling als predictor ingevoerd. Dit isgedaan om methodologische redenen die uitgelegd zijn in Bijlage 3. In de regressie-analyses zullen we dit niet doen.

In Tabel 3.20 presenteren we de regressiecoefficienten. De effecten van weegfactoren groepssamenstelling zijn op leerlingniveau bepaald. De aanpak-effecten zijnbepaald op groepsniveau. (Ter informatie: de gemiddelden en standaarddeviaties vanweegfactor en groepssamenstelling zijn 1.78 en .75, resp. 1.78 en .53; de correlatie(op leerlingniveau) tussen beide factoren is .70.)

58

Tabe! 3.20 - Regressiecoefficienten van weegfactor en aanpak met toetsscores

taalsd P p B

rekenensd P p

WEEGFGWEEGF

R2* 100

-5.3-4.2

24.1

.2 -.34 .000"

.3 -.19 .000"-6.4^.4

13.3

.4 -.26 .000" individuele soc-etn achtergrond

.5 -.13 .000" soc-eta groepssamenstelling

AANPINT

TYDLZTyDTLRKHUISWRKREGISTINSTRUCLEESSTRPRFEXDINACYFERNASERIENAUITLGNANIEUWNAFOUTSTERKVERWACHONDERSD

R2* 100

-.3 1.2 -.01 .793 7.5 2.5 .14 .003" aantal sterke aanpak-aspecten

-.6.0.4.1

-2.6.3.1.6-.4.2-.4.1-.6.2.4

4.5

.4 -.06

.6 .00

.5 .04

.5 .01

.7 -.16

.4 .03

.6 .00

.4 .06

.4 -.05

.4 .02.4 -.04.4 .01.7 -.04.6 .01.4 .05

.178

.960

.339

.860

.001"

.549

.924

.176

.283

.638

.356

.816

.353

.790

.237

-.82.51.92.7-4.4.3

2.22.6-.81.5-.4.9-.71.22.1

10.4

.8 -.04 .357 tijd besteed aan lezen1.2 .10 .034* tijd besteed aan taal en rekenen.9 .10 .033* huiswerk in taal en rekenen

1.1 .11 .015* registratie vorderingen1.5 -.14 .003" intensiteit van instructie.9 .02 .726 aandacht voor leesstrategie

1.3 .08 .088 freq. exteme/diagn. toetsen.9 .14 .003" nakijken: cijfers geven.8 -.05 .297 nakijken: controle serieusheid.8 .09 .054 nakijken: controle uitleg.8 -.02 .620 nakijken: nwe opdrachten.8 .05 .248 nakijken: foutenanalyse

1.3 -.02 .599 inschatting eigen capaciteit1.2 .04 .341 verwachting t.o.v. 11.7 .13 .003" extra nadmk basisvaardigheden

.p<05;"p<.01

Zoals het bovenste deel van de label laat zien, is het zelfstandige effect van weegfac-tor op rekenen groter dan op taal, namelijk 6.4 punten per weegfactor-categorie tenopzichte van 5.3 punten. Het zelfstandige effect van de groepssamenstelling watbetreft de achterstandssituatie is voor beide toetsscores ongeveer 4 punten. In combi-natie met de geringere totale variantie in taal geeft dit een redelijk groot verschil invariantieverklaring (R2* 100) vanuit deze twee kenmerken, namelijk 24.1% voor taalen 13.3% voor rekenen. Dit komt ook tot uiting in de iets grotere gestandaardiseerderegressiecoefficienten P voor weegfactor en groepssamenstelling bij taal.Het onderste deel van de tabel maakt duidelijk dat de aanpak-aspecten nog maarweinig van de resterende taalvariatie kunnen verklaren, namelijk 4.5% ten opzichtevan 10.4% bij rekenen. Blijkbaar hangt de variatie in rekenscore voor een groter deelsamen met niet-leerling bepaalde factoren, terwijl de variatie in taalscore meer be-paald is door leerlinggerelateerde factoren.Aan de gestandaardiseerde regressiecoefficienten P is ook te zien dat de relevantievan de aanpak-effecten slechts marginaal is. We hebben het significantieniveau met 3

59

decimalen gepresenteerd om nog eens te laten zien dat een gestandaardiseerd effectmet een significantieniveau gelijk aan het kritieke significantieniveau dat hoort bij hetaantal analyse-eenheden, hier bij N=492: p=.001 - .002 kritiek significantieniveau,altijd op .15 uitkomt, wat dan ook vaak wordt beschouwd als een absoluut minimumvoor relevantie van een effect.

We zien dat van de inhoudelijke aanpak-aspecten de intensiteit van de instructie(groepsgewijs/individueel) een negatieve samenhang heeft met zowel de taal- alsookde rekenscore. Individuele instmctie gaat blijkbaar samen met een gemiddeld laagtoetsscore-niveau.

Ook hangen het 'belang van nakijken van werk om een cijfer te geven' en 'extranadruk leggen op basisvaardigheden' positief samen met de rekenscore, dat wilzeggen als een cijfer kunnen geven een belangrijke reden is om werk na te kijken ener meer nadruk gelegd wordt op basisvaardigheden, dan gaat dit samen met eengemiddeld hogere rekenscore van de groep.De ongestandaardiseerde regressiecoefficient van 'aantal sterke aanpak-aspecten isrelatief hoog voor rekenen, 7.5 punten rekenscore voor het verschil tussen geen enalle aspecten. Dit komt omdat de feitelijke range bij deze variabele (nl. 98% van degroepen heeft 2-10 sterke aspecten bij maximaal 15, zie Tabel 3.11) maar over on-geveer de helft van de, na standaardisering, theoretische range van 0-1 loopt.Het verschil in toetsscore tussen minimaal en maximaal aantal aspecten van ongeveer4 punten wordt daardoor bijna verdubbeld als het gaat om de regressiecoefficient, dieimmers de verwachte verandering in toetsscore geeft tussen geen ten opzichte van alleaspecten sterk.

Met opzet spreken we hier steeds over 'gaat samen met' en niet over 'leidt tot'. Eencausale interpretatie van deze effecten is ons inziens namelijk onwaarschijnlijk.Om te beginnen is daar het vreemde resultaat dat individuele instructie zou leiden totlagere toetsscores. Deze samenhang zou op de volgende manier kunnen ontstaan:er zijn groepen/scholen waar de toetsprestaties, zelfs rekening houdend met de achter-standssituatie van de groep, relatief laag zijn. In de praktijk wordt dan meer individu-ele aandacht gegeven aan de leerlingen in de verwachting dat dit een positief effectheeft op de prestaties. Als het wel of niet geven van individuele instructie echter infeite geen effect heeft op de prestaties, zullen deze dus relatief laag blijven. Er ont-staat dan de situatie dat er groepen zijn waar veel individuele instructie wordt gege-ven, terwijl de toetsscores laag blijven en omgekeerd groepen waar het omgekeerdeplaatsvindt, namelijk er wordt meer groepsgewijze instructie gegeven omdat detoetsscores relatiefhoog zijn. Op deze manier ontstaat op groepniveau een negatieveschijnrelatie tussen het geven van individuele instructie en de gemiddelde toetsscorevan de groep.Het is zelfs mogelijk dat het geven van individuele instructie wel een positief effectheeft op de toetsprestaties van de leerlingen, terwijl deze relatie op groepsniveau nietterug wordt gevonden, namelijk: er is een positief effect van het geven van individue-

60

Ie instructie, maar dit effect is niet zo sterk dat de groep een jaar later een relatiefhoge toetsprestatie gaat behalen. Omgekeerd kan er een negatief effect zijn van hetgeven van voomamelijk klassikale instructie in groepen die het al goed doen, maarnetto leidt dit er niet toe dat deze groepen een tijd later een relatieflage toetsprestatiegaan halen.

Ook bij de overige effecten van aanpak op rekenscore zou een altematieve verklaring,in plaats van een causale interpretatie mogelijk zijn. Bijvoorbeeld: De leerkrachtconstateert dat de groep goed presteert in rekenen. Omdat de leerkracht ziet dat hetgoed gaat met de groep is hij gestimuleerd/heeft hij meer gelegenheidom meer tijd tebesteden, huiswerk te geven / extra nadruk te leggen op basisvaardigheden (goed alszelfbevestiging voor de leeriingen), te registreren / werk na te kijken om een cijfer tegeven (is goed voor zijn imago). Als deze activiteiten in feite geen effect hebben opde prestaties zullen deze leerlingen eenjaar later nog steeds goed presteren. In combi-natie met groepen waar het omgekeerde het geval is, ontstaat op deze manier eenpositieve samenhang tussen aanpak en prestaties een jaar later.

Met aannemelijk maken van een causale relatie kan alleen door zowel de aanpak vanindividuele leerkrachten als de toetsprestaties van individuele leerlingen over eenaantal jaren te registreren. Maar zelfs in zulk een longitudinaal design is het effect vanaanpak volledig verweven met andere factoren die ook het effect op prestaties zoudenkunnen verklaren. Het gaat dan am:- andere veranderde omstandigheden dan de verandering in aanpak, bijvoorbeeld

een algemene verandering in de benadering van leerlingen op school (meer/minderstimulerend);

- het effect van 'tijd', namelijk enerzijds het ouder warden van de leeriing (oudereleerlingen zouden afgezien van de verandering in aanpak hogere prestaties kunnenhalen) en anderzijds gewenning aan de veranderde aanpak, waardoor deze steedsminder effect zou kunnen krijgen.

Om deze effecten te scheiden van het experimentele effect van aanpak is een cohort-design nodig, waarin verschillende groepen (bv. 3 t/m 8) startend in verschillendejaren warden gevolgd wat betrefit aanpak en prestaties.Ook een groeimodel-analyse, waarbij een bepaalde ontwikkeling in prestaties van degroepen over de tijd als basis wordt gebruikt voor de bepaling van het aanpak-effect,behoort tot de mogelijkheden.Een complicerende factor is ook nog dat de toetsprestaties in de verschillende groe-pen warden vastgesteld met equivalente, maar niet gelijke toetsen. Verschuivingen inmoeilijkheidsgraad zijn zo verweven met eventuele effecten van aanpak.

In Tabel 3.21 staan de resultaten, voor zover relevant, van variantie-analyses. Naastde gemiddelde gecorrigeerde toetsscore is de Eta voor aanpak [E(A)] en de Eta voorinteractie aanpak*consistentie [E(I)] gegeven, met de aanduiding voor significantie.

61

Tabel 3.21- Gemiddelde (gecorrigeerde) toetsscores en variantie-analyse Eta's

aanpak: laag

TAALconsistentie

midden hoog totaal

REKENENconsistentie

laag midden hoog totaal

aantal sterke aanpak-aspecten

middenhoog

E(A)E(I)

797979

797878

797879

797979

.03 .06

626466

626364

716163

626365

.13* .09

tijd besteed am lezen

midden

hoog

E(A)E(I)

797779

797978

797779

797878

.07 .08

645864

656163

646364

646163

.09 .08

tijd besteed aan too/ en rekenen

midden

hoog

E(A)E(I)

777879

797978

797883

797979

.02 .13

616167

636662

646774

636566

.11* .15*

huiswerk taal en rekenen

midden

hoog

E(A)E(I)

787978

797879

787980

787979

.05 .10

616564

636164

656465

626364

.10 .10

registratie vorderingen

midden

hoog

E(A)E(I)

797979

807979

787778

797879

.08 .05

656565

656465

616264

636365

.10 .06

62

Vervolg Tabel 3.21- Gemiddelde (gecorrigeerde) toetsscores en variantie-analyseEta's

TAALconsistentie

midden hoog totaal

REKENENconsistentie

midden hoog totaal

intensiteit van instructie

middenhoog

E(A)E(I)

807978

797877

797873

797877

.16** .12

666462

646360

646457

646360

.15** .06

aandacht voor leesstrategie

midden

hoog

E(A)E(I)

79

79

78

80

78

79

79

79

.02 .08

65

64

63

67

63

62

64

64

.01 .09

frequentie externe/diagnostische toetsen

laagmidden

hoog

E(A)E(I)

797978

787978

787976

787978

.09 .06

646566

636561

636461

636464

.09 .07

belong nakijken om cijfer te geven

laagmidden

hoog

E(A)E(I)

797979

797878

787879

797879

.06 .05

646266

636566

626364

636466

.13** .10

belong nakijken om controle serieusheid

middenhoog

E(A)E(I)

797879

807978

797779

797879

.08 .09

646163

676564

626263

646463

.05 .10

63

Vervolg Tabel 3.21- Gemiddelde (gecorrigeerde) toetsscores en variantie-analyseEta's

aanpak: laag

TAALconsistentie

midden hoog totaal

REKENENconsistentie

laag midden hoog totaal

belong nakijken om controle uitleg

middenhoog

E(A)E(I)

797879

807879

777778

797879

.06 .08

636365

636364

615964

636364

.10 .05

belong nakijken om nieuwe opdrachten

laag 79midden 79hoog 79

E(A)E(I)

807879

787877

797978

.05 .08

636464

656465

636361

646463

.02 .04

belong nakijken omfoutenanalyse

laag 78midden 78hoog 79

E(A)E(I)

797879

798079

797879

.03 .06

636465

646366

646463

646365

.06 .10

inschatting eigen capaciteit (zwak-sterk)

midden

hoog

E(A)E(I)

797979

797879

787978

797979

.05 .14

646565

646364

656462

646364

.05 .08

venvachting t.o.v. leerlmg (laag-hoog)

laag 77midden 80hoog 78

E(A)E(I)

797978

797879

797979

.02 .14*

606663

646564

646364

636464

.03 .11

64

Vervolg Tabel 3.21- Gemiddelde (gecorrigeerde) toetsscores en variantie-analyseEta's

aanpak: laag

TAALconsistentie

midden hoog totaal

REKENENconsistentie

laag midden hoog totaal

extra nadruk op basisvaardigheden

laag 77midden

hoog 79

E(A)E(I)

78 79 78 57 63 64 63

79 80 79 64 64 67 65

.05 .06 .13<"t .10

We zien allereerst dat de Eta's voor de verschillende aanpak-aspecten vrijwel identiekzijn aan de P's uit Tabel 3.20. Dit betekent dat de samenhang tussen aanpak entoetsscore vrijwel geheel lineair is. Het is dus niet zo dat de lage P's (lineaire samen-hang) het gevolg zijn van sterk niet-lineaire effecten, waarbij bijvoorbeeld de gemid-delde toetsscore voor lage en hoge aanpak hoog en de gemiddelde toetsscore voor eenmidden-sterke aanpak laag is. Dit zou een hoge Eta geven (sterke totale, nominaal-metrische, samenhang) in combinatie met een lage P.

Ook zien we dat er van interactieve werkingen van consistentie geen sprake is, er zijnnamelijk maar twee interactie-effecten significant op slechts 5%-niveau. Aan de Eta svan .15 en .14 is te zien dat deze interactie-effecten geen relevantie hebben.Het deel van de label met het interactie-effect van Eta=.15, 'tijd besteed aantaal/rekenen' bij rekenen, suggereert dat er sprake is van grote verschillen in gemid-delde toetsscore in de verschillende combinaties van aanpak en consistentie. Wemoeten er daarbij echter rekening mee houden dat deze combinaties met extremeuitschieters, namelijk de aanpak*consistentie combinaties hoog-midden en hoog-hoog, zeer weinig groepen bevatten, zoals te zien in de kruistabellen in Bijlage 1G.De interactie is dan ook feitelijk grotendeels bepaald door de laag en midden aanpak-categorie van dit aspect.Het gemiddelde-verschil in toetsscore tussen deze beide klassen is voor lage consis-tentie 0 punten, en voor gemiddelde en hoge consistentie 3 punten, wat de (geringe)inhoudelijke betekenis van deze interactie aangeefit.

65

3.6 Multilevel-analyses

Om een betere schatting van de standaardfout van de regressiecoefficienten te krijgen,rekening houdend met de tweeniveau-situatie, hebben we multilevel-analyses uitge-voerd (vgl. Bryk & Raudenbusch, 1992). Het daarvoor gehanteerde programma isMLn (Rasbash & Woodhouse, 1996). De analyses zijn op de volgende, modelmatigemanier opgebouwd:

Model 0. Een nul-model wordt berekend, dat wil zeggen op beide niveaus wordtalleen een constante als predictor gebruikt. We kunnen dan zien hoeveelvan de variantie in toetsscores gebonden is aan elk van de twee niveaus.

Model 1. Op leerlingniveau wordt weegfactor als predictor ingevoerd. We ziendan hoeveel procent van de variantie op elk niveau voorspeld wordt doorweegfactor.

Model 2. Op groepsniveau wordt de gemiddelde weegfactor ingevoerd in zowel devoorspelling van het intercept alsook in de voorspelling van de regressie-cogfficient. Hieruit wordt duidelijk wat de zelfstandige werking is van desociaal-etnische groepssamenstelling en de cross-level interactie tussende sociaal-etnische achtergrond van de leerling en de sociaal-etnischesamenstelling van de klas waarin de leerling zit.

Met de invoering van de individuele (leerling-) en groepsweegfactor en hun interactiezijn de toetsscores dan op beide niveaus volledig gecorrigeerd voor de invloed van deachterstandsfactor. Dit model gebruiken we vervolgens als basis om de extra werkingvan aanpak- en consistentie-effecten te evalueren. (Voor een technische uitleg van dewijze waarop dat precies is gebeurd, verwijzen we naar Bijlage 3.)

Model 3. Elk van de aanpak-aspecten wordt hier ingevoerd. We bepalen hier dushet zelfstandige effect van aanpak, ofwel het partiele effect van aanpakonder constanthouding van individuele achterstandsfactor en groepssa-menstelling.

Correlationele analyses (vgl. Bijlage II) laten echter zien dat groepssamenstellingvrijwel ongecorreleerd is met de didactische aanpak. De totale werking van aanpakzal daarom vrijwel gelijk zijn aan de zelfstandige werking. De drie zwakke correlatiesgroter dan .10 laten zien dat de constructies niet geheel 'at random' zijn, namelijk datin groepen met relatiefveel achterstandskinderen: iets minder werk wordt nagekekenom een foutenanalyse te maken (r=-.15), de leerkracht iets minder hooggespannenverwachtingen heefit van de leerlingen (r=-.16), en iets meer aandacht wordt besteedaan basisvaardigheden (r=.13). Dit zijn samenhangen die in de lijn der verwachtingenliggen. Daarom is het des te vreemder dat de overige, meer specifieke, didactischeaspecten vrijwel 0 correleren met groepssamenstelling. Blijkbaar bestaat er weinigstructuur in de afstemming van een specifieke didactische aanpak op de 'mate van

66

achterstand' van de groep.

Model 4. Het produkt van aanpak en consistentie wordt toegevoegd om een schat-ting te krijgen van het (lineaire) groep-level interactie-effect. Voor eengoede schatting van de interactie warden ook de betreffende hoofdeffec-ten tegelijk met de produktterm in de voorspelling opgenomen. Voor hetverschil tussen deze interactie en de interactie door middel van twee-wegvariantie-analyse zoals die in de vorige paragraaf is uitgevoerd, verwij-zen we naar Bijlage 4.

Omdat voor taal en rekenen samen 68 multilevel-analyses moeten warden uitgevoerd,zal alleen voor model 0, 1 en 2 een berekening warden gemaakt van de variantiever-klaring. De 'deviance' van modellen 3 en 4 zal niet warden gepresenteerd, evenminals de parameterschatting van de constante. De reden voor deze beslissingen ligtenerzijds in de presenteerbaarheid van alle gegevens en anderzijds in het feit dat dezegegevens geen extra informatie geven. Het is namelijk zo dat:- de parameterschatting van de constante voor elk model vrijwel gelijk is aan 78.5

voor taal en 63.4 voor rekenen;

de significantie van het verschil in deviance ten opzichte van model 2 exact gelijkis aan de significantie van de z-waarde van het aanpak-, respectievelijk interactie-effect (model 3, resp. model 4).

Nemen we als voorbeeld het aspect 'registratie van vorderingen' in model 3 voorrekenen (Tabel 3.23). Voor toetsing van het fixed effect vinden we een regressieco-efficient van 2.808 met een standaardfout van 1.175. De verhouding van deze tweegeeft een z-waarde van 2.39, wat neerkomt op een p-waarde voor significantie van.017 (tweezijdig getoetst). Voor toetsing van het random effect krijgen we in model 3een deviance van 62474.2. Het verschil met de deviance van model 2 (62479.9) geeft5.7 als Chi2-waarde. Bij 1 vrijheidsgraad levert dit een significantieniveau van p=.017(eenzijdig). Deze gelijkheid is alleen exact als op het hogere niveau veel steekproef-eenheden voorhanden zijn, zoals in ons geval.

Kijken we nu dan naar de resultaten van de analyses; deze staan in Tabel 3.22 enTabel 3.23. In het bovenste deel van de tabellen staan de ongestandaardiseerderegressie-coefficienten gevolgd door - tussen () - de bijbehorende standaardfouten.De afzonderlijke aspecten zijn met * gemerkt als p <.05, een zeer zwak effect aandui-dend,en** alsp<01

67

Tabel 3.22 - Resultaten multilevel-analyses met betrekking tot taal; ongestandaardi-seerde regressiecoefficienten en () standaardfouten

model

REGRESS1ECOEFFICIENTENleerlingniveau:weegfactor

leerkrachtniveau:

gemiddelde weegfactorinteractle

aantal sterke aanpak-aspecten

tijd besteed aan lezentijd besteed aan taal/rekenenhuiswerk gevenregistratie van vorderingenintensiteit van instructie

aandacht voor leesstrategiefrequentie exteme/diagnostische toetsenbelang nakijken om cijfer te gevenbelang nakijken om controle serieusheidbelang nakijken om controle uitlegbelang nakijken om nwe opdrachtenbelang nakijken om foutanalyseinschatting eigen capaciteit (zwak-sterk)verwachting t.o.v. leerling (laag-hoog)extra nadruk op basisvaardigheden

-6.3 (.2)" -5.2 (.2)"

-3.7-1.7

(.4)"(.4)"

.1 (1.3) 5.8 (2.9)'

-.6 (.4).0 (.6).5 (.5).3 (.6)

-2.4 (.7)".3 (.5).3 (.7).5 (.5)-.4 (.4).1 (.4)-.5 (.4).3 (.4)-.8 (.7).4 (.6).5 (.4)

1.3-1.11.6.0

-2.92.51.0-.3-.4.4-.9-.1.6

2.9

(1.1)(1.4)(1.3)(1.7)(1.6)(1.2)'(1.7)(1.2)(.9)(.8)

(1.0)(1.0)(2.0)(2.1)(.7)

VARIANTIECOMPONENTENverkl. variantie leerlingniveau 75%verkl. variantie leerkrachtniveau 25%

deviantie 56298

8%65%

55357

75%

55237

' p <05; " p <01

68

Tabel 3.23 - Resultaten mvltilevel-analyses met betrekking tot rekenen; ongestan-daardiseerde regressiecoefficienten en () standaardfouten

model3

REGRESSIECOEFF1CIENTENleerlingniveau:weegfactor

leerkrachtniveau:gemiddelde weegfactorinteractie

aantal sterke aanpak-aspecten

tijd besteed aan lezenrijd besteed aan taal/rekenenhuiswerk gevenregistratie van vorderingenintensiteit van instmctie

aandacht voor leesstrategiefrequentie exteme/diagnostische toetsenbelang nakijken om cijfer te gevenbelang nakijken om controle serieusheidbelang nakijken om controle uitfegbelang nakijken om nwe opdrachtenbelang nakijken om foutanalyseinschatting eigen capaciteit (zwak-sterk)verwachting t.o.v. leerling (laag-hoog)extra nadruk op basisvaardigheden

-7.1 (.3)" -6.4 (.3)"

-4.6 (.8)"1.2 (.7)

7.3 (2.6)" 5.0 (5.8)

-.72.02.12.8

-5.7.4

2.82.6

-1.11.2-.31.2-.71.62.1

(.9)(1.2)(1.0)(1.2)'(1.5)"(.9)(1.4)'(.9)"(.8)(.8)(.9)(.8)(1.4)(1.3)(.7)"

.8.2.1.3

4.7-5.94.11.62.22.11.1

-3.1-1.6-3.73.82.5

(2.2)(2.9)(2.6)(3.5)(3.2)(2.5)(3.5)(2.4)(1.8)(1.7)(2.0)(2.0)(4.1)(4.3)(1.5)

VARIANTIECOMPONENTENverkl. variantie leerlingniveau 76%verkl. variantie leerkrachtniveau 24%

deviantie 63002

5%35%

62511

40%

62480

.p<.05;"p<01

Voor zowel taal als ook rekenen zijn er significante, negatieve effecten van de indivi-duele en groepsweegfactor. Dit betekent dat allochtone arbeiderskinderen slechterpresteren dan autochtone arbeiderskinderen, en die weer slechter dan niet-achter-standskinderen. Maar naast dit negatieve effect van de individuele sociaal-etnischeachtergrond van het kind is er ook nog een negatief effect van de sociaal-etnischesamenstelling van de klas waarin de leerling zit. In klassen met veel achterstandskin-deren zijn de prestaties nog eens extra laag.Bij taal is er tevens sprake van een significante zogenaamde crosslevel interactie

69

individuele*groepsweegfactor. Random het gemiddelde individuele achterstandsef-feet op taal van -5.2 punten is er dus een verandering van dit effect van -1.7 puntenvoor elk punt toename in groepachterstandsscore. Dit betekent dat de individueleweegfactor in groepen met veel achterstandskinderen een grotere rol speelt als(nega-tieve) voorspeller van taalscore dan in groepen met weinig achterstandskinderen.

Vergelijking van de tabellen voor taal en rekenen laat zien dat de toetsscores voor taalen rekenen voor een even groot deel uit systematische variantie op groepsniveaubestaan, namelijk 25% en 24%. De individuele weegfactor verklaart bij taalscores eengroter deel van de systematische groepsvariantie dan bij rekenen, 65% ten opzichtevan 35%. Voor de verklaring van de resterende groepsvariantie vanuit de gemiddeldeweegfactor (i.c. de sociaal-etnische groepssamenstelling) geldt dit ook, namelijk 10%(75-65%) bij taal ten opzichte van 5% (40-35%) bij rekenen. Alles bij elkaar kunnenwe dus zeggen dat variatie in taalscores sterker op een systematische manier gerela-teerd is aan achterstandsfactoren dan variatie in rekenscores.

Wat de effecten van de aanpak-aspecten betreft zien we dat zowel de grootte van deeffecten alsook hun standaardfouten redelijk overeenkomen met die van Tabel 3.20.Ook hier is het sterkste effect te vinden bij 'intensiteit van instructie' op rekenen. Dez-waarde is 3.8 met p-waarde <.001. De variantieverklaring door dit effect is 3.2%,wat omgerekend een gestandaardiseerde werking geeft van -.18.De andere effecten bij rekenen met p-waarde <.01 (**) namelijk 'belang nakijken omcijfer te geven' en 'extra nadruk op basisvaardigheden', hebben een z-waarde vanrond de 3, en krijgen daarmee ook gestandaardiseerde werkingen van ongeveer .15.Omdat we bij 500 groepen (klassen) een maximale p-waarde voor significantieaannemen van p=.001 (zie ook Bijlage 5), kunnen we dus stellen dat alleen 'intensi-teit van instructie' een significant effect heeft.

Verder is er geen enkel interactie-effect tussen aanpak en consistentie van de aanpaksignificant op een voor ons interessant niveau; slechts 'aandacht voor leesstrategie' en'aantal sterke aanpak-aspecten' hebben een interactief effect op 5%-niveau.

We hebben ook nog een multilevel-analyse uitgevoerd waarbij alle aanpak-aspectentegelijk zijn ingevoerd. We krijgen dan de zelfstandige effecten van deze aspecten,dus rekening houdend met de (lage) correlaties tussen de aspecten. Zowel voor taalals rekenen blijven dezelfde effecten in vrijwel dezelfde mate significant. De 15aspecten verklaren samen 7.8% van de systematische (=groepsniveau) variantie in degecorrigeerde taalscore. Dit komt overeen met een multipele R=.28 Het verschil indeviantie ten opzichte van model 2 is niet significant, p=.10. Voor rekenen vinden weeen variantieverklaring van 14.9%, ofwel een multipele R=.39, met p=.00.

Alles overziend kunnen we stellen dat er weliswaar enkele systematische invloedenzijn vast te stellen van de didactische aanpak van de leerkracht, maar dat het niet uit

70

te sluiten is dat deze veroorzaakt warden door andere mechanismen dan een directcausale invloed. We kunnen dan ook niet zonder meer aanraden om bijvoorbeeldalleen klassikaal instructie te geven.

3.7 Vergelijking groepen 4, 6 en 8

Als laatste hebben we (additioneel) dezelfde multilevel-analyses als voor groep 8 ookuitgevoerd voor de groepen 4 en 6. Het gaat dan om de relatie tussen de leerkracht-aanpak in groep 3, respectievelijk 5 met de toetsprestaties in groep 4, respectievelijk6. De factorstructuur van de aanpak-variabelen blijkt ook hier nauwelijks afte wijkenvan de gemiddelde binnengroep factorstructuur zoals die voor de consistentie-dimen-sies is bepaald. Voor de vergelijking van de drie groepen gebruiken we dan ookdezelfde aanpak-dimensies als hiervoor gebruikt zijn bij de analyses van groep 8.

Tabel 3.24 laat zien dat de taal- en rekentoetsen een verschillende moeilijkheidsgraadhebben. De taaltoets is in groep 6 het moeilijkst (gemiddeld 72% goed), de rekentoetsin groep 8 (gemiddeld 64% goed).De Eta voor interactie, .03 voor taal en .05 voor rekenen, laat zien dat de prestatiever-schillen tussen de drie weegfactorgroepen in elke groep op dezelfde manier terugko-men. Dit houdt in dat achterstandsgroepen geen steeds groter wordende achterstand intoetsscores oplopen (afgezien van het feit dat er bij achterstandgroepen een groteredrop-out, i.c. zittenblijven en verwijzing naar het speciaal onderwijs, is van zeerslecht presterende leerlingen).

71

label 3.24 - Variantie-analyse met weegfactor en groep

groep4 6

Eta8 totaal weegf groep int.act

n leerlingenn groepen

8112 7186 7410 22708496 479 492 1467

taal1.001.251.90

totaal

817666

76

787162

72

847869

79

817565

76

44 .21 .03

rekenen

1.001.251.90

totaal

827670

77

756862

69

706253

64

766963

70

.28 .30 .05

Tabel 3.25 en Tabel 3.26 geven de ongestandaardiseerde regressiecoefficienten voorde drie groepen. Vanwege de noodzakelijk compacte presentatie zijn de coefficientenvan de modellen 1 en 2 in het bovenste deel van de tabel gezet, die voor modellen 3en 4 in het onderste deel. In Tabel 3.27 zijn de variantieverklaringen op de tweeniveaus bijeengezet.

72

Tabel 3.25 - Resultaten multilevel-analyses met betrekking tot taal. uitgesplitst naar groep

leerlingniveau

weegfactor

leerkrachtniveau

gemiddelde weegfactorinteracbe

aantal sterke aanpak-aspecten

tijd besteed aan lezen

tijd besteed aan taal en rekenenhuiswerk in taal en rekenen

registratie van vorderingenintensiteit van instructie

aandacht voor leesstrategie

frequentie exteme/diagnostische toetsenbelong nakijken om cijfer te gevenbelang nakijken om controle serieusheidbelang nakijken om controle uitfegbelang nakijken om nwe opdrachtenbelang nakijken om foutenanalyseinschatting eigen capaciteit (zwak-sterk)verwachting t.o.v. leerling (laag-hoog)extra nadruk op basisvaardigheden

Tabel 3.26 - Resultaten multilevel-analyses met betrekking tot rekenen, uitgesplitst naar groep

groep 4

leerlingniveau

weegfactor

leerkrachtniveau

gemiddelde weegfactormteractie

aantal sterke aanpak-aspecten

tijd besteed aan lezentijd besteed aan taal en rekenenhuiswerk in taal en rekenen

registratie van vordermgenintensiteit van instructie

aandacht voor leesstrategie

frequentie exteme/diagnostische toetsenbelang nakijken om cijfer te geven

belang nakijken om controle serieusheidbelang nakijken om controle uitlegbelang nakijken om nwe opdrachten

belang nakijken om foutenanalyseinschatting eigen capaciteit (zwak-sterk)

verwachting t.o.v. leerling (laag-hoog)extra nadruk op basisvaardigheden

B

-4.5 .3 -4.0

-3.7

1.1

.3

.8 **|

.8

aanpak interactie

B~-se~~^T B

6.6 2.5 **

1.1

1.2

1.0

1.3

1.1

se

4.9 5.1

-.2

3.4-.9

1.9

2.3

2.0

.8

-.6

.0

.0

1.8

2.6-1.1

1.3

1.3

1.3

-3.1

1.1

4.5

7.8

.0

-1.9

-3.1

1.1

-2.3

-.4

-1.9

-.3

-1.4

-.3

1.3

2.22.4

2.8

3.5

2.8

2.1

3.3

2.1

1.8

1.6

2.0

2.0

3.6

4.6

1.5

-5.3 .3 **

groep 6

*r:^:-4.4

-4.0

.8

.4

.8 "I

.7

groep 8

-7.1

aanpak interactie

se *| B se *

-1.8 2.2 10.1 5.1 <

B

-.9

2.1

-.7

-.6

-2.8

.2

-.2

1.7

.4

-1.1

-1.0

-.8

-1.4

2.0

1.2

1.1

.8

1.2

1.1 **.9

1.2

.9

.7

.7

.8

.7

1.3

1.2

.7

3.3

3.2

-2.8

5.4

-4.4

-1.4

1.3

4.7

-1.9

-.9

4.1

1.2

-.6

.5-1.4

2.1

2.5

2.3

3.62.5

2.4

3.1

2.2

1.7

1.6

1.8

1.8

3.4

4.0

B se

.3 ** -6.4

-4.6

1.2

aanpak

1.4f__±_^

-.7

2.0

2.1

2.8

-5.7

.4

2.8

2.6

-1.1

1.2

-.3

1.2

-.7

1.6

2.1

.9

1.2

1.0

1.2 *1.5 **

.9

1.4 *

.9 **

.8

.8

.9

.8

1.4

1.3

.7 **

.3 **

.8 **

.7

interactie

7.3 2.6 ** 5.0 5.8

-2.1

.3

4.7

-5.94.1

1.6

2.2

2.1

1.1

-3.1

-1.6

-3.73.8

2.5

2.2

2.9

2.6

3.53.2

2.5

3.5

2.4

1.8

1.7

2.0

2.0

4.1

4.3

1.5

Tabel 2.27 - Verklaarde varianties op leerling- en leerkrachtniveau

modelgroep 40 1 2

groep 60 1 2

groepS0 1 2

taalleerlingniveauleerkrachtniveau

65 735 38 46

78 722 60 66

75 825 65 75

rekenen

leeriingniveauleerkrachtniveau

7327

220 24

8515

233 38

7624

535 40

De tabellen laten zien dat in groepen 4 en 6 er een nog grotere afwezigheid is vanecht significante effecten (p<.01) dan in groep 8.In groep 4 vinden we bij rekenen een significant effect van 'registratie van vorde-ringen' en in groep 6 van 'intensiteit van instructie'. Ook hier moet aan de causaleinterpreteerbaarheid van deze effecten getwijfeld warden.Het significante interactie-effect bij 'tijd besteed aan lezen' in groep 6 zou betekenendat er bij lage consistentie een negatief effect zou zijn van deze aanpak op prestaties(ongeveer -2 punten) en bij hoge consistentie een positief effect (ongeveer +2 pun-ten).

Hoewel de variatie in toetsscore in groep 4 meer op leerkrachtniveau ligt dan ingroepen 6 en 8 (35% vs. 22 en 25% bij taal, en 27% vs. 15 en 24% bij rekenen), is deverklaring van deze systematische variantie door achterstandsfactoren in groep 4 juistkleiner dan in groepen 6 en 8, namelijk totaal 46% versus 66 en 75% bij taal, en 24%versus 38 en 40% bij rekenen.Algemeen zien we dus dat de mate waarin de systematische variantie in toetsscores tevoorspellen is vanuit individuele- en groepsachterstandsfactoren, toeneemt in de loopvan de schooljaren.

75

4 Samenvatting en conclusies

4.1 Achtergronden

Recentelijk rapporteerden Driessen & Claassen (1996) over een onderzoek naar heteffect van de didactische werkwijze van leerkrachten op de prestaties op het gebiedvan voorbereidend lezen en rekenen van leerlingen in de kleutergroepen (groep 1 en2). Het onderzoek kende een kwantitatief en een kwalitatief onderdeel. Voor hetkwantitatieve deel van hun onderzoek maakten ze gebruik van gegevens die in1994/95 waren verzameld in het kader van het zogenaamde PRIMA-cohort. In totaalwaren bij die analyses 4455 leerlingen uit 355 klassen van 270 scholen betrokken. Bijde leerkrachten van die klassen was via vragenlijsten informatie verzameld over hundidactisch handelen en bij de leerlingen waren toetsen afgenomen. De opzet waszodanig dat de leeriingen in groep 2 zijn getoetst, en dat de leerkrachten waarvan zijhet jaar daaraan voorafgaand les hadden gehad (groep 1) de vragenlijsten hebbeningevuld. Met behulp van multilevel-analyses (waarbij expliciet rekening wordtgehouden met het feit dat de gegevens van de leerlingen op een ander niveau liggendan die van de leerkrachten) is de relatie tussen de didactische werkwijze en deprestaties onderzocht. De conclusie luidde dat er tussen werkwijze en prestaties geensignificante samenhangen bestaan. Voor het kwalitatieve deel van het onderzoekwerden gesprekken gevoerd met 12 leerkrachten. Hieruit kwamen aanwijzingen naarvoren dat het mogelijk wel van belang is of de leerkracht is opgenomen in het teamen of de leerkrachten binnen een school een-en-dezelfde visie op het onderwijsaanhangen en in de concrete onderwijspraktijk dezelfde didactische aanpak hanteren.Consistentie in werkwijze zou daarmee een relevante factor kunnen zijn.

4.2 Probleemstelling

Een reden waarom er geen effecten van didactische werkwijze werden aangetroffenkan gelegen zijn in het feit dat het op scholen vaak voorkomt dat iedere leerkrachtzijn/haar eigen visie heeft en eigen werkwijze hanteert. Het is niet ondenkbaar datbepaalde activiteiten pas werken als ze consequent door alle leerjaren been wardentoegepast.Op basis van de PRIMA-vragenlijsten is daarom onderzocht in hoeverre de werkwij-zen van de leerkrachten in de onderscheiden jaargroepen met elkaar overeenstemmen.Vervolgens is een relatie gelegd tussen de consistentie in werkwijzen binnen eenschool en de effectiviteit van de didactische werkwijze van de (individuele) groeps-leerkracht. De hypothese was dat er op scholen waar een sterke consistentie bestaatbinnen het team wat betreft het geven van onderwijs er positieve effecten warden

77

gevonden van de didactische werkwijze van de leerkrachten op de leerprestaties.Driessen & Claassen hebben bij de analyses gekeken naar de aanpak als geheel; dezeis samengesteld op basis van een serie deeldimensies. Hier is ook gekeken naar derelaties tussen deze deeldimensies en de prestaties. Bovendien is niet gekeken naar detoetsresultaten van groep 2, maar naar de toetsresultaten van groep 8. Aangezien deschool langer invloed heeft kunnen uitoefenen op de leerlingen in groep 8 dan opleerlingen in groep 2, is de kans dat de didactische aanpak er in groep 8 wel toe doetgroter.Ook zijn de multilevel-analyses voor groep 8 herhaald voor de groepen 4 en 6, om teonderzoeken ofer sprake zou kunnen zijn van bepaalde 'trends' gedurende de school-loopbaan.

Een en ander leidde tot de volgende onderzoeksvragen:1. Welke didactische werkwijze(n) hanteren leerkrachten in groep 7, en welke di-

mensies kunnen daarbinnen warden onderscheiden?2. In welke mate is er op scholen sprake van consistentie in didactische werkwijze

tussen leerkrachten?3. Welke van de betreffende didactische werkwijzen spelen een rol bij de verklaring

van verschillen in het gerealiseerde prestatieniveau?4. Welke relatie is er tussen het effect van de didactische werkwijze en de consisten-

tie daarin binnen het team op de prestaties van de leerlingen?

Bij dit laatste punt gaat het dus om de interactieve werking van didactische aanpak enconsistentie op prestaties. De hypothese is dat toetsverschillen tussen verschillendeaanpak-niveaus groter zullen zijn als de aanpak ook consistent wordt uitgevoerdbinnen de school. Concreet is de verwachting dat de combinatie sterke consisten-tie*zwakke aanpak de laagste prestaties laat zien, de combinatie sterke consisten-tie*sterke aanpak de hoogste prestaties, terwijl de combinatie niet-sterke consisten-tie*sterke aanpak gemiddelde toetsprestaties zal geven.

Het effect van consistentie zelf op de toetsprestaties is niet onderzocht. Omdat hogeconsistentie kan betekenen: consistent niets doen aan een werkwijze, maar ook con-sistent sterk daar mee bezig zijn, is het totale effect van consistentie direct afhan-kelijk van de verhouding van het aantal groepen in deze twee combinaties van sterkeconsistentie met niveau van aanpak. Als consistent niets doen een negatief effect opprestaties heeft en consistent sterk daar mee bezig zijn een positief effect, dan is er bijeen oververtegenwoordiging van de eerste combinatie een negatief effect van consis-tentie te verwachten en in het andere geval een positief effect.Omdat het totale effect van consistentie dus direct afhankelijk is van de correlatietussen aanpak en consistentie, is dit totale effect niet interessant. Consistentie is vanbelang in zoverre het een specificerende werking van het aanpak effect kan geven.

Voorafgaand aan de uitvoering van de analyses is een literatuurstudie uitgevoerd naar

78

de factor 'consistentie in leerkrachtenaanpak binnen de school'. Voor het onderhavigeonderzoek is op basis van eerdere bevindingen in combinatie met de beschikbaarheidvan onderzoeksinstrumenten en -gegevens uitgegaan van een bepaalde omschrijvingvan 'consistentie'. Consistentie wordt opgevat als de overeenstemming die er bestaattussen de leerkrachten binnen een school in de wijze waarop zij concreet vorm gevenaan het onderwijs. Met deze operationele definitie van consistentie als vertrekpunt isin de literatuur gezocht naar interpretaties en operationalisaties van de factor consis-tentie en naar bevindingen van onderzoek dat op dit terrein is verricht.Dit onderdeel van de studie liet zien dat er in de vele reviews op het terrein vanschooleffectiviteitsonderzoek weliswaar regelmatig wordt gerefereerd aan het belangvan 'consistency', maar dat daar in praktisch alle gevallen Sets ander mee wordtbedoeld dan in de onderhavige studie. Meestal wordt consistentie namelijk op eenmeer 'ideeel' niveau geinterpreteerd in termen van consensus over visie en doelen, ofin termen van cohesie wat betreft samenwerken. Het meest nog wordt consistentieopgevat als stabiliteit van effecten. In slechts een van de bestudeerde overzichten enstudies is consistentie op dezelfde wijze geinterpreteerd en geoperationaliseerd als inde onderhavige studie. Deze studie kon echter geen relatie aantonen tussen de matevan consistentie in aanpak en de leerresultaten bij kinderen. Hierbij dient echter tewarden aangetekend dat deze studie zich beperkte tot het effect van consistentie losvan een bepaalde aanpak. Voor de onderhavige studie bood een en ander derhalvenauwelijks aanknopingspunten.

4.3 Analyse-opzet

In het onderzoek zijn twee hoofdanalyses onderscheiden. Deze zijn uitgevoerd metbehulp van het multilevel-programma MLn. Op de eerste plaats zijn de taal- enrekenprestaties van de leerlingen in groep 8 geanalyseerd. Daarbij is nagegaan wathet effect is van de didactische werkwijze van hun leerkrachten uit het jaar daaraanvoorafgaand (groep 7). Niet alleen zijn daarbij de afzonderlijke aspecten van diewerkwijze bestudeerd, maar ook de werkwijze in zijn totaliteit. Ook is het specifice-rende effect bepaald van de consistentie in werkwijzen binnen de school. Dat isgebeurd door de mate van overeenstemming in werkwijzen van de leerkrachten vangroep 3, 5 en 7 te nemen.

4.4 Didactische werkwijze en prestaties in groep 8

Consistentie in werkwijze binnen de school

Uit de (identieke) vragenlijsten voor de leerkrachten van groep 3, 5 en 7 zijn on-geveer 40 items geselecteerd die direct te maken hebben met de werkwijze van deleerkrachten. Een eerste grove indeling onderscheidt aspecten als: tijd besteed aan

79

verschillende vakken, huiswerk, diverse aspecten gerelateerd aan respectievelijk delees-, taal- en rekenlessen. Ook zijn acht uitspraken geselecteerd die inzicht geven inverwachtingen ten aanzien van het eigen kunnen en dat van de leerlingen. Op basisvan verschillende voorbereidende analyses zijn uiteindelijk vijftien consistentiematengeconstrueerd. Het betreft de volgende:

tijd besteed aan lezentijd besteed aan taal en rekenenhuiswerk in taal en rekenen

registratie van vorderingenintensiteit van instructie

aandacht voor leesstrategiefrequentie exteme/diagnostische toetsenbelang nakijken om cijfer te gevenbelang nakijken om controle serieusheidbelang nakijken om controle uitlegbelang nakijken om nieuwe opdrachtenbelang nakijken om foutenanalyseinschatting eigen capaciteit (zwak-sterk)verwachting ten opzichte van de leerling (laag-hoog)extra nadruk op basisvaardigheden.

Ook is een algemene maat 'consistentie in het aantal sterke aanpak-aspecten' ge-maakt.

Uit de gemiddelden en de verdeling van de scores op de consistentie-maten blijkt dater een redelijke mate van consistentie bestaat binnen scholen. De sterkste consistentiekomt voor met betrekking tot intensiteit van de instructie. Sterke consistentie komthet minste voor bij het geven van huiswerk in taal en rekenen, en bij het belang vanhet nakijken van werk om een foutenanalyse te kunnen maken.

Een hoge consistentie zegt niets over het niveau van de bijbehorende aanpak. Duide-lijk wordt dat juist aspecten met een hoge consistentie dikwijls een laag gemiddeldniveau van aanpak hebben. Hoge consistentie betekent op een aantal aspecten dus:consistent weinig/niets doen. Bij:

intensiteit van instmctie

frequentie exteme/diagnostische toetsentijd besteed aan taal en rekenentijd besteed aan lezenaandacht voor leesstrategiebelang nakijken om cijfer te geven

kan men zeggen dat groepen met een hoge consistentie op school oververtegenwoor-digd zijn op een laag niveau van aanpak ('hoog' negatieve correlaties).

Omgekeerd is het zo dat groepen met een hoge consistentie op school op:

80

- belang nakijken om controle serieusheidbelang nakijken om controle uitleg

oververtegenwoordigd zijn op een hoog niveau van aanpak ('hoog' positieve correla-ties).

Bij 17% van de scholen is sprake van een sterke consistentie in het aantal sterkeaanpak-aspecten.

Een opvallende bevinding is dat er nauwelijks samenhang bestaat tussen de verschil-lende maten, met andere woorden: de relatieve consistentie op een bepaalde werkwij-ze binnen een school zegt niets over de relatieve consistentie op andere werkwijze-aspecten. Dit betekent onder andere dat het consistent niets doen aan een bepaaldewerkwijze niet leidt tot het consistent veel aandacht besteden aan een andere werk-wijze.

Didactische werkwijze in groep 7

Voor de bepaling van de didactische werkwijze in groep 7 zijn dezelfde aspectengehanteerd als bij de consistentie. De scores op deze aspecten kunnen warden ge'i'nter-preteerd in termen van de intensiteit van de betreffende aanpak. Behalve de 15 afzon-derlijke aspecten is ook nog een werkwijze-in-zijn-totaliteit variabele geconstrueerd.Daarvoor zijn de werkwijze-aspecten waarop de leerkracht de helft of meer activitei-ten intensiefuitvoert geteld.

Evenals bij de consistentie-maten kan warden geconcludeerd dat er bij de werkwijze-aspecten nauwelijks sprake is van samenhangen: de intensiteit waarmee het enewerkwijze-aspect wordt uitgevoerd, staat los van de intensiteit waarmee de anderewarden uitgevoerd.

Nagegaan is of er samenhangen bestaan tussen aanpak en kenmerken van de leer-krachten, zoals opleiding, onderwijservaring, geslacht, leeftijd en onderwijservaring.De analyses maken duidelijk dat geen van de correlaties hoger is dan r=.14, watbetekent dat van relevante samenhangen geen sprake is.

De relatie didactische werkwijze enprestaties

Voor de uiteindelijke analyses is gebmik gemaakt van het multilevel-programmaMLn. In dergelijke analyses wordt rekening gehouden met het gegeven dat de teanalyseren gegevens op twee niveaus liggen, namelijk het leerling-niveau en hetleerkrachVklas-niveau. De leerlinggegevens zijn in feite genest onder deleerkrachVklassegegevens. Voor deze analyses waren uiteindelijk 7410 leerlingen

81

beschikbaar, verdeeld over 492 klassen in 447 scholen.

Een eerste bevinding is dat de groepssamenstelling (d.i. de sociaal-etnische samen-stalling van de klas waarin de leerling zit) vrijwel ongecorreleerd is met de didacti-sche aanpak van de leerkracht. Er zijn slechts drie aspecten die een zwakke relatiemet de samenstelling laten zien. In groepen met relatiefveel (allochtone en autochto-ne) achterstandskinderen wordt: lets minder werk nagekeken om een foutenanalyse temaken, heeft de leerkracht iets minder hooggespannen verwachtingen van de leerlin-gen, en wordt iets meer aandacht besteed aan basisvaardigheden.bit zijn samenhangen die in de lijn der verwachtingen liggen. Het is opmerkelijk datde overige, meer specifieke, didactische aspecten vrijwel 0 conreleren met aanpak.Blijkbaar bestaat er weinig structuur in de afstemming van een bepaalde didactischeaanpak aan de 'mate van achterstand' in de groep.

Voor zowel taal als ook rekenen zijn er significante, negatieve effecten van de indivi-duele sociaal-etnische achtergrond en groepssamenstelling. Dit betekent dat allochto-ne arbeiderskinderen slechter presteren dan autochtone arbeiderskinderen, en dieweer slechter dan niet-achterstandskinderen. Maar naast dit negatieve effect van deindividuele sociaal-etnische achtergrond van het kind is er ook nog een negatief effectvan de sociaal-etnische samenstelling van de klas waarin de leerling zit. In klassenmet veel achterstandskinderen zijn de prestaties nog eens extra laag.Ook is er bij taal sprake van sprake van een significante zogenaamde crosslevelinteractie individuele sociaal-etnische achtergrond*groepssamenstelling. Dit betekentdat individuele achterstand in groepen met veel achterstandskinderen een grotere rolspeelt als (negatieve) voorspeller van taalscore dan in groepen met weinig achter-standskinderen.

Wat de effecten van de aanpak-aspecten en hun interactie met consistentie betreft,kan het volgende warden opgemerkt.Met betrekking tot de taalprestaties is er een significant effect en wel van 'intensiteitvan instructie' . Het geven van individuele instructie gaat samen met een gemiddeldlagere toetsscore.Voor de rekenprestaties geldt ook dat 'intensiteit van instructie' het meest significan-te effect is. De andere significante effecten bij rekenen zijn: 'belang nakijken omcijfer te geven' en 'extra nadmk op basisvaardigheden'. Het belangrijk vinden van hetnakijken van werk om een cijfer te geven en meer nadruk leggen op basisvaardighe-den gaan samen met een gemiddeld hogere rekenscore van de groep.Wat het hoofdonderwerp van deze studie betreft, blijkt verder dat er geen enkelinteractie-effect tussen aanpak en consistentie van de aanpak significant is op eenvoor dit onderzoek interessant niveau.

Overigens meet warden opgemerkt dat het twijfelachtig is of de genoemde effectenop taal- en rekenprestaties als causale effecten mogen warden gezien.

82

4.6 VergeUjking van de groepen 4,6 en 8

In de groepen 4 en 6 er een nog grotere afwezigheid is van echt significante effectendan in groep 8.In groep 4 is er bij rekenen een significant effect van 'registratie van vorderingen' enin groep 6 van 'intensiteit van instructie'. Ook hier moet aan de causale interpreteer-baarheid van deze effecten getwijfeld warden.Een significant interactie-effect bij 'tijd besteed aan lezen' in groep 6 zou betekenendat er bij lage consistentie een negatief effect zou zijn van deze aanpak op prestatiesen bij hoge consistentie een positief effect.

In zijn algemeenheid geldt ook dat de mate waarin de systematische variantie intoetsscores te voorspellen is vanuit individuele- en groepsachterstandsfactoren,toeneemt in de loop van de schooljaren.

4.5 Nabeschouwing

Vanwaar de - wat de pedagogisch-didactische werkwijze betrefit - teleurstellenderesultaten? Het is gebleken dat er qua werkwijze flink wat variatie is onder de groeps-leerkrachten voor wat betreft de mate van staring in hun handelen. Desondanks komtuit de analyses naar voren dat deze werkwijze - op een enkel deelaspect na - nietsamenhangt met de in dit onderzoek bestudeerde kenmerken van leerlingen en klas-sen. Evenmin is er een samenhang met de mate waarin er binnen een school consis-tent aan een bepaalde aanpak gewerkt wordt.

Wat de aanpak zelf betrefit, kon na de eerdere analyse van leeriingen in groep 2 nognaar voren warden gebracht dat de kinderen in groep 2 nog te kort te maken hebbengehad met de werkwijze van de leerkracht om op basis daarvan een effect te verwach-ten op de testresultaten. Daar zou aan toe kunnen warden gevoegd dat ook de intensi-teit (i.c. individuele leertijd) nog niet zo sterk is geweest. Met name in de eersteleerjaren met vaak zeer grote klassen is de individuele leertijd waarschijnlijk relatiefgering (vgl. Schonewille & Van der Leij, 1995). Nu echter blijkt dat ook in de groe-pen 4, 6 en 8 geen effecten van aanpak kunnen warden gevonden die met enigewaarschijnlijkheid op een causale working zouden duiden. Evenmin blijken dezeeffecten er te zijn met betrekking tot de consistentie in aanpak. Dit is een wat teleur-stellende, maar daannee niet minder relevante constatering.

Voor de toekomst blijven nog ten minste twee onderzoekslijnen open. Op de eersteplaats een onderzoek dat individuele leerlingen en leerkrachten in verschillende jarenvolgt wat betreft prestaties en didactische aanpak. Een aanpassing van de voor leerja-ren verschillende toetsen zodanig dat hun moeilijkheidsgraad gelijk is, zou daarbijvan nut zyn.

83

Op de tweede plaats valt op het volgende te wijzen. Voor het onderhavige onderzoekzijn gegevens geanalyseerd die via schriftelijke vragenlijsten bij groepsleerkrachtenzijn verzameld. Hoewel het aantal vragen over de pedagogisch-didactische werkwijzeals niet-gering kan warden gekwalificeerd, is het de vraag of met deze methode allerelevante informatie boven tafel kan warden gehaald. Zeker geldt dit omdat in anderonderzoek wordt gesuggereerd dat er verschillen zijn tussen datgene wat de leer-krachten zeggen te doen en wat ze daadwerkelijk doen (vgl. Stevens & Harskamp,1995; Charlesworth, Hart, Burts, Thomasson, Mosleu & Fleege, 1993). Ter verhogingvan de validiteit van dergelijke informatie valt het daarom aanvullend aan te bevelenin onderzoek meer gebruik te maken van observaties en diepte-interviews (vgl.Schaffer, Nesselrodt & Stringfield, 1994; Weide, 1995). Of dit echter tot andereresultaten leidt is de vraag. Immers, in het onderzoek van bijvoorbeeld Sontag (1997)werd behalve met vragenlijsten, ook met interviews, logboeken en observaties ge-werkt, alhoewel hierbij moet warden opgemerkt dat ook deze op altematieve wijzeverzamelde data uiteindelijk weer werden gekwantificeerd.

84

Literatuur

Blok, H. (1992). De grootte van het schooleffect in het basisonderwijs; een analyseop basis van vijf jaar Eindtoets Basisonderwijs. Tijdschrift voor Onderwijsre-search, 17, (6), 343-354.

Blok, H., & Hoeksma, J. (1993). De stabiliteit van het schooleffect in de tijd: eenanalyse op basis van vijfjaar Eindtoets Basisonderwijs van het Cito. Tijdschriftvoor Onderwijsresearch, 18, (6), 331-342.

Bosker, R. (1991). De consistentie van schooleffecten in het basisonderwijs. Tijd-schriftvoor Onderwijsresearch, 16, (4), 206-218.

Bosker, R., & Scheerens, J. (1994). Alternative models of school effectiveness put tothe test. International Journal of Educational Research, 21, (2), 159-180.

Brandsma, H. (1993). Basisschoolkenmerken en de kwaliteit van het onderwijs.Groningen: RION.

Bryk, A. , & Raudenbusch, S. (1992). Hierarchical linear models: applications anddata analysis methods. Newbury Park: Sage.

Charlesworth, R., Hart, C., Burts, D., Thomasson, R., Mosleu, J, & Fleege, P. (1993).Measuring the developmental appropriateness of kindergarten teachers' belief andpractices. Early Childhood Research Quarterly, 8, 255-276.

Coleman, J., Campbell, E., Hobson, C., McPartland, J., Mood, A., Weifeld, F., &York, R. (1966). Equality of educational opportunity. Washington, DC: USGovernment Printing Office.

Cotton, K. (1995). Effective schooling practices: A research synthesis. 1995 update.Portland: Northest Regional Educational Laboratory.

Creemers, B. (1991). Effective instructie. Een empirische bijdrage aan de verbeteringvan het onderwijs in de klas. Den Haag: SVO.

Creemers, B. (1994a). Effective instruction as a basis for effective education inschools. Tijdschrift voor Onderwijsresearch, 19, (1), 3-16.

Creemers, B. (1994b). Effective instruction: An empirical basis for a theory ofeducational effectiveness. In: D. Reynolds, B. Creemers, P. Nesselrodt, E.Schaffer, S. Stringfield & C. Teddie, Advances in school effectiveness researchand practice (pp. 189-205). Oxford: Pergamon.

Creemers, B. (1994c). The history, value and purpose of school effectiveness studies.In: D. Reynolds, B. Creemers, P. Nesselrodt, E. Schaffer, S. Stringfield & C.Teddie, Advances in school effectiveness research and practice (pp. 9-23).Oxford: Pergamon.

Creemers, B., & Reezigt, G. (1996). School level conditions affecting theeffectiveness of instruction. School Effectiveness and School Improvement, 1, (3),197-228.

Creemers, B., & Scheerens, J. (1994). Developments in the educational effectiveness

85

research programme. International Journal of Educational Research, 21 (2), 1 25-140.

Driessen, G. (1996a). Eenmaal opgelopen achterstand bij kleuters niet ofnauwelijksin te halen. Onderzoek naar voorbereidend lezen en rekenen. Samenwijs, 16, (6),pp.17-19.

Driessen, G. (1996b). Voorbereidend lezen en rekenen in groep 1 en 2. Aanpak vanleerkrachten, opbrengsten bij leerlingen. De Wereldvan hetJonge Kind, 23, (10),pp.345-348.

Driessen, G. (1997a). Pre-reading and pre-arithmetic instruction in infant education inthe Netherlands. A multilevel analysis approach. Early Child Development andCare, 134, pp. 1-21.

Driessen, G. (1997b). Voorbereidend lezen en rekenen in kleutergroepen: werkwijzenen resultaten. Tijdschrift voor Onderwijsresearch, 22, (3), pp. 145-160.

Driessen, G., & Claassen, A. (1996). Voorbereidend lezen, rekenen en schrijven.Toetsprestaties en leerling- en leerkrachtkenmerken in de kleutergroepen van hetbasisonderwijs. Beek: Uitgeverij Tandem Felix.

Gennip, J. van, & Ruijs, A. (1992). Acm de basis. Onderzoek naar de pedagogisch-didactische kwaliteit van het onderwijs aanjonge kinderen. Nijmegen: ITS.

Gray, J., Jesson, D., Goldstein, H., Hedger, K., & Rasbash, J. (1995). A multi-levelanalysis of school improvement: Changes in schools' performance over time.School Effectiveness and School Improvement, 6, (2), 97-114.

Hargreaves, D. (1995). School culture, school effectiveness and school improvement.School Effectiveness and School Improvement, 6, (1), 23-46.

Ledoux, G., & Overmaat, M. (1996). School- en klaskenmerken basisonderwijs.Technische rapportage PRIMA-cohortonderzoek 1994/95. Amsterdam: SCO-Kohnstamm Instituut.

Levine, D., & Lezetto, L. (1990). Unusually effective schools. A review and analysisof research and practice. Madison: The National Center for Effective SchoolsResearch and Development.

Luyten, H. (1994). School effects: stability and malleability. S.l.: S.n.Mortimore, P., Sammons, P., Stoll, L., Lewis, D., & Ecob, R. (1988). School matters.

The junior years. Wells: Open Books.Overmaat, M., & Ledoux, G. (1995). De constructie van de instrumenten school- en

klaskenmerken voor het cohort-onderzoek primair onderwijs. Verslag van tweevoorstudies. Amsterdam: SCO.

Rasbash, J., & Woodhouse, G. (1996). MLn command reference. Version l.Oa.London: University of London.

Reynolds, D., Sammons, P., Stoll, L., Barber, M., & Hillman, J. (1996). Schooleffectiveness and school improvement in the United Kingdom. SchoolEffectiveness and School Improvement, 7, (2), 133-158.

Reynolds, D., Teddlie, C., Creemers, B., Cheng, Y., Dundas, B., Green, B., Epp, J.,Hauge, T., Schaffer. C., & Stringflied, S. (1994). School effectiveness research: Areview of the international literature. In: D. Reynolds, B. Creemers, P. Nesselrodt,

86

E. Schaffer, S. Stringfield & C. Teddie, Advances in school effectiveness researchand practice (pp. 25-51). Oxford: Pergamon.

Roeleveld, J., Jon'g, U. de, & Koopman, P. (1990). De stabiliteit van schooleffecten.Tijdschrift voor Onderwijsresearch, 15, (5), 301-316.

Sammons, P., Hillman, J., & Mortimore, P. (1995). Key characteristics of effectiveschools. A review of school effectiveness research. London: OFSTED.

Schaffer, C., Nesselrodt, P., & Stringfield, S. (1994). The contribution of classroomobservation to school effectiveness research. In: D. Reynolds, B. Creemers, P.Nesselrodt, E. Schaffer, S. Stringfield & C. Teddie, Advances in schooleffectiveness research and practice (pp. 133-150). Oxford: Pergamon.

Scheerens, J. (1992). Effective schooling. Research, theory and practice. London/NeYork: Cassell.

Scheerens, J., & Bosker, R. (1997). The foundations of educational effectiveness.Oxford: Pergamon.

Schonewille, B., & Leij, A. van der (1995). De rol van de leerkracht voor allochtoneen autochtone leerlingen in het eerste jaar van het basisonderwijs. PedagogischeStudien, 72, 242-257.

Sontag, L. (1997). Vormgeving en effecten van onderwijs aan vier- tot zevenjarigeleerlingen. Amsterdam: Thesis Publishers.

Stevens, L., & Harskamp, E. (1996). Actuele opvattingen over onderwijs aan jongekinderen. Een onderzoek onder leerkrachten van groep 2 in het basisonderwijs.Tijdschrift voor Onderwijsresearch, 21, 81-94.

Thomas, S., Sammons, P., Mortimore, P., & Smees, R. (1997). Stability andconsistency in secondary schools' effects on students' GCSE outcomes over threeyears. School Effectiveness and School Improvement, 8, (2), 169-197.

Velden, L. van der (1996). Context, visie, aanpak en effectiviteit. De bestrijding vanachterstanden van Nederlandse leerlingen in het basisonderwijs. Groningen:GION.

Weide, M. (1995). Effectiefonderwijs voor allochtone kinderen. Groningen: RION.Werf, M. van der, & Guldemond, H. (1996). Omvang, stabiliteit en consistentie van

schooleffecten in het basisonderwijs. Groningen: GION.Zigarelli, M. (1996). An emperical test of conclusions from effective schools

research. The Journal of Educational Research, 90, (2), 103-110.

87

Bijlage 1

Additionele tabellen

Bijlage 1A -Aantal leerkrachten in groep 3, 5 en 7 per school

patroon-samenstelling

001002010Oil012020021022100101102110Ill112120121122200201202210211212220221222231232321322332

totaal

aantal scholenN %

15315231111

11301

21323203

2271716185191311231

567

2.6.5

2.64.1.2.2.2.2

1.95.3.2

3.757.03.5.5

3.91.2.2

1.2.2

1.13.2.9.2

1.62.3.2.2.4.5.2

100.0

89

Bijlage 1B - Frequentieverdelingen consistentie-variabelen groep 3, 5 en 7 samen

vraagnr.

antwoordcategorie-scores123456 N label

V9AV9BV22AV22BV23V24V31V32AV32BV32CV33AV33BV33CV35AV35BV35CV35DV35EV43V44AV44BV44CV45V47AV47BV47CV47DV47EV66AV66BV66CV66DV66EV66FV66GV66HONDERS

53 4755 45

8392042146

39455712404175

221473

4749144263

151101212I02

49 51

1703 huiswerktaal1703 huiswerk rekenen

24 45 23 . . 1688 registratie vorderingen techn. lezen26 19 15 . . 1688 registratie vorder. begrijpend lezen4919 72 3 1 1694 vonn instmctie bij leeslessen4513 .... 1686 aanleren leesstrategieen65162 1 1 1 1594 vorm instructie taallessen

3 5 75 11 . .1589 frequentie controletoetsen48 9 3 1 . . 1589 frequentie exteme toetsen23 11 14 7 . 1589 frequentie diagnostische toetsen19 11 13 1686 frequentie registratie woordenschat27 17 44 1686 frequentie registratie spelling12 17 30 . 1686 frequentie registratie taalvorderingen41 18 . . 1491 nakijken: cijfer geven38 55 . 1563 nakijken: leerlingen serieus37 58 . . 1580 nakijken: uitleg leerstof43 35 . 1507 nakijken: nieuwe opdrachten41 45 . 1577 nakijken: foutenanalyse66 19 3 1 4 1 1701 vorm instmctie rekenlessen2 5 86 5 . .1702 frequentie controletoetsen

44 7 1 1 . .1702 frequentie exteme toetsen18 10 18 5 . . 1702 frequentie diagnostische toetsen17 15 54 . 1698 frequentie registratie rekenvorder.39 IS . 1509 nakijken: cijfer geven40 54 . 1622 nakijken: leerlingen serieus33 63 . 1652 nakijken: uitleg leerstof43 42 . . 1586 nakijken: nieuwe opdrachten39 50 . . 1647 nakijken: foutenanalyse0 3 30 66 . 1692 inzet leerlingen

42 16 . 1676 omgaan heterogene groepen1686 moeilijk eisen aan zwakke lln1682 prestaties achterstandslln verbeteren1684 niet te veel verwachten van Un1683 langzame leerders kunnen presteren1680 les geven aan lastige leerlingen

9 28 38 24 . 1676 scepsis leervermogen sommige lln1714 extra nadruk op basisvaardigheden

5 3612 25 40 218 55 32 45 12 292 214 31

5350 2647 17

* Vetgedrukte getallen betreft categorieen die zijn samengevoegd voor gebruik als afhankelijkevariabele in de variantie-analyses

90

Bijlage 1C - Factorcmalyse consistentie-variabelen; verdeling Eigen-waarden

Factor Scree Plot

"1 . 5' 9 13 ' 17 ' 21 ' 25 29 33 373 7 11 151923 27 31 35 39

Factor NumberAnalysis Number 1.

Bijlage ID - Verdelingskenmerken consistentie-index 'Registratie vorderingen

50Hstogram

w\

»120i

\0\

QL ^ . ra-^PiJ I.! I I

n

Cklflinl

MStd.Dev=.32] Mean =1.47

NN=526.00

^^^.^.^^^^^^/^^.s/^

CREGISTR

91

Bijlage IE - Factoranalyse aanpak-variabelen; verdeling Eigen-waarden

a1 " 5 ' 9'13'17'21 25 29 33 37

3 7 11 15 192327 31 35 39

Facto-Number

Analysis Number 1.

Bijlage IF - Verdelingskenmerken uitvallers binnen groepen

Hstogram

Std.Dev= 47.27Mean =49.1N=935.00

°o /oo ^ ^ ^ ~foo soo >oo ^ ^ \

92

Bijlage 1G - Kruistabellen aanpak*consistentie (kolompercentages en aantalgroepen; V=Cramers V)

consistentie

aanpak: laag midden hoog totaal

midden

hoog

N(V)

aantal sterke aanpak-aspecten134047

243

104644

178

45442

71

114445

.09

midden

hoog

N(V)

tijd besteed aan lezen60 59 88 695

35

106

735

215 171

525

.22

midden

hoog

N(V)

tijd besteed aan taal en rekenen60 68 83 7222 24 15 2018 7 2 8

110 193 189 .19

laagmidden

hoog

N(V)

huiswerk in taal en rekenen21 21 9 1917 9 60 2163 71 31 61

187 220 85 .32

laagmiddenhoog

N(V)

registratie van vorderingen41 31 34 3415 34 37 3244 36 29 35

91 220 181 .12

midden

hoog

N(V)

intensiteit van instructie

33 56 77 6233 35 20 2835 9 3 10

77 187 228 .30

93

Vervolg Bijlage 1G - Kruistabellen aanpak*consistentie (kolompercentages en aantalgroepen)

consistentie

aanpak: laag midden hoog totaal

midden

hoog

N(V)

aandacht voor leesstrategie65 92 95 81

36 8 5 19

211 143 138 .37

frequentie externe/diagnostische toetsenlaag 38 36 59 46midden 38 57 38 46hoog 24 6 3 8

N(V) 87 209 196 .24

belong nakijken om cijfer te gevenlaag 55 74 80 68midden 9 16 13 13hoog 36 10 7 19

N(V) 189 183 120 .24

belong nakijken om controle serieusheid50 16 23 34

midden

hoog

N(V)

940

230

2955 69

146 116

1551

.28

belong nakijken om controle uitleg41 27 16 32

midden

hoog

N(V)

1050

278

3340

96

282

118

1256

.29

belong nakijken om nieuwe opdrachtenlaag 55 67 49 58midden 14 19 22 17hoog 31 14 30 25

N(V) 228 163 101 .14

94

Vervolg Bijlage 1G - Kruistabellen aanpak*consistentie (kolompercentages en aantalgroepen)

consistentie

aanpak: laag midden hoog totaal

belong nakijken om foutenanatyselaag 51 58 47 52midden 10 27 12 16hoog 39 15 41 32

N(V) 241 158 93 .20

inschatting eigen capaciteit (zwak-sterk)laag 45 42 42 43midden 36 48 53 47hoog 19 9 5 10

N(V) 106 223 163 .13

verwachting t.o.v. leerlmg (laag-hoog)laag 25 18 13 17midden 31 58 65 58hoog 44 24 22 26

N(V) 59 238 195 .15

middenhoog

N(V)

extra nadruk op basisvaardigheden21 57 48 50

79 43 52 50

63 297 132 .23

95

Bijlage 1H - Verdelingen van de toetsscores

500 r

200;

B

100

31.25 43.75 53.13 62.50 71.88 81.25 90.63 100.0039.06 48.44 57.81 67.19 76.56 85.94 95.31

200-]

100

S 012:50 22:50 32:50 42.50 52.50 62.50 72.50 82.50 92.50

17.50 27.50 37.50 47.50 57.50 67.50 77.50 87.50 97.50

REKEN

96

Bijlage II - correlaties sociaal-etnische groepssamenstelling en aanpak opgroepsniveau (N=492)

AANPINTTYDLZTTOLTRKHUISWRKREGISTINSTRUCLEESSTRPRFEXDINACYFERNASERIENAUITLGNANIEUWNAFOUTSTERKVERWACHONDERSD

.00

.00

.06

.07

.04

.09

.04

.03

.02

.02-.09.02

-.15-.02-.16.13

97

Bijlage 2

Bepaling van factorscores

Gevraagd wordt wel eens of het berekenen van factorscores beter kan plaatsvindendoor middeling van de scores van items die op de factor laden, of dat een telling vanhet aantal keren 'extreem geantwoord' op die items gebruikt kan warden.Over het algemeen is de correlatie tussen factorscores die op deze twee manieren zijnberekend zeer hoog, namelijk rond de .90. De inhoudelijke resultaten van de analyseszullen dan ook niet anders warden door keuze voor een van deze scoringsmethoden.

Ook wordt wel gevraagd wat het verschil is tussen een telling van hoog correlerendeitems en een telling van niet-correlerende items.In het eerste geval wordt een factorscore verkregen die een meer betrouwbareindicator vormt van de achterliggende dimensie waarvan de gemeten variabelenindicatoren zijn. Dit betekent dat de factorscore hoger zal correleren met een bepaaldevariabele dan de afzonderlijke items van die factor (gemiddeld) correleren met dievariabele. Door het samennemen van een aantal hoog correlerende items in een factoris het daarom mogelijk met een nieuwe variabele een betere verklaring voor eeriverschijnsel te krijgen dan mogelijk is met ieder van de afzonderlijke variabelen.Bij een telling van ongecorreleerde variabelen speelt dit effect niet. Het gaat danalleen om een score voor het meer ofminder plaatsvinden van bijvoorbeeld een aantalactiviteiten.

99

Bijlage 3

Fixed of random intercept modellen?

In alle tabellen met multilevel-analyse resultaten is gebruik gemaakt van een randomintercept model, met andere woorden het intercept in de predictie van de toetsscore ophet leerlingniveau is als random variabele gedefinieerd en de regressiecoefficignt vanweegfactor met toetsscore als fixed. Dit intercept is dus een gecorrigeerde toetsscoreberekend vanuit een algemene correctiefactor voor weegfactor. Als er feitelijk tochsystematische verschillen zouden bestaan tussen groepen in de sterkte van desamenhaag weegfactor-toetsscore, dan heeft dit als consequentie dat groepen met eenrelatief lage regressiecoefficient ondergecorrigeerd worden en groepen met een hogecoefficignt overgecorrigeerd.

Dat we toch voor deze aanpak hebben gekozen, heeft in eerste instantie eenpraktische reden. In totaal zullen we namelijk ongeveer 70 multilevel-analysesmoeten uitvoeren. Als we van een volledig random model zouden uitgaan (ook deregressiecoefficient is dan random), zouden alle producten van groepsniveau-predictoren met weegfactor ook in de voorspelling moeten warden opgenomen. Voorde interactiebepalingen in bijvoorbeeld model 4 zouden dan bij elke analyse steedsandere producten van de specifieke aanpak, consistentie en aanpak*consistentie metweegfactor moeten warden meegenomen als predictoren.

Bij zoveel analyses is een dergelijke aanpak alleen praktisch te verantwoorden als erook echt veel systematische tussengroepsvariatie in regressiecoefficienten is. Om teonderzoeken of dit zo is, hebben we modellen 1 en 2 volgens een volledig randommodel geanalyseerd. Onderstaande tabellen geven onder 'variantiecomponenten' deverschillende variantieschattingen met tussen haakjes de standaardfout en daaronderhet percentage verklaarde variantie ten opzichte van model 0. Ook is bij decomponenten op leerkrachtniveau de ratio van deze twee opgenomen. Dit is de z-waarde voor toetsing van de significantie van deze variantiecomponent. Wegebruiken hier niet het verschil in deviantie met model 1 uit de tekst (fixed regressie)als toets op het bestaan van systematische variantie in de regressiecoefficienten. Inonze situatie met niet-groepsgecentreerde weegfactor heeft het random verklaren vande regressiecoefficient ook invloed op de schatting van de variantiecomponenten opleerlingniveau en de variantie van het intercept. Omdat we alleen gei'nteresseerd zijnin het bestaan van systematische variantie in de regressie, is alleen de z-score vandeze component van belang. Bij n=500 groepen wordt in het algemeen een kritieke p-waarde van p=.001 aangehouden, ofwel een kritieke z-waarde van 3.3.

101

Tabel 3A - Resultaten multilevel-analyses Taal groep 8: ongestandaardiseerderegressiecoefficienten en () standaardfouten; [] z-waarden

model

1

REGRESSIECOEFFICIENTENleerlingniveau:weegfactor

ieerkrachtniveau:

gemiddelde weegfactorinteractie

-6.3 (.2) -5.2 (.2)

-3.8 (.4)-1.7 (.4)

VARIANTIECOMPONENTENleerlingniveau

leerkrachtniveau intercept

leerkrachtniveauregressiecoefficient

deviantie

104.3 (186)75%

34.4 (2.7)25%

56298

94.6 (1.6)9%

11.1 (1.2) [9.1]38%

4.8 (1.3) [3.6]16%

55308

94.6 (1.6)9%

8.2 (1.0) [8.0]46%

3.5 (1.2) [2.9]20%

55212

102

Tabel 3B - Resultaten multilevel-analyses Rekenen groep 8: ongestandaardiseerderegressiecoefficienten en () standaardfouten; [] z-waarden

model1

REGRESSIECOEFFICIENTENleerlingniveau:weegfactor

leerkrachtniveau:

gemiddelde weegfactorinteractie

-7.1 (.3) -6.4 (.4)

-4.6 (.8)1.2 (.7)

VARIANTIECOMPONENTENleerlingniveau

leerkrachtniveau intercept

leerkrachtniveauregressiecoefficient

deviantie

258.5 (4.4)76%

80.2 (6.4)24%

63002

245.1 (4.2)5%

50.8 (4.6) [11.1]28%

4.9 (3.0) [1.6]3%

62504

245.1 (4.2)5%

47.5 (4.4) [10.9]30%

5.5 (3.1) [1.8]4%

62472

We zien in Tabel 1A (Taal als voorbeeld) dat van de totale variatie in taalscore 25%systematische variantie is (model 0). Weegfactor verklaart in totaal 54% van dezesystematische variantie, waarbij het grootste deel (38%) uit variatie in het interceptbestaat. Slechts 16% van de systematische variantie is gebonden aan variatie in deregressiecoefficienten. De z-waarde is 3.6, en dus nog net significant. Toevoegingvan gemiddelde weegfactor als predictor op groepsniveau laat zien dat er dan geensystematische variatie meer bestaat in deze, voor gemiddelde weegfactor gecorrigeer-de, regressiecoefficient (z=2.9).We kunnen dan ook besluiten deze gecorrigeerde regressiecoefficienten als fixed tebeschouwen. Dit houdt wel in dat in de predictie van taalscore de interactieindividuele sociaal-etnische achtergrond*sociaal-etnische groepssamenstelling steedsals extra (fixed) predictor moet warden opgenomen. In modellen 3 en 4 wordt aanpaken consistentie dan alleen als extra predictor van het intercept gebruikt en niet in depredictie van de regressiecoefficient. Omdat de regressiecoefficient na invoering vangemiddelde weegfactor (i.c. groepssamenstelling) feitelijk fixed is (geensystematische variatie meer), geeft dit niet de gebruikelijke vertekening vanschattingen bij het gebruik van verschillende hoger-niveau predictiemodellen.

We zien dat bij taal een significante zogenaamde crosslevel interactie individuelesociaal-etnische achtergrond*groepssamenstelling bestaat, namelijk -1.7 met een

103

standaardfout van .4. Dit betekent dat individuele weegfactor in groepen met veelachterstandskinderen een grotere rol speelt als voorspeller van taalscore dan ingroepen met weinig achterstandskinderen.

De schatting van de lineaire interactie is immers de (gemiddelde) verandering inregressiecoefficient van individuele weegfactor op Taal bij een stijging van 1 punt ingroepsweegfactor. Het individuele effect is -5.2, dus gemiddeld 5.2 punten taalscoredating voor 1 punt hogere individuele weegfactor. Dit geldt bij de gemiddeldegroepssamenstelling van 1.7 punten.Voor groepen met groepssamenstelling 1 geldt dan een individueel effect van:-5.2 - (1.8 -l)*-1.7(=interactie) = -3.8en voor groepen met groepssamenstelling 3 een individueel effect van:-5.2 - (1.8 -3)*-1.7(=interactie) = -7.4.

Bij Rekenen is de situatie met betrekking tot variatie in regressiecoefficienten nogduidelijker, namelijk de z-waarde van de randomcomponent is ook in model 1 nogmaar z=1.6, waarbij slechts 3% van de systematische variantie in toetsscores isgebonden aan variatie in regressiecoefficienten. Dat deze laatste waarde bij Taalrelatief groot is, komt meer doordat daar de systematische variatie in het interceptrelatiefkleinis.

Hoewel bij rekenen het opnemen van de crosslevel interactieterm in het randomintercept model dus niet strikt noodzakelijk is, hebben we dit omwille van deuniforme verwerking toch gedaan.

We zien dat er bij rekenen geen significante interactie individuele sociaal-etnischeachtergrond*groepssamenstelling bestaat, namelijk 1.2 met een standaardfout van .7.De tendens is in ieder geval omgekeerd aan wat we bij taal vonden, namelijk:individuele weegfactor speelt in groepen met weinig achterstandskinderen een grotererol als voorspeller van rekenscore dan in groepen met veel achterstandskinderen.

104

Bijlage 4

Interactie-bepaling

In deze bijlage zullen we aan de hand van enkele voorbeelden duidelijk maken wathet verschil is tussen de interactie die berekend wordt via variantie-analyse en delineaire interactie vanuit een productvariabele.Interactie is algemeen de specificerende working die een predictor heeft op de relatietussen een andere predictor en een afhankelijke variabele. In ons geval: despecificerende werking van consistentie op de relatie tussen aanpak en toetsscore.Omdat in variantie-analyse de relatie tussen aanpak en toetsscore wordt weeggegevendoor het verloop van de gemiddelde toetsscore over de aanpak-klassen, draagt elkeafwijking in het verioop van gemiddelde toetsscore per niveau van consistentie (tenopzichte van het totaalverloop) bij aan de interactie.Lineaire interactie beperkt zich tot het lineaire deel van deze relaties, dat wil zeggende vraag is: hangt de lineaire samenhang tussen aanpak en toetsscore lineair samenmet de consistentie-niveaus. Het gaat dus in feite om het verloop van deongestandaardiseerde regressiecoefficient B tussen aanpak en toetsscore over deniveaus van consistentie. Als B stijgt met het niveau van consistentie spreken we vaneen (positief) lineair interactie-effect.

Stel we hebben een tabel met fictieve toetsscores voor combinaties van aanpak enconsistentie, die ieder in drie klassen zijn ingedikt. We nemen aan dat in elke cel vande tabel evenveel groepen vertegenwoordigd zijn. Ook nemen we aan dat de feitelijkerange tussen laag en hoog niveau 1 punt bedraagt. De onderste regel geeft (eenschatting van) de ongestandaardiseerde regressiecoefficient tussen aanpak entoetsscore voor een bepaald niveau van consistentie.

Tabel 4A laat een situatie zien zonder interactie: het verloop van de gemiddeldetoetsscore over de klassen van aanpak is voor elk niveau van consistentie identiek,namelijk volledig vlak. Dat deze trend steeds op een ander niveau bestaat (60 voorlage consistentie, 80 voor hoge) doet hier niet ter zake.Binnen elk niveau van consistentie kunnen we een ongestandaardiseerderegressiecoefficient B berekenen, uitgaande van de niet-ingedikte aanpak-variabele.We schatten deze B hier vanuit het verloop van de gemiddelden in de klassen vanaanpak, maar in feite bedoelen we de B uitgaande van de niet-ingedikte aanpak-variabele. We zien dat B niet samenhangt met het niveau van consistentie. De totaleinteractie is dus nul, evenals de lineaire interactie.

105

Tabel4A

aanpak:consistentie

laag midden hoog totaal

middenhoog

606060

707070

808080

707070

B

Ook de situatie zoals die is weergegeven in Tabel 4B is wat interactie betreft identiekaan de voorgaande, namelijk op elk niveau van consistentie is er weliswaar sprakevan een lineaire relatie tussen aanpak en toetsscore, maar deze is steeds hetzelfde, enhangt daarom niet samen met consistentie-niveau.

Tabel 4B

aanpak:consistentie

laag midden hoog totaal

midden

hoog

506070

607080

708090

607080

20 20 20 20

Tabel 4C laat een situatie zien waar er wel sprake is van interactie, namelijk de trendsover de klassen van aanpak verschillen voor de drie niveaus van consistentie, maar ophet lage en hoge niveau van consistentie is sprake van een kromlijnige samenhangtussen aanpak en toetsscore. Daardoor zijn op deze beide niveaus de B's ook nul. Ookhier zien we dat B niet samenhangt met het consistentie-niveau. Er is dus welinteractie, maar geen lineaire interactie.

106

Tabel 4C

aanpak:consistentie

midden hoog totaal

laagmiddenhoog

759075

808080

857085

808080

B

In de situatie zoals weergegeven in Tabel 4D is er zowel sprake van totale interactie,namelijk de gemiddelde verschillen warden steeds groter bij hogere consistentie,alsook van lineaire interactie, namelijk de lineaire samenhang tussen aanpak entoetsscore wordt groter op hogere niveaus van consistentie. Omdat we de range vanconsistentie op 1 punt hebben aangenomen bedraagt de lineaire interactieregressiecoefficient B=20.Uit de totale B (dat is dus het aanpak-effect) en deze interactie B is de range van B'sover de consistentie-niveaus afte leiden, namelijk neem de totaal B, dit is de B bij degemiddelde waarde van consistentie, trek de helft van de lineaire interactie B hiervanaf om de B op het lage niveau te krijgen. Voor het hoge niveau wordt de helft van deinteractie B opgeteld. Dus B(laag)=l 0-20/2=0 en B(hoog)= 10+20/2=20.Als de afzonderlijke B's in de consistentie-klassen niet perfect lineair samenhangenmet de consistentie-niveaus, dan levert deze berekening de, vanuit de regressielijndoor de B's, voorspelde waarde van B op de niveaus van consistentie.

Tabel4D

aanpak:consistentie

laag midden hoog totaal

laagmidden

hoog

808080

758085

708090

758085

B 10 20 10

De laatste situatie, zie Tabel 4E, laat zien dat er op de consistentie-niveausverschillende waarden van B kunnen voorkomen, maar dat er toch geen lineaire

107

interactie is. De B's hangen namelijk kromlijnig samen met de consistentie-niveaus.

Tabel 4E

aanpak:consistentie

laag midden hoog totaal

midden

hoog

809080

708090

907090

808087

B 20

Afwezigheid van lineaire interactie kan dus ontstaan doordat:- op elk niveau van consistentie B gelijk is;- de verschillende B's kromlijnig samenhangen met de consistentie-niveaus.

Er kan dus totale (lineaire + niet-lineaire) interactie zijn zonder dat er lineaireinteractie is, maar het omgekeerde kan niet, namelijk als er lineaire interactie is moeter ook totale interactie zijn.

Over het algemeen is het niet verstandig om interactie te schatten door het opnemenvan het product van twee variabelen in een multipele regressie. De productvariabeleis namelijk noodzakelijk zeer hoog gecorreleerd met de twee variabelen waaruit hetproduct is samengesteld. Correlaties liggen meestal rond .70-.80. Om het zelfstandigeeffect van de lineaire interactie te kunnen bepalen moeten het product en desamenstellende variabelen echter tegelijk in een regressie warden opgenomen. Hetwordt immers aangenomen dat de interactie orthogonaal is (onafhankelijk is/alsrestterm geldt) ten opzichte van de hoofdeffecten. Door de hoge correlaties tussen depredictoren is sprake van multicollineariteit, waardoor de schattingen van de effectenonbetrouwbaar en instabiel zijn. Met dit laatste wordt bedoeld dat kleineveranderingen in de verdeling van respondenten grote veranderingen in het geschatteeffect Ran geven.

In multilevel-analyse kan alleen een crosslevel interactie ongecorreleerd wordengemaakt door groepscentrering van de predictor(en) op het lagere niveau.In multilevel-analyse wordt in alle berekeningen uitgegaan van vooronbetrouwbaarheid gecorrigeerde toetsscores. Dit ondervangt gedeeltelijk hetprobleem van de onbetrouwbaarheid van de interactie-schattingen. Deze procedureleidt er wel toe dat de resultaten niet zonder meer vergelijkbaar zijn met die van een

108

gewone variantie-analyse. Dit kan met name betekenen dat het (in randgevallen) voorkan komen dat lineaire interactie geschat met multilevel-analyse groter kan zijn dande totale interactie berekend met behulp van een gewone variantie-analyse.

109

Bijlage 5

Kritieke p-waarden

In het algemeen zal de kritieke p-waarde voor significantie aangepast warden aan hetaantal onderzoekseenheden waarop een steekproefschatting van een effect berekendis. Algemeen aanvaard is: p=.10 voor N=100, p=.05 voor N==200, p=.01 voor N=300en p=.001 voor N=500 ofhoger. Het is mogelijk te laten zien dat in al deze gevalleneen net-significant effect (p-waarde effect=kritieke p-waarde) een gestandaardiseerdewaarde heeft van ongeveer .15. Dit wordt dan ook aanvaard als een absoluutminimum, waaronder een effect niet meer als relevant wordt beschouwd. Hethanteren van bijvoorbeeld p=.05 als kritieke waarde bij N=300 leidt ertoe datcorrelaties/regressie-coefficienten van slechts .11 nog net significant zijn, terwijl zo'neffect nauwelijks nog relevantie heeft, namelijk slechts 1% van de variatie in deafhankelijke variabele kan warden verklaard vanuit de predictor.

Soms wordt een hogere kritieke p-waarde aanhouden, zelfs tot p=.20, ook in situatiesmet veel onderzoekseenheden. Het gaat hier dan om de bovengenoemde type-1 foutofwel de a-fout. Het gehanteerde argument is dan dat dit de type-2 fout ofwel P-foufverlaagt.Hoewel deze algemene uitspraak wel geldig is, is dit inhoudelijk een nietszeggenderedenering. De situatie is namelijk als volgt.

We stellen dat we een type-1 fout van .1% willen maken, dat wil zeggen .1% kans omde nul-hypothese (=er is geen effect in de populatie) te verwerpen als deze waar is, ofanders gezegd .1% kans om te zeggen dat er wel een effect is als dit er feitelijk niet zoIS.

We kunnen tegelijk willen dat de kans om te zeggen dat een altematieve hypothesewaar is (terwijl feitelijk de nul-hypothese waar is) ook klein is. Dit is de type-2 fout,de kans op het aannemen van een hypothese als deze niet waar is. Er wordt ook welgesproken over 1-P als de power van de test, ofwel de kans op het aannemen van dealtematieve hypothese als deze waar is (en de nul-hypothese dus niet waar). Wewillen dus een kleine type-1 fout en een hoge power.

Deze type-2 fout is direct gekoppeld aan de grootte van het effect dat we willenaannemen als de alternatieve hypothese. We kunnen ons voorstellen dat desteekproefverdeling van het effect (hier de regressie-cogfficient) eennormaalverdeling heeft, voor de nul-hypothese rond het gemiddelde van nul, en voorde altematieve verdeling rond een altematief gemiddelde. Op de plaatsen van dekritieke z-scores (hier + en - 2.6) denken we ons twee loodlijnen die de beide

Ill

normaalverdelingen snijden. Het gebied onder de nul-hypotheseverdeling links enrechts van de loodlijnen is .1%, de grootte van de type-1 fout. Als we er vanuit gaandat de altematieve hypothese positief is, dat wil zeggen we nemen aan dat er eenfeitelijk positief effect is, dan is het gebied onder de altematieve hypotheseverdelinglinks van de rechter loodlijn de grootte van de type-2 fout. Het zal duidelijk zijn datde type-2 fout groot is als de altematieve hypothese dicht bij het nulpunt ligt. Ook isduidelijk dat het verschuiven van de rechter loodlijn naar links (kritieke z-waardelager ofwel kritieke p-waarde hoger) altijd een lagere type-2 fout geeft, met tegelijkeen hogere type-1 fout.

De vraag is nu wat een zinvolle altematieve hypothese is. Ons inziens is eenhypothese kleiner dan de kritieke z-score inhoudelijk niet zinvol. De altematievehypothese moet een grootte hebben van wat we minimaal als een relevant effectwillen beschouwen. Wat betreft de aanpak-aspecten, waarbij een effect van 2.6punten toetsscore bij een standaardfout van 1 net significant/relevant is, lijkt eenaltematieve hypothese van 4 a 5 punten niet overdreven, temeer omdat we al hebbengezien dat het effect van 1 weegfactor-klasse al 6 a 7 punten bedraagt. Bij aanpakgaat het om het verschil in toetsscore tussen nul-intensief ten opzichte van maximaalintensief. We zouden willen dat dit totale effect van aanpak het effect van 1 klasseachterstandsfactor zou kunnen compenseren.

Als we de power berekenen van een altematieve hypothese van 4 punten, dan vindenwe een power van 92%, en bij een altematiefvan 5 punten een power van 99.2%.We willen dan ook stellen dat bij een inhoudelijk zinvolle altematieve hypothese envoldoende onderzoekseenheden op het hogere niveau, de power van een toets mettype-1 fout <.01 voldoende groot is.Als we in ons geval om de power te vergroten zouden uitgaan van een type-1 fout van.10 (een totaal niet-relevant gestandaardiseerd effect van .07 wordt dan nogsignificant genoemd'), dan zou de power bij 4 punten als altematief zijn gestegennaar 99% en bij 5 punten naar 99.99%, een winst die in geen verhouding staat tot hetmoeten rapporteren van vele significante, maar niet-relevante effecten.

112

Bijlage 6

De leerkrachtenvragenlijst groep 3,5 en 7Selectie consistentie- en aanpak-vragen

V6. Hoeveeluur per week kregen deze leerlingen gemiddeld onderwijs in de volgendevakgebieden?

wanneer dit per leeriing steric verschilde, gaat u dan uit van de onderwijstijd dievoor de meeste leertingen werd gerealiseerds.v.p. afmnden op 10minuten

uur+ minuten

lezen: technisch en/of begrijpend lezen

taal: schrijf-, spreek- en luistervaardigheid; spelling, grammatica,taalbeschouwing, stijl, idioom e.d.

rekenen

V9. Kregen de leerlingen voor wie u de vragenlijst invult huiswerk mee?

a. taal b. rekenen c. zaakvakken

n.v.t.: in dat leerjaarwerd geen huiswerkgegeven

-0- -0- -0-

zelden of nooit -1- -I- -1-

dat was alleen gebruikelijk voor zwakke leer-lingen

-2- -2- -2-

dat was alleen gebruikelijk voor goede leerlin-gen

dat was gebruikelijk voor de hele groep

-3-

-4-

-3-

-4-

-3-

-4-

113

V22. Hoe vaak registreerde u vorderingen voor technisch en begrijpend lezen?bedoeld wordt registratie in een leeriingvolgsysteem of ander registratiesysteemwanneer u geen registratiesysteem gebruikte, kunt u dat aangeven door -0-teomcirkelen

n.v.t. nooit 1 of2xperjaar 3 of 4x per jaar 5 x per jaar ofvaker

a. technisch lezen .0- -1- -2- -3- -4-

d. begrijpend lezen -0- -I- -2- -3- -4-

V23. In welke vorm gaf u bij de leerlingen in de groep, die op de omslag vermeld staat,instructie tijdens de leeslessen?

wanneer u zowel technisch lezen als begrijpend lezen ate apart onderdeel gaf,beantwoordt u deze vraag dan voor begrijpend lezen

vrijwel uitsluitend klassikaal -1-

overwegend klassikaal, maar met individuele of groepsgewijze aanvullingen -2-

afwisselend klassikale, individuele en/of groepsgewijze instructie -3-

overwegend in homogene gmepen flesrlingen van hetzelfde niveau) -4-

overwegend in hetemgene groepen (leerlingen van verschillend niveau) -5-

overwegend individueel -6-

in groepsoverstijgende niveaugroepen (homogene groepen leerlingen afkomstig uitverschillende klassen)

-7-

V24. Maakte het aanleren van leesstrategieen onderdeel uit van uw begrijpendleesonderwijs? Met leesstrategieen bedoelen we bij voorbeeld:

het aanteren van een systematische manier omje op een tekst te orienterenhet aanleren van procedures om de hoofdgedachte uit een tekst of alinea af teleiden

n.v.t.: deze leerlingen kregen geen begrijpend lezen

niet of nauwelijks

hier werd regelmatig aandacht aan besteed -2-

aan het ontwikkelen van leesstrategieen werd uitgebreid aandacht besteed -3-

114

V31. In welke vorm gaf u bij deze leerlingen instructie tijdens de taallessen?wanneer dat sterk afhankelijk was van het taalonderdeel, omcirkelt u dan hetaltematief dat het beste de instructie omschrijft bij cursorische onderdelen vanhot taalonderwijs, b.v. spelling.

vrijwel uitsluitend klassikaal -1-

overwegend klassikaal. maar met individuele of groepsgewijze aanvullingen -2-

afwisselend klassikale, individuele en/of groepsgewijze instructie -3-

overwegend in homogene groepen ^leerlingen van hetzelfde niveau) -4-

overwegend in heterogene groepen (leeriingen van verschillend niveau) -5-

overwegend individueel -6-

in groepsoverstijgende niveaugroepen (homogene groepen leerlingen afkomstig uitverschillende klassen)

-7-

V32. Hoe vaak gaf u vorig schooljaar (1993/1994) voor taal proefwerken of toetsen in degroep voor wie u deze vragenlijst invult?

nooit 1 of 2 xperjaar

1 x per 3maanden

Sxperjaarof vaker

dat is nietaante

geven

controletoetsen(proefwerken, toetsen of dictees horendbij de methode)

-1 - -2- -3- -4- -5-

exteme toetsen

(toetsen die een vergelijking mogelijkmaakten met andere scholen, b.v. cito-toetsen)

-1- -2- -3- -4- -5-

diagnostische toetsen(toetsen die u gebruikte om de leerstofvast te stellen of uw instructie aan tepassen)

-1- -2- -3- -4- -5-

115

V33. Hoe vaak registreerde u vorderingen voor taal?bedoeld wordt mgistratie in een leerlingvolgsysteem of ander registratiesysteemwanneer u geen registratiesysteem gebrvikte, kunt u dat aangeven door -0-teomcirkelen

n.v.t. nooit 1 of 2x perjaar

3 Of 4xirjaar

5 x per jaarof vaker

a. woordenschat -0. -1 - -2. -3- -4-

b. spelling -0- -1 - -2- -3- -4-

c. (overige) vorderingen bij taal -0- -1 - -2- .3- -4-

d. -0- -1 - -2- -3- -4-

V35. Om welke reden(en) keek u het taalwerk na?

1 = dit speelde niet of nauwelijks een rol; 2 = dit speetde een rol; 3 = dit speeldeeen zeer belangrijke rol

om een cijfer te kunnen geven .1- -2- -3-

om te controleren of de leeriingen hun werk serieus maakten .1- -2- -3-

om te controleren of ik de leerstof goed had uitgelegd -1- -2- -3-

om nieuwe opdrachten (of taken) te kunnen geven -1 - -2. -3-

om bij zwakke leerlingen een foutenanalyse te kunnen maken -1 - -2- -3-

116

V43. In welke vorm gaf u bij deze leerlingen in het algemeen instructie tijdens derekenlessen?

omcirkel het altematief dat de praktijk van uw rekenlessen het beste omschrijft

vrijwel uitsluitend klassikaal -1 -

^venwegend klassikaal, maar met individuele of groepsgewijze aanvullingen -2-

afwisselend klassikale, individuele en/of groepsgewijze instructie -3-

overwegend in homogene groepen ^leerlingen van hetzelfde niveau) -4-

overwegend in heterogene groepen (leeriingen van verschillend niveau) -5-

overwegend individueel -6-

in gmepsoverstijgende niveaugroepen (homogene groepen leerlingen afkomstig uit ver-schillende klassen)

-7-

V44. Hoe vaak gaf u vorig schooljaar (1993/1994) voor rekenen proelwerken of toetsenin de groep voor wie u deze vragenlijst invult?

nooit 1 of 2 x

perjaar1 x per 3maanden

Sxperjaarofvaker

dat is niet

aante

geven

controletoetsen

(proefwerken oftoetsen horend bij de me-thode)

-1- -2- -3- -4- -5-

exteme toetsen

(toetsen die een vergelijking mogelijk maak-ten met andere scholen, b.v. cito-toetsen)

-1- -2- -3- -4- -5-

diagnostische toetsen(toetsen die u gebruikte om de leerstof vastte stellen of uw instructie aan te passen)

-1- -2- -3- -4- -5-

117

V45. Hoe vaak registreerde u vorderingen voor rekenen?bedoeld wordt registratie in een leertingvolgsysteem of ander registratiesysteemwanneer u geen registratiesysteem gebruikte, kunt u dat aangeven door -0-teomcirkelen

n.v.t. -0-

nooit .1-

1 of 2 x per jaar -2-

3 of 4 x per jaar -3-

5 x per jaar of vaker -4-

V47. Om welke reden(en) keek u het rekenwerk na?

1 = dit speelde niet of nauwelijks een rol; 2 = dit speelde een rol; 3 = dit speeldeeen zeer belangrijke rol

om een cijfer te kunnen geven -1- -2- -3-

om te controleren of de leerlingen hun work serieus maakten -1- -2- -3-

om te controleren of ik de leerstof goed had uitgelegd -1- -2- -3-

om nieuwe opdrachten (of taken) te kunnen geven -1- -2- -3-

om bij zwakke leerlingen een foutenanalyse te kunnen maken -1- -2- -3-

118

V66. In hoeverre bent u het oneens ofeens met de volgende uitspraken?

geheel oneens. geheeleens

a. Ik verwacht van mijn leerlingen dat ze zich opschool behoorlijk inzetten

.1- -2- -3- -4- -5-

b. Ik ben goed in staat om te gaan met sterk hetero-gene groepen

-I- -2- - -3- -4- -5-

c. Ik vind het moeilijk eisen te stellen aan zwakkeleerlingen

-I- -2 - -3- -4- -5-

Ik ben goed in staat de ondeiwijsprestaties vanachterstandsleerlingen te verbeteren

-1- -2 - -3- -4- -5-

Op een school als de onze kun je niet te veel vande leeriingen verwachten

-1- -2 - -3- -4- -5-

Ik ben ervan overtuigd dat ook de langzame leer-ders in mijn groep aardig wat kunnen presteren

-1- -2 - -3- -4- -5-

Ik ben goed in staat onderwijs te geven aan lasti-ge leerlingen

-1- -2 - -3- -4- -5-

Ik heb vaak een hard hoofd in het vermogen vansommige leerlingen om wat te leren

-1 - -2 -- -3- -4- -5-

119