EVALUATIE - Brede School

BREDE SCHOLEN IN NEDERLAND

HANDLEIDING

EVALUATIE BREDE SCHOOL

HANDLEIDING

EVALUATIE BREDE SCHOOL

Voorwoord 3

Inleiding 5

1 Waarom evalueren? 7

2 Wanneer evalueren? 8

3 Hoe pak je het aan? 9

4 Wat ga je evalueren? 11

5 Hoe ga je evalueren? 14

6 Wie gaat wat doen? 17

7 Hoeveel tijd kost evaluatie? 19

8 Hoe zorg je voor voldoende draagvlak? 23

9 Hoe maak je een evaluatieplan? 24

10 Met EBS aan de slag? 26

INHOUDSOPGAVE

Evaluatie Brede School - Handleiding ● 3

Voor u ligt de Handleiding Evaluatie BredeSchool. Deze handleiding biedt informatie vooriedereen die overweegt met evaluatie van debrede school aan de slag te gaan: verantwoorde-lijke ambtenaren, projectleiders, directeurenvan betrokken scholen en instellingen, en per-soneelsleden. Voordat u met evaluatie van startgaat, moet een aantal zaken in kaart gebrachtworden en moeten er enkele besluiten genomenworden. De handleiding biedt ondersteuning omu op gedegen wijze op de evaluatie voor tebereiden. Daarnaast maakt u in deze brochurekennis met het door Oberon ontwikkelde Evalu-atiemodel Brede School (EBS), de bijbehorendeindicatoren, instrumenten en het stappenplan.Deze handleiding en het EBS zijn in opdrachtvan het ministerie van Onderwijs, Cultuur enWetenschap ontwikkeld in samenspraak met deStuurgroep Brede Scholen (OCW,VNS SZW, VROM ende VNG).

Deze handleiding is los te gebruiken. Mocht ubesluiten de evaluatie van de brede school ingang te zetten en hierbij gebruik te willenmaken van de methodiek van het EBS dan kunt ubij Oberon de map ‘Evaluatiemodel BredeSchool’ bestellen. Deze map bevat de handlei-

ding, de instrumenten, een voorbeeldrapppor-tage, en een rapportage met daarin de eerstelandelijke referentiegegevens. Het instrumenta-rium is eveneens digitaal beschikbaar opwww.bredeschool.nl. Hier treft u ook invoer-bestanden, een toelichting bij het invoeren eneen voorbeeldrapportage aan (zie vraag 10 indeze brochure).

Daarnaast willen wij u wijzen op het HandboekBrede School – 0-12 jaar en de brochure Kwali-teitscriteria Brede School. Het handboek biedtpraktische informatie en direct toepasbare aan-wijzingen voor een systematische ontwikkelingvan brede scholen. De brochure Kwaliteitscrite-ria biedt inzicht in en ondersteuning bij hetvaststellen van lokale kwaliteitscriteria voorbrede scholen. Beide publicaties kunnen vannut zijn bij het vormgeven en uitvoeren van deevaluatie. Ze zijn te bestellen bij Oberon of tedownloaden op www.bredeschool.nl. Wij hopen u met deze handleiding van dienst tezijn bij de verdere ontwikkeling en evaluatie vande brede school en wensen u hierbij succes.

Utrecht, 2004Oberon

VOORWOORD


Sinds de jaren negentig wordt er in veel Neder-landse gemeenten gewerkt aan de ontwikkelingvan brede scholen. De verwachtingen zijn hoog-gespannen. Sommigen denken dat de opbrengstuit de breedte zal komen (brede samenwerkingtussen meerdere disciplines), volgens anderenkomt de opbrengst vooral uit de lengte (door-gaande ontwikkelingslijnen). Maar verloopt desamenwerking wel naar wens en levert de bredeschool datgene op wat met men er van ver-wacht? En hoe maak je de eventuele meerwaar-de zichtbaar?

De afgelopen jaren heeft Oberon samen met eenaantal gemeenten het ‘Evaluatiemodel BredeSchool’ ontwikkeld en in praktijk gebracht. In deeerste fase van het project heeft Oberon hetmodel in samenwerking met zes gemeenten ont-worpen. Tot dan toe was er geen geschikt instru-mentarium voorhanden om de bredeschoolont-wikkeling te evalueren. De ambitie was om eenhandzaam model te ontwerpen dat door gebrui-kers zonder externe ondersteuning eenvoudigzou kunnen worden ingezet. Een eis was wel datalle relevante ontwikkelingen en vorderingenvan brede scholen in beeld konden wordengebracht. In de tweede fase van het project ishet model in zeven gemeenten in de praktijkgebracht. De door deze gemeenten verzameldedata zijn vervolgens gebundeld en geanaly-seerd. Het model is tenslotte op grond van deopgedane lokale ervaringen en de landelijkeanalyses bijgesteld en aangepast.

Deze brochure biedt informatie voor iedereendie overweegt met evaluatie van de bredeschool aan de slag te gaan: verantwoordelijkeambtenaren, projectleiders, directeuren vanbetrokken scholen en instellingen, en perso-neelsleden. In eerste instantie is het modelbedoeld om evaluatie op gemeentelijk niveauvorm te geven. Het is echter ook goed mogelijkdat een individuele brede school met het modelgaat werken. Hiervoor dienen dezelfde stappendoorlopen te worden als door een gemeente. Voordat u met de evaluatie kan starten, moetener een aantal zaken in kaart gebracht worden enenkele besluiten genomen worden. Deze hand-leiding biedt ondersteuning bij de voorberei-ding op de evaluatie en het nemen van welover-wogen beslissingen. Achtereenvolgens gevenwij antwoord op de 10 belangrijkste vragen.

INLEIDING

10 VRAGEN BIJ EVALUATIE:

Waarom evalueren?

Wanneer evalueren?

Hoe pak je het aan?

Wat ga je evalueren?

Hoe ga je evalueren?

Wie gaat wat doen?

Hoeveel tijd kost evaluatie?

Hoe zorg je voor voldoende draagvlak?

Hoe maak je een evaluatieplan?

Met EBS aan de slag?

12345678910


1WAAROM EVALUEREN?

Een belangrijke opbrengst van evaluatie-onder-zoek is het krijgen van zicht op de tot dan toebereikte resultaten. Aan de hand van de evalu-atiebevindingen kunt u vaststellen of en in hoe-verre de doelstellingen van de brede schoolbereikt zijn. Hiernaast maakt evaluatie duidelijkof het proces naar wens verloopt en of het berei-ken van de doelstellingen wel te danken is aande acties die in dat kader ondernomen zijn. Wespreken hier over effectiviteit (doelmatigheid):hebben de inspanningen in de afgelopen perio-de de ontwikkelingen in de gewenste richtingbeïnvloed? Daarnaast brengt evaluatie ook inbeeld of resultaten op de juiste manier bereiktkunnen worden. We hebben het dan over effi-ciëntie (doeltreffendheid): kunnen de zaken noghandiger aangepakt worden? Wellicht is hetmogelijk uw resultaten te vergelijken met dievan andere brede scholen of gemeenten. Ookhierdoor krijgt u meer zicht op effectiviteit enefficiëntie van gevoerd beleid.

Wat evaluatie op kan leveren, mag op grond vanvoorgaande duidelijk zijn. Toch zijn er pergemeente of zelfs per brede school verschillen-de redenen denkbaar op grond waarvan menkan besluiten de brede school te gaan evaluerenen/of monitoren. Wellicht is de bredeschoolont-wikkeling pas kort geleden van start gegaan enwilt u de startsituatie in kaart brengen. Het kanook zijn dat één of meerdere brede scholen aleen aantal jaren draaien en dat u het tijd vindtworden om zicht te krijgen op de opbrengsten.Een evaluatie kan tevens gebruikt worden omzicht te krijgen op de behoeftes van de ‘klanten’van de brede school: de kinderen, de ouders enwellicht ook de buurtbewoners. Zijn de vraag enhet aanbod voldoende op elkaar afgestemd?Kortom, er zijn verschillende motieven denk-baar om de brede school te evalueren.

ENKELE MOGELIJKE EVALUATIEVRAGEN ZIJN:

Verloopt de ontwikkeling van de brede school naar wens?

Levert de brede school datgene op wat men ervan verwacht?

Is er sprake van voldoende afstemming tussen vraag en aanbod?

Is er voldoende zicht op de wensen en behoeftes van de ‘klanten’

van de brede school?

Is er voldoende aansluiting tussen beleid en praktijk?

Is het nodig het proces bij te sturen? Op welke punten?

8 ● Evaluatie Brede School - Handleiding

Evaluatie is onderdeel van de beleidscyclus. Opbasis van de uitkomsten van de evaluatie kanbeslist worden of en hoe het proces wordt voort-gezet. De beleidscyclus die bij de bredeschool-ontwikkeling gevolgd wordt, ziet er schematischuit als in figuur 1.

Zowel scholen en instellingen als gemeentesdoorlopen ieder een eigen beleidscyclus. Ditbetekent dat evaluatie op meerdere niveaus kanplaatsvinden, bijvoorbeeld op instellings-, loca-tie- of gemeentelijk niveau. Als u de evaluatie-bevindingen van verschillende brede scholen inuw gemeente met elkaar wilt vergelijken, zijneen goede timing en heldere afspraken vanbelang.

In bovenstaande beleidscyclus volgt evaluatieop de uitvoering. Evaluatie lijkt pas zinvol tezijn als er resultaten te verwachten zijn. Toch isdit niet het geval. Evaluatie is ook mogelijk alsde brede school nog in de voorbereidingsfase

verkeert of pas sinds kort operationeel is. Wespreken dan van een nulmeting. Als het gaatover concrete opbrengsten hoeft u dan nog nietzoveel te verwachten. De nulmeting geeft zichtop de startsituatie en de behoeften van debetrokkenen. Voordelen van een nulmeting zijn:

• De beginsituatie is in kaart gebracht. Bijeventuele latere evaluatie-uitkomsten kandaar op teruggegrepen worden;

• De uitkomsten van de nulmeting kunnengebruikt worden voor de programmering vande brede scholen;

• Uitvoerende partijen raken vertrouwd metevaluatie en resultaatgericht werken.

Nulmeting of niet: de informatie die de evalu-atie oplevert stelt uitvoerende organisaties,bestuurders, beleidsmakers en politiek in staatom hun inspanningen en investeringen te ver-antwoorden én om hun beleid eventueel bij testellen.

2WANNEER EVALUEREN?

initiatief

Figuur 1 Beleidscyclus bredeschoolontwikkeling

initiatief voorbereiding uitvoering resultaten evaluatie


Onafhankelijk van wat je evalueert: alle evalu-aties kennen dezelfde volgorde van werkzaam-heden. Hieronder schetsen we in het kort deacht verschillende stappen die bij een evaluatie

doorlopen moeten worden. Verderop in dezebrochure komen de onderscheiden stappen weeraan bod en worden zij nader toegelicht (zievraag 4 t/m 10).

3HOE PAK JE HET AAN?

Voorbereidende werkzaamheden

Hieronder valt een aantal verschillende activiteiten zoals het creëren van voldoendedraagvlak onder betrokkenen, het inventariseren van beschikbare relevante materialenen literatuur en het voeren van oriënterende gesprekken over de evaluatie. Op basis vande voorbereidende activiteiten, dient u een aantal belangrijke keuzes over de evaluatiete maken. Deze keuzes worden in een evaluatieplan opgenomen.

Opstellen van een evaluatieplan

Het is belangrijk over een aantal zaken duidelijkheid te verkrijgen voordat daadwerkelijkmet de evaluatie gestart wordt. Om deze reden is het verstandig een evaluatieplan op testellen en de keuzes en beslissingen met de betrokken uitvoerende partijen tebespreken. Zij moeten met het evaluatieplan akkoord gaan. Onderwerpen die in iedergeval aan bod dienen te komen zijn: • de doelstellingen (wat wil je bereiken met de brede school?);• de indicatoren (wat wil je meten?);• de instrumenten (hoe wil je gegevens verzamelen?);• de respondenten en gegevensbronnen (wie gaan deze gegevens aanleveren?);• een plannings- en activiteitenoverzicht (wie doet wat wanneer?).Bepaal vooraf of het gaat om een eenmalige evaluatie of dat er gekozen wordt voor eenmeerjarige opzet waarin op meerdere momenten (bijvoorbeeld 2-jaarlijks) peilingenworden uitgevoerd.

Verzamelen van gegevens

Als iedereen zich in het evaluatieplan kan vinden, kunnen met gebruik van deinstrumenten de gegevens verzameld worden. Instrueer hiervoor de juiste personen. Hetuitzetten van de vragenlijsten en dergelijke is meestal niet het meeste werk, deinzameling van de gegevens wel. Dit vraagt aandacht. Neem tijdig responsverhogendemaatregelen en geef de respondenten voldoende (maar ook niet teveel!) responstijd.

1STAP

2STAP

3STAP


3HOE PAK JE HET AAN?

Invoeren van gegevens

Als alle gegevens verzameld zijn, worden ze ingevoerd in een databestand. Hiervoor kangebruik gemaakt worden van verschillenden programma’s, zoals bijvoorbeeld Excel ofSPSS. Het invoeren is vaak een tijdrovende bezigheid. Regel hiervoor tijdig voldoendecapaciteit.

Analyse van gegevens

De ingevoerde gegevens moeten geanalyseerd worden. Het is belangrijk dat degene diedit gaat doen voldoende kennis heeft, zowel op het inhoudelijke vlak (de onderzochtethema’s) als op het technische vlak (de programmatuur waarmee gewerkt wordt). Zorgervoor dat de analyse niet te lang duurt. Het is van belang dat uitkomsten snel naarbetrokkenen gecommuniceerd worden.

Rapportage

Houd de rapportage beknopt. Neem alleen de meest relevante gegevens op en besteedvoldoende aandacht aan conclusies en aanbevelingen. Houd er rekening mee datrespondenten graag terugzien hoe ze het er zelf van afbrengen maar dat tegelijkertijdvoor zichzelf willen houden. Bepaal van tevoren over wie je herkenbaar wilt rapporterenen waar de bevindingen beter geanonimiseerd weergegeven kunnen worden. Wellichtzijn deelrapportages voor de verschillende locaties wenselijk.

Communicatie en presentatie

Bedenk van tevoren wie geïnformeerd moeten worden over de uitkomsten aan deevaluatie. En met welke middelen? Dit kan middels een rapportage,informatiebijeenkomst, nieuwsbrief en/of inzet van lokale of landelijke media.

Bijstelling van beleid

De evaluatie is onderdeel van de beleidscyclus en kan gebruikt worden als eensturingsmiddel voor beleid en praktijk. Op grond van de uitkomsten wordt bepaald of enhoe het proces wordt voortgezet.

4STAP

5STAP

6STAP

7STAP

8STAP


Een van de eerste stappen bij de ontwikkelingvan brede scholen is het ontwikkelen van eenvisie. Waarom wil men een brede school? Vanuitdeze visie worden doelstellingen en kwaliteits-criteria ontwikkeld. Wat wil je met de bredeschool bereiken en waaraan moet de bredeschool minimaal voldoen? Op grond hiervanbepaal je vervolgens wat je wilt gaan meten: deindicatoren. Zowel doelstellingen en kwaliteits-criteria als indicatoren worden hieronder nadertoegelicht.

Doelstellingen en kwaliteitscriteriaEvaluatieonderzoek laat zien of en in hoeverreaan doelstellingen en kwaliteitscriteria voldaanwordt. In een enkel geval kunnen doelen enkwaliteitscriteria overeenkomen; wat voor deene brede school (nog) iets is om na te streven,is voor de ander een voorwaarde om bredeschool te zijn. Doelen hangen af van de ontwik-kelingsfase van de brede school en kunnen in detijd veranderen. Kwaliteitscriteria liggen inprincipe vast. Hieronder laten we een aantaldoelstellingen en kwaliteitscriteria zien:

4WAT GA JE EVALUEREN?

Doelstellingen 1)*

Het vergroten van de ontwikkelingskansenvan kinderenHet realiseren van een (doorgaande) ont-wikkelingslijn voor kinderenHet versterken van de sociaal-emotioneleontwikkeling van kinderenHet creëren van een sluitend netwerk rondhet kindHet bestrijden van onderwijsachterstandenvan kinderenHet verbeteren van opvoedkundige vaar-digheden van oudersHet vergroten van de participatie/betrok-kenheid van oudersHet optimaliseren van het voorzieningen-niveau in de wijk(en)Het versterken van de sociale cohesie in dewijkHet vergroten van de veiligheid in de wijk

Kwaliteitscriteria

Het kind staat centraalOuders worden betrokkenEr is sprake van maatwerk in de wijkEr is sprake van een gezamenlijke missieEr is sprake van een nieuwe professionelehouding waarbij samenwerking centraalstaatHet activiteitenaanbod is zichtbaar en her-kenbaarEr is sprake van een structurele en integra-le aanpak Er zijn goede en heldere afspraken overhuisvesting en beheer

Tabel 1. Doelstellingen en Kwaliteitscriteria brede school

1)* Sommige van

deze doelstellingen

zijn algemener dan

andere. In veel

gevallen zijn doel-

stellingen op te split-

sen in subdoelstellin-

gen. Voordat u aan

de evaluatie begint,

is het belangrijk dat

u uw doelstellingen

nog eens goed

bekijkt.

IndicatorenWat u door middel van evaluatieonderzoek wiltgaan meten is afhankelijk van wat u met de bre-de school wilt bereiken. U kunt zelf indicatorenformuleren maar u kunt ook gebruik maken vanal bestaande indicatoren. Oberon heeft in hetpilottraject Evaluatie Brede Scholen samen metde betrokken gemeenten zoveel mogelijk doel-stellingen van de brede school geïnventari-seerd. Het betrof zowel proces- als productdoel-stellingen. Op grond van de verschillende doel-stellingen zijn vervolgens indicatoren (meetba-re eenheden) geformuleerd. Dit heeft geleid toteen set van acht indicatoren. Deze worden hier-onder toegelicht.

Acht indicatorenEén van de meest in het oog springende facet-ten van brede scholen is het activiteitenaanbod,oftewel de programmering van activiteiten enprojecten door de betrokken partijen. Behalvehet aanbod zelf zijn met name deelname enbereik onder doelgroepen relevant. Daarnaast isde kwaliteit van de samenwerking een belangrij-ke indicator. Daarbij gaat het zowel om de orga-

nisatie van de samenwerking als om de resulta-ten daarvan. De ruimtelijke vormgeving en huis-vesting van brede scholen zijn mede gezien degrote investeringen op dit vlak een relevantaandachtspunt voor evaluatie. Maar de belang-rijkste indicatoren betreffen de meerwaarde vanbrede scholen voor de diverse doelgroepen, teweten kinderen, ouders en wijkbewoners. Intabel op de pagina hiernaast geven wij voor elkevan de acht indicatoren de bijbehorende defini-tie weer.

Het evaluatiemodel brede scholen is zeer breedopgezet. Wellicht breder dan hetgeen u met uweigen brede school wilt bereiken. Het model isechter flexibel. U hoeft het niet in de vollebreedte te gebruiken maar u kunt ervoor kiezenu te beperken tot enkele indicatoren. Als een-heid van onderzoek ligt de brede school in dewijk het meest voor de hand. Dat wil zeggen hetsamenwerkingsverband van scholen en instel-lingen in de wijk die gezamenlijk een bredeschool vormen (al dan niet onder één dakgehuisvest). Op basis van de indicatoren kunnenverschillende clusters onderling vergeleken


4WAT GA JE EVALUEREN?

Formuleer de doelen zo SMART mogelijkNiet alle van bovengenoemde doelstellingen zijn gemakkelijk te meten. Voldoen ze aan dezogenaamde SMART-criteria (Specifiek, Meetbaar, Acceptabel, Realistisch, enTijdsgebonden)? Hoe concreter u uw doelstellingen formuleert, hoe beter u door middel vanevaluatie in kaart kunt brengen in hoeverre ze bereikt zijn.

Maak onderscheid tussen proces- en productopbrengstenHet is van belang onderscheid te maken tussen product- en procesdoelen. Bij productdoelengaat het om het eindresultaat, bijvoorbeeld verbetering van leerprestaties van leerlingen. Bijprocesdoelen gaat het om tussengelegen doelen, bijvoorbeeld deelname van leerlingen aanhuiswerkbegeleiding. In beide gevallen dienen deze doelen in kwantificeerbare termengeformuleerd te worden. Enige terughoudendheid om in een te vroeg stadiumproductevaluaties te willen uitvoeren is aan te raden. In eerste instantie leverenprocesevaluaties waarschijnlijk meer relevante informatie op.

TIPS

worden én kunnen overkoepelende uitsprakengedaan worden over de bredeschoolontwikke-ling in een gemeente. Ook kunnen de gegevens

vergeleken worden met de resultaten in anderegemeenten.


Indicator Definitie

Aanbod De voorzieningen, projecten en activiteiten (oftewelprogrammering) die de betrokken scholen gezamenlijkrealiseren

Deelname en bereik Deelname van kinderen, ouders, wijkbewoners aan hetaanbod en het bereik onder diverse doelgroepen

Organisatie van samenwerking De wijze waarop de samenwerking tussen de betrokkenscholen en instellingen georganiseerd is en verloopt

Resultaten van samenwerking De resultaten van de samenwerking tussen de betrokkenscholen en instellingen

Huisvesting De wijze waarop de brede school gehuisvest is

Meerwaarde kind De resultaten van de bredeschoolontwikkeling voor de kin-deren die tot de doelgroep van de brede school behoren

Meerwaarde ouders De resultaten van de bredeschoolontwikkeling voor oudersvan kinderen die tot de doelgroep van de brede schoolbehoren

Meerwaarde wijk De resultaten van de bredeschoolontwikkeling voor wijk-bewoners die tot de doelgroep van de brede school behoren

Tabel 2. Indicatoren voor de evaluatie van de brede school

1

2

3

4

5

6

7

8


Om te kunnen evalueren is een instrumentariumnodig waarmee de benodigde gegevens verza-meld kunnen worden. Hierbij kunt u kiezen voorbestaande instrumenten. U kunt er ook voorkiezen de instrumenten zelf te ontwikkelen. Hetis belangrijk dat de instrumenten aansluiten bijwat u wilt meten, bij het opleidingsniveau vande respondenten en bij de specifieke lokalesituatie.

InstrumentariumOp basis van de 8 indicatoren heeft Oberonsamen met de betrokken gemeenten instrumen-ten ontwikkeld. Hieronder lichten we de ver-schillende instrumenten toe. Per instrument istevens aangegeven voor welke indicatorengegevensverzameling plaatsvindt. Het betrefteen breed pakket aan instrumenten waarbij opmeerdere niveaus (beleidsmatig en uitvoerend,aanbieders en gebruikers) aandacht wordtbesteed aan de verschillende aspecten van de

brede school. De instrumenten zijn sober,handzaam en toegankelijk. Om de gegevensver-zamelingen analyse te vergemakkelijken iszoveel mogelijk gebruik gemaakt van geslotenvraagstellingen waarbij de respondenten eenkeuze kunnen maken uit verschillende ant-woordmogelijkheden. Ook hier weer geldt dat het model flexibel is. Ukunt er, afhankelijk van uw doelstellingen, dusvoor kiezen niet álle instrumenten te gebruikenmaar slechts een selectie ervan. Ook kunt uervoor kiezen de afzonderlijke instrumenten aante passen aan uw situatie door bijvoorbeeldbepaalde vragen weg te laten of toe te voegen.In de vragenlijsten is rekening gehouden met deverschillende fasen waarin de bredeschoolont-wikkeling kan verkeren. Als de brede school nogmoet starten of net gestart is, kunt u zichbeperken tot de gemarkeerde selectie vanvragen.

5HOE GA JE EVALUEREN?

Houd de gegevensverzameling sober door af te tappenIn gemeenten zijn vaak al allerlei relevante gegevens voorhanden. Maak zoveel mogelijkgebruik van al beschikbare data door af te tappen uit bestaande monitorsystemen.Relevante gegevensbronnen kunnen bijvoorbeeld zijn: een onderwijsmonitor, eenjeugdmonitor, een wijkpeiling, de leerlingenadministratie.

Maak gebruik van de al aanwezige plannenJaarlijks dienen veel brede scholen een schoolplan/werkplan bij de gemeente in. In dit planworden meestal de doelstellingen, de taakverdeling tussen betrokkenen, de overleg- ensamenwerkingsstructuur, de wijze van informatie en communicatie, de scholing endeskundigheid weergegeven. Dit zijn allemaal thematieken die in het evaluatiemodelterugkomen. Het is dan ook van belang dat gegevens uit de werkplannen gebruikt wordenbij de evaluatie. Mogelijk zelfs kunnen de huidige school/werkplannen daar in de toekomstop aangepast worden. Wellicht kan de checklist Programmering (instrument 2) volledigingevuld worden op basis van het al bestaande werkplan!

TIPS


Tabel 3. Instrumenten en indicatoren voor de evaluatie van de brede school

1)*

1 = Aanbod

2 = Deelname en

bereik

3 = Organisatie van

de samenwerking

4 = Resultaten van

de samenwerking

5 = Huisvesting

6 = Meerwaarde kind

7 = Meerwaarde

ouders

8 = Meerwaarde wijk

Instrumenten Indicatoren 1)*

Beschrijvingskader locaties 1 2

In het beschrijvingskader wordt per brede school een aantal achtergrondgegevens ingevuld over de belangrijkste betrokken instellingen en hun populatie.

Checklist Programmering 1 2

De checklist programmering is een leidraad voor het in kaart brengen van het complete activiteitenaanbod van iedere brede school. De onderscheiden activiteiten zijn onderverdeeld in verschillende velden, zoals: educatief, cultureel/expressief, zorg, sport en spel en opvang. Per activiteit wordt de daarvoor verantwoordelijke instelling, de doelgroep en het aantal deelnemers ingevuld.

Interviews locatiemanagement 1 2 3 4 5 6 7 8

De locatiemanagers worden geïnterviewd aan de hand van een gestructureerde vragenlijst. Er kan voor gekozen worden de vragenlijst mondeling of schriftelijk af te nemen. Een combinatie hiervan is ook mogelijk.

Enquête personeel 3 4 5 6 7 8

Het uitvoerend personeel (leerkrachten, leidsters, welzijnswerkers, etc.) en de directies krijgen een korte schriftelijke vragenlijst voorgelegd met gesloten vragen. Deze vragenlijst komt grotendeels overeen met het interview met de locatiemanagers opdat vergelijking van antwoorden mogelijk is.

Vragenlijst kinderen 6

Voor de leerlingen op de basisschool is een eenvoudige korte invullijst met stellingen ontwikkeld, die de leerkrachten zelf kunnen afnemen. De lijst kan in één lesuur in bijv. de groepen 4, 6 en 8 na een korte instructie door de leerlingen zelf worden ingevuld. In navolging hierop worden de stellingen mondeling nogmaals besproken aan de hand van het hiervoor ontworpen stellingenspel.

1

2

3

4

5


5HOE GA JE EVALUEREN?

Vragenlijst jongeren 6

Het kan zijn dat de brede school zich niet (alleen) op kinderen in de basisschoolleeftijd richt maar (ook) op jongeren. Voor jongeren is er een korte gesloten vragenlijst ontwikkeld die zij zelf schriftelijk kunnen invullen. Op basis van de vragenlijst kan een groepsdiscussie gevoerd worden.

Ouderpeiling 6 7

Om de ouders te bevragen is een korte vragenlijst ontwikkeld die ouders individueel in kunnen vullen. Afhankelijk van de doelgroep kan het nodig zijn aanvullende ondersteuning te bieden bij het invullen. Op basis van de vragenlijst kan een groepsdiscussie gevoerd worden.

Gesprek met de wijk 8

Wijkbewoners krijgen een korte gesloten vragenlijst die zij zelf schriftelijk kunnen invullen. Op basis van de vragenlijst kan een groepsdiscussie gevoerd worden.

E-mailenquête beleidsmakers 3 4 5

Beleidsmakers, zoals ambtenaren van bij de brede school betrokken afdelingen (bijv. huisvesting, ruimtelijke ordening, onderwijs, welzijn) of besturen van betrokken organisaties krijgen via e-mail een kort vragenlijstje toegestuurd.

6

7

8

9

De uitvoering van de evaluatie vergt de nodigepersonele capaciteit. Uitgangspunt van hetmodel is dat gemeenten de evaluatie zelfstandiguit kunnen voeren. Voor elke stap in het evalu-atieproces geven we aan bij wie de verantwoor-delijkheid voor de uitvoering zou kunnen lig-gen. We baseren ons hierbij op de wijze waaropde pilotgemeenten de evaluatie ten uitvoeringhebben gebracht. Hier kan natuurlijk vanafgeweken worden. Het is aan de gemeenten of enwanneer zij hulp van derden in willen schakelen.Belangrijk is wel dat voordat met de evaluatiegestart wordt duidelijk en inzichtelijk is wie watgaat doen.

De gemeentelijk projectleiderDe gemeentelijk projectleider is verantwoorde-lijk voor een groot deel van de taken. Hij/zijdraagt er zorg voor dat betrokkenen geïnstru-eerd en gemotiveerd worden; de werkplannenen andere relevante gegevens (aftappen) verza-meld worden; de vragenlijsten verspreid wor-den; de gegevens bij elkaar gevoegd worden; dedata ingevoerd en geanalyseerd worden; deresultaten opgenomen worden in een rapporta-ge en dat er over de bevindingen gecommuni-ceerd wordt. Dit wil niet zeggen dat de gemeen-telijk projectleider alles zelf moet doen. U kuntervoor kiezen tijdelijk extern mankracht in tehuren of in te zetten voor onderdelen van deevaluatie. Te denken valt aan het secretariaat,een afdeling Onderzoek en Statistiek, eenonderwijsbegeleidingsdienst, uitzendkrachtenof stagiaires.


6WIE GAAT WAT DOEN?

Stappen Wie is verantwoordelijk?

Voorbereidende werkzaamheden De gemeentelijk projectleider verricht devoorbereidende werkzaamheden.

Opstellen van een evaluatieplan De gemeentelijk projectleider stelt het evaluatieplan insamenspraak met betrokkenen op.

Verzamelen van gegevens Voor het uitzetten van de verschillende instrumenten en hetverzamelen van de gegevens worden de werkzaamhedenverdeeld. Per instrument geven we hieronder weer wie de meestaangewezen persoon voor de bijbehorende taken is.

a. Beschrijvingskader locaties De gemeentelijk projectleider vult hetbeschrijvingskader in, evt. aangevuld door delocatiemanager.

Tabel 4. Taakverdeling voor de evaluatie van de brede school

1STAP

2STAP

3STAP

b. Checklist Programmering De gemeentelijk projectleider vult de checklist in, evt.aangevuld door de locatiemanager.

c. Interviews locatiemanagers De gemeentelijk projectleider neemt de interviews af.d. Enquête personeel De locatiemanager (in samenwerking met de

betreffende directies) verspreidt en verzamelt devragenlijsten onder het personeel van betrokkeninstellingen.

e. Vragenlijst kinderen De locatiemanager en de betreffende directies bepalengezamenlijk in welke groepen de vragenlijst wordtafgenomen. De locatiemanager (in samenwerking metde betreffende directies) is verantwoordelijk voorverspreiding en verzameling van de vragenlijst.Leerkrachten dragen zorg voor afname in de klas.

f. Vragenlijst jongeren De locatiemanager en de betreffende directies bepalengezamenlijk welke jongeren door wie benaderd zullenworden. De locatiemanager is verantwoordelijk voorverspreiding en verzameling van de vragenlijsten.

g. Ouderpeiling De locatiemanager en de betreffende directies bepalenin samenspraak welke ouders door wie benaderd zullenworden. De locatiemanager is verantwoordelijk voorverspreiding en verzameling van de vragenlijsten.

h. Gesprek met de wijk De locatiemanager en de betreffende directies bepalenin samenspraak welke wijkbewoners door wie benaderdzullen worden. De locatiemanager is verantwoordelijkvoor verspreiding en verzameling van de vragenlijsten.

i. E-mailenquête ambtenaren De gemeentelijk projectleider is verantwoordelijk voorverspreiding en verzameling van de vragenlijsten.

Invoeren van gegevens Voor het invoeren kan gebruik gemaakt worden vanhulp van derden (bijv. het secretariaat, afdeling O&S,uitzendkracht).

Analyse van gegevens Ook voor de analyse kan extern deskundige mankrachtingezet worden (bijv. een OBD of afdeling O&S).

Rapportage Voor het opstellen van de rapportage is de gemeentelijkprojectleider verantwoordelijk, evt. in nauwesamenwerking met de bij de analyse betrokkenpersoon/personen.

Communicatie en presentatie De gemeentelijk projectleider draagt zorg voor depresentatie en communicatie over de bevindingen.

Bijstelling van beleid Besturen en directies, scholen en instellingen, politiek enambtelijk vertegenwoordigers van de gemeente zijngezamenlijk verantwoordelijk voor eventuele bijstellingvan het brede school beleid.


6WIE GAATWAT DOEN?

4STAP

5STAP

6STAP

7STAP

8STAP

Belangrijke vraag is op welk moment u de evalu-atie wilt uitvoeren. Wanneer wilt u dat de eersteresultaten beschikbaar zijn? En wilt u de evalu-atie herhalen na verloop van tijd? Zo ja, dan ligteen groeimodel voor de hand: beginnen met eenselecte set aan indicatoren en instrumenten omdeze in de loop der jaren uit te bouwen naar eenvolledige evaluatie van de brede school. Zowelop brede school niveau als op gemeenteniveauis een fasegewijze opbouw mogelijk. Ook kun-nen gemeenten en brede scholen ervoor kiezenfrequentie en intensiteit van metingen te varië-ren voor de verschillende onderwerpen en indi-catoren. Het model moet in deze optie eengedegen fundament bieden om in de loop derjaren op voort te kunnen bouwen.

Een eenmalige meting is vanzelfsprekend een-voudiger te realiseren maar biedt maar beperktinzicht in voortgang en ontwikkelingen. Voorlo-pig gaan we om deze reden uit van een tweejaar-lijkse cyclus, startend aan het begin van eennieuw schooljaar. Het eerste schooljaar wordtdan gebruikt voor het uitzetten van de instru-

menten en het verzamelen van de gegevens. Inde zomermaanden en het begin van het tweedeschooljaar vindt de gegevensinvoer en analyseplaats zodat de rapportage, communicatie enpresentatie nog vóór de jaarwisseling afgerondkunnen worden. De laatste maanden van hetnieuwe schooljaar kunnen dan ingezet wordenvoor de bijstelling van het beleid en de voorbe-reidingen voor de volgende evaluatieronde.

Evaluatie kost tijdWellicht heeft u de indruk gekregen dat dit alle-maal wel erg veel werk is en veel van de betrok-ken personen vraagt qua tijdsinvestering. Inzekere zin is dit natuurlijk zo: evaluatie kostaltijd tijd. Niet alle activiteiten hoeven echtertegelijk uitgevoerd te worden. Ze kunnen ver-spreid worden over een langere periode. Ook ishet zo is dat niet alle taken en verantwoordelijk-heden bij één persoon komen te liggen. De erva-ring leert dat andere uitvoerende partijen bui-ten de gemeentelijk projectleider de evaluatie-activiteiten over het algemeen goed in kunnenpassen in hun reguliere werkzaamheden.


7HOEVEEL TI JD KOST EVALUATIE?

Maak tijd vrij voor coördinatie en aansturing van deevaluatieDe gemeentelijk projectleider heeft het vaak al druk met zijn/haarreguliere takenpakket. De evaluatietaken komen hier meestal nogbovenop. Het is om deze reden verstandig extra formatie tereserveren voor de aansturing en de coördinatie (advies: 0,5 dagenper week, afhankelijk van de omvang van de evaluatie).

TIP

Indicatie tijdsinvesteringOm u toch enig inzicht te geven in de gevraagdetijdsinvestering geven we hieronder per onder-scheiden stap een grove indicatie van de beno-digde tijd. Deze indicaties zijn gebaseerd op de

ervaringen van de verschillende pilotgemeen-ten. In onderstaande tabel gaan we uit van eenmiddelgrote gemeente met vier brede scholendie het model in de volle omvang in gebruikneemt.


Indicatie tijdsinvestering uitvoering

voorbereidende werkzaamheden 3 dagen

opstellen van een evaluatieplan 3 dagen

verzamelen van gegevens 12 dagen

invoeren van gegevens 5 dagen

analyse van gegevens: 5 dagen

rapportage: 5 dagen

communicatie en presentatie: 2 dagen

bijstelling van beleid: variabel

Totaal 35 dagen

Tabel 5. Geschatte tijdsinvestering voor de uitvoering van de evaluatie van de brede school

1STAP

2STAP

3STAP

4STAP

5STAP

6STAP

7STAP

8STAP

7HOEVEEL TI JD KOST EVALUATIE

Het uitvoeren van de evaluatie vraagt hiernaastook tijd van de respondenten. Zij zijn immersdegenen die de gewenste gegevens moeten aan-

leveren. In tabel 6 geven we een indicatie vande tijdsinvestering die de verschillende instru-menten van de respondenten vragen.


Indicatie tijdsinvestering respondenten

Interview locatiemanagement : schriftelijk 0,5 uur, mondeling 2 uur

Enquête personeel en directies : 0,5 uur

Vragenlijst kinderen : 1 lesuur

Vragenlijst jongeren : schriftelijk 20 minuten, discussie 0,5 uur

Ouderpeiling : schriftelijk 20 minuten, discussie 0,5 uur

Gesprek met de wijk : schriftelijk 20 minuten, discussie 0,5 uur

E-mailenquête ambtenaren : 15 minuten

Tabel 6. Geschatte tijdsinvestering voor de respondenten


8HOE ZORG JE VOOR VOLDOENDE DRAAGVLAK?

Om goed te kunnen evalueren is het belangrijkdat er voldoende draagvlak voor de evaluatie is.Op verschillende niveaus in de brede school zul-len tijdens de uitvoering van een evaluatie-onderzoek mensen benaderd worden gegevensaan te leveren. Hoe meer zijzelf het belang hier-van inzien, hoe groter de opbrengst zal zijn. Hetkan zijn dat gemeenten de deelname aan deevaluatie als voorwaarde hebben opgenomen inde subsidietoekenning. Ook in dit geval is hetvoor de kwaliteit van de gegevens belangrijk deevaluatie niet van bovenaf op te leggen, maarsamen met de betrokkenen vorm te geven.

Een eerste stap in het traject is daarom hetorganiseren van een bijeenkomst met debelangrijkste partners in de brede school(bijv.gemeente, stuurgroepleden en locatie-managers). Tijdens deze bijeenkomst wordtgesproken over het doel van de evaluatie en demogelijke opbrengsten van de evaluatie voor debetrokkenen. Als de deelnemers (gezamenlijk)besloten hebben daadwerkelijk aan evaluatievorm te gaan geven, wordt het tijd om over deinhoud te gaan praten. Wat wil men evalueren?Hoe wil men evalueren? Bij wie gaat men gege-vens verzamelen? Welke gegevens wil men ver-zamelen? Wie gaat wat wanneer doen? Als lei-draad voor deze bijeenkomst kunt u deze bro-chure gebruiken.

Op grond van wat besproken wordt, stelt degemeentelijk projectleider brede school eenevaluatieplan op. In een tweede bijeenkomstkan dit evaluatieplan besproken worden met hetveld waarbij bijvoorbeeld ook betrokken direc-ties uitgenodigd worden. Als iedereen met hetplan heeft ingestemd, kan met de evaluatiegestart worden.

Tijdens de uitvoering van het traject is het zin-vol met betrokken partijen eens in de zoveel tijdbij elkaar te komen om de voortgang en destand van zaken te bespreken (bijvoorbeeldmaandelijks). Deelnemers kunnen elkaar danvragen stellen en ervaringen en tips uitwisse-len. Aan het einde van het traject, als een eind-rapportage gereed is, is het belangrijk de bevin-dingen tijdig terug te koppelen naar het veld ende resultaten te bespreken. Wat heeft de evalu-atie opgeleverd?


Voordat met de evaluatie gestart kan worden, ishet handig een evaluatieplan op te stellen. Wegeven hier een opzet voor een dergelijk evalu-atieplan. De verschillende onderdelen zijn geba-seerd op de al eerder uiteengezette punten indeze brochure.

Achtergrond brede schoolIn deze paragraaf geeft u weer wat er op hetgebied van bredeschoolontwikkeling in uwgemeente heeft plaatsgevonden. Hoeveel bredescholen zijn er nu? Gaat het om multifunctioneleaccommodaties of bevinden de verschillendeinstellingen zich verspreid over de wijk? Welkeplaats neemt de brede school in op de verschil-lende beleidsterreinen (GOA, jeugdbeleid)?

Projectorganisatie brede schoolHoe ziet de gemeentelijke organisatiestructuurer op het gebied van de brede school uit? Tedenken valt hierbij aan een stuurgroep of werk-groepen. Deze kunnen plaatsvinden op verschil-lende niveaus (gemeentelijk niveau, wijkniveau,locatieniveau). Beschrijf de taken en verant-woordelijkheden van alle op verschillendeniveaus betrokken groepen en personen (bijv.locatiemanagers, gemeentelijk projectleider).

EvaluatiemotievenWaarom wilt u gaan evalueren? Welke statusheeft deze evaluatie? Betreft het bijvoorbeeldeen nulmeting? Zijn er vervolgmetingengepland? Wat wilt u met de bevindingen gaandoen? Zie hiervoor ook vraag 1 en 2 in deze bro-chure.

Doelen van de brede schoolBij vraag 4 in deze brochure gaven we overzichtvan mogelijke doelen van de brede school. Het

is belangrijk dat u in dit evaluatieplan duidelijken zo concreet mogelijk aangeeft wat u met debrede school wilt bereiken.

IndicatorenOp grond van de hierboven geformuleerde doel-stellingen bepaalt u wat u wilt gaan meten (zievraag 4). Waar zal de evaluatie zich op gaanrichten? En waarom heeft u voor deze indicato-ren gekozen? U kunt ervoor kiezen gebruik te maken van deindicatoren uit het door Oberon ontwikkeldeEvaluatiemodel. In dit geval moet u zich afvra-gen of u zich bij de evaluatie op alle indicatorenwilt richten of slechts op een selectie ervan. Hetkan zijn dat u kiest voor een meerjarig ontwik-keltraject waarbij in eerste instantie gestartwordt met een beperkte set. In vervolgmetingenkan de indicatorenset dan uitgebreid worden.Het kan ook zijn dat u de evaluatie op de ene


1STAP

2STAP

3STAP

4STAP

5STAP

6STAP

7STAP

8STAP

Activiteiten en verantwoordelijkhedenHet is belangrijk dat helder is wie wat gaat uit-voeren (zie vraag 6). Wie is er verantwoordelijkvoor de verschillende taken? Welke rol hebbende gemeentelijk projectleider, de locatie-managers, de stuur- en/of werkgroepen bij deevaluatie?

Coördinatie van de evaluatieWie is er verantwoordelijk voor de totale coördi-natie en aansturing van de evaluatie? Hoeveeltijd is hiervoor beschikbaar (evt. extra forma-tie)?

TijdsplanningEvaluatie kost tijd (zie vraag 7). Het is belang-rijk dat u van tevoren een heldere en haalbareplanning opstelt. Wanneer worden de verschil-lende activiteiten ten uitvoering gebracht?

Het invulschema op de volgende pagina kan uhulp bieden bij het overzichtelijk maken en in detijd plaatsen van de verschillende activiteiten enverantwoordelijkheden.

Activiteiten Uitvoering door? Wanneer?

Instelling – naam contactpersoon Maand-jaar


Op basis van deze handleiding heeft u een beeldgekregen van wat evaluatie inhoudt en zou kun-nen opleveren. Wellicht weet u ook al of u zelfvan start wilt gaan met evaluatie en heeft u alconcrete ideeën over hoe deze volgens u hetbeste ingericht kan worden. Een eerste stap isdan om alle ideeën, opmerkingen, bezwaren endergelijke te bespreken met de andere betrok-ken personen. Stap voor stap kunt u gezamen-lijk verder vorm en inhoud geven aan de evalu-atie (zie stappenplan). Als u besluit met hetEvaluatiemodel Brede School (EBS) te gaan wer-ken, kunt u gebruik maken van de volgende pro-ducten en diensten:

Schriftelijk materiaalHet schriftelijke materiaal kunt u bestellen bijOberon.

Map ‘Evaluatiemodel Brede School’

De map ‘Evaluatiemodel Brede School’ bevatdeze handleiding, de instrumenten, een voor-beeldrapportage, en een rapportage met refe-rentiegegevens, gebaseerd op de lokale resulta-ten van zes bij het pilottraject betrokkengemeenten.

Digitaal materiaalDe volgende bestanden kunt u (tevens) digitaalverkrijgen. Ze zijn te downloaden op www.bredeschool.nl:

• Deze handleiding• De instrumenten• Invoerbestanden in Excel en SPSS • Een toelichting bij invoer en verwerking van

de data • Een voorbeeldrapportage • Een rapportage met referentiegegevens

• Handleiding Evaluatie Brede School

Deze handleiding is als pdf beschikbaar.

• Instrumenten

In totaal zijn 9 verschillende instrumenten (vra-genlijsten, checklists etc.) ontwikkeld die opverschillende niveaus aandacht besteden aan debrede school. U kunt de instrumenten afzonder-lijk downloaden en aanpassen aan de lokalesituatie.

• Invoerbestanden

Voor het invoeren en het analyseren van degegevens kunt u kiezen tussen twee computer-programma’s: SPSS en Excel. Voor beide pro-gramma’s hebben wij voor ieder instrument eeninvoerbestand opgesteld. Wij bevelen u aan methet programma SPSS te werken. Bij de analyseen verwerking van de gegevens is dit program-ma aanzienlijk handzamer en toegankelijker danExcel.

• Toelichting invoeren en verwerking gegevens

We hebben een toelichting geschreven bij hetinvoeren en verwerken van de gegevens, inExcel of in SPSS. Wanneer alle data zijn inge-voerd kunnen er bewerkingen worden uitge-voerd die nodig zijn voor de uiteindelijke rap-portage. De analyse beperkt zich tot het uitre-kenen van gemiddelden per brede school, over-all-gemiddelden (gemeentebreed of over eenaantal bij elkaar horende vragen), frequentiesen percentages.

10MET EBS AAN DE SLAG?


• De voorbeeldrapportage

De beknopte voorbeeldrapportage is geschrevenvoor een willekeurige gemeente X en geeft uenkele voorbeelden van hoe u de resultaten inuw gemeente kunt presenteren. U kunt ervoorkiezen onderdelen uit de rapportage, bijvoor-beeld de grafieken of de opbouw van het rap-port, te gebruiken voor uw eigen rapportage.

• Rapportage met referentiegegevens

In deze rapportage worden de resultaten van dezes gemeenten die het EBS-model gebruikt heb-ben samengevat. De resultaten kunnen als refe-rentiegegevens fungeren voor de uitkomstenvan uw eigen evaluatie.

Helpdesk EBS Als u vragen heeft over het evaluatiemodel ofhulp nodig heeft bij het doorlopen van een vande stappen kunt u contact opnemen met deHelpdesk EBS. Deze is bij Oberon ondergebrachten te bereiken op de volgende manieren:

email: [email protected]: 030 - 230 60 90 (Oberon).

Colofon

Uitgave & tekstOberon: Claudia van Lotringen, Michiel van der Grinten

VormgevingBuro Dvada, Utrecht

DrukUSP bv, Utrecht

FotografieSijmen Hendriks

ISBN: 90-805646-9-9

Utrecht, 2004

In opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschap

Stuurgroep Brede Scholen:Ministerie van Onderwijs, Cultuur en WetenschapMinisterie van Volksgezondheid, Welzijn en SportMinisterie van Sociale Zaken en WerkgelegenheidMinisterie van Volkshuisvesting, Ruimtelijke Ordening en MilieuDe Vereniging van Nederlandse Gemeenten

© 2004 Oberon Niets van deze uitgave mag verveelvoudigd worden, op wat voor wijze dan ook, of opgeslagen wor-den in een gegevensbestand zonder voorafgaande schriftelijke toestemming van de uitgever

Sinds de jaren negentig wordt er in veel Nederlandse gemeenten gewerkt aande ontwikkeling van brede scholen. De verwachtingen over de opbrengsten zijnhooggespannen. Maar verloopt de samenwerking wel naar wens en levert debrede school datgene op wat met men er van verwacht? En hoe maak je deeventuele meerwaarde zichtbaar?

EVALUATIE - Brede School

Documents

Transcript of EVALUATIE - Brede School