www.seo.nl - secretariaat@seo.nl - +31 20 525 1630

Hulp bij het opzetten van een evaluatiedesign voor effectmeting IIO

Presentatie voor InnovatieImpuls Onderwijs

Utrecht, 13 januari 2010Arjan Heyma

Onderwerpen

Waarom een effectevaluatie?

Welke opdracht hebben de onderzoekers meegekregen?

Hoe ziet het globale evaluatiedesign eruit?

Wat kan er van de onderzoekers worden verwacht?

Wat gebeurt er vandaag?

Waarom een effectevaluatie?

Eis bij FES-claim: Onderzoeksdesign moet voldoen aan door FES-

beheerders goedgekeurde aanpak Kennisoverdracht

Toets of specifieke innovaties meerwaarde hebben en onder welke voorwaarden

Inzicht in welke innovaties het beste werken en waarom

Doel van de effectevaluatie IIO

Vaststellen van netto effecten op de arbeidsproductiviteit, kwaliteit van het onderwijs en werkdruk van leraren van door besturen/scholen geïmplementeerde innovaties

Welke innovatieve, arbeidsbesparende maatregelen leiden tot een effectievere inzet van leraren, met behoud van de onderwijskwaliteit en zonder verhoging van de werkdruk?

Opdracht aan onderzoekers

Ondersteunen van scholen bij het ontwerpen en uitwerken van een evaluatiedesign voor elk innovatieconcept Meetbaar maken van effectiviteit Afstemming tussen innovatieconcepten

Verzamelen en verspreiden van kennis over IIO innovaties en beantwoorden onderzoeksvragen: Wat zijn de netto effecten? Wat zijn redenen voor verschillende uitkomsten? Wat zijn succesfactoren en valkuilen?

Effectmeting: voor en na

Experimentschool Invoering innovatie

Voormeting Nameting

Effectmeting: de counterfactual

Experimentschool Invoering innovatie

Voormeting Nameting

"Counterfactual" Geen innovatie

Voormeting Nameting

Effectmeting: identificatie door vergelijking

Experimentschool Invoering innovatie

Voormeting Nameting

Vergelijkbare school Geen innovatie

Voormeting Nameting

Effectmeting: experimenteel design

Binnen een groep scholen dient willekeurig te worden bepaald wie de innovatie doorvoert en wie niet

Dan is er geen enkele aanleiding te veronderstellen dat de gemiddelde ontwikkeling van de arbeidsproductiviteit tussen experimentgroep en controlegroep verschilt,m.u.v. effect innovatie

Verschil-in-verschilmeting levert dan zuiver effect op

Met gelimiteerde subsidiegelden is loting handig selectie-mechanisme dat een zuivere effectmeting mogelijk maakt

Hoe gaat die loting in zijn werk?

Trekkerscholen met een winnend concept worden (met een goed projectplan) sowieso toegelaten tot de experimentgroep

Onder de andere scholen die zich op een winnend concept inschrijven vindt loting plaats, waarbij nog aanvullende criteria kunnen worden gehanteerd

Scholen die worden uitgeloot worden gevraagd deel te nemen aan het onderzoek naar effecten van de IIO in ruil voor informatie over ontwikkelingen binnen de IIO en een financiële vergoeding

Bij onvoldoende belangstelling kan de effectmeting niet goed plaatsvinden en wordt subsidie uit FES-gelden twijfelachtig

Worden controlescholen beperkt?

Controlescholen ontvangen geen subsidie voor de gewenste innovatie

Gelijktijdig invoeren van deze innovatie ongewenst

Later invoeren van gewenste innovatie geen probleem: leren van ervaringen met implementatie en effecten op experimentscholen

Andersoortige innovaties invoeren geen probleem(‘care-as-usual’)

Welke indicatoren worden gemeten?

Arbeidsproductiviteit, bijvoorbeeld: Aantal leerlingen per FTE leerkrachten Aantal leerlingen / onderwijstijd van leerkrachten

Kwaliteit van het onderwijs, bijvoorbeeld: Cijfers Toetsen Aantal zittenblijvers Tevredenheid leerlingen / ouders Schoolklimaat (o.a. sfeer, veiligheid)

Werkdruk bij leraren d.m.v. standaard vragenlijst

Wanneer vinden de metingen plaats?

Voormeting, vanaf eind 2010

Tussenmetingen

Nameting, uiterlijk september/oktober 2014

Wat gaan de onderzoekers doen?

Basisevaluatiedesign dat voldoet aan eisen FES-beheerders

Vandaag: eerste gesprekken met trekkerscholen

Komende weken: verdere specificatie van evaluatiedesign per innovatieconcept

Begin februari 2010: samenkomst onderzoekers en trekkerscholen voor laatste afstemming evaluatiedesign

15 februari: inleveren innovatieconcept inclusief uitgewerkt evaluatiedesign door trekkerscholen bij SenterNovem

Wat gebeurt er vandaag?

Consults trekkerscholen bij onderzoekers met als doel: Kennismaking trekkerscholen met onderzoekers Verhelderen van evaluatiedesign aan trekkerscholen Verhelderen van innovatieconcept aan onderzoekers Scherp krijgen van arbeidsproductiviteitverhogende

werking van innovatie Verkenning mogelijke indicatoren en beschikbare

informatie hiervoor bij scholen Uitwisselen gegevens voor vervolgafspraak

Rooster voor consults met onderzoekers

Blok 1: 12:30 – 12:55 uur Blok 2: 13:00 – 13:25 uur Blok 3: 13:30 – 13:55 uur

Pauze

Blok 4: 14:30 – 14:55 uur Blok 5: 15:00 – 15:25 uur Blok 6: 15:30 – 15:55 uur