BRUIKBARE ONDERZOEKSRESULTATEN: FEEDBACK DOOR ONDERZOEK

Anje Ros

KWALITEITSREEKS OPLEIDINGSSCHOLEN

PRAKTIJKONDERZOEK

Steunpunt Opleidingsscholen

Inhoudsopgave

1  Wat is de feedbackfunctie van onderzoek?  4

2  Het belang van onderzoek voor onderwijsverbeteringen  4

3  Aanbevelingen  5

4  Opbrengsten van de feedbackfunctie voor de school en voor de opleiding  9

5  Ter overdenking  9

6  Praktijkcasussen  10

Over de auteur  11

pagina 3Kwaliteitsreeks Opleidingsscholen • Bruikbare onderzoeksresultaten: feedback door onderzoek • Anje Ros

Voor meer achtergrondinformatie over het onderwerp Praktijkonderzoek, lees de katern Schoolontwikkeling door praktijkonderzoek uit onze kwaliteitsreeks.

1 Wat is de feedbackfunctie van onderzoek?

Onderzoek kan op twee manieren bijdragen aan schoolontwikkeling: via de feedbackfunctie en via de dialoogfunc-tie. De feedbackfunctie houdt in dat de resultaten van onderzoek in de school leiden tot de implementatie van on-derwijsverbeteringen. De dialoogfunctie van onderzoek wil zeggen dat het onderzoeksproces leidt tot inhoudelijke gesprekken tussen leraren en daardoor tot professionalisering. Dit kwaliteitskatern gaat over de feedbackfunctie: hoe kun je ervoor zorgen dat onderzoek in de school, uitgevoerd door een onderzoeksgroep met een student, daad-werkelijk leidt tot onderwijsverbetering?

2 Het belang van onderzoek voor onderwijsverbeteringen

Bij  veel  onderwijsverbeteringen gaat het  om een gedragsverandering  van  leraren. Het  is niet  eenvoudig om een gedragsverandering te bewerkstelligen. Hierbij spelen niet alleen de opvattingen en de motivatie van leraren een rol (wil ik dit?), maar ook hun zelfvertrouwen en capaciteiten (kan ik dit?) en de mogelijkheden om de verbetering in te voeren (hoe doe ik het?). Ook speelt mee dat leraren druk ervaren van de omgeving om het nieuwe gedrag te vertonen, bijvoorbeeld druk van de schoolleider of van ouders om een andere aanpak in de klas te gebruiken. Het is daarbij van groot belang dat leraren zich eigenaar voelen van hun eigen ontwikkeling.

Vaak leiden onderwijsverbeteringen niet tot de gewenste effecten (Van den Berg, 2012). Er worden in scholen re-gelmatig beslissingen genomen zonder dat daar een gedegen analyse of vooronderzoek aan vooraf is gegaan. Beslis-singen worden zelden gemonitord en geëvalueerd. Dit geldt zowel voor het proces als voor de opbrengst. Hierdoor wordt er niet optimaal geleerd voor een volgende keer.

Ook worden er vaak gelijktijdig verschillende onderwijsverbeteringen ingevoerd, zonder een duidelijke focus en prioritering. Risico daarvan is dat leraren dan geen inzicht hebben in de doelen en de samenhang van de onder-wijsverbeteringen. Praktijkonderzoek levert een bijdrage aan het doelgericht en planmatig werken aan onderwijs-verbeteringen doordat het onderzoek feedback geeft op de wensen en opvattingen van het team en op de huidige stand van zaken van het onderwijs. Als dit onderzoek  in verschillende  fasen van de onderwijsverbetering wordt uitgevoerd, krijgt het verbeteringsproces een systematisch en transparant karakter.

Fase Mogelijke onderzoeksvragen

Voorbereiding Welke aanpak is effectief volgens de literatuur?Wat zijn de opvattingen van leraren hierover?Hoe geven de leraren nu les en welke verschillen zijn er?Wat vraagt de nieuwe aanpak van leraren?Wat zijn ervaringen van andere scholen?

Invoering Wordt de aanpak uitgevoerd zoals bedoeld?Welke knelpunten doen zich voor bij de invoering, hoe worden die opgelost?Welke condities moeten vervuld zijn?Welke aanpassingen zijn nodig?

Evaluatie Wat zijn de ervaringen van leraren, leerlingen en ouders?Zijn de beoogde doelen gehaald?Welke (andere) aanpassingen zijn nodig?Hoe kunnen we de aanpak verbreden naar andere leerjaren/vakken?

pagina 4

Hoe zorg je ervoor dat de resultaten van onderzoek echt worden gebruikt en leiden tot planmatig verbeteren? Hier-onder volgen zes aanbevelingen.

3 Aanbevelingen

Keuze van het onderzoeksthema Het is belangrijk dat het onderzoek past bij de speerpunten van het beleid van de school. Het gaat bij voorkeur om een thema waarbij het team een zekere mate van urgentie beleeft. Dan is het zowel voor de directeur als voor het team waardevol om hieraan tijd te besteden. Meestal is een probleem of een verbeterwens de aanleiding voor een onderzoek. Om een goede onderzoeksvraag te formuleren, blijkt een probleemanalyse cruciaal te zijn. In deze ana-lyse wordt nagegaan wie precies het probleem (of de verbeterwens) ervaart, hoe groot het probleem is, of er sprake is van ‘een probleem achter het probleem’ en wat er al bekend is over het probleem (op basis van ervaringen van andere scholen en uit de literatuur). Ook wordt nagegaan of de school het probleem al eerder heeft geprobeerd op te lossen en waarom dit niet is gelukt.

Uiteindelijk wordt in deze fase de vraag beantwoord: welke informatie (die met onderzoek kan worden verkregen) kan bijdragen aan de oplossing van het probleem? Hieruit volgt de onderzoeksvraag. Besef wel dat de uitvoering van onderzoek  tijd nodig heeft. Als een probleem direct moet worden opgelost,  is het  thema niet geschikt voor onderzoek. Houd in de planning van het onderzoek rekening met het moment waarop er een besluit moet worden genomen.

De onderzoeksgroep samenstellenEr zitten doorgaans een of meer studenten in de onderzoeksgroep. Zij hebben vaak de meeste tijd. Daarnaast is het belangrijk dat er in de onderzoeksgroep bepaalde sleutelfiguren zitten die straks een rol spelen bij de implementatie, bijvoorbeeld de  coördinator van de werkgroep waar het onderzoek bij  aansluit of de  intern begeleider. Als deze personen in de onderzoeksgroep zitten, zijn ze vanaf het begin betrokken en dit vergroot de kans op implementatie van de aanbevelingen.

Verder verdient het aanbeveling dat een lid van het management deel uitmaakt van de onderzoeksgroep. Hij of zij bewaakt dat het onderzoek aansluit bij het onderwijsconcept en bij de richting waarin de school zich ontwikkelt. Ook laat de deelname van het management zien dat de schoolleiding het onderzoek belangrijk vindt en dat er geen sprake is van vrijblijvendheid.

Tot slot is het belangrijk dat de leden van de onderzoeksgroep voldoende affiniteit hebben met onderzoek en dat er in de groep voldoende onderzoeksexpertise aanwezig is. Die expertise kan zo nodig van buiten worden betrokken, bijvoorbeeld van de opleiding.

Kwaliteitsreeks Opleidingsscholen • Bruikbare onderzoeksresultaten: feedback door onderzoek • Anje Ros pagina 5

Kwaliteit van het onderzoekOnderzoek doen vereist specifieke onderzoeksvaardigheden. De betrokken student en sommige leraren hebben weinig ervaring met onderzoek doen. Om de kwaliteit van het onderzoek te waarborgen, is dan ondersteuning nodig vanuit de opleiding of een lectoraat. De opleiding brengt niet alleen onderzoeksexpertise in, maar vaak ook inhoudelijke expertise, zoals literatuursuggesties, actuele ontwikkelingen en kennis.

Voor de  kwaliteitswaarborg  van het  onderzoek  gelden de  volgende  aandachtspunten  (Verschuren,  2009; Ros & Vermeulen, 2010):

Betrouwbaarheid en validiteit•   De instrumenten zijn betrouwbaar (bijvoorbeeld geen suggestieve of onduidelijke vragen).•   De gegevens zijn op een betrouwbare manier verzameld (de respondenten voelden zich vrij om eerlijk te ant-

woorden, subjectiviteit is vermeden).•   De instrumenten meten wat ze beogen te meten (de formulering is helder en eenduidig).

Generaliseerbaarheid•   De onderzochte personen zijn representatief voor de groep waar het onderzoek iets over wil zeggen (geven de 

bevraagde leraren bijvoorbeeld de mening van het team goed weer?).•   De onderzochte situaties (bijvoorbeeld leerjaren, vakken, tijdstippen) zijn representatief voor de situaties waar-

over het onderzoek iets wil zeggen.•   De context (onderwijsconcept, fase van ontwikkeling) is beschreven, zodat andere scholen kunnen nagaan in 

hoeverre hun situatie vergelijkbaar is.

Controleerbaarheid•   De opzet, resultaten en conclusies zijn duidelijk beschreven, zodat deze voor anderen navolgbaar zijn.•   De  beperkingen  van  het  onderzoek  zijn  beschreven,  zodat  het  onderzoek  op  waarde  kan  worden  geschat.

Cumulativiteit•   Het onderzoek sluit aan bij bestaande kennis en inzichten.•   Het onderzoek bouwt voort op eerder onderzoek en op ervaringen van mensen in de school.

Ethische aspecten•   Er wordt op een goede manier omgegaan met vertrouwelijke onderzoeksgegevens en deze worden zo nodig/

mogelijk geanonimiseerd.•   De onderzoeksresultaten worden op een respectvolle, constructieve wijze gepresenteerd, ook als de resultaten 

tegenvallen.

pagina 6

Bruikbaarheid van de aanbevelingenIn hoeverre een onderzoek leidt tot onderwijsverbetering wordt in belangrijke mate bepaald door de bruikbaarheid van de aanbevelingen. In onderstaande tabel staat waar de aanbevelingen aan moeten voldoen.

Bruikbare aanbevelingen: Mogelijke onderzoeksvragen

•   zijn leesbaar, begrijpelijk en toegankelijk

•   Vermijd vakjargon, zorg voor een helder, transparant, beknopt verslag met een goede samenvatting.

•   Geef een mondelinge toelichting en zorg dat iedereen de conclusies begrijpt.

•   zijn betrouwbaar en valide  •   Zorg ervoor dat er voldoende onderzoeksexpertise wordt betrokken bij de uitvoering van het onderzoek (zie hierboven).

•   leiden tot verbetering •   Start met een goede probleemanalyse, ga na wat er verbeterd moet/kan worden in het onderwijs en welke extra kennis daarvoor nodig is.

•   Zorg ervoor dat de aanbevelingen concreet en handelingsgericht zijn.

•   leiden tot vernieuwing •   Kijk naar innovatieve, effectieve oplossingen: bij andere scholen, in de literatuur en/of vraag een expert.

•   passen bij de school •   Kies voor een oplossingsrichting (onderzoeksvraag) die past bij het onderwijsconcept en bij de fase van ontwikkeling van het team en van de school.

•   leiden tot een beter begrip van de eigen praktijk

•   Verzamel gegevens over het huidige lerarengedrag en over de opvattingen van leraren en vergelijk deze met wat volgens de literatuur effectief is.

•   leiden tot structurele samenwerking

•   Betrek andere scholen, kennisinstellingen of experts bij het onderzoek, bijvoorbeeld als critical friend.

•   zijn haalbaar en realistisch  •   Sluit aan bij de mogelijkheden van de leraren en van de school, wat betreft investering (tijd en geld) en capaciteiten van mensen.

pagina 7Kwaliteitsreeks Opleidingsscholen • Bruikbare onderzoeksresultaten: feedback door onderzoek • Anje Ros

ImplementatietoolsOmdat implementatietools inzicht geven in het gedrag dat precies wordt beoogd, vergemakkelijkt het gebruik van deze tools de implementatie van de aanbevelingen. Het is belangrijk dat de leraren die de implementatietools ge-bruiken, begrijpen waarom dit gedrag van belang is (om instrumenteel gebruik te voorkomen).

Voorbeelden van implementatietools:•   Videofragmenten van goede voorbeelden (of uitgeschreven dialoog).•   Videofragmenten van slechte voorbeelden (of uitgeschreven dialoog). •   Checklist met criteria waar bepaald gedrag aan moet voldoen.•   Stappenplan voor de invoering van een bepaalde aanpak.•   Voorbeelden van verschillende aanpakken/mogelijkheden om leraren op ideeën te brengen.•   Lesmateriaal (lessenserie, cursussen, projecten, workshops).•   Trainingsmateriaal. •   Observatie-instrument of een ander evaluatie-instrument.

ImplementatieplanOp basis van (het gesprek over) de aanbevelingen wordt een implementatieplan gemaakt met de volgende onder-delen.

DoelWat willen we concreet bereiken, welk gedrag wordt beoogd, wanneer zijn we tevreden?

ActiviteitenGeef per (sub)doel aan:•   welke actiepunten worden uitgevoerd om deze te bereiken,•   wanneer elk actiepunt begint en is afgerond;•   hoe tussentijds wordt nagegaan of de uitvoering verloopt zoals bedoeld (monitoring),•   hoe de implementatietools worden gebruikt.

BetrokkenenWie voert uit, wie is verantwoordelijk en wie zijn nog meer betrokken?

ConditiesHoeveel tijd en geld is beschikbaar? Hoe worden aanvullende condities vervuld (denk aan professionalisering, ex-terne deskundigheid, ander rooster, et cetera)? 

Kansen en bedreigingenWelke knelpunten/bedreigingen kunnen zich voordoen en hoe gaan we hiermee om? Welke kansen kunnen zich voordoen en hoe proberen we die te benutten (bijvoorbeeld leerervaringen, kwaliteiten van collega’s benutten, ex-terne contacten benutten, verbetering van de kwaliteit, et cetera)?

EvaluatieOp welke wijze wordt het implementatieplan geëvalueerd: hoe gaan we na of het doel is bereikt? Wie voert de evalu-atie uit, wat is daarvoor nodig en wanneer vindt de evaluatie plaats?

CommunicatieOp welke manier en met welke doelgroepen (leraren, ouders, leerlingen, bestuur, pers) wordt over de uitvoering en de evaluatie van het plan van aanpak gecommuniceerd?

pagina 8

4 Opbrengsten van de feedbackfunctie voor de school en voor de opleiding

Als de feedbackfunctie op bovenstaande manier wordt ingevuld, leidt dit voor de school tot de volgende opbreng-sten:•   De school werkt planmatig aan onderwijsverbeteringen. •   Er worden gefundeerde besluiten genomen in de onderwijskundige beleidsontwikkeling.•   Er is draagvlak voor onderwijsverbeteringen en deze sluiten aan bij de huidige praktijk van leraren.•   Leraren voelen zich eigenaar van de verbeteringen.

Voor de opleiding heeft de feedbackfunctie van onderzoek de volgende opbrengsten:•   Studenten doen onderzoek waarvan de uitkomsten echt door de school worden gebruikt. Dit is motiverend voor 

de studenten.•   Studenten zien het belang van onderzoek en ontwikkelen een positieve attitude ten aanzien van onderzoek.•   De studenten maken deel uit van scholen die zich ontwikkelen tot een lerende organisatie. Daardoor bieden de 

scholen studenten een rijke leeromgeving.•   Door de samenwerking met scholen houden docenten van de opleiding oog voor de toepassing van theorie in de 

praktijk en kunnen ze hun lessen illustreren met praktische voorbeelden.

5 Ter overdenking

•   Hoe komt op jullie school de keuze voor een onderzoeksthema tot stand? Leeft het thema bij de leraren?•   Wie zitten er in de onderzoeksgroep? Spelen bij de samenstelling van de onderzoeksgroep de volgende factoren 

een rol: affiniteit met het thema, onderzoeksexpertise, positie in de school?•   Hoe bewaken jullie de kwaliteit van het onderzoek? Is hier voldoende aandacht voor?•   Zijn  de  aanbevelingen  bruikbaar? Op welke wijze  kan  de  bruikbaarheid  van  de  aanbevelingen worden  ver-

hoogd?•   Wordt er een implementatieplan opgesteld na afloop van het onderzoek? In hoeverre is een implementatieplan 

nodig voor de implementatie?

Kwaliteitsreeks Opleidingsscholen • Bruikbare onderzoeksresultaten: feedback door onderzoek • Anje Ros pagina 9

6 Praktijkcasussen

Praktijkcasus Het begrijpend lezen versterken(Uit Whitepaper KPC Groep, op basis van ervaringen bij AOS-scholen)

Startvraag Omdat de basisschool bij wereldoriëntatie thematisch werkt, lezen de leerlingen veel teksten in boeken en op inter-net. De leerkrachten stelden vast dat leerlingen hier moeite mee hebben, ondanks het feit dat ze de leesstrategieën hebben geleerd in de lessen begrijpend lezen. Het team besloot een onderzoek uit te voeren. Onderzoeksvraag was: hoe kunnen we ervoor zorgen dat leerlingen de geleerde leesstrategieën ook toepassen bij wereldoriëntatie? 

AanpakEr werd een onderzoeksgroep samengesteld onder leiding van een leerkracht die net de master Leren & Innoveren had afgerond. Verder zaten in de onderzoeksgroep: een pabo-student, de taalcoördinator, de directeur, een leer-kracht en een onderzoeksbegeleider. De directeur zorgde ervoor dat de tussenresultaten van het onderzoek elke maand tijdens de teamvergadering werden besproken. Daarbij werd het hele team uitgedaagd om mee te denken. Na een nadere verkenning van het probleem, verdiepte de onderzoeksgroep zich in de belangrijkste begrippen (wat zijn leesstrategieën en hoe leren leerlingen die?). De onderzoeksgroep nam vervolgens interviews af met leerkrachten van groep 4 tot en met 8 en enkele deskundigen en voerde observaties uit.

ResultaatHet gevolg van het onderzoek is dat de school het begrijpend lezen anders gaat aanpakken en daarvoor teksten gaat gebruiken die leerlingen nodig hebben voor het thematisch werken bij wereldoriëntatie. Verder hebben de onder-zoeksresultaten geleid tot kennis en inzicht over de leesstrategieën: leerkrachten weten nu waar het eigenlijk om gaat bij begrijpend lezen en welk leerkrachtgedrag daarbij belangrijk is.

Praktijkcasus 2: iPads in de school

Startvraag In het team van een school stond het thema ‘21st century skills en ICT-vaardigheden’ al vaak op de agenda. De leerkrachten hadden het gevoel dat ze meer moeten aanbieden dan taal en rekenen om leerlingen goed voor te be-reiden op hun toekomst. De school kreeg de mogelijkheid om goedkoop een aantal iPads aan te schaffen voor de leerlingen. Het team beschouwde de invoering de iPad niet als ‘los project’, maar wilde iPad inzetten om het leren van leerlingen te versterken. Maar hoe? 

AanpakDe onderzoeksgroep (ICT-coördinator,  leerkracht en directeur) bestudeerde eerst  literatuur over de inzet van de iPad, maar dat bracht hen niet veel verder. De onderzoeksgroep besloot om te gaan kijken bij andere scholen die hiermee al veel ervaring hebben. Ze bezochten eerst een school van het eigen bestuur en via deze school nog vier andere scholen en stelden vragen aan leerkrachten, leerlingen en de directies. Tijdens een studiedag presenteerden ze, met behulp van de iPad, de verschillende aanpakken van andere scholen. Met het hele team werden de voor- en nadelen van deze aanpakken besproken en werd een eigen aanpak gekozen.

ResultaatTijdens het onderzoek bleek dat het heel belangrijk  is dat  je goed weet wat  je wilt bereiken met de inzet van de iPad. Er zijn daarom veel gesprekken gevoerd over het onderwijsconcept en de rol die ICT daarbij kan spelen. Ook de ervaringen van leerkrachten met de iPad speelde een rol. De eerste pilot met de iPads draait. Een van de leden van de onderzoeksgroep opperde dat het belangrijk is om goed te evalueren wat de leerkrachten en leerlingen ervan vinden. Daarom wordt nu een vervolgonderzoek opgezet.

pagina 10

Over de auteur

Anje Ros is lector Leren & Innoveren bij Fontys Hogeschool Kind en Educatie. In deze rol is ze al 8 jaar betrokken bij de AOS Partnerschap Opleiden in de School in de regio ’s-Hertogenbosch-Veghel. Daarnaast is zij academic director van de Master Leadership in Education en inhoudelijk betrokken bij de master Leren en Innoveren. Tot maart 2015 werkte Anje tevens bij KPC Groep als onderzoeker.

Kwaliteitsreeks Opleidingsscholen • Bruikbare onderzoeksresultaten: feedback door onderzoek • Anje Ros pagina 11

Voor al uw vragen en meer informatie

Steunpunt Opleidingsscholen ondersteunt (academische) opleidingsscholen – als samen-werkingsverband van schoolbesturen, scholen en lerarenopleidingen – bij het versterken van onderlinge samenwerking en kennisuitwisseling. Een steunpunt van, voor en door opleidingsscholen dat bijdraagt aan de professionalisering van leraren, de ontwikkeling van scholen en het versterken van schoolbesturen in het primair en voortgezet onderwijs.

Voor vragen en meer informatie over Steunpunt Opleidingsscholen kunt u terecht bij:

PO-RaadProjectleiders: Jos van der Pluijm en Gea Spaanssteunpuntopleidingsscholen@poraad.nl  •  030 – 31 00 933

VO-raadProjectleider: Nienke Wirtzsteunpuntopleidingsscholen@vo-raad.nl  •  030 – 232 48 00

Colofon“Bruikbare onderzoeksresultaten: feedback door onderzoek” is onderdeel van de

Kwaliteitsreeks van het Steunpunt Opleidingsscholen van de PO-Raad en de VO-raad.

Auteur: Anje Ros, Fontys Hogeschool Kind & Educatie

Vormgeving: Bas van der Horst, BUREAUBAS

Fotografie: Ewouter Blokland, Ewouter.com

Druk: Drukproef, Krimpen a/d IJssel