Is wetenschappelijk onderzoek in de onderwijspraktijk mogelijk?

Recensie van een miniconferentie

A.H. van Liere

Datum : juni 2008

Inleiding

Op 23 mei 2008 organiseerde de Open Universiteit Nederland een miniconferentie met als

thema: “de uitdagingen van wetenschappelijk onderzoek in de onderwijspraktijk”.

Een titel waarbij men kan denken aan uitdagingen als het overbruggen van de kloof tussen

wetenschap en de onderwijspraktijk (Vanderlinde & Braak, 2007). Traditionele

onderzoeksmethoden kunnen niet altijd voldoen aan de vraag van het onderwijsveld. Zo zegt

Akker al in 1999 dat de traditionele onderzoeksbenadering nauwelijks bruikbare oplossingen

biedt voor de grote variatie aan ontwerp- en ontwikkelingsproblemen in het onderwijs.

Andere onderzoeksmethoden zoals ontwerponderzoek en actie-onderzoek, zouden hiervoor

een oplossing kunnen bieden, maar dat brengt een volgend probleem, namelijk het slechte

imago van onderwijswetenschap. Akker (1999) spreekt zelfs van een “hazy image”. Een

ander probleem is dat het onderzoeksdoel van de onderzoeker verschilt met het doel van de

onderwijspraktijk (Design-based Research Collective, 2002).

Als oplossing maken onderzoekers gebruik van een mix van kwalitatieve en kwantitatieve

dataverzameling omdat hierdoor een beter begrip kan worden verkregen van de problemen in

de het onderwijs aldus Lodigo, Spaulding en Voegtle (2006). Het DRC (2002) zegt hier over:

“ [..] (aut.: design based research) can productively be linked with controlled laboratory

experiments or randomized clinical trials [ ..]”.

Bovenstaande problemen hebben ertoe geleid dat er een groeiende behoefte is aan evidence

based onderzoek, ook bij het Regionaal Opleidingen Centrum (ROC) waar ik intern

onderzoek uitvoer. De Onderwijsraad (2006) zegt hierover: “Een evidence based benadering

van onderwijs is waardevol. Onderzoek levert betrouwbare kennis, voortbouwend op eerdere

kennis, inzichten en ervaringen. Zo helpt deze benadering om interessante concepten te

beproeven en effectief gebleken aanpakken te verzilveren”.2/24

Bovenstaande leidt tot mijn leervraag: aan welke eisen moet onderzoek in de praktijk van het

onderwijs voldoen, om het onderzoek wetenschappelijk te noemen?

Keynote “Dat zeg je nou wel, maar waar is dat op gebaseerd?”

Door Prof. Dr. E. Boshuizen

De conferentie startte met de keynote van Prof. Dr. E. Boshuizen. Met een voorbeeld waarin

Socrates een onderzoeksvraag stelt, maakt Boshuizen de principes van wetenschappelijk

onderzoek duidelijk. Er kunnen twee typen onderzoek worden onderscheiden: het

onderzoeken van vooraf bepaalde principes en het onderzoeken van wat er speelt in de

praktijk (Robson, 2002a). Lodigo et al. (2006) spreken ook wel van “basic research” en

“applied research”. Voor beide typen onderzoek gelden dezelfde stappen, alleen de regels

verschillen. Deze stappen zijn: conceptualiseren, meten en interveniëren, analyseren en

kwantificeren, interpreteren en concluderen. Tijdens deze stappen wordt het ontwerp en

uitvoering van het onderzoek beïnvloed door factoren als de beschikbare middelen en

organisatie enerzijds en de eigen kwaliteiten anderzijds. Met name in kwalitatief onderzoek

speelt de context een belangrijke rol en bepaalt in belangrijke mate de randvoorwaarden. Al in

de ontwerpfase van het onderzoek dient de onderzoeker hier zoveel mogelijk rekening mee te

houden, zodat de eisen van wetenschappelijkheid - validiteit, betrouwbaarheid en

generaliseerbaarheid-, niet in gevaar worden gebracht.

Onderzoek in de praktijk van het onderwijs is een iteratief proces. Door voortdurend

expliciteren komen (gewijzigde) inzichten naar boven waardoor het noodzakelijk kan zijn dat

het concept wordt aangepast, bij voorkeur zo vroeg mogelijk in het onderzoek. Op de vraag

3/24

hoe je in het onderzoek validiteit, betrouwbaarheid en generaliseerbaarheid moet organiseren

was het antwoord van Boshuizen: door goed te documenteren, te interpreteren en door

theorievorming.

Boshuizen beëindigde haar keynote, terugkomend op het feit dat in verschillende typen

onderzoek, verschillende regels worden gehanteerd: “laat je niet verleiden om toch de regels

van anderen te gebruiken”.

Uit deze keynote concludeer ik dat onderzoek in de praktijk van het onderwijs ook aan de

eisen van wetenschappelijkheid kan voldoen, als men de juiste regels blijft volgen en

nauwkeurig de bevindingen en beslissingen documenteert en beargumenteert.

Na deze keynote, waarin mijn onderzoeksvraag is beantwoord, wil ik weten of er verschil is

tussen de theorie en de praktijk.

Onderzoek in de onderwijspraktijk: voorbeelden, dilemma’s en oplossingen

Presentatie 1De eerste presentatie werd gegeven door Drs. G. Fastré. De onderzoeksvraag was: “Hoe

kunnen we leerlingen ondersteunen om zichzelf te beoordelen d.m.v. een digitaal

ontwikkelingsportfolio?”. Het ontwikkelingsportfolio, ingebed in een leeromgeving dat

tijdens het onderzoek is ontwikkeld, is ook het instrument om data te verzamelen. Gedurende

de presentatie werd duidelijk dat het onderzoek in de onderwijspraktijk niet altijd loopt zoals

gepland en dat verschillende factoren invloed hebben op de uitvoering van het onderzoek. Het

begint al met het feit dat de onderzoeker en de opdrachtgever verschillende verwachtingen

hebben, de onderzoeker wordt beschouwd als de expert en krijgt alle verantwoordelijkheid.

Het uiteindelijke resultaat van het onderzoek is een digitale leeromgeving waarin het 4/24

ontwikkelingsportfolio is vormgegeven en een incomplete set data. Het laatste wordt

veroorzaakt door het feit dat de respondenten te laat of helemaal niet de gegevens aanleveren.

Ondanks dat het ontwikkelde instrument samen met docenten tot stand is gekomen, zien de

docenten de zin hier niet van in, wat ook weer invloed heeft op de studenten waardoor zij de

data niet aanleveren.

Het onderzoek is nog niet afgerond, maar het management van de school heeft inmiddels

besloten om de ontwikkelde leeromgeving niet in te zetten in het curriculum.

De belangrijkste tips die Fastré geeft voor onderzoek in de praktijk van het onderwijs zijn:

zorg behalve voor commitment van het management ook voor interesse en zorg vooral voor

een goede communicatie.

Het bovenstaande voorbeeld bevestigt dat praktijkonderzoek een verantwoordelijkheid is van

zowel de onderzoeker als de respondenten en het management, een kenmerk van toegepast

onderzoek volgens Lodigo et al. (2006). Het DRC (2002) zegt over ontwerpgericht onderzoek

dat “[…] practioners en researchers work together to produce meaningful change in contexts

of practice […]”.

Het onderzoek was complex omdat voor het verzamelen van de data ook een instrument

ontwikkeld moest worden. Dat betekent dat de onderzoeker zich sterk afhankelijk heeft

gemaakt van het instrument. Nu het niet langer wordt ingezet in het onderwijs, heeft de

onderzoeker mogelijk een probleem om aan voldoende data te komen.

Ook uit dit voorbeeld blijkt dat onderzoek in de onderwijspraktijk niet eenvoudig is.

Het volgende onderzoekvoorbeeld betreft een breder onderzoek, niet één opleiding van een

ROC, maar over verschillende onderwijsinstellingen heen.

5/24

Presentatie 2Vervolgens gaf Dr. J. Gulikers een presentatie van haar onderzoek naar de kwaliteit van

assessments, een vergelijkend onderzoek over verschillende onderwijsinstellingen heen.

Eerder onderzoek van Gulikers, Kester, Kirschner & Bastiaens (2007) naar assessments

beperkte zich tot een rollenspel. In het gepresenteerde onderzoek is sprake van andere

groepen en meerdere typen assessments. De onderzoeksdoelen waren drieledig: inzicht

krijgen in competentiegerichte assessments (CGA’s); nieuwe kwaliteitscriteria evalueren bij

verschillende stakeholders; relatie kwaliteitscriteria en kenmerken van CGA. Tijdens het

onderzoek kwam Gulikers de volgende problemen tegen:

- veel variatie in assessmentmethoden en definities;

- wat men zegt is niet hetzelfde als wat men doet;

- assessment is een nieuw fenomeen, waardoor begrippen, werkwijzen en bedoelingen

door stakeholders verkeerd worden geïnterpreteerd en toegepast;

- de grote hoeveelheid data en hoe daarmee wetenschappelijk om te gaan;

- resultaten van het onderzoek zijn moeilijk te publiceren.

Gulikers komt met oplossingen die aansluiten op de wijze waarop volgens Boshuizen

onderzoek een wetenschappelijke waarde krijgt. De grote variatie in assessments hoeft geen

probleem te zijn wanneer een goede vergelijking mogelijk is. Gulikers lost dit op door het

onderzoek in te perken (keuze voor 1 CGA-methode) en te conceptualiseren (kenmerken

benoemen op basis van literatuur) en te classificeren (uitwerkingen in verschillende contexten

in kaart te brengen). Door kritisch te observeren, samenvatten en terugkoppeling naar de

stakeholders , een strategie die door Robson (2002c) “member checking” wordt genoemd,

worden de bedoelingen van de onderzoeker en de uitvoering van het onderzoek in de praktijk

beter op elkaar afgestemd. Het probleem van het nieuwe fenomeen assessment kan volgens

Gulikers worden opgelost door een meer kwalitatieve benadering en ondersteuning door

6/24

experts. Disseminatie tenslotte van de onderzoeksresultaten van een evidence-based

onderzoek kan worden bevorderd door een goed onderzoeksdesign. Dat betekent onder

andere: geen overbodige onderzoeksvragen, alle beslissingen en fasen van het onderzoek goed

beargumenteren, expliciteren en documenteren (Boshuizen, 2008).

‘Mixed methods’ doen het goed volgens Gulikers. Uit haar artikel (Gulikers, et al., 2008)

blijkt dat in het onderzoek gebruik is gemaakt van zowel kwantitatieve als kwalitatieve

onderzoeksmethoden, waarbij vragenlijsten en interviews zijn gebruikt. Deze

methodetriangulatie is een erkende methode. Zo zegt Robson (2002c) dat triangulatie een

strategie is om het onderzoek meer valide te maken en ziet van den Akker (1999) triangulatie

als een methode om een overmaat aan onzekerheid in data-interpretatie te voorkomen.

Gulikers sluit haar presentatie af met een aantal praktische tips voor toekomstige

onderzoekers. Deze tips hebben vooral betrekking op de communicatie en het onderzoek

zoveel mogelijk aansluiten bij de organisatie waar je het onderzoek uitvoert.

Uit deze presentatie blijkt opnieuw dat onderzoek in de onderwijspraktijk weerbarstig kan

zijn, maar dat een onderzoeker daar van tevoren rekening mee kan houden. Uit dit voorbeeld

concludeer ik dat door bewust verschillende methoden te kiezen, de actoren bij het onderzoek

te betrekken en goed te documenteren en interpreteren, een praktijkonderzoek een hoge mate

van betrouwbaarheid kan bereiken.

De volgende presentatie gaat ook over een onderzoek in het mbo. Welke uitdagingen komt

deze onderzoeker tegen?

7/24

Presentatie 3Het laatste voorbeeld van een praktijkonderzoek was het promotieonderzoek van Drs. A.

Walraven. Walraven heeft onderzocht of het mogelijk is om samen met docenten lessen te

ontwikkelen waarbij scholieren van 3 vwo informatievaardigheden worden aangeleerd. Ook is

onderzocht op welke wijze deze vaardigheden het beste kunnen worden gestimuleerd. Daarbij

stonden twee transfertheorieën centraal: de theorie van Simons, VanderLinden en Duffy

(2000), dat transfer bevorderd wordt wanneer leerlingen beschikken over een rijk,

conceptueel, goed georganiseerd kennisnetwerk van de vaardigheid die getransfereerd moet

worden; de theorie van Perkins en Salomon (1989), dat transfer bevorderd wordt door het

stimuleren van metacognitieve vaardigheden. Walraven ging tijdens de presentatie in op de

laatste twee van de drie studies: ontwerp en uitvoering van twee trainingen; herontwerp en

uitvoering. Het ontwerp van haar onderzoek is aangepast aan de organisatie. De selectie van

de docenten was afhankelijk van de beschikbaarheid en bereidheid van docenten. Bovendien

beschikten niet alle docenten over voldoende informatievaardigheden. Bij de uitvoering van

het onderzoek heeft Walraven zoveel mogelijk rekening gehouden met de praktijk. Zo

moesten de te ontwikkelen lessen aansluiten op de plaats en tijdstip van de lesstof in het

geschiedenisboek. Hierdoor maakt Walraven de resultaten direct toepasbaar en dus relevant.

Voor een deel komen de aandachtspunten bij het uitvoeren van een praktijkonderzoek overeen

met de voorgaande sprekers en zijn vooral gericht op: aandacht hebben en rekening houden

met de cultuur en organisatie van een onderwijsinstelling; niet op een eiland functioneren,

maar vooral je laten zien en zoveel mogelijk samenwerken. Tot slot gaf Walraven praktische

tips, zoals: zorg voor budget voor het betalen van docenten, stel jezelf voor in de klas, werk je

notities meteen uit en bedank leerlingen en docenten met iets leuks.

8/24

Uit deze presentatie blijkt dat een onderzoeksontwerp al in de beginfase, als blijkt dat niet aan

alle voorwaarden kan worden voldaan, kan en moet worden aangepast. Het gevaar zit er dan

in dat de wetenschappelijkheid geweld wordt aangedaan.

Welke lessen hebben we nu geleerd uit deze voorbeelden van onderzoek in de praktijk van het

onderwijs? Dat is het onderwerp van de afsluiting van de ochtendsessie.

Afsluiting ochtendsessie

Door dr. S. Brand-Gruwel

Na “de uitdagingen” gehoord te hebben van de drie onderzoekers volgde een korte discussie

met de zaal n.a.v. de vraag: “Wat is nog wetenschappelijk?”, onder leiding van Brand-

Gruwel. Dit leidt tot de volgende conclusies:

Zorg voor een gefundeerd ontwerp, gebaseerd op theoretische aannames

Maak het onderzoeksdesign zodanig dat je er iets over kunt zeggen

Evalueer je bevindingen, bijvoorbeeld door een controlegroep

Als onderzoeker heb je ook een vraag

Meet op 5 niveaus van het curriculum

Een ontwerp hoeft niet geïmplementeerd te worden.

Aan het eind van de ochtend kom ik tot de conclusie dat onderzoek in de praktijk van het

onderwijs inderdaad een uitdaging genoemd kan worden. Collins, Joseph en Bielaczyc

(2004) hebben het over serieuze uitdagingen van ontwerponderzoek: moeilijkheden door de

complexiteit van de echte-wereld situaties en de weerstand om ze te kunnen beheersen; de

9/24

enorme hoeveelheden data door de behoefte om etnografische en kwantitatieve analyses te

combineren; vergelijking dwars door ontwerpen heen.

Na deze ‘licht traumatische’ ochtend, startte het middagprogramma met een workshop.

Workshop “Onderzoeksontwerp”

Ingeleid door Drs. W. Kicken

Na een korte inleiding door Drs. W. Kicken van haar promotieonderzoek “Zelfsturend leren

optimaal ondersteunen” startte de workshop. De deelnemers gingen uiteen in kleine groepjes

en kregen de opdracht om samen met de groepsgenoten, op basis van een ontwerpformat van

onderwijskundig onderzoek, kritisch te kijken naar het onderzoek van Kicken en te komen

met suggesties voor verbetering. Mijn groepje werd begeleid door Drs. S. Wetzels. Het

groepje was gemêleerd en bestond uit medewerkers van vmbo, mbo en hbo en studenten

onderwijskunde. In het volgende stukje wordt een korte beschrijving gegeven van het

onderzoek van Kicken, gevolgd door de kanttekeningen en suggesties van het groepje. In de

bijlage wordt hier een uitgebreider verslag van gedaan.

Onderzoek “Zelfsturend leren optimaal ondersteunen”

De onderzoeksvraag was: “Hoe help je leerlingen in het middelbaar onderwijs zelfstandig

beslissingen te laten nemen over welke leertaken ze willen uitvoeren in een vraaggestuurde

omgeving?”. Er is gekozen voor een quasi-experimenteel onderzoek, waarin de volgende

hypothesen zijn onderzocht:

10/24

Wanneer leerlingen ondersteund worden bij het kiezen van geschikte leertaken met

zowel een ontwikkelingsportfolio als een adviesgesprek zullen hun zelfsturende

vaardigheden zich sterker ontwikkelen en zullen zij geschiktere leertaken kiezen dan

wanneer leerlingen alleen een ontwikkelingsportfolio bijhouden en feedback krijgen

op de inhoud.

De betere keuze van leertaken zal een hogere prestatie tot gevolg hebben.

Tijdens het onderzoek is een begeleidingsmodel ontwikkeld, bestaande uit een

ontwikkelingsportfolio en adviesgesprekken voor drie zelfsturende vaardigheden.

De respondentgroepen bestaan uit leerlingen van de kappersopleiding niveau 2 en 4 mentoren.

Voorwaarde was dat de respondenten vraaggestuurd onderwijs volgden. Dit betekende dat de

leerlingen mochten bepalen welke vaardigheid ze wilden ontwikkelen (e.g., permanenten,

knippen, kleuren), met welke deelvaardigheid hiervan zij wilden starten (e.g., blonderen,

uitgroei verven) en wanneer zij op examen wilden om hun deelkwalificatie te behalen

(Kicken, Brand-Gruwel & Merriënboer, 2008). Er is ook gebruik gemaakt van een

controlegroep. De ene groep werkte met het ontwikkelingsportfolio en adviesgesprekken, de

andere groep met alleen een portfolio en feedback.

De eerste onderzoeksperiode van 10 weken was een voorbereidingsperiode. In de tweede

periode van 20 weken is gewerkt met het ontwikkelingsportfolio: Stepp.

Het zelfsturend vermogen van de leerling is gemeten m.b.v. een zelfmeting, een

docentbeoordeling, verbeterpunten en taakselectie. De prestaties zijn gemeten met

afgetekende opdrachtkaarten en behaalde examens.

De resultaten laten zien dat het zelfsturend vermogen door taakverdelingen en

zelfbeoordelingen hetzelfde zijn, maar dat de groep met adviesgesprekken (adviesgroep)

beter is in het formuleren van analytische leerdoelen. Met betrekking tot Prestatie, laat de

adviesgroep betere resultaten zien op beide metingen.

11/24

De belangrijkste struikelblokken in het onderzoek waren: de betrokkenheid van zowel

docenten als studenten; daardoor ook (te) weinig data om te analyseren; geen inzicht op

daadwerkelijke selecties (waardoor komt een keuze tot stand, welke criteria, heeft men

zomaar wat ingevuld).

Kanttekeningen en suggesties van workshopgroep:

De reacties van de groep beperkte zich tot onderzoeksontwerp en -methode omdat informatie

over de analyse en de conclusies ontbraken.

1. Onderzoeksontwerp

De vraag is in hoeverre er voldaan wordt aan het criterium vraaggestuurd leren. Er is

slechts een keuze uit drie vaardigheden mogelijk.

De methode is mogelijk ongeschikt voor deze groep respondenten.

Het is ook de vraag of het leren van zelfsturende taken relevant is voor deze leerlingen

die opgeleid worden op assistent niveau.

2. Onderzoeksmethode

Door het gebruiken van een controlegroep kan een ongelijke situatie tussen de groepen

ontstaan;

STEPP heeft een belangrijke rol bij het verzamelen van data. Dit levert extra risico op

voor het onderzoek;

Inzicht in het daadwerkelijk uitvoeren van de gekozen vaardigheden ontbreekt;

Het tijdstip van interview bepaalt ook de kans op interferentie met anderen;

De prestaties van de leerlingen kunnen ook door meerdere factoren worden beïnvloed.

In de opvolgende plenaire bijeenkomst lichtten de groepjes de resultaten toe. Een jury,

bestaande uit de onderzoekers Kicken en Brand-Gruwel, gaf commentaar en beoordeelde de

resultaten.

12/24

Na een kijkje te hebben gehad in de keuken van verschillende onderzoekers in de praktijk van

het onderwijsveld, was het de beurt aan Prof. Dr. J. Beishuizen om de deelnemers het gevoel

te geven dat onderzoek in de onderwijspraktijk leuk en uitdagend is.

Beschouwing “Worstelingen van een individuele onderzoeker”

Door Prof.dr. J. Beishuizen

Beishuizen doet onderzoek naar het fenomeen “community of learners” en is van mening dat

het werken in een community of learners onderzoekend leren bevordert, wat de basis vormt

voor kennisontwikkeling. Omdat leerlingen en studenten even serieus genomen worden als

docenten en onderzoekers, kan het bedrijven van wetenschap een vrolijke en zinvolle

bezigheid zijn (Beishuizen, 2004). Eén van de projecten waar Beishuizen bij betrokken is ‘De

Vrolijke School’ aan het Ignatiusgymnasium te Amsterdam. Hiermee wil hij het beeld

bevorderen dat wetenschappelijk onderzoek spannend en stimulerend is, en een onmisbare

bijdrage levert aan de oplossing van maatschappelijke vraagstukken op locale en globale

schaal (Surf, E-learning thema-site).

Allereerst benaderde hij zijn onderzoek vanuit het theoretische perspectief. Hij vatte de

dilemma’s van onderwijsonderzoek samen in: nut voor praktijk of nut voor onderzoeker; wie

is de expert, docent of onderzoeker; willen we weten hoe het moet of hoe het zit. Vervolgens

besprak hij vanuit de twee opvattingen van kennisontwikkeling van Bereiter en Scardamalia

(2003), belief en design, het project “De waterkwaliteit in Amsterdam”, uitgevoerd door 6

groepen van het gymnasium. Het project had tot doel: leerlingen motiveren in een

universitaire studie te kiezen en het onderwijs zinvol en betekenisvol te maken. Men wilde de

hypothese onderzoeken dat een community of learners leidt tot toename in: domeinkennis,

13/24

onderzoeksvaardigheden, succesverwachting, interesse in onderzoek en motivatie om samen

te werken. Een mix van onderzoeksmethoden zoals interviews, vragenlijsten, video-opnames

en kennistests zijn in het onderzoek toegepast. Tijdens het onderzoek traden een aantal

problemen op: er gebeurden onvoorspelbare dingen en het onderzoek werd ingeperkt door een

gebrek aan data. Het onderzoek is afgerond en de resultaten laten zien dat er een positieve

verandering is opgetreden in domeinkennis, onderzoeksvaardigheden en attitude tegenover

onderzoek. Daarmee kon de hypothese deels worden bevestigd.

Tot slot gaf Beishuizen een aantal tips voor onderzoekers in de onderwijspraktijk: eerst

creëren dan aantonen; betrek de docenten erbij; zorg voor common concern; onderscheid

implementatie van ontwerp en effect van implementatie; als het ontwerp succesvol is

gebleken ga dan aantonen waar dat aan ligt.

Uit de presentatie blijkt dat praktijkonderzoek anders benaderd kan worden dan de

traditionele onderzoeken. In praktijkonderzoek wordt niet uitgegaan van te toetsen

theoretische inzichten (bewijzen zoeken voor een veronderstelling), maar creëer je, ontwikkel

je, waarna aangetoond wordt waarom het werkt. Een principe dat van den Akker (1999)

gebruikt voor zijn volgende vuistregel: de voortgang in een onderzoek is het meest gebaat bij

een creatief perspectief van de onderzoeker in de beginfase van onderzoek en een meer

kritisch onderzoeksperspectief in de latere onderzoeksfase.

Tot zover de inhoud van de presentaties en mijn eerste conclusies. In het volgende deel wordt

gekeken naar de samenhang van de programmaonderdelen en eindig ik met een conclusie en

evaluatie.

Samenhang tussen de programmaonderdelen

14/24

In haar keynote legt Boshuizen uit dat een onderzoek in de onderwijspraktijk vaak verschilt

van traditionele onderzoeksmethoden: ze zijn flexibel, gericht op kwalitatief onderzoek en

gebaseerd op realisme (Robson, 2002a). Ondanks de verschillen kunnen dezelfde principes

voor wetenschappelijk onderzoek worden gehanteerd. De verschijning is alleen anders: meer

beschrijvend, geïnterpreteerd en gelinkt aan theoretische inzichten. In de daaropvolgende

presentaties van Fastré, Gulikers en Walraven, wordt duidelijk gemaakt dat onderzoek in de

praktijk van het onderwijs sterk beïnvloed wordt door allerlei factoren als de eigen

onderzoekskwaliteiten, tijd, geld, de actoren en organisatie. Deze factoren zijn door

Boshuizen in haar keynote bestempeld als “de uitdaging”. De tips die alle drie de

onderzoekers gaven, waren dan ook vooral gericht op die uitdagingen en praktisch van aard.

Na de ochtend konden we, op basis van een onderzoek van Kicken, zelf ervaren hoe moeilijk

het is om met een onderzoeksopzet te komen die voldoet aan het onderzoeksprobleem. Dat

meerdere oplossingen mogelijk zijn kan blijken uit de verschillende resultaten van de

groepjes. Tot slot benaderde Beishuizen het onderzoek in de onderwijspraktijk vanuit een

macro-perspectief. Zijn tips hadden onder andere betrekking op de positionering van het

onderzoek: “eerst creëren dan aantonen”.

Conclusie en evaluatie

De miniconferentie heeft voldaan aan mijn verwachtingen. Mijn conclusie en tegelijkertijd het

antwoord op mijn leervraag is, dat de kloof kan worden gedicht tussen wetenschap en de

onderwijspraktijk, als men zich houdt aan de regels die voor wetenschap gelden. Daarbij is

het van belang dat de wetenschap de vormen (h)erkend van de gehanteerde wetenschappelijke

criteria bij onderzoek in de praktijk van het onderwijs, anders houdt dit onderzoek een “hazy

image”. De onderzoeker kan acceptatie van praktijkonderzoek door de wetenschap verhogen

15/24

door een uitgebreide verslaglegging, verantwoording en de resultaten te verbindingen met

bestaande theorieën. Een mening dat door meerdere onderzoekers wordt gedeeld (DRC, 2002;

Collins, et al., 2004). Onderzoek in de praktijk stelt niet alleen eisen aan de wijze waarop

praktijkonderzoek flexibel wordt uitgevoerd, maar ook aan de onderzoeker zelf. Robson

(2002c) zegt hier over: “this kind of research calls for well-trained and experienced

investigators […]”. Een onderzoeker moet ook in staat zijn om een goede relatie op te bouwen

met de respondenten. Immers, bij praktijkonderzoek is interactie met de uitvoerende

essentieel (Akker, 1999). Bovendien vindt het onderzoek vaak over een lange periode plaats

en zijn de doelen van onderzoeker en onderzochte verschillend (Robson, 2002c). Dit blijkt

ook uit de presentaties van Fastré, Gulikers, Walraven, Kicken en Beishuizen: de relatie en

communicatie met de actoren zijn een belangrijk aandachtspunt.

Ik vond de miniconferentie zinvol, maar toch wil ik drie punten van kritiek naar voren

brengen. Ten eerste had ik graag op de vraag van Boshuizen, hoe je in het onderzoek

validiteit, betrouwbaarheid en generaliseerbaarheid moet organiseren, wat verder toegelicht

willen zien. In de praktijk heb ik gemerkt, evenals bij de gepresenteerde onderzoeken, dat

goed organiseren niet meevalt. Ten tweede vond ik de presentatie van Beishuizen voor een

groot deel overeenkomen met de andere presentaties, waardoor deze in dezelfde lijn kan

worden gepresenteerd. Zijn kennis en ervaring m.b.t. Communities of Learners (Beishuizen,

2004) is interessant voor een andere themaconferentie, bijvoorbeeld professionalisering van

docenten. Tot slot wil ik opmerken dat de verschillende uitwerkingen van de

workshopgroepjes niet te volgen was. Daardoor miste ik de verschillende oplossingen van de

andere groepjes en het commentaar van de onderzoekers zelf. In het kader van kennisdeling is

dit een gemiste kans.

16/24

Er is geen handboek die succes garandeert voor wetenschappelijk onderzoek in de

onderwijspraktijk. Voordat ik in staat ben alle “uitdagingen” te trotseren, zal ik zeker meer

ervaring moeten opdoen in onderzoek en van anderen leren.

17/24

Literatuur:

Akker, J. van den (1999). Principles and methods of developmental research. In reader

Onderzoeksmethoden voor onderwijsontwerpen.

Heerlen: Open Universiteit Nederland

Beishuizen, J.J. (2004). De vrolijke wetenschap. Over communities of learners als

kweekplaats voor kenniswerkers (oratie). Amsterdam: Vrije Universiteit.

Opgehaald 13 juni 2008 van

http://e-learning.surf.nl/docs/e-learning/binnen_oratie_def.pdf

Collins, A., Joseph, D., & Bielaczyc, K. (2004). Design research: theoretical and

methodological issues. The Journal of the Learning Sciences: 13(1), 15-42. In reader

Onderzoeksmethoden voor onderwijsontwerpen.

Heerlen: Open Universiteit Nederland

Design-based Research Collective (2003). Design-based research: an emerging paradigm for

educational inquiry. Educational Researcher: 32(1), 5-8. In reader

Onderzoeksmethoden voor onderwijsontwerpen.

Heerlen: Open Universiteit Nederland

Gulikers, J.T.M., Kester, L., Kirschner, P.A., & Bastiaens, Th..J. (2008). The effect of practical

experience on perceptions of assessment authenticity, study approach, and learning

outcomes. Learning and Instruction, 18, 172-186.

Opgehaald 17 april 2008 van

http://attachments.wetpaintserv.us/mUAnwaKBSsPNiUM63iyi%24A%3D%3D374231

Kicken, W., Brand-Gruwel, S., & Merriënboer, J. (2008). Verantwoord verantwoordelijk:

richtlijnen voor effectief vraaggestuurd onderwijs. Paper ingediend tijdens Onderwijs

Research Dagen 2008. CD Proceedings, Licht op Leren.

Eindhoven: ESoE, TU/e en Fontys.

18/24

Lodigo, M.G., Spaulding, D.T., & Voegtle, K.H. (2006). Types of approaches used in

educational research. In M.G. Lodico, D.T. Spaulding, and KH. Voegtle. (2006).

Methods in Educational Research: From Theory to Practice (pp.10-21). San

Francisco, CA: Jossey-Bass. Opgehaald 17 april van

http://attachments.wetpaintserv.us/BfnJxCLGZBL9dIH0v9UMNQ%3D%3D421599

Onderwijsraad (2006). Naar meer evidence based onderwijs. Nr. 20050450/840, januari 2006.

Den Haag.

Opgehaald 10 juni 2008 van

http://www.onderwijsraad.nl/uploads/pdf/naar_meer_evidence_based_onderwijs.pdf

Robson, C. (2002a). Real world enquiry. In C.Robson, Real world research: A resource for

social scientists and practitioners-researchers (pp. 3-15). 2nd edition.

Malden, M.A.: Blackwell Publishing.

Opgehaald 17 april 2008 van

http://attachments.wetpaintserv.us/gvZbLlFY53Ht4gKQ5eI5JA%3D%3D1636627

Robson, C. (2002b). Approaches to Social Research. In C. Robson, Real world research: A

resource for social scientists and practitioners-researchers (pp. 16-44). 2nd edition.

Malden, M.A.: Blackwell Publishing.

Opgehaald 17 april 2008 van

http://attachments.wetpaintserv.us/gR06JBLrTaSQQ2EKqp1kaA%3D%3D1416890

Robson, C. (2002c). Flexible designs. In C. Robson, Real world research: A resource for

social scientists and practitioners-researchers (pp. 163-200). 2nd edition. Malden,

M.A.: Blackwell Publishing.

Opgehaald 17 april 2008 van

http://attachments.wetpaintserv.us/gvZbLlFY53Ht4gKQ5eI5JA%3D%3D1636627

Vanderlinde, R., Braak, J. van (2007). De relatie tussen onderwijsonderzoek en

onderwijspraktijk in Vlaanderen. viWTA Dossier nr. 8.

19/24

Brussel: Vlaams Instituut voor Wetenschappelijk en Technologisch

Aspectenonderzoek.

Opgehaald 16 mei 2008 van http://www.viwta.be/files/onderwijsdossier%201.0.pdf

Walraven, A., Brand-Gruwel, S., & Boshuizen, E. (2008). Internetinfomatie leren beoordelen:

twee onderwijsmethodes vergeleken. Onderwijsinnovatie, 10 (1), 17-25.

20/24

Bijlage: Onderzoek “Zelfsturend leren optimaal ondersteunen”

Een korte beschrijving van het Onderzoek “Zelfsturend leren optimaal ondersteunen” van

Wendy Kicken, aangevuld met opmerkingen n.a.v. de workshop.

De aanleiding voor het onderzoek vormde het probleem, dat vraaggestuurd onderwijs

veelvuldig wordt ingevoerd in het middelbaar beroepsonderwijs, maar deelnemers vaak niet

in staat blijken te zijn om geschikte leertaken te kiezen. Dit heeft een negatief effect op hun

prestatie.

Dit probleem leidde tot de volgende onderzoeksvraag: “Hoe help je leerlingen in het

middelbaar onderwijs (MBO) zelfstandig beslissingen te laten nemen over welke leertaken ze

willen uitvoeren in een vraaggestuurde omgeving?”. Er is gekozen voor een quasi-

experimenteel onderzoek, waarin de volgende hypothesen zijn onderzocht:

Wanneer leerlingen ondersteund worden bij het kiezen van geschikte leertaken met

zowel een ontwikkelingsportfolio als een adviesgesprek zullen hun zelfsturende

vaardigheden zich sterker ontwikkelen en zullen zij geschiktere leertaken kiezen dan

wanneer leerlingen alleen een ontwikkelingsportfolio bijhouden en feedback krijgen

op de inhoud.

De betere keuze van leertaken zal een hogere prestatie tot gevolg hebben.

Tijdens het onderzoek is een begeleidingsmodel ontwikkeld, bestaande uit een

ontwikkelingsportfolio en adviesgesprekken voor drie zelfsturende vaardigheden: (zelf)

beoordelen van prestatie; formuleren van verbeterpunten; selecteren van geschikte taken.

- Het is niet duidelijk hoe deze oplossing tot stand is gekomen en wie daarbij

betrokken zijn. In een praktijkonderzoek is het van belang om als onderzoeker

samen te werken met de experts uit het onderwijsveld. Zo zegt Robson (2002b): 21/24

“[…]But social sciences are not natural sciences, and respondents are not objects

but partners end ‘experts’ […]”.

De respondentgroepen bestaan uit a) leerlingen van twee BBL (Beroeps Begeleidende

Leerweg) klassen (N=43) van de kappersopleiding niveau 2 en b) 4 mentoren. Voorwaarde

was dat de respondenten vraaggestuurd onderwijs volgden.

- Het is aannemelijk dat deze respondenten praktisch zijn ingesteld (BBL en niveau

2) en moeite hebben of een aversie tegen het bijhouden van zelfbeoordelingen.

- De respondenten volgen een opleiding op assistent niveau. Zij zullen in de praktijk

niet zo vaak zelfstandige beslissingen nemen. Men kan zich afvragen of

zelfsturende vaardigheden wel relevant zijn voor de groep.

- Kicken gaf tijdens de presentatie aan dat de leerlingen uit drie taken konden

kiezen. Het is de vraag in hoeverre hier nog sprake is van vraaggestuurd

onderwijs.

De ene groep werkte met het ontwikkelingsportfolio en adviesgesprekken, de andere

groep met alleen een portfolio en feedback.

- In het onderwijs is het moeilijk om twee groepen respondenten te onderzoeken,

waarvan 1 controlegroep, omdat er dan sprake is van een ongelijke situatie en

een groep voordeel kan hebben. De oplossing om de groep zonder portfolio aan te

duiden als ‘portfolio en feedback’ geeft de situatie niet helder weer. Het feit van

ongelijkheid, hetgeen niet vermeden kan worden want anders is onderzoek

onmogelijk, blijft natuurlijk bestaan.

De eerste onderzoeksperiode van 10 weken was een voorbereidingsperiode: introductie +

oefenen STEPP (is ontwikkelingsportfolio); uitleg protocol voor feedback en

adviesgesprekken; voormeting zelfsturende vaardigheden.

22/24

- Het is aannemelijk dat de (controle)groep met alleen het portfolio geen

voorbereiding op de adviesgesprekken heeft gehad. Kicken kreeg van 1 groep

weinig medewerking. Mogelijk betreft dat dezelfde groep en kan de oorzaak liggen

in het feit, dat deze groep zich er minder bij betrokken voelt.

In de tweede periode, bestaande uit 20 weken, is gewerkt met het ontwikkelingsportfolio:

Stepp (= ontwikkelingsportfolio) wekelijks vullen met zelfbeoordelingen en

docentbeoordelingen; wekelijks taakselectie maken; 2-wekelijks een feedback/advies gesprek

met mentor; interviews docenten en studenten.

- Tijdens het praktijkonderzoek moesten de leerlingen aangespoord worden om

wekelijks de zelfbeoordelingen in te vullen. Behalve de mogelijke aversie, zie

eerdere opmerking, is het de vraag of dit het meest geschikte instrument. In het

onderzoek krijgt het instrument een erg grote nadruk (het is nieuw en leerlingen

zijn mogelijk niet gewend om met computers om te gaan). Zo zeggen Gullikers et

al. (2008) dat je niet te veel nieuwe dingen tegelijk moet nemen, omdat het voor de

deelnemers te complex kan worden.

- Het instrument is voor de onderzoeker een middel om te komen tot

dataverzameling, maar leerlingen en docenten zien niet altijd het nut ervan in.

Alhoewel het portfolio eenvoudig van opzet is vraagt het discipline om wekelijks in

te vullen (ze komen maar 1 dag op school en gaan waarschijnlijk die dag liever

werken, het zijn immers doeners.

- Omdat de onderzoeker geen inzicht krijgt in het keuzeproces van de leerling, is het

observeren van de leerlingen tijdens het uitvoeren van de taakkeuze een

alternatief. Door de leerlingen tijdens het keuzegedrag hardop te laten denken,

wordt duidelijk welke criteria, argumenten worden gebruikt bij de keuze.

Tegelijkertijd is er controle of het keuzeproces bewust gebeurd. 23/24

- Het is niet duidelijk hoeveel, op welke wijze de interviews zijn gehouden. Als er

enige tijd zit tussen de beoordeling en het interview, dan is het mogelijk dat

docenten en leerlingen elkaar hebben beïnvloed.

- Er is geen controle op de keuze die gemaakt is. Een mogelijke oplossing biedt het

opnemen van een criterium in de beoordeling door de docent.

Het zelfsturend vermogen van de leerling is gemeten m.b.v. een zelfmeting, een

docentbeoordeling, verbeterpunten en taakselectie. De prestaties zijn gemeten middels

afgetekende opdrachtkaarten en behaalde examens.

- In hoeverre de prestaties verband hebben met het begeleidingsmodel of met het

leervermogen van een leerling is niet te zeggen.

De resultaten laten zien dat het zelfsturend vermogen door taakverdelingen en

zelfbeoordelingen hetzelfde zijn, maar dat de groep met adviesgesprekken (adviesgroep)

beter is in het formuleren van analytische leerdoelen. Met betrekking tot Prestatie, laat de

adviesgroep betere resultaten zien op beide metingen.

- Of deze resultaten significant zijn is niet duidelijk.

- Op welke wijze de analyse van de metingen heeft plaatsgevonden is niet duidelijk.

De belangrijkste struikelblokken in het praktijkonderzoek waren: de betrokkenheid van zowel

docenten als studenten; daardoor ook (te) weinig data om te analyseren; geen inzicht op

daadwerkelijke selecties (waardoor komt een keuze tot stand, welke criteria, heeft men

zomaar wat ingevuld).

24/24