Onderzoek naar competentiegericht beoordelen in het groene onderwijsJudith Gulikers, leerstoelgroep Educatie en competentiestudies, Wageningen Universiteit

Opzet

Onderzoeksobject en randvoorwaarden Problemen bij uitvoering in de praktijk en

wetenschappelijke proces Tips voor omgaan met problemen Geleerde lessen

Onderwerp van onderzoek

Kwaliteit van summatieve competentiegerichte assessments (CGAs) in het groene onderwijs

1. Inzicht krijgen in daadwerkelijk gebruikte CGAs in groene onderwijs

2. Nieuwe kwaliteitscriteria gebruiken om deze te evalueren bij verschillende stakeholders

3. Relatie kwaliteitscriteria en kenmerken van CGA

Probleem 1: veel variatie

CGA is breed 1 CGA heeft vele verschijningsvormen in praktijk Niet CGA-methode, maar operationalisatie in

bepaalde school bepaalt de kwaliteit

Oplossing: zo vergelijkbaar mogelijk maken1. 1 CGA methode selecteren2. Op basis van literatuur onderscheidende

kenmerken benoemen3. Uitwerkingen in verschillende contexten in kaart

brengen ahv. deze onderscheidende kenmerken

Probleem 2: Wat men zegt ≠ wat men doet 1. AOC-plannen op papier (visie)2. Vertaling naar een concreet CGA door docententeam3. Interpretaties van verschillende docenten/assessoren4. Daadwerkelijke uitvoering

Oplossing: niet alleen luisteren, ook zelf kijken en kritisch zijn

1. Met onderscheidende kenmerken verschillende bronnen (1-4) onderzoeken

2. Daadwerkelijke assessments observeren3. Bevindingen (ook van verschillen) terugkoppelen

Probleem 3: onderzoeken van nieuw fenomeen

Praktijk en wetenschap spreekt niet dezelfde taal Stakeholders snappen niet goed wat je vraagt Vragenlijsten blijken niet te werken (slechte validiteit) Leerlingen (maar ook docenten) lezen niet

Oplossing: meer kwalitatieve dataverzameling en expertondersteuning Maar dit vraagt meer en (wetenschappelijk)

moeilijkere data-analyse en rapportage

Probleem 4: wetenschappelijk omgaan met kwalitatieve data Analyse methoden zijn vaak ingewikkeld en zeer uitgebreid Valkuil om teveel te interpreteren Gevoel oproepen “dat je maar wat gedaan hebt” of aan

“self-fulfilling prophecy” doet

Oplossing: structuren, objectiveren en expliciteren Interview structureren aan hand van theorie 2 onderzoekers of opnemen Zoek grote lijn in een analyse methode om data te

structuren en analyseren Membercheck van je interpretaties bij deelnemers Interpretatie controleren door mede-onderzoeker

Probleem 5: Dissiminatie

Wetenschappelijk artikelVeel vraag naar evidence-based en kwalitatief onderzoek, maar

toch moeilijker te publicerenTips Kritisch kijken naar je onderzoeksvragen. Echte praktische

vragen weg! Relatie onderzoeksvragen – onderzoekscontext – methode

beargumenteren Mixed-Methods doen het goed! Methode/analyse sectie: expliciet beschrijven Resultaten: waar mogelijk ondersteunen met citaten uit alle

groepen Discussie:

blijf bij directe implicaties Implicaties voor theorie en onderzoek, naast praktische implicaties

Overige praktische problemen / tips

Zoek één contactpersoon voor communicatie

Bekijk curriculum en zoek hoe/wanneer je op school moet zijn

Sluit zoveel mogelijk aan bij bestaande overleggen/evaluaties

Bezoek praktijkmensen op hun eigen werkplek

Vooraf toestemming vragen aan deelnemers

Geleerde lessen

1. Baseer je vooraf zoveel mogelijk op theorie/literatuur/bestaande instrumenten en houd dit in altijd voor ogen Niet meegaan met ‘waan-van-de-praktijk’

2. Zorg voor een zo goed mogelijk beeld van je context Zoek mogelijkheden om contexten te vergelijken Spreek hun taal en sluit aan bij hun vragen Vergroten van medewerking/acceptatie

Geleerde lessen

4. Zoek kwalitatieve data-analyse en vind hier structuur in Beschrijf structuur en aanpak voor herhaalbaarheid

5. Ben je bewust van mogelijkheden tot interpretatie Laat zoveel mogelijk controleren door originele

onderzoeksgroep Maak analyse-stappen inzichtelijk en laat stappen

en interpretatie controleren door andere onderzoeker (studentassistent)

Bedankt! en………..veel succes!

Judith.gulikers@wur.nl

© Wageningen UR