Competenties beoordelen met GPHoe doe ik het en hoe borg ik kwaliteit?

Judith Gulikers, Educatie en competentiestudies, WUR. judith.gulikers@wur.nl

Wat had ik jullie beloofd.....

De vertaling van de algemene competenties in een concrete proeve;

Het objectief observeren van competenties met behulp van de WAKKER methode;

Het gebruik van rubrics met daarin verwervingsstappen;

Het komen tot een zo betrouwbaar mogelijk oordeel (met twee beoordelaars);

Het positioneren van de beoordeling van een proeve binnen een doorlopende leerlijn.

Jullie gaan aan de slag

Het begin: Wat wil je gaan beoordelen?

Validiteit

Betrouwbaarheid

Onderwijsgevolgen de doolopende leerlijn

Piramide van Miller: WAT wil je zien?

Weten Feitentests / vaardigheden: MCtoets, open vragen…..

Weten hoe Contextrijke tests:Casus, werkstuk, …..

Tonen Performance assessment in vitro:Simulatie, rollenspel…………....

DoenPerformance assessment in vivo:Observatie op werkplek, video…..

Aut

hent

icite

it

Validiteit: beoordelen we echt de 4

competenties?

Stap 1: vanuit GP: Verantwoording 4 competenties Praktijksituatie BB, KB, GL gedrag in de praktijksituatie

Maar dit staat allemaal op papier......... kwaliteit wordt bepaald door hoe de school er vorm aan geeft

Dit vraagt (nieuwe) professionaliseit

van docenten

Dit vraagt ondersteunig

om PvB zo uit te voeren als bedoeld

Men neme de PvB mee naar school……

Stap 2: wat kan de school/docenten eraan doen? Gezamenlijk vormgeven aan de uitgangspunten van GP Betekenis geven aan de 4 competenties in eigen PvB Observeren en reflectiegesprek richten hierop richten

Cruciale vraag voor validiteit

Wat betekenen de 4 competenties in deze PvB?

Hoe zie ik deze 4 competenties in deze PvB?

intakevragenlijst

4 competentiesonderzoekenpresenterenplannen en organiserenmet druk en tegenslag omgaan

Jullie invulling hiervan geeft sturing aan:Observatie (waar ga je naar kijken)Reflectiegesprek (waar wil je meer over horen)

Hoe weet ik nu welk gedrag en niveau ik van

leerling mag verwachten?

Rubrics zijn PvB overstijgend Rubrics zijn inhoudsoverstijgend Rubrics zijn gebruikt in PvBs om BB, KB, GL

niveau te beschrijven

Rubrics

De praktijksituatie zoals jullie die vormgeven

moet de leerling alle mogelijkheden bieden om deze

gedragingen te laten zien

Authentieke situatie (locatie / opdrachtgever / echt resultaat)

Stimuli aanbregen om gedrag uit te lokken? (dilemma)

Tot nu toe hebben aan de validiteit gewerkt:

Hoe borg je dat je daadwerkelijk de 4 competenties uit de proeve op het gewenste niveau beoordeelt

Maar hoe zit het dan met betrouwbaarheid?

Hoe borg je dat je het ‘ware’ niveau van de leerling beoordeelt?

Ook hier blijkt de rubric een belangrijk hulpmiddel voor te zijn

And how about reliability?

het ‘oude’ betrouwbaarheid: alle leerlingen doen hetzelfde er is 1 goed antwoordjij ziet precies hetzelfde als ik

het ‘nieuwe’ betrouwbaarheid:er is altijd interpretatie.

niet objectiviteit, maar intersubjectiviteit

én niet gelijkheid, maar vergelijkbaarheid

‘Nieuwe’ betrouwbaarheid:• Weten wat we gaan beoordelen = voorwaarde

Intersubjectiviteit• Meerdere beoordelaars, die onafhankelijk tot

oordeel komen• Meerdere methoden• Meerdere momenten• Oordelen onderbouwen met concrete bewijzen

Vergelijkbare PvB’s voor leerlingen• Uit te voeren activiteiten en moeilijkheid

• Procedure van beoordelen

Het is niet mijn interpretatie hoor!

Wat betekenen die 4 competenties in deze PvB?

+ niveau in rubric geduid

Dilemma’s??

Hoe zit dit in GP?

2 methoden: competenties beoordelen door ernaar te kijken én erover te praten

vaststaand beoordelingsformulier intakegesprek: examinatoren samen beeld vormen van wat ze

gaan beoordelen minimaal 2 beoordelaars Advies voor beoordelingsprocedure

los van elkaar beoordelingsformulier invullen aantekeningen uit observatie + RG gebruiken voor argumenten WACKER procedure voor observeren

Nu gaan we competenties observeren……..

Hoe ga je observeren?

mime filmpjemime filmpje 2

Kindergarten cop

Experimentje

Vrijwilligers om mij te observeren??

Valkuilen bij observeren: je gaat interpreteren

Te snel oordelen: eerste indruk of ervaring met leerling

Op basis van te weinig informatie oordelen De persoonlijkheid van degene die beoordeelt,

speelt mee in de beoordeling De ‘gevolgen’ van de beoordeling, beïnvloeden

de beoordeling

Valkuilen gezien bij GP

Alles willen zien van alle leerlingen observatie is moeilijkJe wilt competenties zien!

“mijn mond houden’ docent gaat helpenLeerling moet laten zien dat hij/zij het (zelf) kanExaminator observeert

Na observatie van praktijkdeel al beoordelenReflectiegesprek is essentieel onderdeel van PvB

Reflectiegesprek gebruiken als feedback gesprekFeedback gesprek komt pas NA de beoordeling

WACKER - Methode

Waarnemen (observeren) Aantekeningen maken Classificeren Kwalificeren Evalueren Rapporteren

Vermijden van valkuilen

Beoordelen via een vaste methodiek Duidelijke omschrijving van competentie hebben Observatie en interpretatie strikt gescheiden houden Tijdens het observeren aantekeningen maken zodat geen

informatie verloren kan gaan Aantekeningen meenemen naar reflectiegesprek In reflectiegesprek verder uitdiepen Daarna ..CKER

WACKER methode

Waarnemen en aantekeningen maken

Observeren van het gedrag van de leerling Het zo volledig mogelijk opschrijven van wat je

observeert / hoort

Aandachtspunt: Je aantekeningen mogen enkel waarnemingen

bevatten, géén interpretaties! Dus ook niet gaan ‘afvinken’ Noteer alles wat je opvalt (goed én minder)

Classificeren

Bepalen wat van het geobserveerde gedrag iets zegt over welke competentie

Welke aantekeningen zeggen iets over welke competenties?

Denk terug: hoe zie ik een competentie in mijn

toetssituatie.

Hierom dus!

Kwalificeren

Bepalen in welke mate een een leerling het gewenste gedrag / de gewenste competenties op niveau heeft laten zien

Hier zijn dus de rubrics van handig!

Evaluaren

Beoordelaars vullen individueel beoordelingsformulier in

daarna Naast elkaar leggen van de verschillende kwalificaties en tot

een gemeenschappelijk resultaat komen Conclusies onderbouwen met concrete voorbeelden uit

aantekeningen

Dit noemen we ‘intersubjectiviteit’ (betrouwbaarheid!)

Oordeel verantwoorden

Eerste oordeel A1 = gezakt, A2 = geslaagd

A1: ik twijfel hoor A2: waarom dan? A1: tja, dat weet ik eigenlijk niet zo goed A2: Daarop kunnen we de leerling natuurlijk niet laten zakken.

Ik vind zijn ontwerp in ieder geval super in elkaar zitten en alle producten die hij heeft opgeleverd voldoen aan onze criteria.

A1: Ja, vind jij dat? Ik vind dat ontwerp niet zo super? A2: Maar vind je het niet zo super omdat het niet aan de eisen

voldoet of vind je het niet zo super omdat het gewoon jouw smaak niet is?

A1: hmm……. lastig

Vervolg

A2: De leerling is wel wat zwakker in de communicatie met de klant. In het verkoopgesprek hebben we geobserveerd dat hij niet de goede vragen stelde om alle benodigde informatie boven tafel te krijgen, maar uiteindelijk heeft hij wel zijn schetsen en ideeën met de klant overlegd en is hij tot overeenstemming gekomen.

A1: Ja, je hebt inderdaad gelijk. Als ik naar de competenties en beoordelingscriteria kijk, heeft hij het inderdaad gehaald. Ik vind zijn ontwerp gewoon persoonlijk niet zo mooi. Maar ik vind het wel belangrijk om op het beoordelingsformulier aan te geven dat hij zich moet verbeteren in de communicatie met de klant.

Rapporteren: eerst beoordelen.........

Nieuwe beoordelingsformulier met op achterkant competentiematrix

1.Holistisch oordeel: kan lln praktijksituatie met daarin de 4 competenties op goed niveau aan?

2.Punten voor voorbereiding, proces, product, reflectie

3.Waar kun je trots op zijn, waar nog aan werken

Op de achterkant: mogelijkheid om per competenties leerling iets mee te geven (zowel positief als negatief)

..................daarna betekenisvolle feedback

Maak van een summatieve toets ook

een leermoment!

Beoordelingen bespreken met leerling en hem/haar feedback geven op zijn functioneren, op basis van concrete voorbeelden en competenties

Bespreken welke acties ondernomen kunnen worden om bepaalde competenties verder te ontwikkelen

Eventuele input voor portfolio, of nieuw POP / PAP

Onderwijsgevolgen = kwaliteitsaspect van

een toets!

Heel veel succes!

Judith.gulikers@wur.nl

© Wageningen UR