RU-onderwijsdag 23 mei 2006

Workshop Toetsen en beoordelen 1‘Traditioneel’ versus ‘Modern’

Mariëlle Theunissen (ILS) Arie Geerding (IOWO)

Ad van Hout (MSO)

RU-onderwijsdag 23 mei 2006

Waarom aandacht voor toetsen en beoordelen?

• Veranderende eisen aan toetsen en beoordelen vanuit accreditatiekader– directe relatie met uitstroomkwalificaties

– grotere transparantie

– óók integrale toetsmomenten en niet alleen deeltoetsen

• Ontwikkeling naar competentiegericht leren en opleiden– in hoger beroepsonderwijs

– ook in wetenschappelijk onderwijs

– én de RU!


Workshop Toetsen en beoordelen 1

Waar gaat het om bij toetsen en beoordelen?

• Nagaan of studenten de doelen van een programmaonderdeel hebben bereikt

• Deze doelen zijn (direct) afgeleid van de (eind)kwalificaties

• Zijn de kwalificaties competenties dan zijn de doelen ook geformuleerd in de vorm van competenties.



Wat is een competentie?

Werkomschrijving:

Complexe (d.w.z. niet-enkelvoudige) vaardigheid waarmee een taak verricht wordt

in een specifieke context (beroep of academisch) met geïntegreerd gebruik van noodzakelijke onderliggende

kennis en eenvoudige vaardigheden en attitudes leidt tot een prestatie die voldoet aan beroepsspecifieke

en/of academische eisen.



Hageman & Theunissen

Ik denk inderdaad niet dat je er onderuit komt hier een uitleg van het begrip competentie in te voegen, dus een dia toevoegen met iets van 'combinatie van kennis, houding, vaardigheden en persoonlijke eigenschappen in een bepaalde context' en dan een voorbeeld tonen uit het boekje van de academische competenties (bv: 'bekwaam in onderzoeken'). Ook dit is -gezien de tijd- meer om een beeld te geven, dan om het uitgebreid te gaan toelichten. Bovendien is dan meteen goed te zien dat competenties op meedere niveaus geformuleerd kunnen worden, en dat is weer handig voor de dia hierna.

Voorbeeld van een competentie

Competentie: Onderzoeken

Op doelgerichte en methodische wijze ontwikkelen van

nieuwe wetenschappelijke kennis en inzichten• als junior-onderzoeker bij een wetenschappelijk

onderzoeksinstituut op het gebied van X• met als opdrachtgever …. en als opdracht …• met als product(en) een onderzoeksvoorstel en een

onderzoeksverslag• die voldoen aan de volgende eisen ….




Ik denk inderdaad niet dat je er onderuit komt hier een uitleg van het begrip competentie in te voegen, dus een dia toevoegen met iets van 'combinatie van kennis, houding, vaardigheden en persoonlijke eigenschappen in een bepaalde context' en dan een voorbeeld tonen uit het boekje van de academische competenties (bv: 'bekwaam in onderzoeken'). Ook dit is -gezien de tijd- meer om een beeld te geven, dan om het uitgebreid te gaan toelichten. Bovendien is dan meteen goed te zien dat competenties op meedere niveaus geformuleerd kunnen worden, en dat is weer handig voor de dia hierna.

Goed toetsen en beoordelen ….

… heeft als voorwaarde: duidelijke en relevante doelen!

Met andere woorden:

• de kwaliteit van de toetsing hangt in grote mate af van

de kwaliteit van de doelformulering

• (en in geval van competenties van de competentieformulering).



‘Moderne’ toetsvormen

Competentiegericht toetsen = Assessment

Meest voorkomende / genoemde assessmentvormen:• Proeve van bekwaamheid• Overall toets / Casustoets• Assessmentcenter• Portfolioassessment• Criteriumgericht interview.




Pas de volgorde aan: portfolio assessment als laatste, omdat die alomvattend is: alle andere mogelijkheden kunnen erin zitten. Bovendien maakt dat de overgang naar de demo gemakkelijker.

Proeve van bekwaamheid

Voorbeeld: Als extern organisatieadviseur een concurrentieanalyse maken

voor een middelgrote nationale onderneming m.b.v.

het 5 krachtenmodel van Porter.

Demonstreren van competentie(s)• Aan de hand van een opdracht

• in een bepaalde context

• een bepaald product maken

• en daarmee alle aspecten van de competentie in samenhang laten zien

• beoordeling a.d.v. criteria

Summatief: certificering of doorstroombeslissing.




Voorbeeld toevoegen: voorbereiden, uitvoeren en evalueren van een lessenreeks tijdens de lerarenopleiding. Hieraan zou ik dan de beoordeling en normering kunnen koppelen, dus tonen hoe we dat bij het ILS aanpakken.


Ik denk dat we bij alle voorbeelden van moderne toetsvormen iets moeten zeggen over validiteit en betrouwbaarheid. Dat kan per vorm, of in zijn algemeenheid, bijvoorbeeld bij de vorige dia.


In de werksituatie:• direct d.m.v. observatie: b.v. échte patiënten tandheelkunde

indirect d.m.v. bewijzen uit de werksituatie: bijv. technisch ontwerp, beleidsnota, wetenschappelijk artikel.

In nagebootste werksituatie (simulatie):

ook weer direct: b.v. oefenrechtbank, managementgame, simulatiepatiënten

of indirect: b.v. een pleitnota, behandelplan, concurrentieanalyse, onderzoeksverslag.




Ik zou deze dia weglaten: de begrippen 'work sample test' en 'skill sample test' vragen veel uitleg; en er is overlap met het portfolio.

Overall toets / Casustoets• meet niet het echte handelen, maar voorgenomen

handelen (cognitief strategieniveau)

• Evalueert vooral in hoeverre een student relevante realistische problemen kan identificeren, formuleren, analyseren en oplossen

• Impliceert kennis en is in die zin toegepaste kennistoets– Open boek– Eén grote of meerdere (kleine) casussen– eventueel thuis van tevoren bestuderen– Toets zelf bestaat uit combinatie van open en gesloten vragen

Vooral summatief: certificering of doorstroombeslissing



Assessmentcenter

Serie gestandaardiseerde proeven van bekwaamheid

Vooral gericht op (observatie van) gedrag

Zeer intensief ….

…. in onderwijscontext eigenlijk onbetaalbaar



Portfolioassessment

Student verzamelt authentieke ‘bewijzen’ van competent zijn:

• uit werk- of stagesituatie óf uit onderwijssituatie• Producten• Verslagen• Beoordelingen

Vaak formatief (ontwikkelingsgericht); maar óók summatief.




maar ook summatief


verzamelt met een 't' graag.


hier iets zeggen over authenticiteit van die bewijzen?


betrouwbaarheid en validiteit: zie boekje 'werken met electronisch portfolio' pagina 66.

Criteriumgericht interview

• Ondervraging van student om informatie over competentie(s) te krijgen

• a.h.v. van tevoren vastgestelde en gestandaardiseerde criteria / hoofdvragenlijst

Zelfstandig of aanvulling op andere assessmentvormen

(b.v. op portfolioassessment).



En de kwaliteit???

• Validiteit– Meet het wat het moet meten?

• Betrouwbaarheid– Meettechnische juistheid

• Bruikbaarheid– Is het te doen door student, docent en opleiding?

– Is het betaalbaar en organiseerbaar?



Validiteit

Meet het wat het moet meten?

De doelen!

Competentiegericht = toevoegen van:

– Integraal en niet de losse delen– Authenticiteit van taak en context

Kennistoetsen zijn dus NIET valide om competenties te meten!



Overzicht kwaliteit toetsvormen



validiteit betrouwbaarheid bruikbaarheid


++ +/- +/-

Overall/

Casustoets

+ + +

Assessment

Center

++ +/- - -

Portfolio ass. + +/- +/-

Criteriumger.

Interview

+/- +/- +/-

Kennistoets - - + ++

• Er is géén standaardoplossing!• Keuze afhankelijk van het doel of de competentie

Algemeen geldt:

De beste methode is een methodemix

• Competentiegerichtheid stelt specifieke eisen

• en sommige toetsvormen lenen zich daar beter voor

Wat u er mee kunt?

Dat kunt u het beste zelf bepalen!




Het is me nog niet gelukt een lio te strikken. De demo kan - gezien de tijd - 5 minuten later worden gepland.


Dit kan ook 5 minuten later. Ik zou dit niet 'indeling groepen' noemen, maar 'instructie op actieve verwerking'.


ook dit kan 5 minuten later. Vervang 'groepjes' door 'groepen'.

RU-onderwijsdag 23 mei 2006

Documents

Transcript of RU-onderwijsdag 23 mei 2006