Achtergronden bij de Richtlijn interpretatie en gebruik van … · 2017-04-05 · Specialismen...

Tijdschrift voor Medisch Onderwijs, juni 2010 | Vol. 29, nr. 3, Suppl. 3, p. 73-102

1. Doelstelling van de Richtlijn en het gebruik door verschillendedoelgroepen

Doel van deze Richtlijn is het ondersteu-nen van aios en opleider (-team) bij hetbespreken van de voortgang c.q. bij hetnemen van beslissingen over de voortgangin de opleiding, en bij het gebruik vantoetsresultaten in dit proces. De Richtlijnbeoogt dit te doen door middel van:• Een beschrijving van de doelstellingen

van toetsing in de medisch-specialisti-sche vervolgopleiding en het gebruikvan toetsresultaten in begeleidingsge-sprekken (voortgangs- en beoorde-lingsgesprekken).

• Een beschrijving van kwaliteitseisenbij toetsing en bij gebruik van toetsre-sultaten (met nadruk op werkplekbe-oordelingen).

• Een omschrijving van stappen in zorg-vuldige besluitvorming.

• Een samenvatting van een aantal rand-voorwaarden bij gebruik van toetsresul-taten ten behoeve van besluitvorming.

Voor aios en opleider (-teams) worden inde Richtlijn de belangrijkste aandachts-punten bij het gebruik van toetsresultaten(werkplekbeoordelingen) in voortgangs-en beoordelingsgesprekken beschreven.De Richtlijn geeft een overzicht van decriteria aan de hand waarvan een inschat-ting gemaakt kan worden van de kwaliteiten bruikbaarheid van toetsresultaten, enwaaraan de zorgvuldigheid in besluitvor-ming getoetst kan worden.

Voor opleiders en opleiderteams wordendaarnaast een aantal richtlijnen beschre-

ven voor de inrichting van de toetsing opde werkplek en de procedures ten behoevevan besluitvorming.

Voor opleidingsmanagers en kwaliteits-zorgmedewerkers, tenslotte, worden in deRichtlijn de belangrijkste randvoorwaar-den voor een goed toetssysteem beschre-ven. De Richtlijn is daarmee te gebruikenals basis voor een interne visitatie naar dekwaliteit van het toetssysteem op een af-deling c.q. binnen een instelling.

Deze Richtlijn is gebaseerd op litera-tuuronderzoek en best practices, zowelbinnen de context van het medisch oplei-dingscontinuüm als binnen andere con-texten waar leren en beoordelen op dewerkplek een belangrijke plaats innemen.

2. Definities en begripsbepalingen

CanMEDS: een 7-tal algemene competen-ties die de bekwaamheid van de Neder-landse medisch specialist beschrijven. Zijvormen de generieke eindtermen voor allemedisch-specialistische vervolgopleidingenin Nederland en zijn afgeleid van de door‘the Royal College of Physicians and Surge-ons of Canada’ geformuleerde ‘CanMEDS-roles’. (http://knmg.artsennet.nl/).

Competentie: de bekwaamheid om opbasis van kennis, vaardigheden, oordeels-vermogen, houdingen (opvattingen, vi-sies) en persoonskenmerken, keuzes temaken uit een handelingsrepertoire dietot resultaat hebben dat de taken die zichin een specifieke beroepscontext voor-doen, adequaat worden aangepakt, con-form rol en verantwoordelijkheid.

Achtergronden bij de Richtlijn interpretatie en gebruik van toetsresultaten in het portfolio

S82 In VIVO Richtlijn

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

Competentieprofiel: profielbeschrijving vande individuele aios die inzicht geeft in demate van bekwaamheid voor de verschil-lende CanMEDS competenties.

Halo: bepaalde kenmerken van de beoor-deelde of bepaalde aspecten in het func-tioneren worden overbelicht en hebbeneen onterechte (positieve of negatieve) in-vloed op de beoordeling van andere ken-merken of aspecten in het functioneren.

KBS: Kritische BeroepsSituatie / Kenmer-kende BeroepsSituatie.

KPB: Korte PraktijkBeoordeling; vorm vanwerkplekbeoordeling. Kortdurende evalu-atie van het functioneren van de aios opbasis van directe observatie, bij het uitvoe-ren van een authentieke taak.

Leniency: neiging tot geven van mildeoordelen; score-inflatie.

Opleidingsplan: een door de betreffendewetenschappelijke vereniging opgestelden door het Centraal College MedischeSpecialismen (CCMS) vastgesteld plandat de structuur en inhoud van de oplei-ding tot medisch specialist beschrijft endat de basis vormt voor het individueleopleidingsplan.

OSATS: Objective Structured Assessmentof Technical Skills; vorm van werkplekbe-oordeling. Oorspronkelijk ontwikkeld tenbehoeve van evaluatie van met name tech-nische vaardigheden bij operatieve ingre-pen.

POP: Persoonlijk OntwikkelPlan, ook welIndividueel OpleidingPlan (IOP). In hetPersoonlijk Ontwikkelplan beschrijft deaios wat hij/zij wil bereiken gedurendeeen bepaalde periode (persoonlijk leer-plan), aan de hand van SMART geformu-

leerde doelen. Een POP wordt opgesteldop basis van sterkte-zwakteanalyse, indi-viduele leerwensen van de aios en van demogelijkheden die in betreffende periodegeboden worden. Een POP wordt gedu-rende de opleiding regelmatig geëvalu-eerd en bijgesteld.

Portfolio: persoonlijk dossier, verzamelin -strument al dan niet digitaal, dat informa-tie bevat op basis waarvan het leerprocesvan de aios inzichtelijk wordt gemaakt.Het portfolio in de medisch-specialisti-sche vervolgopleiding vervult verschil-lende functies, met nadruk op ontwikke-ling en reflectie. Daarnaast vormt deinformatie in het portfolio ‘bewijsmateri-aal’ bij het nemen van beslissingen tenaanzien van bekwaamheid.

SMART: acroniem ter aanduiding van deeisen die aan goed geformuleerde leerdoe-len gesteld kunnen worden. Leerdoelendienen liefst Specifiek, Meetbaar, Accep-tabel, Realiseerbaar/Realistisch en Tijdge-bonden te zijn.

Sterkte-zwakteanalyse: analyse van heteigen functioneren waarbij in kaart wordtgebracht waar de sterke punten liggen inhet functioneren en waar verbeteringnoodzakelijk/wenselijk is.

Themaprofiel: profielbeschrijving van deindividuele aios die inzicht geeft in demate van bekwaamheid voor de verschil-lende in het opleidingsplan gedefinieerdethema’s.

Toetsing: systematische en structurele eva-luatie van en feedback op het functionerenvan de aios, met formatieve en/of summa-tieve doeleinden.

Werkplekbeoordeling: beoordeling van hetfunctioneren van de aios op de werkplek.


3. Doelstellingen van toetsing –algemene inleiding

A. Rol van toetsen in de opleiding Toetsen kunnen binnen opleidingen eenaantal functies vervullen1-4:1. Bevorderen van het leren en ondersteu-

nen van effectieve en efficiënte ontwik-keling van (beroeps)competenties. Toet-sing motiveert, bekrachtigt en stuurt deprofessionele ontwikkeling van de aios,door:a. het expliciet maken van de eisen die

op bepaalde momenten in de oplei-ding aan de aios gesteld worden,

b. feedback op functioneren, gerela-teerd aan de doelstellingen van deop lei ding: zichtbaar maken van ster -ke en minder sterke kanten in hetfunctioneren.

2. Onderbouwen/verantwoording van se-lectie-/promotiebeslissingen:Toetsresultaten geven inzicht in hetbereikte niveau van competentieont-wikkeling en de kwaliteit van functio-neren van de aios en vormen daarmeeeen belangrijke basis voor het toeken-nen van bekwaamheidsverklaringen,certificering en registratie.

3. Bewaken van opleidingskwaliteit:a. toetsresultaten geven informatie

over de effectiviteit van de opleiding,b. bescherming van publiek tegen on-

bekwame professionals.

Er wordt onderscheid gemaakt tussen for-matief en summatief gebruik van toetsre-sultaten.

Formatieve toetsing heeft met name tendoel de aios feedback te verschaffen overde voortgang in het eigen leerproces, opbasis daarvan reflectie te stimuleren enleeractiviteiten te sturen. De formatievefunctie van toetsen staat centraal in de re-gelmatig terugkerende, formele beoorde-

lingen van het functioneren op de werk-plek in de vorm van KPB, OSATS of 360graden feedback. Ook in voortgangsge-sprekken ligt de nadruk op formatief ge-bruik van toetsresultaten.

Van summatief gebruik van toetsresulta-ten wordt gesproken als toetsresultaten debasis vormen voor het nemen van beslis -singen over voortgang c.q. certificering.Summatief gebruik van toetsresultatenstaat centraal in beoordelingsgesprekken.Beslissingen over bekwaamheid respectie-velijk registratie/certificering worden altijdgenomen op basis van informatie over hetfunctioneren van de aios die gedurendelangere tijd, min of meer systematisch, wordtverzameld, bijvoorbeeld in een portfolio.Een enkele werkplekbeoordeling (mo -ment op name) vormt nooit de enige enunieke basis voor het nemen van summa-tieve beslissingen!

Zowel ten behoeve van voortgangsge-sprekken als ten behoeve van beoordelin-gen moeten toetsresultaten een accuraaten geloofwaardig beeld geven van het leer-proces, competentieontwikkeling en van debekwaamheden van de aios. Dit kan alleenals de informatie op basis waarvan beslis-singen worden genomen aan specifiekevoorwaarden voldoet (zie hoofdstuk 4).

B. Toetsen in de medisch-specialistischevervolgopleiding: competentie- en themagericht toetsprogramma

Toetsresultaten geven inzicht in het functio-neren van de aios. Zowel bij het formulerenvan individuele ontwikkelingsplannen, alsbij het nemen van gemotiveerde beslissin-gen over professionele bekwaamheid is hetnoodzakelijk om een gedetailleerd beeld tehebben van de ontwikkeling van de aios, ge-relateerd aan de specifieke eindtermen vande opleiding. Een holistisch, algemeenbeeld van het functioneren van de aios isdaarbij meestal niet voldoende.


In VIVO RichtlijnS84


In het kader van de vernieuwing van demedisch-specialistische vervolgopleidin-gen zijn de eindtermen van de opleidinglangs verschillende invalshoeken gedefi-nieerd. Enerzijds worden ten behoeve vande competentieontwikkeling van de aioseen 7-tal algemene competentiedomeinenonderscheiden die vastgelegd zijn in deCanMEDS rollen:

1. Medisch handelen2. Communicatie3. Samenwerking4. Organisatie5 Professionaliteit6. Maatschappelijk handelen7. Kennis en wetenschap

Anderzijds zijn vanuit vakinhoudelijk per-spectief specifieke (specialisme-gebonden)einddoelen beschreven in een aantal ver-schillende thema’s en/of kenmerkende c.q.kritische beroepssituaties (taken, clustersvan taken of verrichtingen).

De professionele ontwikkeling van deaios vindt enerzijds plaats binnen elk vande zeven CanMEDS competenties, ander-zijds binnen de verschillende thema’s vanhet vakgebied. Bij het bespreken c.q. be-oordelen van de voortgang van de aiosmoet zo goed mogelijk in beeld gebrachtworden hoe het staat met:• de ontwikkeling van de aios in de ver-

schillende CanMEDS competenties(competentieprofiel),

• de ervaringen en bekwaamheden vande aios binnen de verschillende thema’s(themaprofiel).

Analoog hieraan richt toetsing van de aioszich dus enerzijds op de competentieont-wikkeling (over de verschillende thema’sheen), anderzijds op de themagebondenbekwaamheden (over de verschillendecompetentiedomeinen heen).

Uitspraken over competenties wordenaltijd afgeleid uit beoordelingen van het

functioneren op verschillende taken in deberoepsuitoefening. Een aios is immers al-leen in staat om de relevante beroepstakenadequaat uit te oefenen indien hij beschiktover een aantal competenties.1 5 Op dezemanier ontstaat voor elk thema een matrixvan relevante taken en competenties, zoalsuitgewerkt in onderstaande voorbeelden(Thema A respectievelijk B).

Uit de gehanteerde definitie van profes-sionele competentie en de opleidingsspe-cifieke thema-competentiematrices volgtdat in de medisch-specialistische vervolg-opleiding een compleet toetsprogrammaminimaal omvat:A. Beoordelingen van performance op re-

levante taken uit de beroepspraktijk: a. beoordeling van de kwaliteit van

handelen (proces) en b. beoordeling van de uitkomst van

het handelen (= outcomes).B. Beoordeling van de verantwoording

van gemaakte keuzes en van reflectieop handelen.

C. Beoordeling van ervaring met speci-fieke taken uit het vak (registratie vanervaringen/verrichtingen).

A-C betreffen voornamelijk registratie enbeoordeling van functioneren in de prak-tijk (werkplekbeoordelingen). Het lerenvan de aios in de medisch-specialistischevervolgopleiding vindt voor 90-95% plaatsop de werkplek. Evaluaties c.q. beoordelin-gen van het functioneren op de werkplekvormen dan ook de kern van het toetspro-gramma in de medisch-specialistische ver-volgopleiding. Bij het doen van uitsprakenover professionele competentie is vaak be-hoefte aan aanvullend ‘bewijsmateriaal’,omdat het onmogelijk is om alle facettenvan het vak in de praktijk voldoende breedte toetsen.6-7 Aanvullend bewijsmateriaalkan verkregen worden op basis van:


D. Beoordeling van gevolgde scholing/onderwijs/training.

E. Beoordeling van kennis (kennistoetsing).F. Beoordeling van vaardigheden (met

name relevant indien de praktijk teweinig mogelijkheden biedt om dit ge-degen te doen; als beoordeling vanvaardigheden in de praktijk lastig is inverband met weinig voorkomen óf alsbewijs van beheersing noodzakelijk isin verband met patiëntveiligheid).

C. Portfolio als verzamelinstrumentOm te komen tot uitspraken over compe-tenties c.q. functioneren van de aios is be-wijsmateriaal nodig. Dit bewijs moet:• over langere tijd verzameld zijn,• afkomstig zijn van verschillende bron-

nen,• gemeten zijn met behulp van een ver-

scheidenheid aan instrumenten.

Er zijn binnen de medisch-specialistischevervolgopleiding vele toetsvormen en -instrumenten beschikbaar. Elk van dezeinstrumenten levert specifieke informatieover specifieke deelaspecten van het pro-fessionele handelen van de aios2 (zie bijvoorbeeld ook http://www.acgme.org/ outcome/assess/toolbox.pdf; http://www.foundationprogramme.nhs.uk/pages/home/training-and-assessment). De infor-matie over het functioneren van aios kanin een (elektronisch) portfolio verzamelden gepresenteerd worden zodat voor elkeaios een competentieprofiel c.q. een taak-of themaprofiel opgesteld kan worden.

Door de informatie en toetsresultaten inhet portfolio op een zorgvuldige manier tecombineren en te wegen, is het mogelijkom enerzijds vast te stellen waar sterkec.q. zwakke kanten van de aios liggenvoor wat betreft de zeven CanMEDS com-



Thema ACompetentie

Taak 1 Taak 2 Taak 3 Taak 4 Taak 5 Taak … Taak nMedisch handelen X X X X XCommunicatie X X X X X XSamenwerken X X XOrganisatie X XKennis en wetenschap X XMaatschappelijk handelen X XProfessionaliteit X X X X X X X

Thema BCompetentie

Taak 1 Taak 2 Taak 3 Taak 4 Taak 5 Taak … Taak nMedisch handelen X X X XCommunicatie X X X X XSamenwerken X X XOrganisatie X X XKennis en wetenschap X XMaatschappelijk handelen X X X XProfessionaliteit X X X X X X X


petenties en anderzijds vast te stellen hoede aios in de verschillende inhoudelijkethema’s functioneert (met welke mate vanzelfstandigheid, effectiviteit, efficiëntie,etc.). Op basis hiervan kunnen vervolgensonderbouwde beslissingen genomen wor-den ten aanzien van persoonlijke ontwik-kelingsplannen, bekwaamheidsverklarin-gen, voortgang in de opleiding, etc.8

D. Gebruik van toetsresultaten in hetvoortgangsgesprek (formatief)

Een voortgangsgesprek is bedoeld voor deevaluatie van en reflectie op het functio-neren van de aios in de afgelopen periode(drie-zes maanden), en voor het makenvan specifieke afspraken voor de volgendeperiode.

Het Persoonlijk OntwikkelingsPlan (POP)van de aios vormt de basis voor de inhoudvan het voortgangsgesprek. In het POPstaan specifieke leerdoelen beschreven.Aan de hand van alle voorliggende infor-matie in het portfolio wordt zowel devoortgang in het leerproces als de matewaarin leerdoelen in de afgelopen periodezijn bereikt, geëvalueerd. De formatievefunctie van toetsing staat in het voort-gangsgesprek centraal. Toetsresultaten/beoordelingen helpen om sterke en min-der sterke kanten in het functioneren teidentificeren. Op basis hiervan kunnenconcrete afspraken voor de volgende op-leidingsperiode worden gemaakt. Hierbijis het belangrijk duidelijk af te spreken opwelke manier getoetst kan en zal wordenof de aios succesvol aan zijn leerdoelenheeft voldaan. Toetsresultaten zijn vooralbruikbaar voor het (bij)sturen van hetleerproces als ze aan bepaalde voorwaar-den voldoen (zie hoofdstuk 4).

E. Gebruik van toetsresultaten in het be-oordelingsgesprek (summatief)

In het beoordelingsgesprek staat de vraagcentraal of de betreffende aios voldoet

aan de (minimum)eisen die op dat mo-ment gesteld worden. Hieraan gekoppeldwordt de vraag beantwoord of het verant-woord is om de aios te laten doorstromennaar een volgende fase van de opleidingc.q. loopbaan.

De basis voor het gesprek wordt ge-vormd door de aan de aios te stellen eisenenerzijds, en door de in het portfolio be-schikbare informatie over het functionerenvan de aios anderzijds. De minimumeisenwaaraan een aios op specifieke mo men tenin de opleiding moet voldoen staan deelsomschreven in het opleidingsplan zoalsopgesteld door de betreffende weten-schappelijke vereniging, en zijn uitge-werkt in het regionale opleidingsplan. Het portfolio, met de daarin opgenomentoetsresultaten, vormt het belangrijkstebewijsmateriaal ter onderbouwing van dete nemen beslissing. De beslissing is al-leen geloofwaardig en verdedigbaar alsbewijsmateriaal en besluitvormingspro-ces aan specifieke voorwaarden voldoen(zie hoofdstukken 4-5).

Elke bekwaamheidsverklaring die wordtafgegeven betreffende deelaspecten vanthema’s (bijvoorbeeld een specifieke ver-richting) kan beschouwd worden als eensummatief toetsmoment. Er wordt danvastgelegd dat de aios aan de minimum-voorwaarden voldoet om de betreffendeverrichting zonder directe supervisie uit tevoeren (bijvoorbeeld het zelfstandig uit-voeren van een vacuümextractie). Werk-plekbeoordelingen en expertoordelen vanhet opleiderteam vormen ook bij derge-lijke beslissingen het belangrijkste bewijs-materiaal.

4. Interpretatie van toetsresultaten:kwaliteit en kwantiteit van werk-plekbeoordelingen

Een toets meet (een deel van) het functio-neren van de aios. Met behulp van ver-schillende toetsen (verscheidenheid van


toetsinstrumenten en beoordelaars) wor-den toetsresultaten verkregen die wordengebruikt ter onderbouwing van beslissin-gen. Deze beslissingen kunnen betrekkinghebben op (bij)sturing van het leerprocesofwel op voortgang in de opleiding (selec-tie). Beslissingen kunnen pas genomenworden na interpretatie van de verkregenmeetresultaten. Bij het nemen van beslis-singen op basis van toetsresultaten gaanwe vaak uit van een aantal impliciete aan-names. Zie voor een voorbeeld Box 1. Devraag is hoe gerechtvaardigd al deze aan-names en conclusies zijn. Zijn de kandi-daten met de hoogste scores ook hetmeest competent, en functioneren zij hetbest op de werkvloer?

De mate waarin de interpretatie van detoetsscores en de zak/slaagbeslissingenkloppen, hangt samen met de mate waarinde aannames over de toets terecht zijn. Bijmeer bewijs dat de aannames terecht zijn,is de geldigheid van de conclusies die weaan de toetsresultaten verbinden groter. Debasisgegevens, de meetresultaten, moetendus aan een aantal kwaliteitseisen vol-

doen.9-10 Deze basiseisen worden hiernabeschreven, met een specifieke nadruk opimplicaties voor werkplekbeoordelingen.

A. Toetsresultaten zijn accuraatDe toetsresultaten moeten een precieze(betrouwbare) indicatie vormen voor hetprestatieniveau op de toets c.q. te beoor-delen taak. Zij moeten precieze informa-tie geven over sterke en zwakke kanten inhet functioneren van de aios. Verschillenin toetsresultaten bij vergelijking van ver-schillende aios horen dus uitsluitend hetgevolg te zijn van daadwerkelijke (ver-schillen in) bekwaamheid van aios en nietbeïnvloed te worden door andere, min ofmeer toevallige factoren. Mogelijke enveel voorkomende foutenbronnen zijn bij-voorbeeld:• extreme vermoeidheid of ziekte bij de

kandidaat,• onduidelijke scoringssystematiek,• verkeerd gebruik van scoringsmodellen,• een toets bestaande uit extreem moei-

lijke of gemakkelijke taken.



Box 1. Een voorbeeld.

Als een kandidaat slaagt voor een kennistoets is onze conclusie vaak dat de betreffende kandidaat overvoldoende kennis beschikt. Daarbij gaan we uit van een aantal aannames: – dat de behaalde score een nauwkeurige/precieze meting is van de kennis van de kandidaat (en niet

van andere, voor deze toets irrelevante zaken zoals IT-vaardigheden, leesvaardigheid of stressbe-stendigheid)

– dat we op basis van de toets uitspraken kunnen doen over de kennis van de kandidaat die verdergaan dan de specifieke inhoud van de items in de betreffende toets

– en dat de zak-slaaggrens/cesuur zodanig gekozen is dat er een betrouwbaar onderscheid wordt ge-maakt tussen kandidaten die over voldoende kennis beschikken en kandidaten wier kennisniveaudaadwerkelijk onvoldoende is.

Vaak gaat onze interpretatie van toetsscores nog een stap verder en gebruiken we toetsscores om daar-mee een uitspraak te doen over de bekwaamheid van de kandidaat als beroepsbeoefenaar. We gaan erdan, op basis van de toetsresultaten, van uit dat de kandidaat ook in staat is om de kennis adequaattoe te passen in relevante beroepssituaties.


Accutaresse van werkplekbeoordelingen inde praktijk

Uit onderzoek blijkt dat werkplekbeoor-delingen in het algemeen niet erg accuraatzijn, vergeleken met scores die verkregenworden uit meer ‘objectieve’ of gestan-daardiseerde toetsvormen.11-13 Typischekenmerken van werkplekbeoordelingen inde klinische setting zijn onder andere:• leniency (score-inflatie): beoordelaars

zijn geneigd om mild en optimistischte oordelen,14

• halo-effecten: de algemene indrukover de aios is bepalend voor het oor-deel op deelcompetenties, of één as-pect in het functioneren bepaalt oor-delen over andere onderdelen van hetfunctioneren,15

• verschillen in de manier waarop be-oordelaars de kwaliteit van waargeno-men functioneren interpreteren enomzetten in een score: sommige be-oordelaars kunnen het eens zijn overkwaliteit van functioneren en dit tochanders scoren, terwijl andere beoorde-laars van mening verschillen over dewaargenomen kwaliteit en toch het-zelfde scoren.16-17

Verschillende oorzaken kunnen hieraanten grondslag liggen:• Dubbelrol van de beoordelaar: Beoorde-

laars (staf) hebben vaak een langdu-rige, min of meer intensieve werkrela-tie met de aios en vervullen naast derol van beoordelaar ook de rol vancoach-supervisor. Onderzoek toont ta-melijk consistent aan dat het vervullenvan deze dubbelrol het geven van eer-lijke en volledige feedback belemmert.Met name het toekennen van ‘negatie-ve’ beoordelingen en feedback wordtervaren als lastig, en weinig motive-rend voor betrokkenen.

• Gebrek aan directe observatie: Oorde-len met betrekking tot specifieke vaar-

digheden als communicatie in de arts-patiëntrelatie, of systematiek in anam-nese en fysisch-diagnostisch onder-zoek komen vaak tot stand op basisvan indirecte informatie zoals verslag-legging in de status, of worden afge-leid uit de manier waarop de aios depatiëntcasus presenteert. Concretefeedback op en beoordeling van be-paalde klinische vaardigheden is zon-der directe observatie niet mogelijk.16

• Niet (tijdig) documenteren van observa-ties: Door niet te scoren/schrijven tijdensde observaties, maar vaak (veel) laterachteraf te documenteren treedt infor-matieverlies en -vervorming op.18-20

• Eenzijdige focus op kwaliteit van me-disch (technisch) handelen: De beoorde-ling van de kwaliteit van medisch-tech-nisch handelen bepaalt in sterke matede scores op andere competenties.

• Gebrek aan training en onderlinge afstem-ming tussen beoordelaars, leidend tot:• onzekerheid bij beoordelaars over

eigen competentie als beoordelaar,• gebrek aan consensus over kwali-

teit van performance en te hante-ren standaarden,

• gebrek aan consensus over hoe hetscoresysteem te gebruiken.

Geschreven, aanvullende opmerkingenover het functioneren van de aios, waarineen aantal sterke en minder sterke puntenconcreet gemaakt worden, zijn daaromveel belangrijker en informatiever dan nu-merieke scores.

B. Toetsresultaten zijn generaliseerbaarBij de interpretatie van toetsscores wilmen meestal niet alleen uitspraken doenover het presteren van de aios op die enegeobserveerde taak of toets, maar conclu-sies trekken over verwachte prestaties ineen veel groter domein van vergelijkbaretaken (criteriumdomein). Meer concreet


betekent dit dat in de medisch-specialisti-sche vervolgopleiding de vraag gesteldmoet worden in hoeverre de toetsresulta-ten een betrouwbare indicatie vormenvoor:• beheersing van de betreffende Can-

MEDS competentie (bij de uitoefeningvan uiteenlopende beroepstaken) en/of

• de beheersing van alle vergelijkbaretaken/toetsen in het betreffende themaof vakgebied.

Anders gezegd: in hoeverre zijn behaaldetoetsresultaten reproduceerbaar bij her-haalde meting met andere (maar verge-lijkbare) taken en beoordelaars? Uit on-derzoek blijkt dat van alle factoren dievan invloed zijn op de generaliseerbaar-heid van toetsresultaten, de zogenoemde‘inhoudsspecificiteit’ de belangrijkste is.21-

22 Hiermee wordt bedoeld dat de kwaliteitvan functioneren nogal variabel is, ensterk afhankelijk van de specifieke inhoudvan de taak of van het probleem waarmeeiemand wordt geconfronteerd. Dat wilzeggen dat de prestatie op taak 1 niet ofnauwelijks voorspellend is voor de presta-tie op taak 2 uit hetzelfde inhoudelijketaakgebied. Zo is de kwaliteit van klinischredeneren bij het oplossen van een pa-tiëntprobleem sterk afhankelijk van de in-houd van dat specifieke probleem.

Het probleem van de inhoudsspecifici-teit doet zich voor bij alle vormen vantoetsing, zowel bij meer objectieve, ge-standaardiseerde toetsen (zoals multiplechoice examens) als bij beoordelingen opde werkplek (zoals KPB of OSATS). Be-haalde toetsresultaten worden daarmeesterk afhankelijk van de toevallige keuzevan taken of toetsitems. Dit impliceertdat, om betrouwbare uitspraken te kun-nen doen over functioneren in een be-paald domein, een grote steekproef ge-trokken moet worden uit het betreffende(taak)domein. Hoe breder het domein

waarnaar we uitspraken willen generali-seren, hoe groter de steekproef van te be-oordelen taken dient te zijn.23-24

Een andere factor die generaliseerbaar-heid kan beïnvloeden wordt gevormddoor beoordelaars. Zo kunnen beoorde-laars soms sterk van elkaar verschillen inde manier waarop ze geobserveerd gedraginterpreteren en waarderen. Er zijn strengeen milde beoordelaars, maar er bestaatvaak ook een verschil in opvatting overwat in welke fase van de opleiding be-heerst moet worden of wat belangrijk isvoor geleverde kwaliteit van zorg. Deopzet van het scoresysteem en het beoor-delingssysteem vormt een andere factordie van invloed is op betrouwbaarheidvan toetsresultaten. Indien er ruimte voorsubjectiviteit in de interpretatie van crite-ria bestaat zal de betrouwbaarheid striktgenomen afnemen. Ook hierbij geldt datbetrouwbaarheid positief beïnvloed wordtdoor een grotere steekproef: oordelenover aios zijn meer betrouwbaar naar-mate meer verschillende examinatoren be-trokken zijn bij de totstandkoming ervan.Onderzoek toont echter consistent aandat laatstgenoemde factoren bij zorgvul-dig ontworpen beoordelingsinstrumentenen goed getrainde beoordelaars van (veel)minder belang zijn dan de inhoudsspecifi-citeit.25

Generaliseerbaarheid van werkplekbeoor-delingen in de praktijk

Werkplekbeoordelingen zijn arbeidsin-tensief en niet eenvoudig te realiseren. Uit-spraken over het functioneren van de aioszijn daarom vaak gebaseerd op een zeerbeperkt aantal beoordelingen, bij een be-perkt aantal taken en door een beperktaantal verschillende beoordelaars. Ditmaakt het doen van gegeneraliseerde uit-spraken vaak lastig. Onderzoek toont aandat voor werkplekbeoordelingen, gebaseerdop individuele patiëntcasus, in grote lijn




geldt dat 6-11 beoordelingen noodzakelijkzijn om te komen tot betrouwbare oorde-len over professionele competentie.11 26-27

Onderzoek toont daarbij overigens aan dathet aantal benodigde beoordelingen afhan-kelijk is van het te beoordelen domein envan de te beoordelen competenties.11

Wat betreft het aantal beoordelaars datnodig is om te komen tot betrouwbare, ge-neraliseerbare oordelen, geldt ten aanzienvan werkplekbeoordelingen dat 6-10 beoor-delaars nodig zijn om van betrouwbare oor-delen te kunnen spreken. Indien gebruikwordt gemaakt van patiëntoordelen, zijngrotere aantallen noodzakelijk.11-12

360 graden feedbackprocedure en betrouw-baarheid van oordelen

In de context van 360 graden feedbackverdienen verschillen tussen beoordelaarsspecifieke aandacht. In het algemeen geldtdat medisch specialisten/stafleden de be-langrijkste groep beoordelaars vormen bijhet beoordelen van aios op de werkplek.Kenmerkend voor 360 graden feedback isdat verschillende beoordelaargroepen inde procedure betrokken worden. Deze be-oordelaargroepen hebben op verschillendemanieren en in verschillende situaties metaios te maken, en verschillen ook meestalvan elkaar wat betreft de manier waaropze het functioneren van een aios waarde-ren en beoordelen. Verpleegkundigen bij-voorbeeld, observeren niet alleen ander gedrag van een aios dan patiënten of staf-leden, zij zullen mogelijk ook ander ge-wicht toekennen aan bepaalde gedragin-gen en dus anders oordelen. Dit betekentechter niet dat deze – verschillende – be-oordelingen daarom niet betrouwbaarzijn. De verschillende invalshoeken waar-mee naar het functioneren van de aioswordt gekeken vormen de belangrijkstebasis voor het gebruik van 360 gradenfeedback. Het betrekken van verschillendegroepen beoordelaars verrijkt de informa-

tie op basis waarvan conclusies getrokkenkunnen worden.28

C. Toetsresultaten zijn transferabel/ extrapoleerbaar

In het algemeen zijn we minder geïnteres-seerd in de bekwaamheid van de aios metbetrekking tot het beantwoorden vanmeerkeuzevragen, of met betrekking tothet uitvoeren van een technische hande-ling op een dummy in een simulatietoets.Belangrijk is in hoeverre de toetsresulta-ten een relevante indicatie vormen voorfeitelijk functioneren in de praktijk. Detoetsscore moet vertaalbaar zijn naar de situatie waarin datgene wat we metenpraktisch relevant is. Naarmate toetsingmeer plaatsvindt op basis van levens-echte, authentieke taken, uitgevoerd in decontext van de alledaagse beroepsprak-tijk, is extrapoleren van resultaten gemak-kelijker, en vormen toetsresultaten eenmeer ‘directe’ aanwijzing en bewijs voorgedrag waarin we uiteindelijk geïnteres-seerd zijn.

Transferabiliteit/extrapoleerbaarheid vanwerkplekbeoordelingen in de praktijk

Extrapoleerbaarheid van werkplekbeoor-delingen lijkt in eerste instantie geen pro-blemen op te leveren: immers het geobser-veerde en beoordeelde gedrag is identiekaan gedrag dat in de praktijk van alledaggetoond wordt. Extrapoleerbaarheid vanwerkplekbeoordelingen kan echter wordenbeïnvloed door een aantal factoren:• Directe observatie (zeker indien ge-

volgd door een beoordeling) kan vaninvloed zijn op het functioneren vande aios. Een aios kan in een dergelijkesituatie ófwel beter ófwel slechterpresteren dan hij/zij normaal gespro-ken gewoon is te doen.

• Werkplekbeoordelingen geven informa-tie over wat een aios in de dagelijksepraktijk doet. Het beoordelen van func-


tioneren op de werkplek aan de handvan een (gestructureerd/gestandaardi -seerd) beoordelingsformulier betekentniet automatisch dat de uiteindelijkescores een goed beeld geven van het fei-telijke functioneren van de aios. Zokunnen bijvoorbeeld de items op hetbeoordelingsformulier meer of minderrelevant en representatief zijn voor watwe feitelijk willen meten. In anderewoorden: de manier waarop geobser-veerd gedrag wordt vertaald in scoresen wordt vastgelegd op een formulier,bepaalt de informatiewaarde van dewerkplekbeoordeling.

In het algemeen geldt het volgende. Opbasis van een enkele werkplekbeoordelingwordt specifieke informatie verkregen:specifieke informatie over functionerenmet betrekking tot betreffende taak, in betreffende specifieke situatie. Gegenera-liseerde uitspraken (over competentie, bekwaamheid van de aios) zijn slechtsmogelijk indien voldoende gevarieerdemeetgegevens uit een domein beschikbaarzijn. Dit neemt echter niet weg dat sepa-rate (taak)beoordelingen een indicatiekunnen vormen voor specifieke sterke c.q.minder sterke kanten in het functionerenvan de aios.

In het algemeen geldt bij het interprete-ren van toetsscores dat het trekken vaneen juiste en verdedigbare conclusie overde competentie c.q. bekwaamheid van eenaios alleen mogelijk is als de toetsscoreszowel accuraat, generaliseerbaar als trans-ferabel/extrapoleerbaar zijn. Helaas vol-doet geen enkel toetsinstrument volledigaan deze eisen. Het gebruik van verschil-lende instrumenten die door ieder meerdan eens worden ingezet is daarom eenabsolute noodzaak. Dit palet van toetsenen beoordelingen vormt een toetspro-gram ma. Het portfolio dient hierbij alsverzamelinstrument.

5. Gebruik van toetsresultaten: verdedigbaarheid van beslissingen

Zorgvuldig gebruik van toetsresultatenvereist een hoge kwaliteit van het besluit-vormingsproces. Dit proces moet trans -parant, traceerbaar, geloofwaardig enrechtvaardig zijn. Beslissingen moeten gefundeerd zijn en gemotiveerd kunnenworden. Interpretatie en gebruik vantoetsresultaten zou plaats moeten vindenaan de hand van overeengekomen stan-daarden (dit kunnen leerdoelen, oplei-dingsdoelstellingen of minimaal vereistebekwaamheidsniveaus zijn) en van tevo-ren vastgestelde procedures.

A. Werkplekbeoordelingen en kwaliteitvan standaarden

De gehanteerde standaarden en cesuurmoeten verdedigbaar zijn. Een groot pro-bleem op dit moment is het ontbrekenvan duidelijke en evidence-based stan-daarden waaraan een aios op specifiekemomenten in de opleiding moet voldoen.Hiervoor zijn een aantal oorzaken aan tewijzen:1. Voor een aantal algemene competen-

tiedomeinen, zoals communicatie, pro-fessionaliteit of samenwerken, zijn noggeen absolute standaarden vastgesteld.Hoewel dit niet eenvoudig lijkt, zullenook voor deze competenties standaar-den ontwikkeld moeten worden.

2. Bij werkplekbeoordelingen is sprakevan een hoge mate van leniency(score-inflatie). Uit onderzoek in deV.S. blijkt dat het merendeel (> 80%)van de arts-assistenten beoordeeldwordt als ‘excellent’ of ‘very good’.14

Een score ‘good’ of ‘satisfactory’ zoudan wel eens geïnterpreteerd moetenworden als ‘twijfelachtig’ respectieve-lijk ‘onvoldoende’.

3. Er bestaan soms grote verschillen inbeoordelingssystematiek bij vergelij-king van verschillende opleidingszie-




kenhuizen, als gevolg van verschillenin gehanteerde scoresystemen (instru-menten), verschillen in opleidingskli-maat, verschillen in opvattingen en af-spraken over toetsing, verschillen inpatiëntaanbod, etc.

Op grond van het bovenstaande kan ge-concludeerd worden dat het ontwikkelenvan goed onderbouwde standaarden alleenmogelijk is indien aandacht wordt besteedaan training van beoordelaars, er een on-derlinge afstemming van beoordelingssys-temen is en indien systematisch, en overeen langere tijdsperiode, gegevens overfunctioneren van aios op de werkplek, inverschillende fasen van de opleiding en inverschillende settings, worden verzamelden toegankelijk worden gemaakt. Systema-tische documentatie van werkplekbeoorde-lingen is daarbij een noodzakelijke rand-voorwaarde.20

B. Zorgvuldige besluitvormingVerdedigbaarheid van besluiten vraagt omzorgvuldigheid in het besluitvormingspro-ces. Van zorgvuldige besluitvorming kanworden gesproken indien minimaal is vol-daan aan een aantal randvoorwaarden.29-31

1. Adequate notice (transparantie): Voor demedisch-specialistische vervolgoplei-ding betekent dit dat aios tijdig geïnfor-meerd zijn over de opzet en inhoud vanhet beoordelingsproces (instrumentenen procedures, beoordelingscriteria,standaarden c.q. te bereiken doelstellin-gen) en dat er regelmatig en tijdig tus-sentijdse feedback gegeven is over hetfunctioneren (met eventueel mogelijk-heid tot remediatie).

2. Fair hearing: Zorgvuldige besluitvor-ming berust niet alleen op input vanvoldoende geloofwaardige beoorde-laars, maar ook van beoordeelde zelf.Dit betekent dat de aios in staat gesteldmoet worden om input te leveren in

het beoordelingsproces, bijvoorbeeldin de vorm van zelfbeoordeling, reflec-tie. In elk geval dient hij/zij tijdig in degelegenheid gesteld te worden om ver-kregen (voorgenomen) beoordelingente becommentariëren. Regelmatig in-geplande (formele) voortgangsgesprek-ken en andere feedbacksessies makendeel uit van een ‘fair’ systeem van be-oordelen. Daarnaast horen aios vol-doende geschoold/getraind te zijn inhet voeren van feedbackgesprekken,voortgangsgesprekken en beoorde-lingsgesprekken.

3. Beslissingen worden volgens vastge-stelde procedures genomen: Er wordteen duidelijk onderscheid gemaakt tus-sen formatief en summatief gebruikvan beoordelingsresultaten. Beslissin-gen (summatief) zijn altijd gebaseerdop geaggregeerde, dat wil zeggen overlangere tijd en op basis van verschil-lende instrumenten verzamelde infor-matie. Beslissingen berusten daarbijop input van voldoende beoordelaars,en worden genomen door een daartoeverantwoordelijk gestelde groep (bij-voorbeeld de opleidergroep). De kwali-teit van de besluitvorming neemt hier-door toe.32-33

4. Beslissingen worden gemotiveerd en on-derbouwd: Besluitvorming moet zoveelals mogelijk ‘evidence-based’ zijn. Zorg-vuldige en volledige documentatie vanfeedback gedurende de opleiding is be-langrijk, zowel voor het leerproces vande aios, als voor de besluitvorming. Do-cumentatie van positieve feedback heefteen sterk motiverend en bekrachtigendeffect op het leren door de aios.34-36 Uitonderzoek blijkt dat het ontbreken vandocumentatie een belangrijke redenkan vormen voor het uitstellen van ne-gatieve beslissingen.37

5. Training, coaching van beoordelaars:Beoordelaars moeten voldoende ver-


trouwd zijn met de achtergronden endoelstellingen van het beoordelings-systeem, en getraind zijn in het ge-bruik van instrumenten.38-39

Effectief gebruik van werkplekbeoordelin-gen (toetsresultaten) vereist een beoorde-lingssysteem dat door alle betrokkenenervaren wordt als rechtvaardig en zinvol.Doorslaggevend daarbij zijn vertrouwenin opzet en procedures, veiligheid, trai-ning, coaching en in gezamenlijk gevoeldeverantwoordelijkheid.13 31 40-41

6. Randvoorwaarden en algemeneaanbevelingen

Opleidergroep• Zorg voor scholing van opleiderteam

en bij opleiden betrokken beoorde-laars. Faciliteer coaching ‘on-the-job’,bijvoorbeeld door een senior-staflid en/of onderwijskundige.42

• Formaliseer procedures, waar nodig.Maak duidelijke afspraken over takenen verantwoordelijkheden wat betreftbegeleiding en toetsing van aios.

• Draag als opleidergroep gezamenlijkverantwoordelijkheid voor de kwaliteitvan toetsing.

• Zorg voor duidelijke standaarden(consensus) en communiceer deze.Maak duidelijk wat op welk momentvan de aios wordt verwacht.

• Evalueer regelmatig als groep het func-tioneren van alle aios aan de hand vanportfolio’s.

• Neem als groep besluiten over aios.• Bespreek ‘probleem-aios’ en stel zono-

dig een remediëringsprogramma vast.

Instrumenten afgestemd op doelstellingenvan toetsing• Gebruik instrumenten die inzicht

geven in ontwikkeling/groei met be-trekking tot CanMEDS competenties.

• Gebruik instrumenten die inzicht gevenin ontwikkeling/groei met betrekkingtot opleidingsspecifieke thema’s.

• Zorg voor verzamelen van voldoendekwalitatieve informatie (narratieve feed-back), naast kwantitatieve informatie.

Faciliteer en bewaak zorgvuldige en volle-dige dossiervoering (portfolio)• Zorg voor een gebruikersvriendelijk

systeem (web-based).• Zorg voor systematische en structurele

evaluatie van aios op alle relevante(deel)competenties en thema’s.

• Organiseer, waar nodig, de toetsing opde werkplek. Zorg voor inbedding vanwerkplekbeoordelingen in de dage-lijkse werkroutine.

• Faciliteer directe observatie en docu-mentatie van performance. Plan werk-plekbeoordelingen, waar nodig, in.

• Zorg voor brede sampling.• Betrek verschillende beoordelaargroe-

pen in het proces.

Systematische en structurele monitoringvan performance van grote groepen aios(referentiegroepen)• Zorg voor documentatie van perfor-

mance.• Verzamel gegevens van aios over een

langere periode en in verschillende op-leidingsinstellingen.

Training/professionalisering van aios • Zorg voor scholing van aios met be-

trekking tot voeren van feedbackge-sprekken (geven en ontvangen vanfeedback; omzetten van feedback inconcrete acties).

• Zorg voor scholing van aios in het voe-ren van voortgangs- en beoordelings-gesprekken.




7. Samenvattende overzichten

A. Toetsresultaten in begeleidingsgesprekken


VoortgangsgesprekDoel: Evaluatie van en reflectie op het functioneren van de aios.

Bespreken van de ontwikkeling van de aios in relatie tot Persoonlijk Ontwik-kelingsplan (POP) en het opleidingsplan.Opstellen c.q. bijstellen van Persoonlijk Ontwikkelings Plan.

Materiaal (Portfolio): Afspraken voorgaand gesprek.Persoonlijk Ontwikkelingsplan.Sterkte-zwakte-analyse.Bewijsmateriaal:• Competentieprofiel (CanMEDS)• Ontwikkeling vakinhoudelijke thema’s (themaprofiel: KBS, verrichtingen;

bekwaamheidsverklaringen)• Gevolgd (cursorisch) onderwijs• Onderzoek, publicaties, presentaties/referaten• Onderwijstaken• Toetsresultaten (werkplekbeoordelingen, overige toetsen)• Overig

Gebruik van toetsresultaten: formatief. Feedback op functioneren; be-krachtiging van sterke punten, signaleren van punten ter verbetering.

Aandachtspunten: Wat wilde de aios bereiken?Wat heeft aios afgelopen periode geleerd/bereikt?• Waaruit blijkt dat (bewijsmateriaal!)?Sterke punten in het functioneren van de aios?Wat heeft aios afgelopen periode niet gerealiseerd of kunnen bereiken? Waarblijft groei achter bij verwachtingen?• Wat ligt daaraan ten grondslag? Belangrijkste belemmerende factoren?Belangrijkste aandachtspunten in het functioneren van de aios?Wat betekent bovenstaande voor de komende periode?

Resultaat: (Bijgesteld) Persoonlijk Ontwikkelingsplan met SMART geformuleerde doe-len. Hou hierbij rekening met:• Eisen zoals in het opleidingsplan omschreven voor betreffende oplei-

dingsperiode.• Persoonlijke leerwensen van de aios.• Takenpakket en mogelijkheden op de (nieuwe) werkplek.• Let op hoge en lage scores: zij kunnen een indicatie vormen voor speci-

fieke sterke en zwakke kanten in het functioneren van de aios. Check bij-behorende narratieve feedback.

• Let op alarmsignalen: extreem lage scores of een indicatie dat aios onderverwacht niveau functioneert.

• Let op critical incident reports. Zij kunnen een aanwijzing vormen voorspecifieke problemen in het functioneren van de aios.



BeoordelingsgesprekDoel: Beslissen over geschiktheid van aios om zelfstandig (een deel van) het vak uit

te oefenen en/of de opleiding voort te zetten dan wel af te ronden.

Materiaal (Portfolio): Opleidingsplan.Persoonlijk Ontwikkelingsplan.Bewijsmateriaal:• Competentieprofiel (CanMEDS)• Ontwikkeling vakinhoudelijke thema’s (themaprofiel: KBS, verrichtingen;

bekwaamheidsverklaringen)• Gevolgd (cursorisch) onderwijs• Onderzoek, publicaties, presentaties/referaten• Onderwijstaken• Toetsresultaten (werkplekbeoordelingen, overige toetsen)• Overig

Gebruik van toetsresultaten: summatief. Deel van de informatie die ge-bruikt wordt bij onderbouwing van beslissingen (bewijsmateriaal).

Aandachtspunten: Voldoet de aios aan alle (minimum)eisen die op dat moment van de opleidingaan hem/haar gesteld worden? Waar blijkt dat uit? Is het bewijsmateriaal c.q. de informatie in het portfolio van voldoende kwa-liteit en kwantiteit?Zijn besluitvormingsprocedures zorgvuldig gevolgd? Is het opleiderteam involdoende mate betrokken/gehoord? Is de aios gehoord?Is aanvullende informatie noodzakelijk (zo ja, op welke punten)?

Resultaat: Gemotiveerde, onderbouwde:• Go/no-go beslissing en/of• Bekwaamheidsverklaring(en)Hierbij wordt rekening gehouden met: opleidingseisen, functioneren van deaios ten opzichte van relevante referentiegroep (peers) en verwachtingen om-trent verdere leerproces van de aios.

Bij twijfel:• Heldere, schriftelijk vastgelegde afspraken betreffende benodigde aanvul-

lende informatie• wat, door wie, hoe, op welke termijn

Remediatie (geïntensiveerd begeleidingstraject)Hierbij wordt rekening gehouden met inschatting van mogelijkheden tot ver-dere groei / ontwikkeling en veiligheid voor aios / patiënten / studenten encollega’s.


B. Kwaliteit en kwantiteit van werkplek-beoordelingen

Het gebruik van het portfolio, hetzij bijhet coachen of sturen van het leerproces,hetzij bij het nemen van beslissingen, ver-onderstelt dat de in het portfolio verza-melde informatie een representatief beeldgeeft van het feitelijke functioneren vande aios in de opleiding. De informatie inhet portfolio dient daartoe aan een aantalkwaliteitseisen te voldoen.

Algemeen geldt bij het interpreteren vantoetsscores dat het trekken van een juisteen verdedigbare conclusie over de compe-

tentie c.q. bekwaamheid van een aios alleen mogelijk is als de scores zowel accuraat, generaliseerbaar en transfera-bel/extrapoleerbaar zijn. Helaas voldoetgeen enkel toetsinstrument volledig aandeze eisen. Het gebruik van verschillendeinstrumenten die door ieder meer daneens worden ingezet is daarom een abso-lute noodzaak.

Meer specifiek voor werkplekbeoor -delingen gelden aandachtspunten van ac-curatesse, generaliseerbaarheid en extra-poleerbaarheid. Deze zijn in de hiernavolgende boxen toegelicht.


AccuratesseToetsresultaten moeten een accuraat beeld geven van het functioneren van de aios met betrekking totde CanMEDS en themagebonden taken. Sterke kanten en verbeterpunten in het functioneren moetenzorgvuldig worden omschreven.

Geschreven, aanvullende opmerkingen over het functioneren van de aios, waarin een aantal sterke enminder sterke punten concreet gemaakt worden, zijn veel belangrijker en informatiever dan numeriekescores.

Aandachtspunten bij interpretatie van werkplekbeoordelingen in het portfolio:1. Is de beoordeling tot stand gekomen op basis van directe observatie van het functioneren?2. Is informatie voldoende specifiek en concreet? Worden numerieke scores onderbouwd met kwali-

tatieve gegevens (geschreven, beschrijvende feedback)?3. Is variatie in scores aanwezig en verklaarbaar (zijn scoreverschillen zichtbaar)?

a. Op beoordelingsformulieren: is een te verwachten variatie in scores op verschillende deelcom-petenties zichtbaar, of is veeleer sprake van globale, algemene indrukken (dat wil zeggen iden-tieke scores op alle deelaspecten van functioneren)?

b. Over verschillende beoordelingsmomenten en -instrumenten heen: is groei in een bepaaldetijdsperiode zichtbaar (toenemende competentie en bekwaamheid)?

c. Zijn scoreverschillen tussen aios aanwezig en herkenbaar?

Veel voorkomende problemen bij werkplekbeoordelingen (zie hoofdstuk 4): • Halo • Leniency • Variatie in beoordelaargedrag o.a. als gevolg van tijdsdruk, ongetrainde en/of ongemotiveerde

beoordelaars.



GeneraliseerbaarheidToetsresultaten moeten een betrouwbare indicatie vormen voor daadwerkelijke beheersing van hetdeel van het vakgebied (het domein) waarover we uitspraken willen doen. Op basis van één enkele werkplekbeoordeling wordt specifieke informatie verkregen: specifieke infor-matie over functioneren m.b.t. betreffende taak, in betreffende specifieke situatie. Gegeneraliseerdeuitspraken (over competentie of bekwaamheid van de aios) zijn slechts mogelijk indien voldoende ge-varieerde meetgegevens beschikbaar zijn.

Aandachtpunten: 1. Is er sprake van voldoende en voldoende variatie in beoordelingsmomenten?

a. Voldoende variatie in patiënten/patiëntproblematiek?b. Voldoende variatie in beoordelingssituaties en - instrumenten?c. Voldoende variatie in beoordelaars?

2. In hoeverre en op welke punten wijzen toetsresultaten in eenzelfde richting? Op welke punten lij-ken toetsresultaten elkaar tegen te spreken?a. Indien informatie uit verschillende bronnen weinig consistent is, is verzamelen van aanvul-

lende informatie noodzakelijk.b. Toetsresultaten van momentopnames (KPB, OSATS) zijn doorgaans sterk afhankelijk van de

specifieke kenmerken van de patiëntcasus. Als gevolg is hierbij meer variatie in scores te ver-wachten dan bij het beoordelen van het functioneren over langere tijd (zoals bij 360 gradenfeedback). Naarmate de aios meer ervaring opdoet, zal kwaliteit van functioneren minder af-hankelijk zijn van het toevallige patiëntprobleem.

Let op het aantal beoordelingsmomenten c.q. beoordelaars (KPB, OSATS). Betrouwbare resultaten ver-eisen minimaal 6-11 beoordelingen c.q. beoordelaars. Variatie in patiëntpresentaties/casuïstiek is be-langrijker dan variatie in beoordelaars!Let bij 360 graden feedback op voldoende variatie in beoordelaargroepen (peers, staf, verpleegkundi-gen, paramedici, overige medewerkers, patiënten) en voldoende beoordelaars per groep (6-10; grotereaantallen bij patiënten!).

Veel voorkomende problemen bij werkplekbeoordelingen (zie hoofdstuk 4): • beperkte sampling.

ExtrapoleerbaarheidToetsresultaten moeten een waardevolle en betekenisvolle indicatie geven over het feitelijke functio-neren van de aios in de dagelijkse praktijk.

Aandachtspunten:1. Zijn de beoordelingssituaties authentiek en voor de praktijk relevant?

a. Is de aios in voldoende mate beoordeeld tijdens de uitoefening van het werk, aan de hand vanrelevante en authentieke taken?

b. Zijn alle relevante beoordelingsaspecten meegenomen in het beoordelingsproces? Denk aanalle CanMEDS gebieden!

Veel voorkomende problemen bij werkplekbeoordelingen: • Exclusieve nadruk op (medische) kennis. • Exclusieve nadruk op medisch-technisch handelen. • Bewijsvoering op basis van indirecte informatie (bijvoorbeeld uitspraken over communicatie

op basis van schriftelijke verslaglegging in de status).


C. Verdedigbaarheid van beslissingen: standaarden en besluitvormingsproces


StandaardenBeslissingen komen tot stand op basis van vergelijking van informatie met een bepaalde standaard. Metbetrekking tot toetsing, en zeker in het geval van werkplekbeoordelingen, is het belangrijk te realiserendat een ‘gouden standaard’ ontbreekt.

Aandachtspunten:1. Zijn er duidelijke afspraken over de standaarden die gehanteerd worden bij interpretatie van re-

sultaten ten behoeve van voortgangsbespreking c.q. beoordeling?a. In het voortgangsgesprek worden de ‘standaarden’ merendeels gevormd door specifieke leer-

doelen in het leerplan van de individuele aios. Uiteraard horen deze aan te sluiten bij, en in elkgeval niet te conflicteren met het opleidingsplan.

b. In het beoordelingsgesprek worden bij voorkeur standaarden gehanteerd die een beschrijvinggeven van de minimumeisen die aan de aios op het moment van beoordelen gesteld moetenworden. Dergelijke absolute standaarden zijn deels beschreven in het opleidingsplan zoals op-gesteld door de wetenschappelijke vereniging en uitgewerkt in het regionale opleidingsplan.

2. Waar geen absolute standaarden voorhanden zijn, kan de professionele ontwikkeling van de aiosvergeleken worden met die van een adequaat gekozen referentiegroep. In het merendeel van de ge-vallen zal de referentiegroep bestaan uit aios in een zelfde fase van de opleiding. Vergelijking meteen referentiegroep is alleen mogelijk indien systematisch en over langere tijd verzamelde gegevens vangrote groepen aios beschikbaar zijn.

Veel voorkomende problemen bij werkplekbeoordelingen: • Ontbreken van SMART-geformuleerde leerdoelen (bij voortgangsbesprekingen).• Standaarden zijn weinig concreet en onderliggende criteria zijn op meer manieren uit te leg-

gen.• Instrumenten zijn onduidelijk wat betreft het te hanteren referentiekader bij beoordelen (bij-

voorbeeld: is ‘uitstekend’ de best haalbare score voor deze aios in dit jaar van de opleiding, ofweerspiegelt ‘uitstekend’ het best haalbare niveau aan het eind van de opleiding? Ofwel: be-oordeling naar eindniveau opleiding, of naar opleidingsfase waarin aios zich op dat momentbevindt?). Als gevolg daarvan hanteren beoordelaars verschillende referentiekaders in hunwerkplekbeoordeling.

• Gegevens van referentiegroepen zijn niet beschikbaar.

Het ontwikkelen van goed onderbouwde standaarden is alleen mogelijk indien aandacht wordt besteedaan training van beoordelaars, onderlinge afstemming van beoordelingssystemen en indien systematischen over een langere tijdsperiode gegevens over functioneren van aios op de werkplek, in verschillendefasen van de opleiding en in verschillende settings, worden verzameld en toegankelijk gemaakt. Syste-matische documentatie van werkplekbeoordelingen is daarbij een noodzakelijke randvoorwaarde.



BesluitvormingsprocesBeslissingen zijn alleen verdedigbaar als besluitvormingsprocedures zorgvuldig zijn gevolgd. Daarbij ishet belangrijk een duidelijk onderscheid te maken tussen formatief en summatief gebruik van toetsre-sultaten/werkplekbeoordelingen (hoofdstuk 4). Beslissingen (summatief) worden genomen op basis van geaggregeerde informatie in het portfolio. Eenenkelvoudige werkplekbeoordeling (momentopname) vervult uitsluitend een formatieve functie(feedback).

Formaliseer summatieve besluitvorming door:• het instellen van een opleidergroep die gezamenlijke verantwoordelijkheid draagt voor be-

sluitvorming,• beslissingen zorgvuldig te motiveren en te documenteren.

Aandachtspunten:1. Is de informatie in het portfolio van voldoende kwaliteit en kwantiteit, voor alle te beoordelen

competentiedomeinen? 2. Zijn te hanteren criteria en standaarden helder?3. Wordt alle beschikbare informatie in het portfolio meegenomen in de beslissing?4. Bij uitspraken over algemene competenties of professioneel handelen in brede zin: is er sprake van

een mix van ‘momentopnames’ (KPBs, OSATS) en beoordelingen van functioneren over langeretijd (360 graden feedback, algemene oordelen van supervisoren)?

5. Zijn voldoende stafleden uit de opleidergroep in voldoende mate gehoord; input van voldoendegeloofwaardige beoordelaars?

6. Is de aios in voldoende mate gehoord: heeft de aios gelegenheid gehad om op de resultaten envoorgenomen beslissing te reageren?a. Voortgangsgesprekken gevoerd en gedocumenteerd? b. Regelmatig tussentijds feedback; gedocumenteerd?c. Zelfbeoordeling(en) aanwezig en besproken?d. Reflectieverslagen aanwezig en besproken?

7. Zijn procedures toetsbaar?a. Waren er heldere afspraken m.b.t. beoordelingsprocedures, -instrumenten, en -criteria?b. Is documentatie zorgvuldig en volledig (motivering, onderbouwing aanwezig)?

Bij twijfel: aanvullende informatie verzamelen!


Literatuur1. Epstein RM, Hundert E.M. Defining and Asses-

sing Professional Competence. JAMA 2002,287(2),226-235.

2. Epstein RM. Assessment in Medical Education.NEJM 2007;356: 387-396.

3. Turnbull J, Gray J, MacFadyen J. Improving In-Training Evaluation Programs. JGIM 1998;13:317-323.

4. Tamblyn R. Outcomes in medical education:what is the standard and outcome of care deli-vered by our graduates. Advances in HealthSciences Education Theory Pract 1999;4:9-25.

5. Ten Cate O, Scheele F. Competency-based post-graduate training: can we bridge the gap betweentheory and clinical practice? Acad Med 2007;82(6):542-547.

6. Van der Vleuten CPM, Schuwirth LWT. Assessingprofessional competence: from methods to pro-grammes. Med Educ 2005;39:309-317.

7. Hager P, Gonczi A, Athanasou J. General Issuesabout Assessment of Competence. Assessment &Evaluation in Higher Education 1994;19(1),3-16.

8. Van Tartwijk J, Driessen EW. Portfolios for asses-sment and learning AMEE Guide No 45. MedicalTeacher 2009;31(9):790-80.

9. Kane M. Validation. In: R.L. Brennan (ed.) Edu-cational Measurement. Westport CT: AmericanCouncil on Education/Praeger; 2006, p.621-694.

10. Kane M, Crooks T,Cohen A. Validating Measuresof Performance. Educational Measurement: Is-sues and Practice, Summer 1999, 5-17.

11. Williams RG, Klamen DA, MacGaghie WC. Cog-nitive, Social and Environmental Sources of Biasin Clinical Performance Ratings. Teach LearnMed 2003;15(4):270-292.

12. Turnbull J, Barneveld van C. Assessment of clini-cal performance: in-training evaluation. In: G.R.Norman, C.P.M. Van der Vleuten & D.I. Newble(eds.), International Handbook of Research inMedical Education Dordrecht: Kluwer AcademicPublishers; 2002; p.793-810.

13. Murphy K R, Cleveland JN. Understanding Per-formance Appraisal. Social, organizational andGoal-Based perspectives. Thousand Oaks,1995;CA: Sage Publications.

14. Williams RG, Dunnington G. Prognostic value ofresident clinical performance ratings, Journal ofthe American College of Surgeons 2004;199(4):620-627.

15. Verhulst SJ, Colliver JA, Paiva, RE, Williams RG.A factor analysis study of performance of first-year residents. J. Med Educ 1986;61:132-134.

16. Holmboe ES. Faculty and the Observation ofTrainees’ Clinical Skills: Problems and Opportu-nities. Acad Med 2004;79:16-22.

17. Littlefield JH, DaRosa DA, Anderson KD, Bell RM,Nicholas GG, Wolfson PJ. Assessing performance

in clerkships: accuracy of surgery clerkship per-formance raters. Acad Med 1991;66(9):S16–S18.

18. DeNisi AS, Peters LH. Organization of informa-tion in memory and the performance appraisalprocess: evidence from the field. Journal of Ap-plied Psychology 1996;81(6):717–737.

19. DeNisi AS, Robbins T, Cafferty TP. Organizationof information used for performance appraisals:role of diary-keeping. Journal of Applied Psycho-logy 1989;74(1):124–129.

20. Williams RG, Dunnington GL, Klamen DL. Fore-casting Residents’ Performance – Partly Cloudy.Acad Medicine 2005;80 (5):415-422.

21. Van der Vleuten CPM, Swanson DB. Assessmentof clinical skills with standardized patients: Stateof the art. Teach Learn Med 1990; 2:58–76.

22. Elstein AS, Shulman LS, Sprafka SA. MedicalProblem-solving: An Analysis of Clinical Reaso-ning. Cambridge; Massachusetts: Harvard Uni-versity Press;1978.

23. Van der Vleuten CPM. The assessment of profes-sional competence: developments, research andpractical implications. Adv Health Sci Educ1996;1:41–67.

24. Eva KW. On the generality of specificity. MedEduc 2003;37(7):587-588.

25. Brennan RL. Performance Assessments from thePerspective of Generalizability Theory. AppliedPsychology Measurement 2000;24:339-353.

26. Williams RG, Verhulst S, Colliver JA, DunningtonGL. Assuring the reliability of resident perfor-mance appraisals: More items or more observa-tions? Surgery 2005;137:141-147.

27. Wilkinson JR, Crossley JGM, Wragg A, Mills P,Cowan G, Wade W. Implementing workplace-based assessment across the medical specialtiesin the United Kingdom. Med Educ 2008;42:364-373.

28. Mount MK, Scullen SE. Multisource Feedback Ra-tings: What Do They Really Measure? In: M. London(ed). How People Evaluate Others in Organizations.Mahwah, NJ: Lawrence Erlbaum Associates;2001,p.155-176.

29. Taylor MS, Tracy KB, Renard MK, Harrison J.K,Carroll SJ. Due Process in Performance Apprai-sal: A Quasi-experiment in Procedural Justice.Administrative Science Quarterly 1995;40:495-523.

30. Erdogan B, Kraimer ML, Liden RC. Proceduraljustice as a two-dimensional construct. An exami-nation in the performance appraisal context.Journal of Applied Behavioural Science 2001;37(2):205–222.

31. Levy PE, Williams JR. The Social Context of Per-formance Appraisal: A Review and Frameworkfor the Future. Journal of Management 2004;30:881-905.

32. Schwind CJ, Williams RG, Boehler ML, Dunning-ton GL. Do individual attending post-rotation


performance ratings detect resident clinical per-formance? Acad Med 2004;79:453-457.

33. Williams RG, Schwind CJ, Dunnington GL, For-tune J, Rogers D, Boehler M. The Effects ofGroup Dynamics on Resident Progress Commit-tee Deliberation. Teach Learn Med 2005;17(3),96-100.

34. Norcini J, Burch V. Workplace-based assessment asan educational tool. AMEE Guide 31. 2007, Dundee:AMEE.

35. Hatty J, Timperley H. The Power of Feedback. Re-view of Educational Research 2007;77(1):81-112.

36. Shute VJ. Focus on Formative Feedback. Reviewof Educational Research 2008;78(1),153-189.

37. Dudek NL, Marks MB, Regehr G. Failure to Fail:The Perspectives of Clinical Supervisors. AcadMed 2005; 80(10 suppl): S84-S87.

38. Holmboe ES., Hawkins RE, Huot SJ. Effects ofTraining in Direct Observation of Medical Resi-dents’ Clinical Competence. A randomized trial.Ann Intern Med 2004;140:874-881.

39. Woehr DJ, Huffcutt AI. Rater training for perfor-mance appraisal: A quantitative review. Journalof Occupational and Organizational Psychology1994; 67(3):189-205.

40. Bernardin HJ, Orban JA, Carlyle JJ. Performanceratings as a function of trust in appraisal andrater individual differences. Academy of Manage-ment Proceedings 19981;311-315.

41. Longenecker CO, Gioia DA. Confronting the “po-litics” in performance appraisal. Business Forum2000;25(3,4):17-23.

42. Littlefield JH, Darosa DA, Paukert J, WilliamsRG, Klamen DL, Schoolfield JD. Improving resi-dent performance data: numeric precision andnarrative specificity. Acad Med 2005;80(5):489-495.

De auteurs:Drs. M.J.B. Govaerts is universitair docent, werkzaambij de vakgroep Onderwijsontwikkeling en Onderwijsre-search, Faculty of Health, Medicine and Life Sciences,Universiteit Maastricht.* Dr. E. Driessen is universitair docent, werkzaam bij devakgroep Onderwijsontwikkeling en Onderwijsresearch,Faculty of Health, Medicine and Life Sciences, Univer-siteit Maastricht.* Dr. B. Verhoeven is kinderchirurg in het MUMC+ teMaastricht en maakt deel uit van de taakgroep vervolg-opleiding van de vakgroep Onderwijsontwikkeling enOnderwijsresearch, Faculty of Health, Medicine andLife Sciences, Universiteit Maastricht.Prof. dr. C.P.M. van der Vleuten is hoogleraar Onder-wijskunde, voorzitter van de vakgroep Onderwijsont-wikkeling en Onderwijsresearch, Faculty of Health, Me-dicine and Life Sciences, Universiteit Maastricht.Dr. H. Brackel is kinderarts in het Catharina Ziekenhuiste Eindhoven.** Drs. J. van Hoorn is kinderarts-fellow neonatologie inhet MUMC te Maastricht.**Drs. R. van de Laar is arts in opleiding tot gynaecoloogin het MUMC+ te Maastricht.** Dr. J. Maas is gynaecoloog in het MUMC+ te Maas -tricht.**Prof. dr. S.G. Oei is gynaecoloog in het Maxima MedischCentrum te Veldhoven.**

* en als onderwijskundig adviseur verbonden aan hetkernteam In VIVO, OOR Zuid-Oost Nederland.

** allen maken deel uit van het kernteam In VIVO,OOR Zuid-Oost Nederland.

Correspondentieadres:M.J.B. Govaerts, Vakgroep Onderwijsontwikkeling en -research, FHML, Universiteit Maastricht, postbus 616,6200 MD Maastricht. E-mail: [email protected]

Belangenconflict: geen gemeldFinanciële ondersteuning: geen gemeld



Achtergronden bij de Richtlijn interpretatie en gebruik van … · 2017-04-05 · Specialismen...

Documents

Transcript of Achtergronden bij de Richtlijn interpretatie en gebruik van … · 2017-04-05 · Specialismen...