Toetsing van medische competentieToetsing van medische competentie

Lambert Schuwirth & Cees van der Vleuten

SHE Cursus

Toetsen van Medische Competentie

13 april 2010

Lambert Schuwirth & Cees van der Vleuten

SHE Cursus

Toetsen van Medische Competentie

13 april 2010

Presentatie te vinden op: www.fdg.unimaas.nl/educ/cees/TMC

Doelen

Meer inzicht in: Onderzoeksuitkomsten

over toetsing Theorievorming over

toetsing Het maken geïnformeerde

beslissingen over toetsing

Overzicht

Enkele termen Toetsing en betrouwbaarheid Toetsing en validiteit Toetsing en onderwijs Je kunt niet alles hebben! Conclusies

Overzicht

Enkele termen

Betrouwbaarheid

Betrouwbaarheid is een kwestie van steekproeftrekking (sampling) Uit de inhoud

Casus 1 Casus 2Casus 2

Domein van interesse

Toets Sample

Toets Sample

Inhoudsspecificiteits-Inhoudsspecificiteits-probleem vanprobleem van

(klinische) competentie(klinische) competentie

Betrouwbaarheid als functie van toetstijd

TestingTime inHours

1

2

4

8

MCQ1

0.62

0.76

0.93

0.93

Case-BasedShortEssay2

0.68

0.73

0.84

0.82

PMP1

0.36

0.53

0.69

0.82

OralExam3

0.50

0.69

0.82

0.90

LongCase4

0.60

0.75

0.86

0.90

OSCE5

0.54

0.69

0.82

0.90

PracticeVideo

Assess-ment7

0.62

0.76

0.93

0.93

1Norcini et al., 19852Stalenhoef-Halling et al., 19903Swanson, 1987

4Wass et al., 20015Van der Vleuten, 19886Norcini et al., 1999

In-cognito

SPs8

0.61

0.76

0.82

0.86

MiniCEX6

0.73

0.84

0.92

0.96

7Ram et al., 19998Gorter, 2002

Betrouwbaarheid

Betrouwbaarheid is een kwestie van steekproeftrekking (sampling) Uit de inhoud Uit andere potentiële factoren die ruis

in de meting veroorzaken

Betrouwbaarheid van een mondeling (Swanson, 1987)

Toets-Tijd inUren

1

2

4

8

AantalCasus

2

4

8

12

Twee AndereExaminatoren

voorElke Casus

0.61

0.76

0.86

0.93

ZelfdeExaminator

voorelke Casus

0.31

0.47

0.47

0.48

AndereExaminator

voorelke Casus

0.50

0.69

0.82

0.90

Betrouwbaarheid

Conclusie: Voor het bereiken van adequate

betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.)

Efficiëntie is dus belangrijk

Efficiency strategieën

Key feature aanpak Test design strategieën

Betrouwbaarheid

Conclusie: Voor het bereiken van adequate

betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.)

Efficiëntie is dus belangrijk Objectiviteit is niet gelijk aan

betrouwbaarheid

Betrouwbaarheid Praktische suggesties:

Pas op met korte toetsen! Neem een brede steekproef (over inhoud, tijd,

examinatoren, patiënten)

Neem efficiëntie in acht mbt: Keuze van toetsvorm Constructie van toetsitems

Wees bewust van (behoorlijke) beslissingsfouten in termen van zakken en slagen als gevolg van ruis in de meting

Overzicht

Toetsing en validiteit

Een eenvoudig competentiemodel

Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Knows

Shows how

Knows how

Does

Pro

fess

ione

le a

uthe

ntic

iteit

Pro

fess

ione

le a

uthe

ntic

iteit

Cognitie

Gedrag

Een eenvoudig competentiemodel

Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Knows

Shows how

Knows how

Does

Pro

fess

ione

le a

uthe

ntic

iteit

Pro

fess

ione

le a

uthe

ntic

iteit

Schriftelijke, Mondelinge of Computer toetsing

Performance assessment meestal via observatie

Validiteit

Validiteit is een kwestie van het beklimmen van de piramide

Climbing the pyramid......

Knows

Shows how

Knows how

Does

Knows Feitgerichte toetsen: MCQ, open vragen, oral…..

Knows how (Klinisch) Contextuele toetsen:MCQ, open vragen, mondeling…..

Shows how Performance assessment in vitro:OSCE, SP-based test…..

DoesPerformance assessment in vivo: Nep Pt, Video, Audit…..

Knows/Knows how

De stimulus vorm is belangrijker dan de respons vorm

KnowsKnows

Knows how

Shows how

Does

Stimulus versus Respons Vorm

Sommige steden hebben meer café’s dan inwoners. Voor welke van de volgende steden is dit het geval:

A. AmsterdamB. MaastrichtC.Groningen

Stimulus vorm

Respons vorm

Knows/Knows how

De stimulus vorm is belangrijker dan de respons vorm

De stimulusvorm moet: Contextueel rijk

zijn/Authentiek Om een beslissing/afweging

uitlokken

KnowsKnows

Knows how

Shows how

Does

Vermijd complexe stimulus vormen Kore statische casus (ipv lange dynamische) Eenvoudige scorings systemen

Shows how

OSCE-ology Maak stations zo

levensecht mogelijk Globale oordelen doen het

even goed als criterialijsten

Inhoudsspecificiteit is het probleem

Knows

Knows how

Shows how

Does

Does

Methoden voor praktijktoetsing

Opkomende (veelbelovende) technieken

Maar er moet nog veel ontwikkeld/onderzocht worden

Knows

Knows how

Shows how

Does

Validiteit: ontbreekt er nog iets?

Nieuwe onderwijsvormen

Situated learning Project-based learning Problem-based learning Discovery learning Student-centred learning Authentic learning Patient-based learning Community-based learning ...............

Nieuwe vaardigheden

Leren leren Zelf-evaluatie leiderschapskwaliteiten team vaardigheden metacognitie uitdrukkingsvaardigheid (schriftelijk,

mondeling) reflectiviteit…….

Uitbreiding van de piramide

Knows

Shows how

Knows how

Does

Knows

Knows how

Shows how

Does

Algemenecompetenties

Beroepspecifieke competenties

Hoe toets je algemene competenties?

Zelfbeoordelingen Peer beoordelingen Co-assessment (gecombineerde zelf-,

peer-, en docentbeoordeling) Logboek/dagboek/journaal Leerproces simulaties/evaluaties Productevaluaties Portfolio ..........

Hoe toets je algemene competenties?

Basale methode: Informatieverzameling gebaseerd op meer descriptieve en kwalitatieve informatie die om een meer globale beoordeling vereisen van een deskundige beoordelaar

Validiteit

Conclusie: Onderwijskundige of professionele

authenticiteit is belangrijk (zowel binnen als tussen lagen van de piramide)

Validiteit

Praktische suggesties: Wees niet getrouwd met één toetsvorm

(de methode is minder belangrijk dan de inhoud)

Maak gebruik van taken die zo levensecht mogelijk zijn (ongeacht de toetsvorm)

Hou het eenvoudig KISS principe Een goed toetsprogramma bestaat uit

een veelheid aan methoden

Overzicht

Toetsing en onderwijs

Onderwijsinvloed

Toetsing stuurt het leren

Een alternatieve kijk

Curriculum

Docent

Toetsing

Student

Curriculum

Docent

Assessment

Student

Toetsing

Student

Toetsing kan het leren sturen door: de inhoud de vorm Programmering Reglementering ..........

Onderwijsinvloed

Suggesties: Ga de onderwijsgevolgen van je

toetsing na (evalueer de evaluatie) Gebruik toetsing strategisch om

gewenste leereffecten te bereiken Taak = toetsing

Overzicht

Je kunt niet alles hebben!

Karakteristieken van instrumenten

Betrouwbaarheid (B) Validiteit (V) Onderwijsgevolgen (O) Acceptabiliteit (A) Kosten (K)

Validiteit

Betrouwbaarheid

Onderwijs-invloed

Acceptabiliteit

Kosten

Utiliteitsfunctie

U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen A = Acceptabiliteit K = Kosten W = Gewicht

U = wbB x wv

V x woO x wa

A x wkK

Selectie

Utiliteitsfunctie

U = wbB x wv

V x woO

“In-trainingAssessment”

100%

0%

Gewicht

U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen

Toetsprogramma als geheel

De instrumentkarakteristieken (betrouwbaarheid, validiteit,

onderwijsgevolgen, acceptabiliteit, kosten) zijn ook van toepassing op het toetsprogramma als geheel

Dus kunnen compromissen anders uitvallen wanneer het programma als geheel wordt beschouwd

Totaletoetsprogramma

Utiliteitsfunctie

U = wbB x wv

V x woO

Individueelinstrument

100%

0%

Gewicht

U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen

Je kunt niet alles hebben

Conclusies: Toetsing vereist altijd een compromis Keuze van het compromis is afhankelijk

van de onderwijs- en toetscontext Kwaliteit van toetsing is meer een

aspect van het toetsprogramma als geheel, dan van afzonderlijke toetsinstrumenten (dus vereist planning en coördinatie)

Overzicht

Conclusies

Conclusies Toetsing is niet zo zeer een

psychometrisch probleem, maar vooral een “onderwijskundige design” probleem: hoe gebruik je toetsing strategisch om onderwijskundig gewenste effecten te bereiken?

Toetsing veronderstelt een gecoördineerde aanpak en continue monitoring en bijstelling

Goede toetsing dekt de gehele competentiepiramide (dus hebben een veelheid aan methoden nodig; er bestaan geen inherent slechte of goede methoden, dat hangt geheel van de context af)

Conclusions

Sluiten van compromissen is onafwendbaar

Het gaat om het bewust en geïnformeerd nemen van compromisbeslissingen

“It may not be a perfect wheel, butit’s a state-of-the-art wheel.”