Decentrale selectie bij geneeskunde:de loting voorbij?

Amsterdam

11 november 2015

Janke Cohen-Schotanus

Theoretisch doel selectie: voorspelling over toekomstig gedrag

student geschikt ongeschikt

selectie

toelaten

afwijzen

XXXXX

XXXXX

Doel selectie: voorspelling over toekomstig gedrag

student geschikt ongeschikt

selectie

toelaten

afwijzen

XXXXX

XXXXX

Problemen:

1.Wat is geschikt?- beste dokters?- beste studenten?

1000 kandidaten

student geschikt ongeschikt

loting

toelaten

afwijzen

360

60540

40

900 100

400

600

Groningen 90% geschikt400 plaatsen

geschikt ongeschikt

selectie

doorlaten

afwijzen

400

100500

winst:

40

900 100

400

600

1000 kandidaten90% geschikt400 plaatsen

Groningen

20

Doel selectie:

student geschikt ongeschikt

selectie

toelaten

afwijzen

XXXXX

XXXXX

Problemen:

1.Wat is geschikt?- beste dokters?- beste studenten?

2. Waar gaat het om?- hoger rendement?- faculteiten hadden geen probleem

Finale propedeuse rendementen (%)

0

10

20

30

40

50

60

70

80

90

100

8 medische faculteiten

Actief leren en veel geprogrammeerde zelfstudietijd

veel hoorcolleges

Schmidt et al, 2009

17 jaar

Nominale propedeuse rendementen

0

10

20

30

40

50

60

70

80

90

100

8 medische faculteiten

19 jaar

Wel een doorstroomprobleem: verschil in planning en organisatie van toetsing

Doel selectie: voorspelling over toekomstig gedrag

student geschikt ongeschikt

selectie

toelaten

afwijzen

XXXXX

XXXXX

Problemen:

1.Wat is geschikt?- beste dokters?- beste studenten?

2. Waar gaat het om?- hoger rendement?- faculteiten hadden geen probleem

3. Wat levert het op? En wat leveren we in?

Voorspellers succes GNK1

Persoonkenmerken: geslacht, leeftijd, afkomst, persoonlijkheid (conscientiousness en persistence), aanleg (aptitude)

Cognitieve prestaties: lagere studiejaren in NL: eindexamencijfer

Non-cognitieve prestaties: hogere studiejaren multiple mini-interviews (MMI) en situational judgement tests (SJT)

1. Siu & Reiter, 2009

Wat voorspelt niet1

individuele gesprekken

referenties

emotionele intelligentie test

persoonlijkheidstest

‘personal statements’

motivatie/attitude/commitment metingen

1. Siu & Reiter, 2009, 2 Griffin ea 2012

Faking good behavior2

Decentrale selectie in Nederlandvanaf 1999

2000 AMC2000 UMCU en LUMC (beide weer gestopt)

2001 ErasmusMC2006 VuMC2008 UMCG2009 Radboud MC, LUMC2010 MUMC2015 allemaal

Decentrale selectie GNK

1e ronde:CV: schoolcijfers

affiniteit met hulpverleningextra curriculaire activiteitenbijzondere prestaties

(reflectie) opdrachten, SJT’skennistoetsen (met of zonder voorbereiding)pre-university college

Decentrale selectie GNK

2e ronde:college plus toetsingrekentoets, begrijpend lezen, PubMED en anatomieinterviews (gestructureerd)MMI’sCasperSituational Judgement Testschrijfopdrachten

Nb. Bij nieuwe regels is 2e ronde niet meer goed organiseerbaar

Onderzoek effecten van selectie

Algemeen probleem: je weet nooit hoe niet-geselecteerden het zouden

hebben gedaan

Unieke situatie Nederland:niet-geselecteerden werden door loting (voor een

deel) toch toegelaten

Instroomgroepen

8+

geselecteerd

ingeloot niet meegedaan aan selectie

na afwijzing

Effecten van selectie GNK NLLagere kans op uitval (ErasmusMC1)(Iets) hogere resultaten coschappen (ErasmusMC2)Verschillen verklaard door zelf-selectie en academische prestaties

(Erasmus3)Meer extra-curriculaire activiteiten (AMC4)Non-cognitief betere prestaties jaar 1 (UMCG5)Studenten die niet meededen aan selectie scoren slechter (UMCG5)Motivatie statements niet voorspellend (VuMC6)Non-cognitieve selectie levert niets op (Erasmus7)Bias in SJT (UMCG8)In context geselecteerden doen het beter (Radboud9)

1/2/3. Urlings-Strop ea 2009, 2011, 2013, 4 Hulsman ea 2007, 5 Schripsema ea 2014, 6 Wouters ea 2014, 7 Lucieer ea 2015, 8 Schripsema ea in preparation, 9 De Visser ea, submitted

Selectie studies GNK NL

(Iets) hogere resultaten coschappen (ErasmusMC1)Lagere kans op uitval (ErasmusMC2)Verklaard door zelf selectie en academische prestaties (Erasmus3)Meer extra-curriculaire activiteiten (AMC4)Non-cognitief betere prestaties jaar 1 (UMCG5)Studenten die niet meededen aan selectie scoren slechter (UMCG5)Motivatie statements niet voorspellend (VuMC6)Noncognitieve selectie levert niets op (Erasmus7)Bias in SJT (UMCG8)In context geselecteerden doen het iets beter (Radboud9)

1 Schripsema ea submitted

Beperkingen:

Veel verwachte effecten worden niet gevonden

Effect sizes klein: hoe (klinisch) relevant zijn verschillen?

Replicatie lukt niet goed

Verschillende outputmaten

Multi-site studies ingewikkeld en last van curriculum

effecten (UMCG,VuMC,Erasmus)1

De cynicus: “we hebben de ene loting door de andere vervangen”

Waar hebben we het over?

Selectie bij geneeskunde: veel geschikte kandidaten afwijzen

“Winst” zeer mager

Selectie geschikt om ongemotiveerden buiten de deur te houden?

Conclusie Selectie GNK

++- -

Selectie & loten

++- -

loten

Meest fair?

Nog meer problemen

Bias in onze selectiemethode? - gender effecten (voordeel meisjes)

- diversiteit (“role of cultural capital”, “medisch milieu”)

- trainingsbureaus

De student als eenheidsworst

Wat voor dokters hebben we eigenlijk nodig? (macrodoelmatigheid)

De metafoor (selectie in topsport)

Scouting in context (langs de velden, niet alleen aanvallers)

De formule:

Geschikt =talent x inzetbereidheid

ego

De metafoor (bij geneeskunde)

Geschikt =talent x inzetbereidheid

ego

Talent:-prestaties VWO-non-cognitieve prestaties-affiniteit met gebieden van gnk waar meeste artsen nodig zijn Ego:

- mooie motivatie brieven-leuke gesprekken met docenten-fantastische referenties

Tonen van inzet door bijvoorbeeld ‘huiswerk’ voorafgaand aan selectie

Uitdagingen voor komende jarenSelecteer studenten die goed bij je programma passen, wijs

studenten die niet-inzetbereid zijn af

Staar je niet blind op (die paar) instrumenten met (een beetje) voorspellende waarde

Fairness: deel plekken toewijzen door loting?

Richt selectie vooral op de artsen die we nodig hebben (bijv. dokters die van oude mensen houden)

Dus, geen eenheidsworst maar diversiteit

Welke dokters hebben we nodig?

Dank u