Validiteit van werkplek beoordelingen door middel van ... · Validiteit van werkplek beoordelingen...

Validiteit van werkplek beoordelingen

door middel van portfolio's

Research Club UZA - 03.10.2012

Nele Michels prof. dr. Benedicte De Winter, prof. dr. Leo Bossaert, prof. dr. Luc Van Gaal

1

overzicht

portfoliointroductie & implementatie

betrouwbaarheid

haalbaarheid validiteit

generaliseerbaarheidsanalyse

Delphi studie� “validityinventory”

content validity studie

context

onderzoeksvragen

studies &resultaten

systematicreview

� richtlijnen

2

ontwikkeling

- “zicht op (eigen) leren”

- bijsturen

begeleiding

beoordeling van competenties

- evaluatie van bereikte competenties

- evaluatie van ontwikkeling van competenties

portfolio - algemeen

lerendelerende

tutortutor

werkplekleren

feedback & follow up

werkplekleren

feedback & follow up

3

stageadhv stage-ervaring:

• casus

• stafvoorstelling

• zelfreflecties

• specifieke opdrachten

• …

“portfolio”

portfolio Ma 3

Michels et al. Tijdschr vr Geneesk, 2010

4

portfolio Ma 3

1. brugweek

• financieel bilan

• zelfreflectie “zelfzorg tijdens stagejaar”

2. opdrachten

3. profileringruimte

4. autopsies

• vanuit eigen ervaring & interesses• authentiek• wetenschappelijk correct• systematisch• persoonlijke beleving & bespreking

5

stageadhv stage-ervaring:

• opdrachten “portfolio”

portfolio Ma 3

stagiairstagiair

tutortutor

Michels et al. Tijdschr vr Geneesk, 2010

6

overzicht


betrouwbaarheid



context

onderzoeksvragen

studies &resultaten

7

validiteit?

� beoordelen we wat we “beogen” te beoordelen?

aantal manieren om naar validiteit te kijken:

1. “Trinitarian” point of view

2. “Messick’s” framework

3. “Kane’s” view

8

content response process internal structure relationship to other variables consequences

• examination blueprint

• representativeness of test

blueprint to achievement

domain

• test specifications

• match of item content to test

specifications

• representativeness of items to

domain

• logical/empirical relationship

of content tested to

achievement domain

• quality of test questions

• item writer qualifications

• sensitivity review

• student format familiarity

• quality control of electronic

scoring

• key validation of

preliminary scores

• accuracy in combining

different formats scores

• quality control/accuracy of

final scores, marks or

grades

• subscore/subscale analysis

• accuracy of applying

pass/fail decision rules to

scores

• quality control of score

reporting to

students/faculty

• understandable/accurate

descriptions

/interpretations of scores

for students

• item analysis data

o item

difficulty/discrimination

o item/test characteristic

curves (ICCs, TCCs)

o inter-item correlations

o item-total correlations

• score scale reliability

• SEM (standard errors of

measurement)

• generalisability –

dimensionality – item factor

analysis – differential item

functioning (DIF) –

psychometric model

• correlation with other relevant

variables

• convergent correlations (similar

test)

• divergent correlations

(dissimilar test)

• test-criterion correlations

• generalisability of evidence

• impact of test scores on students &

society

• consequences on learners/future

learning

• positive consequences outweigh

unintended negative consequences?

• reasonableness of method of

establishing pass-fail score

• pass-fail consequences

• false positives/negatives

• instructional/learners

consequences

Messick’s framework2

2Messick (1995)

9

overzicht


betrouwbaarheid

haalbaarheid validiteit m.b.t. portfolio’s?


context

onderzoeksvragen

studies &resultaten

systematicreview

10Michels et al. Submitted/In revision

systematic review

• search Medline, Embase, ERIC - 1999-2010 / geen restrictie voor taal, geografie

- kwantitatieve & kwalitatieve studies, reviews, commentaren

- portfolio* – validity* – medical education*

142 titels & abstracts

19weerhouden �full reading

11weerhouden

8 niet weerhouden

123 niet weerhouden

inclusion criteria exclusion criteria

population - medical education : undergraduate,

postgraduate, CME

- nurse, dental education

education of other allied health professions or other

professions (teacher, manager, …)

study content validity investigation of portfolio

portfolio educational portfolio =

1. collection of evidence of student learning and

achievement

2. learning journals

logbook (tick box) = collection of single assignments

or activities

study design reporting empirical/evaluative data descriptive articles without empirical/evaluative data

data coding form

1. administration

please complete all sections

title article

author(s)

reviewer

2. relevance – inclusion/exclusion criteria

please complete all sections

1) portfolio: does it fit all of following definition?

a collection of evidence of student activity

outlining own learning experiences (e.g. patients seen, study subject covered, articles read)

involving intellectual processing (no logbook or thick box)

drawing together more than one item or type of evidence

reject if none is applicable

2) population (i.e. students)

medical school, undergraduate

medical school, postgraduate

continuing medical education

nurse education

dental education

reject if none is applicable

3) study content investigation of portfolio

validity is studied

validity is discussed

other psychometric aspects (e.g. reliability) are studied or discussed

if none then reject

reviewers preliminary decision:

inclusion

reserve, read for background context

exclusion

if the article is excluded do not complete the sections below

3. type of publication

journal article report editorial comment

4. study design

4) research design

comparative study (cohort) ( clinical trial) (RCT) (others)

type? ……………………………………………………………………………………………………….

descriptive study (non-comparative)

type? ……………………………………………………………………………………………………….

research study including data & statistical analysis (non-comparative)

(systematic) review

11

systematic review

• resultaten- beschrijving context:

Michels et al. Submitted/In revision

12

systematic review


n° article population & country design context

description

completion of the

portfolio

feedback/ tutoring time investment of

students & teachers

assessment

1 Amsellem-Ouazana et

al. 2007

Medical School, UG -

France

research &

descriptive study

clear mandatory &

supervised

portfolio tutors not mentioned summative

2 Bierer et al. 2008 Medical School, UG -

USA

descriptive study clear mandatory &

supervised

faculty members not mentioned formative

3 Driessen et al. 2006 Medical School, UG – the

Netherlands

research study clear mandatory &

supervised

portfolio tutors not mentioned summative

4 Gordon 2003 Medical School, UG -

Australia

research &

descriptive study

moderate mandatory &

supervised

faculty members mentioned (partially) summative

5 Grant et al. 2007 Medical School, UG - UK research study clear mandatory &

supervised

faculty members /

teachers

not mentioned summative

6 Kear & Bear 2007 nurse education - USA research &

descriptive study

moderate mandatory no feedback & no

tutoring

not mentioned summative?

7 Mathers et al. 1999 CME - UK research &

comparative study

very clear not mandatory &

supervised

portfolio tutors mentioned formative

8 O’Sullivan et al. 2004 Medical School, PG -

USA

research study clear mandatory &

supervised

no feedback & no

tutoring


9 Pereira & Dean 2009 Medical School, PG - UK research study moderate mandatory &

supervised?

no feedback & no

tutoring

not mentioned unclear

10 Rees & Sheard 2004 Medical School, UG - UK research study moderate mandatory no feedback & no

tutoring


11 Roberts et al. 2006 CME - UK research study moderate mandatory no feedback & no

tutoring


13

systematic review

• resultaten- beschrijving context: gemiddeld tot goed

- kwaliteit studies: laag tot gemiddeld


14

Sources of validity

evidence:

content response

process

internal

structure

relationship to

other

variables

consequences

TOTAL

Methodology:

n = 8 n = 6 n = 5 n = 4 n = 5

data-based n = 4 n = 4 n = 5 n = 2 n = 0

perception-based n = 2 n = 2 n = 0 n = 2 n = 5

description-based n = 2 n = 0 n = 0 n = 0 n = 0

systematic review


kwaliteit van studies & type validiteit

15

systematic review

• resultaten- beschrijving context: gemiddeld tot goed

- kwaliteit studies: laag tot gemiddeld

- onderzoek validiteit

• geen tot weinig verwijzing naar bestaande “frameworks”

• meta-analyse niet mogelijk

= zeer divers, geen consensus


16

systematic review

• conclusies

� minimale voorwaarden / richtlijnen

1. context

2. type validiteit? � vb. framework Messick

3. “evidence based” onderzoek opzetten


17

overzicht


betrouwbaarheid




context

onderzoeksvragen

studies &resultaten

systematicreview

� richtlijnen

18

overzicht


betrouwbaarheid





context

onderzoeksvragen

studies &resultaten

systematicreview

� richtlijnen

19

Delphi studie

• 30 experts

- onderwijskundigen (UA & extern)

- portfoliobeoordelaars

• per mail - anoniem

Michels et al. BMC Medical Education 2012

20

Delphi rondesDelphi ronde

Nexperts

response rate

start document taak /vraag analyse

n° 1 30 83% (25/30)

Vlaamse vertaling vdCanMEDS4

• relevantie? • suggesties?

• frequenties• oplijsten suggesties

n° 2 25 88% (22/25)

analyse van Delphi n°1

• relevantie? • reacties (akkoord of niet?) op analyse

• frequenties• oplijsten reacties

n° 3 25 96% (24/25)

hervormd document

opmerkingen w.b.• overlap?• missing items?• toepasbaarheid voor toetsing?

• laatste revisie

Michels et al. BMC Medical Education 2012 4 Bossaert (2007)

21

CanMEDS rol criteria

MEDISCH EXPERT

de student

heeft inzicht in vereiste medische kennis t.a.v. een klinisch probleem:

• past aangeleerde kennis toe

• kan besliskundig redeneren

past aangeleerde vaardigheid doeltreffend toe t.a.v. een klinisch probleem

kan een consultplan uitvoeren:

• neemt een relevante en accurate intake en anamnese af

• voert een lichamelijk of ander onderzoek doelmatig uit

• stelt een differentiaal diagnose op

• verzamelt, analyseert en interpreteert doelmatig gegevens (van

anamnese, lichamelijk onderzoek, technisch onderzoek)

• stelt een correcte diagnose

• stelt doelmatige (be)handelingen voor

stelt een adequaat, multidisciplinair zorgplan op met specifiek aandacht voor

zelfzorg en nazorg van de patiënt

beschrijft symptomen van essentiële (en vastgelegde (vb. top 10’s))

ziektebeelden en alarmsignalen (en neemt ze op in de differentiaal diagnose)

integreert de rollen communicator, collaborator, manager, health advocate,

scholar en professional

COMMUNICATOR

de student

geeft duidelijke en begrijpelijke neerslag van een relevante, volledige,

systematische en accurate intake en anamnese

rapporteert schriftelijk de patiëntencasus o.v.v. patiëntenverslag of

verwijsbrief

kan een patiëntendossier invullen en bijhouden, en geeft alle informatie voor

iedere andere gezondheidsverstrekker duidelijk en overzichtelijk weer

rapporteert mondeling de patiëntencasus aan andere artsen en

gezondheidsverstrekkers

communiceert zijn wetenschappelijk opzoekwerk begrijpelijk, volledig en

overzichtelijk

communiceert tijdens het consult met de patiënt volgens de geldende

normen van “good practice”

gaat een empathische, vertrouwelijke en ethisch-verantwoorde arts-patiënt

relatie en arts-familie relatie aan en kan deze behouden

reflecteert over eigen communicatie en vorderingen hierin

CLIMAS = Curriculum Learning outcomes Inventory of Medical Antwerp School


22

conclusie Delphi studie

• gevalideerde lijst van rollen en competenties die studenten moeten bereiken door te werken & te leren in de klinische setting (workplace based learning) en waarop ze getoetst kunnen worden

• cave “artificiële” fragmentatie van verschillende rollen en competenties

• geen praktische tool


23

extra Delphi ronde

• semi-gestructureerde interviews

• 10 Delphi experts � at random selectie

• tot saturatie (N=9)

Validity Inventory for Portfolio Assessment

“VIP-A”

24

VIP-A

MEDISCH EXPERT

COMPETENTIE - +/- + medische kennis

(1a – 5)

aangeleerde vaardigheid

(2)

besliskundig redeneren

(1b)

consultplan en multidisciplinair zorgplan

(3 – 4)

integratie CanMEDS rollen

(6)

COMMUNICATOR

intake en anamnese

(7)

communicatie in arts-patiënt-(familie) relatie

(12 – 13)

communicatie over wetenschappelijk opzoekwerk

(11)

communicatie over patiëntencasus (mondeling en schriftelijk)

(8 – 9 – 10)

reflectie eigen communicatie

(14)

COLLABORATOR

gepaste deelname in een team van zorgverstrekkers

(15 – 16 – 17)

(taken) teamwerk

(18)

reflectie werken in een team

(19)

MANAGER

reflectie zelfzorg en balans werk-persoonlijke ontwikkeling

(20)

prioriteiten, administratieve en organisatorische taken, informatietechnologie

(21 – 22 – 23 – 24)

gezondheidssysteem, inzicht in kosten en contractprocedures

(25 – 26 – 27)

HEALTH ADVOCATE

reflectie over aspecten die gezondheid beïnvloeden (biopsychosociaal en existentieel)

(28)

primaire en secundaire preventie, patiëntveiligheid

(29 – 30 – 31)

belangen van patiënt, begeleiding in gezondheidszorg

(32 – 33 – 34)

reflectie kritische incidenten

(35)

SCHOLAR wetenschappelijk denken en handelen

(36 – 37 – 38 – 39)

attitude tot levenslang leren – een opleidings (ontwikkelings) plan

(40 – 44)

overbrengen medische kennis en praktijk t.a.v. scientific community en evoluerende maatschappij

(41 – 42 – 43)

PROFESSIONAL hoogste kwaliteit van zorg met juiste attitude en gedrag

(45 – 46 – 48)

reflectie professioneel gedrag en attitude

(47 – 49)

totale tijdsinvestering validering:

globale indruk validiteit: zeer goed / goed / minder goed

globale score: / of zeer goed / goed / minder goed

eventuele aanpassing na discussie:

MEDISCH EXPERT

COMPETENTIE - +/- + medische kennis

(1a – 5)

aangeleerde vaardigheid

(2)

besliskundig redeneren

(1b)

consultplan en multidisciplinair zorgplan

(3 – 4)

integratie CanMEDS rollen

(6)

COMMUNICATOR

intake en anamnese

(7)

communicatie in arts-patiënt-(familie) relatie

(12 – 13)

communicatie over wetenschappelijk opzoekwerk

(11)

communicatie over patiëntencasus (mondeling en schriftelijk)

(8 – 9 – 10)

reflectie eigen communicatie

(14)

MEDISCH EXPERT

de student

heeft inzicht in vereiste medische kennis t.a.v. een klinisch probleem:

• past aangeleerde kennis toe

• kan besliskundig redeneren

past aangeleerde vaardigheid doeltreffend toe t.a.v. een klinisch probleem

kan een consultplan uitvoeren:

• neemt een relevante en accurate intake en anamnese af

• voert een lichamelijk of ander onderzoek doelmatig uit

• stelt een differentiaal diagnose op

• verzamelt, analyseert en interpreteert doelmatig gegevens (van

anamnese, lichamelijk onderzoek, technisch onderzoek)

• stelt een correcte diagnose

• stelt doelmatige (be)handelingen voor

stelt een adequaat, multidisciplinair zorgplan op met specifiek aandacht voor

zelfzorg en nazorg van de patiënt

beschrijft symptomen van essentiële (en vastgelegde (vb. top 10’s))

ziektebeelden en alarmsignalen (en neemt ze op in de differentiaal diagnose)

integreert de rollen communicator, collaborator, manager, health advocate,

scholar en professional

25

overzicht


betrouwbaarheid





context

onderzoeksvragen

studies &resultaten

systematicreview

� richtlijnen

26

content validity

• 120 portfolio’sUniversiteit Maastricht (N=40) – Universiteit Utrecht (N=40) – Universiteit Antwerpen (N=40)

• 3 beoordelaars, gepaard (3 sets):

Marijke Avonts, Griet Peeraer, Kris Ulenaers

onafhankelijke dubbel beoordeling

27

content validity

• 120 portfolio’sUniversiteit Maastricht (N=40) – Universiteit Utrecht (N=40) – Universiteit Antwerpen (N=40)

• 3 beoordelaars, gepaard (3 sets):

• verzamelen van context informatie

• VIP-A

- is mogelijk om over de competentie te oordelen d.m.v. portfolio? voldoende (+) / gedeeltelijk (+/-) / onvoldoende (-)

- welke opdrachten (portfolio inhoud) zorgen voor mogelijke beoordeling?

28

• context

• doel van portfolio

• tutoring – feedback

• beoordeling

• portfolio inhoud

content validity

• resultaten

- context register

- frequentie analyse

29

overall (N=120) Maastricht Utrecht University University of

KEY COMPETENCES + +/- - + +/- - + +/- - + +/- -

MEDICAL EXPERT

medical knowledge 100 100 100 100

acquired skills 89.2 10.8 100 100 67.5 32.5

medical decision making 99.6 0.4 100 100 98.7 1.25

(multidisciplinary) health care plan 98.7 1.25 100 98.7 1.25 97.5 2.5

integration of the CanMEDS roles 22.5 77 0.4 40 60 5 95 22.5 76.2 1.25

82 88 80. 77.2

COMMUNICATOR

intake and anamnesis 100 100 100 100

communication in the doctor-patient(- 82 17.5 0.4 100 97.5 1.25 1.25 48.7 51.2

communication on scientific research 100 100 100 100 1.25

communication on patient cases 72 28 100 96.2 3.75 18.7 81.2

reflection on own communication 97 3 100 100 91.2 8.75

90. 100 98. 71.7

COLLABORATOR appropriate contribution in a team of 71.2 28 0.8 100 98.7 1.25 15 82.5 2.5

tasks teamwork 81.3 16.7 2 100 92.5 7.5 51.2 42.5 6.25

reflection on participating in a team 93 6.2 0.8 100 100 78.7 18.7 2.5

81. 100 97. 48.3

MANAGER

reflection on self-care and balance 77.5 11 11.5 91.2 8.75 41.2 23.7 35 100

priorities, administrative and 78.2 21.4 0.4 100 93.7 5 1.25 39.7 60.2

health care system, insight in costs 68.3 20 11.7 98.7 1.25 6.25 58.7 35 100

74. 96. 47 79.9

HEALTH ADVOCATE

reflection on aspects influencing 73 24 3 71.2 28.7 78.7 13.7 7.5 68.7 28.7 2.5

primary and secondary prevention, 28.3 58 13.7 70 30 21.2 48.7 30 33.7 55 11.2

patient’s benefits, guidance in health 65.5 27.5 7 95 5 37.5 42.5 20 63.7 35 1.25

reflection on critical incidents 69.5 27.5 3 78.7 21.2 50 41.2 8.75 80 20

59. 78. 46. 61.6

SCHOLAR

thinking and acting scientifically 92.9 7.1 100 98.7 1.25 79.2 20.2

attitude of lifelong learning – a 98.8 0.8 0.4 100 96.2 2.5 1.25 100

convey medical knowledge and 46.2 53.7 18.7 81.2 90 10 30 70

79. 72. 95 69.7

PROFESSIONAL

highest quality of care with an 75.4 24.6 100 97.5 2.5 28.7 71.2

reflection on professional behaviour 98.7 1.25 100 100 96.2 3.75

87. 100 98. 62.5

Antwerp

30

content validity

overall UMaastricht UUtrecht UAntwerpen

medisch expert 82 88 81 77

communicator 90 100 99 72

collaborator 82 100 97 48

manager 75 97 47 80

health advocate 59 79 47 62

scholar 79 73 95 70

professional 87 100 99 63

31

content validity





manager 75 97 47 80


scholar 79 73 95 70


≥ 85%

< 84% & ≥ 60%

< 60%

32

content validity





manager 75 97 47 80


scholar 79 73 95 70


≥ 85%

< 84% & ≥ 60%

< 60%

33

content validity





manager 75 97 47 80


scholar 79 73 95 70


≥ 85%

< 84% & ≥ 60%

< 60%

34

content validity





manager 75 97 47 80


scholar 79 73 95 70


≥ 85%

< 84% & ≥ 60%

< 60%

35

content validity





manager 75 97 47 80


scholar 79 73 95 70


≥ 85%

< 84% & ≥ 60%

< 60%

36

overall (N=120) Maastricht Utrecht University University of

KEY COMPETENCES + +/- - + +/- - + +/- - + +/- -

MEDICAL EXPERT

medical knowledge 100 100 100 100

acquired skills 89.2 10.8 100 100 67.5 32.5

medical decision making 99.6 0.4 100 100 98.7 1.25

(multidisciplinary) health care plan 98.7 1.25 100 98.7 1.25 97.5 2.5

integration of the CanMEDS roles 22.5 77 0.4 40 60 5 95 22.5 76.2 1.25

82 88 80. 77.2

COMMUNICATOR

intake and anamnesis 100 100 100 100

communication in the doctor-patient(- 82 17.5 0.4 100 97.5 1.25 1.25 48.7 51.2

communication on scientific research 100 100 100 100 1.25

communication on patient cases 72 28 100 96.2 3.75 18.7 81.2

reflection on own communication 97 3 100 100 91.2 8.75

90. 100 98. 71.7

COLLABORATOR appropriate contribution in a team of 71.2 28 0.8 100 98.7 1.25 15 82.5 2.5

tasks teamwork 81.3 16.7 2 100 92.5 7.5 51.2 42.5 6.25

reflection on participating in a team 93 6.2 0.8 100 100 78.7 18.7 2.5

81. 100 97. 48.3

MANAGER

reflection on self-care and balance 77.5 11 11.5 91.2 8.75 41.2 23.7 35 100

priorities, administrative and 78.2 21.4 0.4 100 93.7 5 1.25 39.7 60.2

health care system, insight in costs 68.3 20 11.7 98.7 1.25 6.25 58.7 35 100

74. 96. 47 79.9

HEALTH ADVOCATE

reflection on aspects influencing 73 24 3 71.2 28.7 78.7 13.7 7.5 68.7 28.7 2.5

primary and secondary prevention, 28.3 58 13.7 70 30 21.2 48.7 30 33.7 55 11.2

patient’s benefits, guidance in health 65.5 27.5 7 95 5 37.5 42.5 20 63.7 35 1.25

reflection on critical incidents 69.5 27.5 3 78.7 21.2 50 41.2 8.75 80 20

59. 78. 46. 61.6

SCHOLAR

thinking and acting scientifically 92.9 7.1 100 98.7 1.25 79.2 20.2

attitude of lifelong learning – a 98.8 0.8 0.4 100 96.2 2.5 1.25 100

convey medical knowledge and 46.2 53.7 18.7 81.2 90 10 30 70

79. 72. 95 69.7

PROFESSIONAL

highest quality of care with an 75.4 24.6 100 97.5 2.5 28.7 71.2

reflection on professional behaviour 98.7 1.25 100 100 96.2 3.75

87. 100 98. 62.5

Antwerp

37

content validity

• resultaten

- context register


- “inhoud” database

38

MEDICAL

EXPERT

COMMU-

NICATOR

COLLABO-

RATORMANAGER

HEALTH

ADVOCATESCOLAR PROFES-SIONAL

case report x x x x x x

EBC report x x x

FACR report x x x x

obstetric/surgery report x x x

FM task x x x x

deepening task x x x x x x

financial analysis x x

article/publication x

presentation x x x

referral letter x

autopsy x

self-assessments x x x x x x x

self-reflection x x x x x x x

reflection self-care x x x x x

PDP x x x x x x x

CD x x x x x x x

mini-CEX x x x x x x x

MSF x x x x x x

CAT x x

PB assessment x x x x

peer review x x

mentoring report x

progression report x x x x x

internship observation x x x x x x x

internship assessment x x x x x x x

profiling space x x x x

39

content validity

• resultaten

- context register


- “inhoud” database

- validatie van VIP-A:

• inter beoordelaar betrouwbaarheid: Percentage Agreement

• agreement was hoog (>80% & <90%) tot zeer hoog (>90%)

health advocate role scoort minder (wel nog >60%)

40

content validity

• conclusie

- validatie VIP-A (“internal structure validity”)

- portfolio kan gebruikt worden om competenties te beoordelen

- “hoe content validity verbeteren?”

• duidelijke stellen van “doel” & blueprint

• expliciete link tussen competenties/rollen en portfolio opdracht

• content database

• portfolio & context: adequate procedures voor beoordeling & begeleiding

41

overzicht


betrouwbaarheid





context

onderzoeksvragen

studies &resultaten

systematicreview

� richtlijnen

42

vervolg…

• CLIMAS & VIP-A

- andere doeleinden

- verder valideren

• validiteit:

- andere portfolio’s

- “consequences”

• portfolio verbeteren

- opdrachten ~ competenties

- “directe” beoordelingen, vb. KKB

- tutorship herbekijken

- “holistic assessment”

43

take home messages

• laat uw studenten & stagiairs actief stage lopen

• doel = werkplek leren

• betrek CLIMAS = skelet van waaruit u studenten kan begeleiden en beoordelen

• directe observaties: KKB

• zorg voor uiteenlopende ervaringen / patiënten

• bespreek mogelijke opdrachten tijdens stage bij u

• “tutor” rol: geef feedback en bespreek leernoden, leerplannen en progressie

44

als laatste

• dank aan

collega’s vaardighedenteam, portfoliobeoordelaars, reviewers, Delphi experts, validiteit beoordelaars, studenten, stagemeesters,…

• vragen of suggesties?

[email protected]

Validiteit van werkplek beoordelingen door middel van ... · Validiteit van werkplek beoordelingen...

Documents

Transcript of Validiteit van werkplek beoordelingen door middel van ... · Validiteit van werkplek beoordelingen...