1

DE KROONJUWELEN VAN HET AC, SIMULATIES: VAN MARGINALE TOT GROTE BIJDRAGE. WAAROM AC en SJT WERKEN….soms meer, soms minder….van high naar low fidelity simulation…

Rendel D. De Jong,

2

1. Uitgangspunten en bevindingen van Lievens en Patterson (2011), tegen de achtergrond van die van Hunter en Schmidt (1998).

2. De bevindingen in breder perspectief

3. Consequenties voor onderzoek en praktijk?

3

LIEVENS en PATTERSON (2011, JAP):

Voor het eerst in een onderzoek gecombineerd:

KENNIS-TEST (huisarts-diagnostische kennis)SJT (multiple-choice test omgang patienten/collega’s) AC-kroonjuwelen (rollenspellen dokter-patient, groepsdiscussie, postbak) Als predictoren van JOB PERFORMANCE (beginnende GP’s, vgl huisartsen, rating supervisor)

4

Algemene gedachte:

Declarative Knowledge (kennistoets Diagnostiek & Behandeling) Ass.Center JOB communication perform. etc, zie SJT rating

Procedural KnowledgeSJT, communication, empathy,Integrity, coping with pressure, probl.solving

Idee: gedrag gedrag, high-fidelity>low-fidelity

5

Ontwikkeling instrumenten:

-KNOWLEDGE TEST Item bank ontwikkeld door opleiders GP’s met grote ervaring, met item-schrijf-training door psychologen. Reliability .88-SJT/AC “Job analysis”, door Critical Incidents Focus Groups, 35 ervaren GP’s, observatie 33 GP-patient consults, Critical Incident interviews met 21 patienten. Leidde tot identificatie van 11, uiteindelijk 6 ”Competency Domains”:Empathy, Communication, Problem Solving, Professional Integrity, Coping with Pressure & Clinical Expertise. Voor SJT op basis van de eerste 5 competency domains door 20 ervaren GP’s 50 items geproduceerd. Alpha-coefficienten Domain-schalen .35-.64 Voor AC zelfde domains gerepresenteerd in doctor-patient rollespel, groepsdiscussie, postbak. Hoogste alpha .32 !!?!? HOE KAN DAT OOIT WAT WORDEN qua VALIDITEIT??????

6

KENNIS TEST: “Clinical Problem Solving” (diagnostiek, mgt)Voorbeeld: dame 70 jr, verduisterd gezichtsvermogen, gewichtsverlies, pijn bij het kauwen, onlangs niet goed geworden… diagnose? Basilar migraine, Retinal detachment etc

SJT “low fidelity simulation on the job tasks” Voorbeeld: in de avond blijkt dat meneer, 75 jr, door specialist voorgeschreven 7.5 mg methotrexate per dag, ipv per week Wat te doen? -vragen aan zuster: specialist wel vaker fouten gemaakt? -zelf dosis corrigeren -niets doen, zo laten -specialist thuis bellen

AC “high fidelity simulations” -Rollenspel dokter-patient (acteur) -Groepsdiscussie “work-related issue” -”Written Planning Exercise” (“Postbak”?)

7

CRITERIUM

PREDICTOR 1 PREDICTOR2

8

CRITERIUM

PRED.1 PRED.2

Test met hogeAlpha-coeff.,geen beste criterium validiteit

Of: “false consensus”, “folie a deux” etc.. “illusory transitive memory”, “situational awareness” gedeeld maar fout levensgevaarlijk

9

CRITERIUM

PREDICTOR1 PREDICTOR2

Prima criterium validiteit, alpha zero….

10

CRITERIUM

PREDICTOR1

PREDICTOR2

Onenigheid, hopelijk inhoudelijk, tijd voor open consultatie, “speaking to the room”, assertiviteit

11

Uitkomsten:Declarative Knowledge(kennistoets) 30 36 50 Ass.Center 30 JOB perf. 43 rating 37

Procedural KnowledgeSJT, communication, etc

Correlaties…..volgens het verwachte patroon?

12

Enige aanvullende gegevens …

-Hierarchische regressies (range restriction correctie): alle drie predictoren dragen bij, AC minst sterk,

beta Rsq1.Knowledge test .249 .2942.Low Fidelity simulation (SJT) .250 .3593.High Fidelity simulation (AC) .197 .374 -Structural Equation Modeling: verwachte model partieele mediatie als beste keus uit de bus…(zie figuur). De veronderstelde latente AC en SJT factoren lijken betrouwbaar gemeten…. -AC voegt weinig toe boven de SJT wanneer het alleen om de klinische kant van de prestatie gaat

13

Uitkomsten:Declarative Knowledge(kennistoets) 30(07) 36(19) 50 (78) Ass.Center 30(21) JOB perf. 43(66) rating 37(33)

Procedural KnowledgeSJT, communication, etc

Correlaties (parameter estimates hypothesized model)

14

Conclusies Lievens & Patterson (2011)A. Practical Contributions:-”all three predictors valid in avanced level selection”, speciaal interessant: SJT niet minder valide dan “high-fidelity” simulation” AC…..”even somewhat higher”

-Ook leuk: SJT prediceerd incrementeel boven kennistest

-Ook dure “high fidelity” AC mogelijk zijn geld waard, als kandidaat moet tonen in staat te zijn procedurele kennis om te zetten in gedrag

- High fidelity van belang bij non-cognitieve aspecten prestatie maw niet-clinisch (blijkt uit klein hoekje additionele analyses)

I

15

Conclusies Lievens & Patterson (2011)

B. Theoretical Contributions:-alle soorten simulaties hebben hun nut -oorspronkelijke model als volgt aan te passen:

declarative ->procedural->AC performance-> job performance knowledge knowledge

VANUIT HET PERSPECTIEF Schmidt & Hunter 1998…….enkelePUNTEN VAN REFLECTIE…….

16

REFLECTIE1.Met betrekking tot de UITGANGSPUNTEN : -gedrag voorspelt gedrag, -high-fidelity simulations(AC, work sample zijn meer valide dan low-fidelity simulation valt eea af te dingen, want:

a.Met rating werkprestatie als criterium wordt .37 validiteit alleen gevonden voor combinatie (oefeningen+”IQ”+Interview en correctie voor vermeende betrouwbaarheid van het criterium. is de criteriumvaliditeit slechts .17 (of “4 %) (nb hogere validiteit met criterium “career advancement”) b. Job Knowledge centraal in “theory of Job performance”, (S&H, 1998), op grond resultaten Schmidt ea, 1986…c. Meta-studies SJT->Job perf. .15-.30 (Christian ea, 2010) Work Sample -> Job perf. .25-31 (Roth ea, 2005)

politie 4 november 2009 17

MetingValiditeit (r)Gecorrigeer

dMultiple R ΔR

% toename

Intelligentie .51

Work sample

.54 .63 .12 24%

Interview (< struc)

.38 .55 .04 8%

Interview (> struc)

.51 .63 .12 24%

ACM .37 .53 .02 4%

Integriteitstest .41 .65 .14 27%

Conscientiousness

.31 .60 .09 18%

Schmidt, F. L. & Hunter, J. E. (1998). The validity and utility of selection methods in Personnel Psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

18

THEORIE van EFFECTIEF PRESTERENSchmidt & Hunter, Psychological Bulletin, 1998

Algemene Intelligentie

Job Knowledge Prestatie

Moderator: complexiteit functie; hoe complexer, hoe sterkerDe predicerende werking van intelligentie.

19

Job knowledge test GMA (“IQ”) 46(46) 42(34) Rating (Job) Performance

37(09) Work sample Performance

Schmid ea, oa JAP, 1986 armor crew, armor repair mansupply specialist, cook, US Army. Correlaties (path-coefficients VET)

20

Conclusies Lievens & Patterson (2011)A. Practical Contributions:-”all three predictors valid in avanced level selection”, speciaal interessant: SJT niet minder valide dan “high-fidelity” simulation” AC…..”even somewhat higher” EERDER OMGEKEERDE TE VERWACHTEN??? TE VERKLAREN: HOGE VALIDITEIT AC….-Ook leuk: SJT prediceerd incrementeel boven kennistest

-Ook dure “high fidelity” AC mogelijk zijn geld waard, als kandidaat moet tonen in staat te zijn procedurele kennis om te zetten in gedrag

- High fidelity van belang bij non-cognitieve aspecten prestatie maw niet-clinisch (blijkt uit klein hoekje additionele analyses)

I

21

REFLECTIE vanuit perspectief ontwikkelingen in SJT:

Uit meta-studie Christian ea (2010) komt naar voren:

-merendeel onderzoekers behandelen SJT alsof ze een enkel construct “situational judgement” meten, geen specifieke constructen, (met specifieke KSAO’s). GunstigeUitzonderingen: teamwork-skills, leiderschapsvaardigheden.(Morgeson, 2005, Mumford ea 2008). Paradox: team skills niet alleen predictief voor contextual, ook task performance

22WAAROM PREDICEERT TEAMWORK KNOWLEDGETASK PERFORMANCE (rating supervisor)????

Morgeson et al., 2005, arbeiders staalfabriekTeamwork knowledge sjt (Campion ea) (mede gebaseerd op resultaten onderzoek conflict hantering).

23

24

REFLECTIE vanuit perspectief ontwikkelingen in SJT:

Algemene probleem in selectie psychologie, focus op methode, in plaats constructs, inhoud (Schmitt & Chan, 2006, Christian ea, 2010) beperkt ook de sterkte van de theoretische bijdrage van Lievens en Patterson (2011), punt het aangepaste model…

Theoretical Contributions vlgs Lievens en Patterson:1.-alle soorten simulaties hebben hun nut wel op deze manier: inhoudsdeskundige constructeurs 2.-aangepaste model: declarative ->procedural->AC performance-> job performance knowledge knowledge Niet zo gelukkig, evenmin idee methode als latente trek

25

HOE VERDER??

-Bij ontwikkelen en toepassing SJT’s (AC) simulaties, zowel in het kader van selectie als ontwikkeling, meer diepgaande job analyse, expliciteren werkprocessen (van procedureel naar declaratief en vice versa) en de daarbij benodigde KSAO’s. Vermijden “usual suspects”, dimensies “plannen en organiseren” etc Eigenlijke KSAO’s daardoor “lost in translation”