Begripsvaliditeit van AC-Dimensies:Een Meta-Analyse

Marise Ph. Born, Nanja J. Kolk, en Henk van der Flier

Afdeling Arbeids- en OrganisatiepsychologieVrije Universiteit Amsterdam

Presentatie AC groep 13/11/2000

gebaseerd op:Born, M.Ph., Kolk, N.J., & Van der Flier, H. (2000) A meta-analysis of Assessment Center construct validity. Paper gepresenteerd op de 15th annual conference of the Society for Industrial and Organizational Psychology, New Orleans, 14-16 April.

SamenvattingDeze meta-analyse van 34 begripvaliditeits (BG)-studies leverde

– een gecorrigeerde convergente validiteit (CV) van 0.35 – een gecorrigeerde discriminante validiteit (DV) van 0.69

• Binnen de groep studies speciaal ontworpen om de BG te verbeteren, resulteerde meta-analyse in een verbeterde DV (0.56)

•Echter, CV werd nauwelijks beïnvloed, (0.41), behalve als het beoordelingsproces werd aangepast (0.64)

Literatuuroverzicht

AC’s slagen er niet in een goede BV te laten zien: beoordelingen op dezelfde dimensies in verschillende

opdrachten correleren laag lage convergente validiteit beoordelingen op verschillende dimensies in dezelfde

opdracht correleren hoog lage discriminante validiteit

Veel pogingen gedaan om discriminante en convergente validiteit te verbeteren. Effect bekeken van o.a.: dimensiekenmerken (observeerbaarheid, transparantheid…) beoordelingsformat vorm en inhoud van opdrachten beoordelingsproces

Doel

Dit paper probeert een antwoord te vinden op de volgende drie vragen:

(a) Hoe laag is de begripsvaliditeit van het AC?

(b) Hebben pogingen daartoe de BV inderdaad verbeterd?

(c) Zijn er veelbelovende onderzoeksroutes?

MethodeOpzoeken Literatuur

– 43 studies van 1980 - 2000, gepubliceerd en ongepubliceerd

– 9 studies eruit (7 lab studies met slechts enkele kandidaten and vele assessoren; 2 studies met onvolledige statistische informatie)

Coderen van 34 Studies (N=8756; 39 coëfficiënten) – 20 puur descriptieve studies – 14 studies wilden BG verbeteren (11 studies een

controle en experimentele groep; 3 studies alleen een experimentele groep)

– De 14 studies werden gecodeerd voor het AC-aspect dat was gemanipuleerd: beoordelingsformat, beoordelingsprocess, dimensiekenmerken, en opdrachtvorm en -inhoud

Analysemethode– Stauffer’s 1996 MetaDOS programma– Correctie voor steekproeffouten: versie van

wegingssysteem van Huffcutt et al. (1996)– Puntschatting van 0.80 voor attenuatiecorrectie– Drie homogeniteitsindices voor uitkomstenverdeling

Resultaten (a):Hoe Laag Is de Begripsvaliditeit?

Een niet te lage convergente validiteit: gecorrigeerde convergente validiteit = 0.35 (90%

CI from 0.20 - 0.52). Dus redelijke binnen-dimensie-tussen-opdrachten correlaties

Erg zwakke discriminante validiteit:gecorrigeerde discriminante validiteit = 0.69

(90% CI van 0.52 - 0.87). Dus binnen opdrachten een hoge samenhang tussen dimensies

Resultaten (b): Leveren Pogingen daartoe een Verbeterde BV? Convergente validiteit verbeterde van 0.35 tot

0.51 Echter, slechts wijziging in rating process is

hiervoor verantwoordelijk (rc=0.64) Aldus verhogen van CV is misleidend (zie

discussie). Andere design modificaties geen betekenisvol effect (rc=0.41)

Discriminante validiteit verbeterde van 0.69 tot 0.56. Modificaties in beoordelingsformat, dimensie-kenmerken, en beoordelingsproces evenveel effect

Resultaten (c ): Zijn er Veelbelovende Onderzoeksroutes?

Onze keuze: verdere verbetering DV (CV lijkt plafond-waarde te hebben bereikt, muv agv het wijzigen van het beoordelingsproces)

We maximaliseerden onafhankelijkheid tussen dimensies:

AC-dimensies uit primaire studies verdeeld in interpersoonlijke stijl en performance stijl categorieën (Shore et al., 1990)

Resultaat: verdere verbetering van DV van 0.56 naar 0.44. Zoals verwacht, werd de CV niet beïnvloed

Discussie

Beste schatting convergente validiteit is 0.40

Uitzondering is wijziging in AC beoordelingsproces

Wijziging in beoordelingsproces onbedoelde rater halo over opdrachten

Een niet-verbeterde CV: plafond effect conventionele AC-design?

Substantiële verbetering DV - wellicht verdere verbetering DV in toekomst?

Toekomstig Onderzoek

We stellen voor: een mtmm-onderzoeksdesign waarin voor elke kandidaat-dimensie-opdracht combinatie een verschillende groep assessoren

Dit design bevat geen ongewenste common method variance (rater halo) over opdrachten en over dimensies binnen opdrachten

Een optioneel design voor hogere CV komt uit Cervone (1999): kandidaten kiezen op voorhand hun opdrachten, volgens hun eigen oordeel over de relevantie

Conclusie

Convergente en discriminante validiteit worden beïnvloed door ongelijke kenmerken van het AC design

Het Campbell en Fiske (1959) criterium, i.e. een directe vergelijking van convergente en discriminante validiteit, pas strikt nemen totdat de vergelijking een eerlijke is