De webcamtest als voorspeller van professioneel gedrag

5((.6�¶:(59,1*�(1�6(/(&7,(·

De webcamtest als voorspeller van professioneelgedrag

Marit R.E. Op de Beek, Janneke K. Oostrom & Marise Ph. Born*

Deze studie beschrijft een nieuw type video-assessment ontwikkeld voor het meten vansociale competenties, de zogeheten webcamtest. Het doel van deze studie was het bepa‐len van de criteriumgerelateerde validiteit van de webcamtest en de incrementele vali‐diteit ten opzichte van een cognitieve capaciteitentest, een persoonlijkheidsvragenlijsten een situationele beoordelingstest in videovorm. Onderzoek onder 106 psychologie‐studenten liet zien dat de webcamtest een significante correlatie heeft met het profes‐sioneel gedrag van studenten tijdens werkgroepen, zoals dit beoordeeld is door hundocenten. Ook had de webcamtest incrementele validiteit ten opzichte van de andereinstrumenten met betrekking tot het criterium professioneel gedrag. De kandidatenbeschouwden de webcamtest als een indruksvalide test, maar beschouwden de situatio‐nele beoordelingstest in videovorm als een test met een hogere indruksvaliditeit. Beper‐kingen van dit onderzoek en suggesties voor verder onderzoek naar de webcamtest wor‐den besproken.

1 Inleiding

In de inleiding op de nieuwe reeks ‘Werving en Selectie’ beschrijven Derous, Vander Velde en Born (2011) dat meer aandacht besteed mag worden aan onderzoeknaar specifieke thema’s binnen werving en selectie. Trends in werven en selecte‐ren (zoals contextualisatie, diversiteit en technologische innovatie) roepen inte‐ressante onderzoeksvragen op. Door de groei van de dienstverlenende sector inNederland is er steeds meer vraag naar selectietests waarmee sociale vaardig‐heden gemeten worden (Ardts, 2006). Dipboye, Wooten en Halverson (2004)geven aan dat organisaties blijven zoeken naar nieuwe instrumenten voor hetmeten van sociale vaardigheden omdat veel van de gebruikte selectietests, zoalscognitieve capaciteitentests, niet toetsen hoe de werknemer met collega’s en klan‐ten omgaat. Derous en collega’s (2011) beschrijven de mogelijkheden die gebodenworden door multimedia. Het meten van bijvoorbeeld sociale vaardigheden, inte‐griteit, leidinggeven en conflicthantering, is lastiger met traditionele tests danmet tests die gebruikmaken van multimediatoepassingen. Deze nieuwe (multi‐

* Marit R.E. Op de Beek is verbonden aan Cubiks en Maxit Psychology. Janneke K. Oostrom enMarise Ph. Born zijn verbonden aan de Erasmus Universiteit Rotterdam, Instituut voorPsychologie, Sectie Arbeids- en Organisatiepsychologie.Correspondentieadres: M.R.E. Op de Beek, Rodenrijsestraat 14a, 3037 NG Rotterdam,[email protected], 06-30016150.

Gedrag & Organisatie 2011 (24) 3 257

Marit R.E. Op de Beek, Janneke K. Oostrom & Marise Ph. Born

media) instrumenten moeten wel kritisch onderzocht worden (Derous et al.,2011).Voor het meten van sociale vaardigheden wordt de steeds bekendere situationelebeoordelingstest (situational judgment test [SJT]) ingezet. Een SJT is een testwaarbij verschillende uitdagende werkgerelateerde situaties en antwoordoptiesworden aangeboden. Afhankelijk van de soort SJT moeten kandidaten de ver‐schillende antwoordopties individueel beoordelen op effectiviteit, het beste ant‐woord kiezen uit de antwoordopties of het antwoord kiezen dat omschrijft hoe dekandidaat zelf zou handelen (McDaniel, Morgeson, Finnegan & Campion, 2001;McDaniel, Hartman, Whetzel & Grubb III, 2007). Uit meta-analyses vanMcDaniel en collega’s (2001, 2007) blijkt dat SJT’s een voorspellende waarde heb‐ben voor werkprestatie. Daarnaast hebben Oswald, Schmitt, Kim, Ramsey en Gil‐lespie (2004) aangetoond dat een SJT incrementele validiteit heeft ten opzichtevan andere metingen bij het voorspellen van studieprestaties. Ook bleek uit eenmeta-analyse van Hausknecht, Day en Thomas (2004) dat situationele tests alsmeer indruksvalide worden gezien dan cognitieve capaciteitentests en persoon‐lijkheidsvragenlijsten. Indruksvaliditeit geeft aan hoe valide de test er op het eer‐ste oog uitziet, dat wil zeggen hoe relevant de test lijkt voor het meten van devaardigheden die de test beoogt te meten (Cook, 2004). Als de kandidaat bij voor‐baat al een negatief beeld zou hebben van een test, zouden motivatie en prestatiekunnen dalen (Lievens, Van Dam & Anderson, 2002).SJT’s kunnen op een aantal aspecten van elkaar verschillen, bijvoorbeeld op deafnamevorm. Zo zijn er SJT’s waarin de situaties en antwoordopties schriftelijk ofmondeling worden aangeboden, maar er bestaan ook zogenaamde video-SJT’swaarin de situaties en antwoordopties door middel van videofragmenten wordenaangeboden (Chan & Schmitt, 1997). SJT’s kunnen ook verschillen wat betreft deinstructies die gegeven worden aan de kandidaat met betrekking tot de maniervan antwoorden (McDaniel et al., 2007; Van der Maesen, 2005). Deze aspectenkunnen van invloed zijn op de meetpretentie (bijv. Lievens & Sackett, 2006), debegripsvaliditeit (McDaniel et al., 2007; Ployhart & Ehrhart, 2003) en de voor‐spellende waarde (bijv. McDaniel et al., 2001).De afnamevorm van SJT’s is van belang omdat bij het gebruik van een schrifte‐lijke afnamevorm wellicht een groter beroep gedaan wordt op cognitieve vaardig‐heden dan op sociale vaardigheden (Van der Maesen, 2005). Het gebruik vanvideo-assessment is een manier om het cognitieve aspect van de test te verminde‐ren (Chan & Schmitt, 1997).Ook spelen de instructies van een SJT een cruciale rol. Als de kandidaat geïnstru‐eerd werd om de reacties te beoordelen op effectiviteit, vonden McDaniel en col‐lega’s (2007) een relatief hoge correlatie tussen cognitieve capaciteiten en een SJT(r = .32). Volgens McDaniel en collega’s meet een SJT met dit soort instructiesvooral het kennisniveau van de kandidaat. Echter, als de kandidaat geïnstrueerdwerd om aan te geven welke reactie het beste bij het eigen gedrag past, corre‐leerde de SJT niet met cognitieve capaciteiten (McDaniel et al., 2007). Motowidlo,Brownlee en Schmit (2008) maken een duidelijk onderscheid tussen tests die ken‐nis over vaardigheden meten en tests die daadwerkelijk vaardigheden meten. Zokan een kandidaat middels een SJT met gesloten antwoordvorm wel aangeven

258 Gedrag & Organisatie 2011 (24) 3

De webcamtest als voorspeller van professioneel gedrag

wat hij denkt of vindt, maar of de kandidaat daadwerkelijk het desbetreffendegedrag zal, wil en kan vertonen, is iets wat niet gemeten kan worden met de SJT.De responsinstructies van SJT’s zijn dus ook van invloed op het type prestatie datgemeten wordt; maximale prestatie (maximum performance) of typische prestatie(typical performance; McDaniel et al., 2007). Een SJT waarbij de kandidaat de reac‐ties beoordeelt op effectiviteit meet maximale prestatie, terwijl een SJT waarbijde kandidaat aangeeft welke reactie het best bij het eigen gedrag past typischeprestaties meet.Een relatief nieuw instrument dat is ontwikkeld om sociale vaardigheden in werk‐gerelateerde situaties te meten, is de zogeheten webcamtest (Van der Maesen,2005). Een webcamtest lijkt qua opzet op een video-SJT, aangezien in beide situ‐ationele beoordelingstests videofragmenten aan de kandidaat worden gepresen‐teerd. Maar waar een SJT de kandidaat meerdere antwoordopties aanbiedt, moetde kandidaat in een webcamtest een mondelinge spontane reactie geven. De reac‐tie van de kandidaat wordt opgenomen met een webcam en achteraf beoordeeldaan de hand van algemene en specifieke situatiegerelateerde indicatoren. Bij eenSJT kan de kandidaat aangeven wat hij of zij het beste zou vinden om in die situa‐tie te doen, bij een webcamtest moet de kandidaat ook daadwerkelijk dit gedragtonen. In figuur 1 staat een voorbeeld van een situatie zoals deze in een video-SJTen in een webcamtest wordt gepresenteerd. Dit voorbeeld illustreert zowel deovereenkomsten als de verschillen tussen beide tests.

Stricker (1982) heeft onderzoek gedaan naar een meetinstrument dat lijkt op eenwebcamtest. Dit Interpersonal Competence Instrument (ICI) bevatte ook ver‐schillende videogepresenteerde situaties met een open responsvorm. De reactievan de kandidaat werd echter alleen met een microfoon opgenomen. Er was dusgeen videomateriaal van de kandidaat beschikbaar, zoals bij een webcamtest. Dereacties van de kandidaten werden door twee onafhankelijke experts beoordeeld.Stricker concludeerde dat de ICI geschikt zou zijn voor het meten van socialecompetenties. Door de filmopname kan bij een webcamtest ook non-verbale com‐municatie worden meegenomen in de beoordeling. Dit kan een voordeel zijnomdat er meer informatie beschikbaar is. Tegelijkertijd kan dit een nadeel zijnomdat er eerder beoordelaarseffecten kunnen optreden.Oostrom, Born, Serlie en Van der Molen (2010) hebben onderzoek gedaan naareen webcamtest die speciaal ontwikkeld was als onderdeel van een certificerings‐proces voor een arbeidsbureau in Nederland. Deze webcamtest trachtte de vaar‐digheden met betrekking tot het adviseren van werkzoekenden te meten enbestaat uit werkgerelateerde situaties, die verzameld zijn door middel van criteri‐umgerichte interviews met ervaren werknemers. De kandidaten werden beoor‐deeld op een 5-puntsschaal door onafhankelijke beoordelaars op voor de situatierelevante indicatoren. Als andere voorspeller werd een kennistoets ingezet, waar‐mee gemeten werd of de werknemer genoeg vakinhoudelijke kennis heeft om zijnof haar werk naar behoren uit te voeren. Als werkprestatiemaat werd enerzijdseen managersbeoordeling ingezet en anderzijds een objectieve werkprestatiemaatdie bestond uit een berekening van zowel het aantal geplaatste werkzoekendendat nog geen uitkering ontving als het aantal geplaatste werkzoekenden dat al een



Figuur 1 Een voorbeeld van een situatie uit de webcamtest (WCT-L) en uit devideo-SJT (SQ-leidinggeven). Opgesteld met toestemming van Vander Maesen | Koch HRM-advies

Het beeld is bevroren en de volgende inleidende tekst wordt gesproken aangebo-den:

Een werknemer meldt zich regelmatig ziek wegens verkoudheid. Ook nu komt zij zeggen dat zij naar huis wil gaan, terwijl het erg druk is.

Vervolgens start het !lmpje, de medewerker zegt: ‘Ja, ik denk dat ik maar beter naar huis kan gaan, ik heb het even aangezien, maar dit gesnotter is ook helemaal niks.’ Bij de webcamtest wordt de opname gestart en moet de kandidaat een reactie geven in de webcam, alsof deze medewerker recht tegenover de kandidaat zit (afbeelding links).

Bij de video-SJT krijgt de kandidaat vier !lmpjes aangeboden met een reactie van de leidinggevende. De kandidaat moet iedere reactie beoordelen op e"ectivi-teit op een schaal van 1 (niet-e"ectief) tot 5 (e"ectief). De volgende vier reacties worden ver!lmd weergegeven (afbeelding onder):

1) Ja, ik begrijp best dat dat niet gemakkelijk voor je is, maar eigenlijk vind ik het ook heel onplezierig voor ons hier als je nu weggaat, met al dat werk dat we hier hebben liggen, ik hoop dat je dat begrijpt. 2) Ja, dat zal allemaal wel, maar ik vind toch echt dat jij te vaak afwezig bent. Ik vind dat jij maar eens naar de dokter langs moet gaan om te kijken of er niet iets met jouw weerstand aan de hand is, want zo kan dat echt niet langer. Op deze manier komt al het werk achter. 3) Joh, ik vind het heel vervelend voor je, maar er moet mij toch iets van het hart, je bent de laatste tijd heel veel ziek wegens verkoudheid, is er soms iets anders aan de hand? Ik vind het toch moeilijk om dit steeds weer te accepteren. 4) Ja, het valt me toch echt een beetje van je tegen dat jij je om elke kleinigheid ziek meldt, zie je, je hebt ook je collega’s ermee, die zadel je met een hoop werk op. Realiseer je je dat wel?



uitkering ontving. De webcamtest had een voorspellende waarde voor deze laatsteobjectieve werkprestatiemaat (r = .26) en incrementele validiteit boven op de ken‐nistoets. In totaal verklaarden de twee voorspellers 20% van de variantie in werk‐prestatie. Met uitzondering van dit onderzoek is er nog geen onderzoek verrichtnaar dit type selectietest.Het doel van de huidige studie is om de voorspellende waarde van een webcam‐test met betrekking tot professioneel gedrag van studenten in kaart te brengen.Professioneel gedrag is een gemiddelde beoordeling van docenten over de studie‐gerelateerde inzet en gedragingen van een student. Aanvullend zal worden nage‐gaan of een webcamtest incrementele validiteit heeft ten opzichte van meergangbare instrumenten, zoals een cognitieve capaciteitentest en een persoonlijk‐heidsvragenlijst. Ook zal worden onderzocht of een webcamtest incrementelevaliditeit heeft ten opzichte van een video-SJT. Tot slot zal worden bekeken hoeindruksvalide de kandidaten een webcamtest vinden. Allereerst wordt besprokenwat tot op heden bekend is over de voor- en nadelen van video-assessment alsafnamevorm. Daarna worden de voor- en nadelen van een open responsvorm intests behandeld. In deze paragrafen wordt theoretisch onderbouwd waarom eenwebcamtest een goede voorspeller zou zijn voor professioneel gedrag. In tabel 1staat een overzicht van deze bevindingen.

1.1 Voor- en nadelen van video-assessmentBij een video-assessment, zoals een webcamtest of een video-SJT, worden uit‐dagende werksituaties gepresenteerd door middel van videofragmenten. Hetonderzoek naar video-assessment is schaars, maar de resultaten die er zijn, zijnveelbelovend. In dergelijk onderzoek (bijv. Chan & Schmitt, 1997; Lievens & Sac‐kett, 2006) worden verschillende voordelen van video-assessment beschreven enmet resultaten ondersteund.Volgens Chan en Schmitt (1997) kan video-assessment adverse impact tegengaan.Adverse impact is een voorkeursbehandeling van leden uit meerderheidsgroepen,waarbij de selectieratio van de meerderheidsgroep substantieel groter is dan deselectieratio van de minderheidsgroep (Ironson, Guion & Ostrander, 1982). Eenverschil in selectieratio’s kan veroorzaakt worden door scoreverschillen bij testswaar een beroep gedaan wordt op leesvaardigheid. Zo kan het zijn dat de leesvaar‐digheid van minderheidsgroepen, bijvoorbeeld bij immigranten die de taal al welspreken, maar nog niet goed schriftelijk beheersen of bij mensen met dyslexie, deprestatie op een test verlagen omdat zij simpelweg meer tijd nodig hebben om eeninstructie of opgave te lezen en te begrijpen. Video-assessment kan de mate vanadverse impact reduceren, doordat er geen beroep wordt gedaan op de leesvaardig‐heid van kandidaten (Chan & Schmitt, 1997; Van der Maesen, 2005).Verder lijkt video-assessment ook een toegevoegde waarde te hebben ten opzichtevan andere instrumenten bij de voorspelling van werkprestatie. Uit een meta-analyse van Christian, Edwards en Bradley (2010) bleek bijvoorbeeld dat SJT’safgenomen middels video-assessment beter werkprestatie voorspellen dan schrif‐telijke SJT’s. Dit resultaat werd gevonden bij alle beoordeelde constructen, waar‐onder leiderschapsvaardigheden en interpersoonlijke vaardigheden. Lievens enSackett (2006) hebben onderzoek gedaan naar de voorspellende waarde van een



SJT die in videovorm en in schriftelijke vorm werd aangeboden. Het eerste tevoorspellen criterium betrof het gemiddelde cijfer van de student (grade point ave‐rage [GPA]) en het tweede te voorspellen criterium betrof de prestatie van de stu‐dent op interpersoonlijke georiënteerde vakken (interpersoonlijke criterium). Lie‐vens en Sackett vonden een significante correlatie tussen de video-SJT en hetinterpersoonlijke criterium (r = .34), maar niet tussen de schriftelijke SJT en ditcriterium. Ten tweede bleek de video-SJT incrementele validiteit te hebben tenopzichte van een werksimulatie en een cognitieve test in het voorspellen van hetinterpersoonlijke criterium. De schriftelijke SJT had daarentegen een significanteincrementele validiteit in het voorspellen van GPA. Lievens en Sackett conclu‐deerden daarom dat wanneer interpersoonlijke capaciteiten gemeten worden,zoals bij SJT’s vaak het geval is, het aan te raden is om dat in videovorm te doen.Een ander voordeel van video-assessment is dat het een positieve invloed lijkt tehebben op de reacties van kandidaten. De waardering van video-assessment is vaakhoog (bijv. O’Reilly, Hubbard, Lessler, Biemer & Turner, 1994). Bij een vergelij‐king van dezelfde test in schriftelijke vorm en videovorm vonden Chan enSchmitt (1997) dat kandidaten de test in videovorm als meer indruksvalidebeschouwden. Cartney (2005) concludeerde in een kwalitatief onderzoek dat demeeste deelnemers een video-assessment een betere manier vonden om commu‐nicatieve vaardigheden te meten dan een schriftelijk assessment. Ook Richman-Hirsch, Olson-Buchanan en Drasgow (2000) hebben onderzocht of de manier vantestafname invloed heeft op de testpercepties van de kandidaat. Zij vergeleken depercepties van de kandidaten op een inhoudelijk gelijke test die of op papier werdafgenomen, of via een computer, of in videovorm. Het betrof een SJT met con‐flictsituaties op de werkplek. Afhankelijk van de geselecteerde reactie kreeg dekandidaat een volgende situatie aangeboden. De kandidaten, 131 managers vanverschillende organisaties, vonden de video-assessment meer indruksvalide dande papieren test en de computertest.Een nadeel van video-assessment is dat de opstartkosten hoog zijn. Hierbij valt tedenken aan het inhuren van acteurs en apparatuur (Weekley & Jones, 1997), dekosten voor de softwareapplicaties en het uitgebreide voortraject van het makenvan een functieanalyse en het schrijven van de scripts. Na deze initiële kosten zijnde operationele kosten veelal echter gering (Van der Maesen, 2005). Zo hoevenbijvoorbeeld de assessoren en acteurs niet ter plaatse aanwezig te zijn zoals bijrollenspellen of werksimulaties in een assessmentbureau (Chan & Schmitt, 1997).

1.2 Voor- en nadelen van een open responsvormDe voordelen van video-assessment in het algemeen zijn in diverse onderzoekenaangetoond. Echter, de vraag wat de meerwaarde is van een webcamtest tenopzichte van een video-SJT blijft daarmee nog onbeantwoord. Ondanks de voor‐spellende waarde van video-assessment stellen Lievens en Thornton (2005) dateen SJT met reacties in videovorm geen werkelijke weergave is van interacties opde werkplek. In een echte situatie kan een medewerker of manager niet kiezen uitde beste reactie. Bij het moeten beoordelen van reacties zoals in een SJT, is hetwellicht makkelijker om een maximale prestatie te leveren dan wanneer de reactiezelf bedacht en gegeven moet worden. Zeker in een situatie waarin er veel op het



spel staat (bijv. het al dan niet aangenomen worden voor een functie) zal de kan‐didaat eerder neigen naar het tonen van maximale prestatie in plaats van typischeprestatie (Sackett, Zedeck & Fogli, 1988). Voorwaarde voor deze maximale presta‐tie is wel dat de kandidaat weet dat hij of zij geëvalueerd wordt en dat de kandi‐daat dusdanig de tijd krijgt dat hij of zij in staat is om een maximale prestatie televeren. Een test met een open responsvorm kan weleens een realistischer beeldgeven van de daadwerkelijke werkprestatie dan een SJT met gesloten respons‐vorm. Omdat een webcamtest een open responsvorm heeft, zou deze test weleens eerder typische dan maximale prestatie kunnen meten. Het onderzoek vanMotowidlo en collega’s (2008) ondersteunt deze veronderstelling. Uit dit onder‐zoek bleek dat een gedragtest (rollenspel) de werkprestatie van winkelmede‐werkers voorspelt (r = .26), maar een situationele kennistoets niet. Het onderzoekvan Klehe en Latham (2007) ondersteunt deze veronderstelling gedeeltelijk. Zijonderzochten of een situationeel interview en een criteriumgericht interview(waarin specifiek gevraagd werd naar het gedrag in persoonlijk ervaren situaties)een andere mate van voorspellende waarde hadden voor maximale en typischeprestatie. Zij lieten medestudenten anoniem maximale en typische prestatiebeschrijven van de deelnemers. Wat bleek was dat het beschrijven van daadwerke‐lijk vertoond gedrag met name typische prestatie voorspelt en dat een situatio‐neel interview zowel maximale als typische prestatie voorspelt.Nadelen van een open responsvorm hebben met name betrekking op de beoor‐delaarseffecten die kunnen optreden (Kunda, 1999; Lievens, 1998). Zo zou eenbeoordelaar bewust of onbewust beïnvloed kunnen worden door vooroordelenover etnische minderheden. Of als een beoordelaar zichzelf herkent in de kandi‐daat (similar-to-me-effect) of de beoordelaar de kandidaat in eerste instantie goedvindt reageren of hem of haar aantrekkelijk vindt (halo-effect) kan dit de beoor‐deling van het gehele assessment (onterecht) positief beïnvloeden ongeacht deverdere prestatie van de kandidaat.



Tabe

l 1Ee

n ov

erzi

cht v

an v

orm

en v

an S

JT’s,

(typ

e afn

amev

orm

, res

pons

vorm

en in

stru

ctie

) en

de m

ogel

ijke v

oor-

en n

adel

en zo

als

besp

roke

n in

dit

art

ikel

$IQDP

H�YRUP

5HV�

SRQV�

YRUP

,QVWUXFWLHV

9RR

UGHOHQ

1DGHOHQ

*HVFKUH�

YHQ

*HVOR�

WHQ

'H�PHHVW�HIIHFWLHYH

UHDFWLH�NLH]HQ��GH

UHDFWLHV�UDQJRUGHQHQ

'H�EHRRUGHOLQJ�ZRUGW�QLHW�EHwQYORHG�GRRU�GH�PHQLQJ�YDQ�DVVHVVRUHQ

HQ�EHRRUGHODDUVHIIHFWHQ�]RDOV�KHW�KDOR�HIIHFW�P�Q

0HHU�LQGUXNVYDOLGH�GDQ�FRJQLWLHYH�FDSDFLWHLWHQWHVW�RI�SHUVRRQOLMNKHLGV�

YUDJHQOLMVWHQ�S

&RUUHOHHUW�YHHODO�PHW�FRJQLWLHYH�FDSDFL�

WHLWHQ�E��

.DQ�HHQ�JURRW�EHURHS�GRHQ�RS�OHHVYDDU�

GLJKHLG�K�G

'H�UHDFWLH�NLH]HQ�GLH

KHW�EHVWH�KHW�HLJHQ

JHGUDJ�ZHHUJHHIW



0HHU�LQGUXNVYDOLGH�GDQ�FRJQLWLHYH�FDSDFLWHLWHQWHVW�RI�SHUVRRQOLMNKHLGV�

YUDJHQOLMVWHQ�S

.DQ�HHQ�JURRW�EHURHS�GRHQ�RS�OHHVYDDU�

GLJKHLG�K�G

2SHQ

%HVFKULMYHQ�ZDW�HHQ

HIIHFWLHYH�UHDFWLH�]RX

]LMQ



&RUUHOHHUW�YHHODO�PHW�FRJQLWLHYH�FDSDFL�

WHLWHQ�E��

.DQ�HHQ�JURRW�EHURHS�GRHQ�RS�OHHV��HQ

VFKULMIYDDUGLJKHLG�G

%HVFKULMYHQ�KRH�HHQ

HLJHQ�UHDFWLH�LQ�KHW

YHUOHGHQ�LV�JHZ

HHVW



.DQ�HHQ�JURRW�EHURHS�GRHQ�RS�OHHV��HQ

VFKULMIYDDUGLJKHLG�G

,QWHUYLHZ�

UROOHQVSHO

2SHQ

(HQ�SDVVHQGH�UHDFWLH

JHYHQ

'H�DVVHVVRU�KHHIW�GH�PRJHOLMNKHLG�RP�GLHSHU�LQ�WH�JDDQ�RS�KHW�RQGHU�

ZHUS�HQ�RP�GRRU�WH�YUDJHQ�ELM�WZLMIHO�O

9RRUVSHOW�ZHUNSUHVWDWLH�EHWHU�GDQ�HHQ�VLWXDWLRQHOH�NHQQLVWRHWV�O

.DQ�EHwQYORHG�ZRUGHQ�GRRU�EHRRUGH�

ODDUVHIIHFWHQ�P�Q

%LM�JHHQ�VWDQGDDUGLVDWLH�YDQ�LWHP

V�HQ

EHRRUGHOLQJ��NDQ�GH��RQ�NXQGH�YDQ�GH

DVVHVVRU�GH�SUHVWDWLH�EHwQYORHGHQ�N�Q

%HVFKULMYHQ�KRH�HHQ

HLJHQ�UHDFWLH�LQ�KHW

YHUOHGHQ�LV�JHZ

HHVW

'H�DVVHVVRU�KHHIW�GH�PRJHOLMNKHLG�RP�GLHSHU�LQ�WH�JDDQ�RS�KHW�RQGHU�

ZHUS�HQ�RP�GRRU�WH�YUDJHQ�ELM�WZLMIHO�O

9RRUVSHOW�ZHUNSUHVWDWLH�EHWHU�GDQ�HHQ�VLWXDWLRQHOH�NHQQLVWRHWV�M

.DQ�EHwQYORHG�ZRUGHQ�GRRU�EHRRUGH�

ODDUVHIIHFWHQ�P

�Q

%LM�JHHQ�VWDQGDDUGLVDWLH�YDQ�LWHP

V�HQ

EHRRUGHOLQJ��NDQ�GH��RQ�NXQGH�YDQ�GH

DVVHVVRU�GH�SUHVWDWLH�EHwQYORHGHQ�N�Q



Tabe

l 1(V

ervo

lg)

$IQDP

H�YRUP

5HV�

SRQV�

YRUP

,QVWUXFWLHV

9RR

UGHOHQ

1DGHOHQ

9LGHR

*HVOR�

WHQ

'H�PHHVW�HIIHFWLHYH

UHDFWLH�NLH]HQ��GH

UHDFWLHV�UDQJRUGHQHQ

.DQ�DGYHUVH�LP

SDFW�WHJHQJDDQ�D�E

7RHJHYRHJGH�ZDDUGH�WHQ�RS]LFKWH�YDQ�DQGHUH�LQVWUXPHQWHQ�ELM�KHW

YRRUVSHOOHQ�YDQ�ZHUNSUHVWDWLH�F

:RUGW�DOV�PHHU�LQGUXNVYDOLGH�EHVFKRXZ

G�GDQ�VFKULIWHOLMNH�WHVWV�E�J�K

9RRUVSHOW�HHUGHU�LQWHUSHUVRRQOLMNH�YDDUGLJKHGHQ�GDQ�VFKULIWHOLMNH�6-7·V�

KHHIW�LQFUHP

HQHWHOH�YDOLGLWHLW�W�R�Y��DQGHUH�LQVWUXPHQWHQ�ELM�KHW�YRRU�

VSHOOHQ�YDQ�LQWHUSHUVRRQOLMNH�FULWHULD�F

3URGXFWLHNRVWHQ�]LMQ�KRRJ�D�G

*HHQ�JRHGH�ZHUNHOLMNKHLGVZHHUJDYH�YDQ

LQWHUDFWLHV�RS�GH�ZHUNSOHN�N

'H�UHDFWLH�NLH]HQ�GLH

KHW�EHVWH�KHW�HLJHQ

JHGUDJ�ZHHUJHHIW

.DQ�DGYHUVH�LP






9RRUVSHOW�HHUGHU�LQWHUSHUVRRQOLMNH�YDDUGLJKHGHQ�GDQ�VFKULIWHOLMNH�6-7·V�

KHHIW�LQFUHP

HQHWHOH�YDOLGLWHLW�W�R�Y��DQGHUH�LQVWUXPHQWHQ�ELM�KHW�YRRU�

VSHOOHQ�YDQ�LQWHUSHUVRRQOLMNH�FULWHULD�F


*HHQ�JRHGH�ZHUNHOLMNKHLGVZHHUJDYH�YDQ

LQWHUDFWLHV�RS�GH�ZHUNSOHN�N

2SHQ

(HQ�SDVVHQGH�UHDFWLH

JHYHQ

.DQ�DGYHUVH�LP




0RJHOLMNKHLG�RP�GRRU�PHHUGHUH�RQDIKDQNHOLMNH�EHRRUGHODDUV�WH�ODWHQ

EHRRUGHOHQ�G



9RRUVSHOW�ZHUNSUHVWDWLH�EHWHU�GDQ�HHQ�VLWXDWLRQHOH�NHQQLVWRHWV�M

*HHQ�VWDQGDDUGLVDWLH�YDQ�EHRRUGHOLQJ�

RQGDQNV�GH�HYHQWXHOH�EHRRUGHODDULQ�

VWUXFWLHV�NXQQHQ�RRUGHOHQ�JHNOHXUG�ZRU�

GHQ�GRRU�EHRRUGHODDUVHIIHFWHQ�P�Q


1RRW��D�:

HHNOH\��-RQHV��E�&KDQ��6FKPLWW��F �/LHYHQV��6DFNHWW��G�9DQ�GHU�0DHVHQ��H �&KULVWLDQ��(GZDUGV��%UDGOH\��I �2·5HLOO\��+

XEEDUG��/HVVOHU�

%LHP

HU��7XUQHU��J�&DUWQH\��K�5LFKPDQ�+LUVFK��2OVRQ�%XFKDQDQ��'UDVJRZ��M �0RWRZLGOR��%URZQOHH��6FKPLW��N�/LHYHQV��7KRUQWRQ��

O �.OHKH��/DWKDP��P�.XQGD��Q�/LHYHQV��R �0F'DQLHO��+DUWPDQ��:

KHW]HO��/HH�*UXEE�,,,��S�+DXVNQHFKW��'D\��7KRPDV��



1.3 Het huidige onderzoekHet doel van dit onderzoek is om de criteriumgerelateerde validiteit van eenwebcamtest met betrekking tot twee criteria na te gaan, namelijk het gemiddeldetentamencijfer en het gemiddelde cijfer op professioneel gedrag van studententijdens werkgroepen. Onder professioneel gedrag wordt verstaan een actieve deel‐name aan de werkgroepbijeenkomsten, vaardigheden als groepsvoorzitter, luis‐tervaardigheden en betrokkenheid. Studenten worden door docenten in ver‐plichte werkgroepen op deze vaardigheden beoordeeld. In tegenstelling tot eententamen waarin maximale prestatie wordt gemeten, is professioneel gedrag eenmeting van typische prestatie. In het huidige onderzoek wordt gebruikgemaaktvan een webcamtest die leiderschapsvaardigheden in verschillende situaties meetwaarbij het onder andere gaat om het motiveren en stimuleren van anderen, pro‐fessioneel gedrag dat een student ook moet tonen in de werkgroepen. Daarnaastwordt de incrementele validiteit van een webcamtest ten opzichte van een cogni‐tieve capaciteitentest, een persoonlijkheidsvragenlijst en een video-SJT onder‐zocht. Bij deze video-SJT krijgen de studenten de opdracht om de reacties tebeoordelen op effectiviteit. Tot slot wordt de indruksvaliditeit van een webcam‐test onderzocht.

1.4 HypothesenZowel de video-SJT als de webcamtest trachten leiderschapsvaardigheden in ver‐schillende werkgerelateerde situaties te meten. Om deze reden wordt verwachtdat scores op beide video-assessments positief gerelateerd zijn aan het criteriumprofessioneel gedrag. Aangezien een SJT waarbij de kandidaat reacties beoordeeltop effectiviteit maximale pretatie meet (McDaniel et al., 2007), wordt verwachtdat scores op de video-SJT in het huidige onderzoek tevens gerelateerd zijn aantentamencijfers. Vanwege de open responsvorm is de verwachting dat de web‐camtest voorspellende waarde zal hebben voor typische prestatie, maar niet voormaximale prestatie.

Hypothese 1a: De video-SJT heeft zowel criteriumgerelateerde validiteit metbetrekking tot het criterium professioneel gedrag als voor het criterium gemid‐deld tentamencijfer.

Hypothese 1b: De webcamtest heeft criteriumgerelateerde validiteit met betrek‐king tot het criterium professioneel gedrag, maar niet met betrekking tot het cri‐terium tentamencijfer.

De meerwaarde van het gebruik van video-assessment bleek op verschillendemanieren uit het eerder omschreven onderzoek. Zo hebben deze onderzoekenaangetoond dat videotests incrementele validiteit hebben ten opzichte van cogni‐tieve tests (Lievens & Sackett, 2006; Salgado & Lado, 2000) en een kennistest(Oostrom et al., 2010). Dit was vooral het geval wanneer het criterium een maatis voor sociaal gedrag (Lievens & Sackett, 2006). In lijn met deze bevindingen valthet volgende te verwachten.



Hypothese 2a: De video-SJT heeft incrementele validiteit ten opzichte van de cog‐nitieve capaciteitentest en de persoonlijkheidsvragenlijst met betrekking tot hetcriterium professioneel gedrag.

Binnen de categorie video-assessment is de mogelijk incrementele validiteit vande webcamtest ten opzichte van de video-SJT interessant. Omdat er een duidelijkverschil bestaat tussen de video-SJT, waarin de kandidaat moet weten hoe hij zichmoet gedragen, en de webcamtest, waarin de kandidaat ook daadwerkelijk hetgedrag moet vertonen, is de verwachting dat de webcamtest variantie in profes‐sioneel gedrag kan verklaren boven op de variantie die verklaard wordt door eenvideo-SJT.

Hypothese 2b: De webcamtest heeft incrementele validiteit ten opzichte van devideo-SJT, de cognitieve capaciteitentest en de persoonlijkheidsvragenlijst metbetrekking tot het criterium professioneel gedrag.

Het is interessant voor potentiële gebruikers van de webcamtest om te weten ofde test wordt beschouwd als een indruksvalide test. Uit enkele eerdere studiesover video-assessment kwam naar voren dat video-assessment als indruksvalidewordt beschouwd (bijv. Cartney, 2005; Chan & Schmitt, 1997; O’Reilly et al.,1994). Omdat de video-SJT en de webcamtest beide situationele videotests zijn,kan de volgende hypothese worden opgesteld.

Hypothese 3: De webcamtest wordt door de kandidaat als een meer indruksvalidetest beschouwd dan de cognitieve capaciteitentest en de persoonlijkheidsvragen‐lijst en als een tenminste even indruksvalide test als de video-SJT, voor het metenvan leidinggevende kwaliteiten.

2 Methode

2.1 Participanten en procedureIn totaal namen 106 psychologiestudenten (37 mannen en 69 vrouwen) deel aanhet onderzoek. Zij waren gemiddeld 21.94 jaar (SD = 2.85). Vijftig studentenzaten in het eerste jaar, 20 studenten in het tweede jaar en 36 studenten in hetvierde jaar van de studie psychologie in de periode van testafname. Er deden geenstudenten uit het derde jaar mee. Als criteria zijn alle beschikbare studiecijfers(tentamencijfers en cijfers op professioneel gedrag) vanaf het begin van de studietot aan twee maanden na het afnamemoment van de gebruikte predictoren mee‐genomen. Omdat enkele studenten zijn ingestroomd van een andere studie ofuniversiteit zijn niet van alle studenten de resultaten uit het eerste jaar beschik‐baar. Van de onderzoeksgroep was 93% geboren in Nederland en de rest elders.De volgorde van de afname van de tests was at random, maar werd wel geregis‐treerd. De studenten kregen allen dezelfde instructies over het verloop van deafname. De indruksvaliditeit werd na afloop van iedere test gemeten.



2.2 Instrumenten

• Predictoren

• WebcamtestVoor dit onderzoek is een webcamtest voor leidinggevende vaardigheden gebruikt(WCT-L). Bij de WCT-L zit de kandidaat voor het computerscherm. De kandidaatkrijgt op het scherm eerst een uitgebreide uitleg van een acteur. De instructieszijn voor alle kandidaten gelijk en benadrukken het belang van het geven van eenspontane reactie alsof de persoon uit het filmpje echt tegenover de kandidaat zit.Daarna krijgt de kandidaat de gelegenheid om een situatie te oefenen voordat detest begint. Per situatie krijgt de kandidaat eerst een gesproken inleiding tehoren. Vervolgens verschijnt er een acteur op het scherm die rechtstreeks tegende kandidaat spreekt. Daarna is het de bedoeling dat de kandidaat een reactiegeeft in de webcam. De kandidaat heeft maximaal één minuut de tijd om een reac‐tie in te spreken, maar kan de opname ook afbreken indien de reactie binnen deminuut is gegeven. De reacties worden opgenomen en achteraf beoordeeld doorvier getrainde beoordelaars (een mannelijke en een vrouwelijke psychologie‐student en twee mannelijke sociologiestudenten, leeftijd: M = 26.00 jaar, SD =3.83). Deze beoordelaars kregen een training bestaande uit twee dagdelen waarinde nadruk werd gelegd op de inhoud van de competenties, het gebruik van debeoordelingsindicatoren en het eventueel verwoorden van de prestatie van dekandidaten op de situaties. Ook werden beoordelaarseffecten besproken en demogelijkheden om deze te reduceren. Zo is er bij de WCT-L de mogelijkheid omverticaal te beoordelen, dat wil zeggen dat beoordelaars per situatie kunnenbeoordelen in plaats van per kandidaat wat bijvoorbeeld het halo-effect kantegengaan. Tussen de bijeenkomsten door kregen de beoordelaars de gelegenheidom het beoordelen te oefenen door de opnames van vier kandidaten te beoorde‐len. De beoordelaarsovereenstemming werd bekeken en de situaties waarbij erweinig consensus was tussen de beoordelingen werden uitvoerig besproken. Nadeze training kregen de beoordelaars iedere week 10 kandidaten toegewezen diezij verticaal moesten beoordelen op een 5-puntsschaal van 1 (zeer ineffectief) tot5 (zeer effectief). Voor het bepalen van de interbeoordelaarsovereenstemming iseen intra-klasse correlatiecoëfficiënt (ICC) berekend. Iedere kandidaat werdbeoordeeld door drie beoordelaars die willekeurig gekozen waren uit de vierbeoordelaars. De beoordelaarsovereenstemming bleek voldoende hoog (ICC= .82).Voor dit onderzoek werd gebruikgemaakt van een webcamtest die speciaal wasontwikkeld voor het meten van leidinggevende kwaliteiten. De situaties zijngeschreven aan de hand van 10 criteriumgerichte interviews met ervaren leiding‐gevenden, ook de beoordelingsinstructies zijn gebaseerd op deze interviews. Detest is afgenomen bij zes ervaren leidinggevenden om de beoordelingsinstructiesuit te breiden en te verfijnen. Op advies van vier adviseurs (drie psychologen/lei‐dinggevenden (m) en een leidinggevende (v), leeftijd: M = 51.00 jaar, SD = 10.46)waren 10 situaties geselecteerd uit een set van 20 situaties. De adviseurs beoor‐deelden iedere situatie op drie criteria: (1) persoonsgericht leiderschap, (2) taak‐



gericht leiderschap en (3) praktische relevantie. Met praktische relevantie werdaangeduid in welke mate een situatie beeldend is voor de realiteit. De uiteinde‐lijke selectie bevat situaties die hoog scoorden op elk van deze criteria. De alfaco‐efficiënt voor deze 10 situaties is .83.De WCT-L beoogt de competenties persoonsgericht en taakgericht leidinggeven temeten. Bij iedere situatie wordt de reactie beoordeeld op deze twee competenties.Voor iedere situatie worden dus twee scores gegeven op een 5-puntsschaal. Dekeuze voor deze twee competenties is gebaseerd op de meta-analyse van Judge,Piccolo en Ilies (2004) waarin zij met behulp van statistische correcties 163 corre‐laties met persoonsgericht leidinggeven (Consideration) en 159 correlaties mettaakgericht leidinggeven (Initiating Structure) bekeken. Hieruit bleek dat dezecompetenties beide hoog correleren met leiderschapsuitkomsten zoals de motiva‐tie van de medewerker en de effectiviteit van de leider. Daarnaast bleken beidecompetenties duidelijk losse constructen te zijn. Judge en zijn collega’s benadruk‐ten de indrukwekkende consistentie van deze resultaten bij verschillende criteriaen metingen, in verschillende bronnen en over een lange tijdsspanne.In de WCT-L correleerden persoonsgericht en taakgericht leidinggeven hoog metelkaar (r = .80, p < .01). Naar aanleiding van een principale componentenanalysemet varimax rotatie is ervoor gekozen om de situaties in de WCT-L niet op tesplitsen in twee competenties. Zelfs bij het forceren van twee componenten blij‐ven de resultaten erop duiden dat er geen sprake is van twee competenties.Ondanks dat de eerste vijf componenten een eigenwaarde hebben van meer danéén (respectievelijk EW1 = 6.73; EW2 = 1.91; EW3 = 1.68; EW4 = 1.44; EW5 =1.09), is zichtbaar in een scree plot dat de webcamtest slechts één competentielijkt te meten. Deze competentie heeft een verklaarde variantie van 33.65%. In dediscussie wordt dieper ingegaan op dit gegeven. Voor het onderzoek zijn de scoresvan een kandidaat op beide competenties per situatie samengenomen als éénscore. Als totaalscore is een gemiddelde score over alle situaties op de WCT-Lberekend.

• Video-SJTDe video-SJT betreft de SQ-leidinggeven (Situational Questionnaire-leidinggeven,Van der Maesen & Koch, 2007). De SQ-leidinggeven meet inzicht in de vaardig‐heden van een leidinggevende. Net als de WCT-L is de SQ-leidinggeven gebaseerdop uitdagende praktijkgerichte situaties die vervaardigd zijn aan de hand van cri‐teriumgerichte interviews met ervaren leidinggevenden. Iedere kandidaat krijgtvoorafgaand aan de test dezelfde gesproken en geïllustreerde instructie. Er wordtduidelijk aangegeven dat de kandidaat de situaties moet beoordelen op effectivi‐teit. Daarna krijgen de kandidaten de gelegenheid om te oefenen alvorens de testbegint. Zowel de situaties als de reacties worden in videovorm aangeboden. Detest bestaat uit 17 situaties (Į = .83). Bij elke situatie worden vier reacties gegevendie onafhankelijk van elkaar beoordeeld moeten worden op effectiviteit op basisvan een 5-puntsschaal van 1 (niet effectief) tot 5 (effectief). De beoordeling van dekandidaat wordt vergeleken met de gemiddelde beoordeling van een expertgroep(15 ervaren managers die tezamen een interbeoordelaarsbetrouwbaarheid had‐den van Į = .93). Hoe hoger de overeenstemming tussen de kandidaat en het



gemiddelde van de expertgroep, hoe hoger de score van de kandidaat op de test.De score wordt weergegeven op een 100-puntsschaal. De dimensies die aan bodkomen zijn aanspreken op resultaten, aanspreken op sociaal gedrag, motiveren en coa‐chen. Zoals Judge en collega’s (2004) omschrijven is taakgericht leidinggevengericht op het behalen van resultaten en het aanbrengen van structuur en per‐soonsgericht leidinggeven gericht op het welzijn van de medewerker en het sti‐muleren en complimenteren van hem of haar. De eerste twee dimensies zoudendaarom theoretisch aansluiten op taakgericht leidinggeven en de laatste twee oppersoonsgericht leidinggeven. Omdat bij de WCT-L gekozen is voor het gebruikvan de totaalscore op de test, is voor dit onderzoek ook alleen de totaalscore op deSQ-leidinggeven meegenomen.

• Cognitieve capaciteitentestOm de cognitieve capaciteiten van de kandidaten te meten, is gebruikgemaaktvan de Captain test. De Captain test is een cognitieve capaciteitentest ontwikkelddoor GITP en bestemd voor mensen met een hbo-opleiding of hoger (Van Leeu‐wen, 2006). De test beoogt de cognitieve capaciteiten van de kandidaat te meten.De test bestaat uit drie delen: (1) Figuren met een tijdslimiet van 15 minuten(30 items, Į = .83; gebaseerd op een normgroep tot 2006, N = 248; niveau: 3%lbo, 28% mbo, 37% hbo, 32% universitair ), (2) Verbale analogieën met een tijdsli‐miet van 15 minuten (39 items, Į = .90; gebaseerd op een onderzoeksgroep uit2002, N = 1347; niveau: 100% wo) en (3) Cijferreeksen met een tijdslimiet van18 minuten (25 items, Į = .59; gebaseerd op een onderzoeksgroep uit 2002, N =1167; niveau: 100% wo). Voor ieder correct item krijgt de kandidaat één punt. Deonderlinge correlaties tussen de testonderdelen waren r = .28, p < .01 (Cijferreek‐sen en Verbale analogieën), r = .24, p < .01 (Cijferreeksen en Figuurreeksen) enr = .41, p < .01 ( Figuurreeksen en Verbale analogieën). Vanwege de lage betrouw‐baarheid en de lagere intercorrelaties met de andere twee testonderdelen, is Cij‐ferreeksen niet meegenomen in de totaalscore.

• PersoonlijkheidsvragenlijstDe GITP Big Five-persoonlijkheidsvragenlijst G5R (Koch, 2003, zoals beschrevenin Hoekstra, 2006) is gebruikt om de persoonlijkheidstrekken van de kandidatenin kaart te brengen. De vragenlijst beoogt vijf factoren te meten: (1) extraversie(27 items, Į = .92), (2) vriendelijkheid (28 items, Į = .83), (3) consciëntieusheid(40 items, Į = .92), (4) stabiliteit (23 items, Į = .88), en (5) openheid voor nieuweervaringen (47 items, Į = .90). De interne consistentie is gebaseerd op een onder‐zoeksgroep uit 2002 (N = 1071; selectiecontext 60%; man 69%). Daarnaast wordteen score gegeven op zelfpresentatie (35 items, Į = .93). Zelfpresentatie staatvoor ‘de gretigheid en de ambitie waarmee men zichzelf wil presenteren, zichzelfals krachtig, ambitieus, energiek en zelfverzekerd neerzetten’ (Koch, 2003, zoalsbeschreven in Hoekstra, 2006, p. 3). Zelfpresentatie correleerde daarnaast hoogmet een aparte schaal die ingezet was voor het meten van sociale wenselijkheid.Resultaten op deze schaal dienen dan ook als aanvullende informatie bij de scoresop de Big Five. Iedere factor wordt beoordeeld op een 5-puntsschaal. Soort‐genootvaliditeit is onder andere aangetoond met de NEO (Hoekstra, 2006). De



correlaties tussen de corresponderende schalen variëren van r = .49 - .70 (p < .01,N = 260).

• IndruksvaliditeitIndruksvaliditeit geeft weer in hoeverre een kandidaat de test relevant vindt voorhet bepalen van het niveau van werkrelevante kennis, vaardigheden en kwalitei‐ten (Cook, 2004). De indruksvaliditeit is gemeten door middel van een vertaaldeen verkorte schaal van Smither, Reilly, Millsap en Stoffey (1993). De schaalbestaat uit zes items en is afgenomen na iedere test (WCT-L, SQ-leidinggeven,Captain en G5R). De alfacoëfficiënt wisselde per afnamemoment (Į = .78 - .85).Voorbeelditems zijn: ‘Deze test is voor een leidinggevende functie relevant’ en‘Deze test voorspelt prestaties in een leidinggevende functie goed’. Er is gebruik‐gemaakt van een 5-puntsschaal van 1 (helemaal niet akkoord) tot 5 (helemaalakkoord).

• Criteria

• TentamencijferHet gemiddelde tentamencijfer is berekend uit de cijfers (op een schaal van 1 tot10) van tenminste vijf tentamens. De eerstejaars studenten hadden op hetmoment van meting vijf blokken afgerond. Voor de tweedejaars studenten konhet gemiddelde van maximaal 13 tentamencijfers worden genomen en voor devierdejaars studenten kon het gemiddelde van maximaal 22 tentamencijfers wor‐den genomen.

• Professioneel gedragDe cijfers voor professioneel gedrag worden door verschillende universitairedocenten gegeven aan de hand van een gestandaardiseerd scoreformulier. Iedereblokperiode begeleidt de docent een andere werkgroep. Aan het einde van iederblok beoordeelt de docent alle studenten van zijn of haar werkgroep op professio‐neel gedrag. Dit gebeurt aan de hand van een gestandaardiseerd scoreformuliermet 19 stellingen (bijlage 1). Dit scoreformulier bevat onderwerpen als ‘vaardig‐heden als gespreksleider/voorzitter’, ‘vaardigheden als notulist’ en ‘vaardighedenals groepslid’. De stellingen worden beoordeeld op een 5-puntsschaal 1 (geheeloneens) tot 5 (geheel eens). Uit deze gegevens wordt automatisch een schoolcijferberekend. Ook wordt de score per vraag berekend, deze wordt weergegeven opeen 5-puntschaal. Uit een principale componentenanalyse met varimax rotatiebleek dat 18 van de 19 vragen op drie factoren laden. De verklaarde variantie is75.81%. Slechts één stelling, die betrekking heeft op het al dan niet op tijd komenvan de student, is buiten beschouwing gelaten. De factoren zijn literatuurbegrip(verklaarde variantie = 60.1%), voorzitterschap (verklaarde variantie = 9.6%) enbetrokkenheid bij de groep (verklaarde variantie = 6.1%). Literatuurbegrip is hetkunnen verwoorden, uitleggen en ter discussie stellen van de literatuur in dewerkgroep. Deze schaal bestaat uit vijf items (Į = .94) en bestaat uit items als ‘Destudent creëerde diepgang in de discussie door bijvoorbeeld kritische vragen testellen’. De factor voorzitterschap (Į = .92) bestaat ook uit vijf items. Een voor‐



beeld van een item is: ‘De student stimuleerde als gespreksleider alle groepsledenom bij te dragen’. Tot slot bestaat de schaal betrokkenheid uit 8 items (Į = .93).Een voorbeeld van een item dat bij deze factor hoort is: ‘De student had een geïn‐teresseerde, betrokken houding ten opzichte van de groep’. Het gemiddelde vandeze factoren (op een schaal van 1-5) is ook meegenomen in de analyses.

3 Resultaten

3.1 Beschrijvende resultatenUit de correlatiematrix (zie tabel 2) komen enkele significante correlaties naarvoren tussen geslacht en scores op de G5R (persoonlijkheidsvragenlijst) en op deSQ-leidinggeven (video-SJT met gesloten responsvorm). Vrouwen scoren beter opde SQ-leidinggeven (t = -2.12, p < .05), maar zijn minder extravert (t = 2.34,p < .01), minder emotioneel stabiel (t = 2.97, p < .01) en scoren lager op de factorzelfpresentatie (t = 3.56, p < .01) en openheid voor nieuwe ervaringen (t = 2.36,p < .05).Er bleek een verschil te zijn tussen de kandidaten die eerst de SQ-leidinggevenhadden gemaakt en de kandidaten die eerst de WCT-L (webcamtest) haddengemaakt. Negenenveertig kandidaten hadden eerst de WCT-L en 56 kandidatenhadden eerst de SQ-leidinggeven gemaakt. De kandidaten die eerst de SQ-leiding‐geven hadden gemaakt scoren significant hoger op de WCT-L (t = 2.35, p < .05).Andersom scoren de kandidaten die eerst de WCT-L hadden gemaakt niet signifi‐cant beter op de SQ-leidinggeven (t = -0.27, ns). De score op de WCT-L en de scoreop de SQ-leidinggeven zijn ook significant met elkaar gecorreleerd (r = .22,p < .05). Scores op de WCT-L bleken verder gecorreleerd te zijn met extraversie(r = .24, p < .05), emotionele stabiliteit (r = .20, p < .05) en zelfpresentatie (r = .23,p < .05).Werkervaring noch leidinggevende ervaring bleek invloed te hebben op WCT-Lscores (respectievelijk r = .15, ns; r = .16, ns). Leeftijd bleek wel significant gerela‐teerd te zijn aan de WCT-L (r = .32, p < .01), net als studiejaar (r = .47, p < .01).Werkervaring is significant gecorreleerd met de factor literatuurbegrip van hetcriterium professioneel gedrag. Leeftijd en studiejaar bleken, tot slot, gecorreleerdmet de factor betrokkenheid van het criterium professioneel gedrag (resp. r = .22,p < .05; r = .24, p < .05). In de verdere analyses is gecontroleerd voor geslacht,leeftijd, opleidingsniveau, werkervaring, leidinggevende ervaring en het volgorde-effect (dat wil zeggen of de kandidaat eerst de WCT-L of eerst de SQ-leidinggevenhad gemaakt).



Tabe

l 2

Inte

rcor

rela

ties

M

SD1

23

45

67

89

1011

1213

1415

1617

1819

2021

2223

1G

esla

cht

1.65

0.48

-

2L

eeft

ijd21

.94

2.85

.00

-

3S

tudi

ejaa

r2.

221.

34.0

5.6

7**

-

4O

plei

ding

sniv

eau

1.36

0.50

.01

.63*

*.9

2**

-

5W

erke

rvar

ing

2.26

1.43

-.03

.31*

*.2

2*.1

9-

6L

eidi

ngge

vend

e er

vari

ng1.

100.

72.0

8.1

2.1

7.1

9.0

8-

7V

olgo

rde-

effe

ct1.

450.

52-.

01-.

05.1

2.1

4-.1

0.1

0-

8Fi

guur

reek

sen

100.

0010

.00

-.10

.05

.07

.06

-.08

.05

-.08

(.83

)

9A

nalo

gieë

n10

0.00

10.0

0-.1

0-.

05.0

2.0

3-.

03.0

4-.

01.4

1**

(.90)

10C

ogni

tiev

e ca

paci

teit

en10

0.00

10.0

0-.1

2.0

0.0

5.0

5-.

07.0

6-.

05.8

4**

.84*

*-

11S

Q-l

eidi

ngge

ven

51.2

09.

44.2

5*.0

6.1

6.0

9.0

0.1

0.0

6.1

3.1

6.1

7(.

83)

12W

CT

-L46

.34

10.0

7.1

3.3

2**

.47*

*.4

6**

.09

.16

.23*

.09

.11

.12

.22*

(.83

)

13E

xtra

vers

ie3.

480.

55-.

22*

.08

.23*

.21*

.13

.16

-.01

.07

.01

.05

-.08

.24*

(.92)

14V

rien

delij

khei

d3.

690.

31-.

01-.

02-.

06-.

07.2

2*.0

2-.

09.0

4-.

06-.

01-.1

2-.

06.2

4*(.

83)

15C

onsc

iënt

ieus

heid

3.59

0.39

-.01

.20*

.33*

*.3

1**

.14

.13

.13

-.16

-.23

*-.

23*

.04

.17

.09

.19*

(.92)

16S

tabi

litei

t3.

220.

47-.

28**

.22*

.19

.18

.11

.14

-.11

.20*

.14

.20*

-.02

.20*

.30*

*.1

6.0

7(.

88)

17O

penh

eid

3.75

0.30

-.23

*.1

5.0

6.0

6.1

1.0

6-.

04.1

4.0

1.0

9.0

0.1

2.5

2**

.43*

*.1

6.3

5**

(.90)

18Z

elfp

rese

ntat

ie3.

610.

44-.

33**

.11

.17

.15

.00

.05

.05

-.04

-.08

-.07

-.12

.23*

.67*

*.1

4.3

8**

.41*

*.5

9**

(.93)

19T

enta

men

cijfe

r6.

340.

81.0

9.0

7.0

9.1

2-.1

1.0

3.0

8.1

9*.1

5.2

0*.2

8**

.11

-.17

-.26

**.0

7-.1

8-.1

9*-.1

4-�

20P

rofe

ssio

neel

ged

rag

7.53

0.74

.04

.13

.13

.10

.11

.13

.05

.18

.09

.16

.27*

*.3

6**

.12

.01

.24*

-.01

.04

.05

.56*

*(.

88)

21V

oorz

itte

rsch

ap3.

840.

41.0

3.0

5.0

4-.

04.0

7.1

5.0

2.1

1.0

7.1

0.1

7.3

3**

.13

.05

.27*

*.0

1.0

2.0

9.4

2**

.82*

*(.9

2)

22B

etro

kken

heid

3.77

0.45

.13

.22*

.24*

.18

.17

.11

.01

.15

.01

.10

.25*

.36*

*.1

2.0

0.2

5*-.

06-.

02.0

0.5

2**

.93*

*.7

7**

(.93)

23L

iter

atuu

rbeg

rip

3.62

0.47

-.07

.16

.21*

.23*

.01

.13

.08

.29*

*.2

3*.3

1**

.26*

*.4

4**

.20*

-.03

.16

.11

.13

.13

.57*

*.9

0**

.71*

*.8

2**

(.94)

Noo

t: *

p <

.05,

** p

< .0

1 (t

wee

zijd

ig g

etoe

tst)

. N =

106

; M =

gem

idde

lde;

SD

= s

tand

aard

devi

atie

; Ges

lach

t (1

= m

an, 2

= v

rouw

); Le

efti

jd (

min

= 1

9, m

ax =

35)

; Stu

diej

aar

(jaa

r 1

t/m

4)

; Wer

kerv

arin

g (s

chaa

l 1-5

); Le

idin

ggev

ende

erv

arin

g (s

chaa

l 1-5

); V

olgo

rde-

effe

ct (

= e

erst

de

WC

T-L

gem

aakt

, 2 =

eer

st d

e SQ

-lei

ding

geve

n ge

maa

kt);

Figu

urre

ekse

n (m

in =

75,

max

=

118

); A

nalo

gieë

n (m

in =

79,

max

= 1

24);

Cog

niti

eve

capa

cite

iten

(m

in =

78, m

ax =

120

); SQ

-lei

ding

geve

n (s

itua

tion

ele

beoo

rdel

ings

test

, min

=1,

max

= 1

00);

WC

T-L

= w

ebca

mte

st

leid

ingg

even

(m

in =

1, m

ax =

100

); Ex

trav

ersi

e (5

-pun

tssc

haal

); V

rien

delij

khei

d (5

-pun

tssc

haal

); C

onsc

iënt

ieus

heid

(m

in =

5-p

unts

scha

al);

Emot

ione

le s

tabi

litei

t (5

-pun

tssc

haal

); O

penh

eid

voor

nie

uwe

erva

ring

en (

5-pu

ntss

chaa

l); Z

elfp

rese

ntat

ie (

5-pu

ntss

chaa

l); T

enta

men

cijfe

r (m

in =

1, m

ax =

10)

; Pro

fess

ione

el g

edra

g (m

in =

1, m

ax =

10)

; Lit

erat

uurb

egri

p (5

-pun

stsc

haal

); V

oorz

itte

rsch

ap (

5-pu

nsts

chaa

l); B

etro

kken

heid

(5-

puns

tsch

aal).

Op

de d

iago

naal

zijn

de

betr

ouw

baar

hede

n w

eerg

even

; a : be

trou

wba

arhe

id v

an h

et t

enta

men

is ir

rele

vant

om

dat

iede

r bl

ok a

nder

e on

derw

erpe

n ge

toet

st w

orde

n.



3.2 De criteriumgerelateerde validiteit van de WCT-LDe eerste hypothese stelde dat de SQ-leidinggeven met betrekking tot beide crite‐ria criteriumgerelateerde validiteit zou hebben. Daarnaast werd verondersteld datde WCT-L alleen criteriumgerelateerde validiteit zou hebben met betrekking tothet criterium professioneel gedrag. De WCT-L heeft volgens deze hypothese geencriteriumgerelateerde validiteit met betrekking tot het criterium gemiddeld ten‐tamencijfer. Om deze hypothesen te toetsen werden allereerst correlaties bere‐kend. De WCT-L bleek hoog gecorreleerd met het criterium professioneel gedrag(r = .36, p < .01), maar niet significant met het gemiddelde tentamencijfer (r = .11,ns). Uit een Fisher z-transformatie bleek dat de correlaties significant van elkaarverschillen (z = -2.80, p < .01). Vervolgens is een regressieanalyse uitgevoerd voorzowel de SQ-leidinggeven als de WCT-L met de criteria gemiddeld tentamencijferen professioneel gedrag. Hierbij is gecontroleerd voor geslacht, leeftijd, oplei‐dingsniveau, werkervaring, leidinggevende ervaring en het volgorde-effect. Deresultaten staan in tabel 3. Hier is zichtbaar dat de WCT-L wel met betrekking totprofessioneel gedrag criteriumgerelateerde validiteit heeft (ǻR² = .09; F = 10.50, p< .01; ȕ = .37, p < .01), maar niet met betrekking tot het tentamencijfer. De SQ-leidinggeven daarentegen heeft zowel criteriumgerelateerde validiteit met betrek‐king tot professioneel gedrag (ǻR² = .06; F = 6.63, p < .05; ȕ = .26, p < .05), als metbetrekking tot het tentamencijfer (ǻR² = .07; F = 7.77, p < .01; ȕ = .28, p < .01).Met deze onderzoeksresultaten kan de eerste hypothese bevestigd worden.

3.3 Incrementele validiteit van de WCT-LHypothese 2a voorspelde dat de SQ-leidinggeven incrementele validiteit zou heb‐ben ten opzichte van cognitieve capaciteiten en persoonlijkheid in de voorspellingvan het criterium professioneel gedrag. Hypothese 2b voorspelde dat de WCT-Lincrementele validiteit zou hebben ten opzichte van de Captain (cognitieve capa‐citeitentest), de G5R (persoonlijkheidsvragenlijst) en de SQ-leidinggeven in devoorspelling van het criterium professioneel gedrag. Een stapsgewijze lineaireregressieanalyse werd uitgevoerd, waarbij de SQ-leidinggeven in de op één nalaatste en WCT-L in de laatste stap is toegevoegd. Tabel 4 geeft de resultatenweer.



Tabe

l 3Vo

orsp

elle

nde w

aard

e van

de W

CT-L

en d

e SQ

-leid

ingg

even

voo

r het

gem

idde

lde c

ijfer

op

prof

essi

onee

l ged

rag

en h

etge

mid

deld

e ten

tam

enci

jfer

2QGHU]RFKWH�SUHGLFWRU

3URIHVVLRQHHO�JHGUDJ

7HQWDPHQFLMIHU

3UHGLFWRU

ȕ5ò

ǻ5ò

)�&KDQJH

ȕ5ò

ǻ5ò

)�&KDQJH

:&7�/

*HVODFKW

��

��

��

��

��

��

��

��

6WDS��

/HHIWLMG

��

��

6WXGLHMDDU

��

��

2SOHLGLQJ��YZR�EDFKHORU�

��

��

:HUNHUYDULQJ

��

��

/HLGLQJJHYHQGH�HUYDULQJ

��

��

9ROJRUGH�HIIHFW

��

��

6WDS��

:&7�/

��

��

��

��

��

��

��

��

64�OHLGLQJJHYHQ

*HVODFKW

��

��

��

��

��

��

��

��

6WDS��

/HHIWLMG

��

��

6WXGLHMDDU

��

��


��

��

:HUNHUYDULQJ

��

��


��

��

9ROJRUGH�HIIHFW

��

��

6WDS��

64�OHLGLQJJHYHQ

��

��

��

��

��

��

��

��

1RRW� �S�� S��HHQ]LMGLJ�JHWRHWVW��1� ��%qWD�JHZLFKWHQ�]LMQ�YDQ�GH�ODDWVWH�VWDS�



Tabe

l 4In

crem

ente

le v

alid

itei

t van

de W

CT-L

met

bet

rekk

ing

tot d

e cri

teri

a pr

ofes

sion

eel g

edra

g en

voo

rzit

ters

chap

3URIHVVLRQHHO�JHGUDJ

9RR

U]LWWHUVFKDS

3UHGLFWRU

ȕ5ò

ǻ5ò

)�&KDQJH

ȕ5ò

ǻ5ò

)�&KDQJH

6WDS��

*HVODFKW

��

��

��

��

��

��

��

��

/HHIWLMG

��

��

6WXGLHMDDU

��

��


��

��

:HUNHUYDULQJ

��

��


��

��

9ROJRUGH�HIIHFW

��

��

6WDS��

&RJQLWLHYH�FDSDFLWHLWHQ

��

��

��

��

��

��

��

��

6WDS��

([WUDYHUVLH

��

��

��

��

��

��

��

��

9ULHQGHOLMNKHLG

��

��

&RQVFLsQWLHXVKHLG

��

��

6WDELOLWHLW

��

��

2SHQKHLG

��

��

=HOISUHVHQWDWLH

��

��

6WDS��

64�OHLGLQJJHYHQ

��

��

��

��

��

��

��

��

6WDS��

:&7�/

��

��

��

��

��

��

��

��

1RRW� �S�� S��HHQ]LMGLJ�JHWRHWVW��1� ��%qWD�JHZLFKWHQ�]LMQ�YDQ�GH�ODDWVWH�VWDS�



De toevoeging van de SQ-leidinggeven (ȕ = .30, p < .05) aan het model resulteerdein een totale verklaarde variantie van 26%, met een toename van 9% (F = 9.26,p < .01) boven op de demografische gegevens, de Captain en de G5R. De ver‐klaarde variantie van het volledige model, inclusief de WCT-L (ȕ = .35, p < .01) is34% (ǻR² = .08), wat een sterk effect suggereert (F = 9.81, p < .01). Bij het voor‐spellen van professioneel gedrag onder studenten bleek de SQ-leidinggeven naasteen Captain en de G5R toegevoegde waarde te hebben, maar ook het toevoegenvan de WCT-L had meerwaarde. Zowel hypothese 2a als 2b kan dus bevestigdworden.Het meest interessante aspect van professioneel gedrag in relatie tot de WCT-L isde factor voorzitterschap van het criterium professioneel gedrag. Daarom is metdeze factor als afhankelijke variabele nog een afzonderlijke stapsgewijze lineaireregressieanalyse uitgevoerd. Wanneer alleen de factor voorzitterschap (tabel 4)wordt voorspeld door de verschillende predictoren, bleek dat alleen consciën‐tieusheid van de G5R een significant bèta-gewicht heeft (ȕ = .40, p < .01). De G5Rin het geheel en de SQ-leidinggeven voegden aan de voorspelling van voorzitter‐schap niets toe. De WCT-L verklaarde wel extra variantie in voorzitterschap tenopzichte van de demografische gegevens, de Captain, de G5R en de SQ-leiding‐geven (ǻR² = .09; F = 9.84, p < .01; ȕ = .38, p < .01). Dit model verklaart 28% vande variantie.

3.4 IndruksvaliditeitDe derde hypothese stelde dat de WCT-L door de student als een meer indruks‐valide test beschouwd zou worden in vergelijking met de Captain en de G5R, endat de WCT-L als tenminste even indruksvalide beschouwd zou worden als de SQ-leidinggeven voor het meten van leidinggevende kwaliteiten. Voor een vergelij‐king met de SQ-leidinggeven, de Captain en de G5R is een gepaarde t-toets uitge‐voerd (zie tabel 5). Hieruit bleek dat de kandidaten de WCT-L (M = 3.90, SD =0.58) significant meer indruksvalide vonden voor het meten van leidinggevendekwaliteiten dan de Captain (M = 3.17, SD = 0.75) en de G5R (M = 3.69, SD = 0.57;respectievelijk: t = 7.45, p < .01 en t = 3.09, p < .01), maar minder dan de SQ-lei‐dinggeven (M = 4.02, SD = 0.48; t = 1.90, p < .05). Op basis van deze resultatenwordt de hypothese gedeeltelijk ondersteund.

Tabel 5 Indruksvaliditeit: een vergelijking van de WCT-L met de Captain, deG5R en de SQ-leidinggeven

,QGUXNVYDOLGLWHLW 0 6' 0�YHUVFKLO�PHW�:&7�/ W

:&7�/ ��

&DSWDLQ ��

*�5 ��

64�OHLGLQJJHYHQ ��

1RRW� �S�� S��HHQ]LMGLJ�JHWRHWVW��1� ��,QGUXNVYDOLGLWHLW�ZRUGW�ZHHUJHJHYHQ�RS�HHQVFKDDO�YDQ�� KHOHPDDO�QLHW�DNNRRUG�WRW�� KHOHPDDO�DNNRRUG��0�YHUVFKLO�PHW�:&7�/� �KHW�JHPLG�GHOGH�YDQ�GH�:&7�/�PLQXV�KHW�JHPLGGHOGH�YDQ�GH�GHVEHWUHIIHQGH�WHVW�



4 Discussie en conclusie

4.1 De belangrijkste bevindingenDit onderzoek had als doel om de voorspellende waarde na te gaan van een nieuwselectie-instrument, namelijk de webcamtest. Daarnaast is bestudeerd of dezetest een toegevoegde waarde heeft ten opzichte van gangbare selectie-instrumen‐ten, namelijk een cognitieve capaciteitentest en een persoonlijkheidsvragenlijst.Ook is nagegaan of de webcamtest incrementele validiteit heeft ten opzichte vaneen video-SJT. Hiervoor zijn twee criteria bekeken, het gemiddelde cijfer op pro‐fessioneel gedrag, een meting van typische prestatie, en het gemiddelde cijfer optentamens, een meting van maximale prestatie. Tot slot is onderzocht hoeindruksvalide de studenten de webcamtest vonden ten opzichte van de andereinstrumenten.De video-SJT had criteriumgerelateerde validiteit met betrekking tot zowel pro‐fessionel gedrag als tentamencijfers. De webcamtest bleek alleen met betrekkingtot professioneel gedrag criteriumgerelateerde validiteit te hebben. Dit is eeninteressante bevinding voor de veronderstelling dat de webcamtest voorspellendewaarde zou hebben voor een maat van typische prestatie, maar niet voor eenmaat van maximale prestatie. Daarentegen had de video-SJT naast voorspellendewaarde voor de maat voor typische prestatie ook voorspellende waarde voor demaat voor maximale prestatie. Dit sluit aan bij de onderzoeksresultaten vanKlehe en Latham (2007) die aantoonden dat een situationeel interview (in verge‐lijking met de video-SJT) zowel typische als maximale prestatie voorspelde en dathet gedragsbeschrijvende interview (in vergelijking met de webcamtest) alleentypische prestatie voorspelde. Daarnaast kan een vergelijking getrokken wordenmet de onderzoeksresultaten van Lievens en Sackett (2006). Zij toonden aan datvideo-assessment beter een interpersoonlijk criterium voorspelt dan cognitievecapaciteiten. Uit het huidige onderzoek bleek ook dat beide video-assessments(webcamtest en video-SJT) voorspellende waarde hebben voor de totaalscore opprofessioneel gedrag maar de cognitieve capaciteitentest niet.Een stapsgewijze regressieanalyse toonde aan dat de video-SJT toegevoegdewaarde had in de voorspelling van professioneel gedrag. Zowel voor professioneelgedrag als voor de factor voorzitterschap verklaarde de webcamtest variantieboven op de variantie die verklaard werd door demografische gegevens, de cogni‐tieve capaciteitentest, de persoonlijkheidvragenlijst en de video-SJT. De stijgingin verklaarde variantie is weliswaar niet bijzonder hoog (voor de video-SJT 9% envoor de webcamtest 8%), toch kan een paar procenten meer in verklaarde varian‐tie een aanzienlijke toename in utiliteit betekenen (Van der Maesen de Sombreff,1992).De webcamtest bleek naast de persoonlijkheidsfactor consciëntieusheid, de enigetest die het gedrag als voorzitter in een werkgroep goed voorspelde. Dit heeft eenbelangrijke implicatie voor de begripsvaliditeit van de webcamtest, die leiding‐gevende vaardigheden beoogde te meten. Een kanttekening hierbij is dat de web‐camtest ook hoog correleerde met literatuurbegrip. Een verklaring zou kunnen



zijn dat de factor literatuurbegrip een ruimer begrip meet, namelijk het vermogenom grote hoeveelheden informatie te begrijpen, te integreren, te verwoorden enuit te leggen. Salgado en Lado (2000) stelden al dat er veelal vakinhoudelijke ken‐nis nodig is om een adequate reactie te geven in situationele tests. Met deze bre‐dere interpretatie van de component literatuurbegrip zou dit kunnen betekenendat om een hoge score te behalen op een situationele test, de kandidaat inzicht inen begrip van informatie nodig heeft. Literatuurbegrip correleert namelijk ookhoog met de cognitieve capaciteitentest en de video-SJT.De deelnemers vonden de webcamtest meer indruksvalide dan de cognitieve capa‐citeitentest en de persoonlijkheidsvragenlijst, maar zij vonden de video-SJT meerindruksvalide dan de webcamtest. Een mogelijke verklaring zou kunnen zijn datkandidaten het onnatuurlijk vinden om tegen een beeldscherm te praten wat alsgevolg heeft dat zij de test minder indruksvalide vinden. Een andere verklaringhiervoor kan zijn dat de kandidaten meer bekend zijn met SJT’s, meer van de vali‐diteit van SJT’s afweten en daarom de video-SJT als meer indruksvalide beoorde‐len dan de webcamtest.

4.2 Beperkingen van dit onderzoek en suggesties voor verder onderzoekEen eerste onderwerp dat van belang is om verder te onderzoeken is het feit dattaakgericht en persoonsgericht leidinggeven (de competenties van de WCT-L) nietals afzonderlijke factoren uit de factoranalyse zijn gekomen. De hoge correlatietussen deze twee competenties is te verwachten, immers een goede reactie in eenbepaalde situatie vraagt om zowel een persoonsgerichte als een taakgerichte aan‐pak (Judge et al., 2004). Judge en collega’s (2004) toonden aan dat de correlatietussen persoonsgericht leidinggeven en taakgericht leidinggeven erg verschilt permeetinstrument. Bij de ene vragenlijst was de gemiddelde geobserveerde correla‐tie tussen de twee competenties r =.36 en bij een andere vragenlijst r = -.07. Dit islang niet zo hoog als de correlatie die in dit onderzoek naar voren kwam (r = .80),maar het kan zijn dat, bij het beoordelen van geobserveerd gedrag, het lastiger isom de competenties te scheiden dan bij het beoordelen van een schriftelijke testof vragenlijst. De beoordelaars beoordeelden wel verticaal per situatie, maariedere situatie werd op twee verschillende competenties beoordeeld. Het kan zijndat door beoordelaarseffecten als het halo-effect de beoordelaars zowel de taak‐gerichte component als de persoonsgerichte component gelijkwaardig hebbenbeoordeeld ondanks het eventuele verschil in prestatie op beide competenties.Een interessant gegeven dat naar voren is gekomen in dit onderzoek is dat dewebcamtest onderhevig lijkt aan leereffecten. Oudere studenten, studenten uiteen hoger studiejaar en studenten die eerst de video-SJT hadden gemaakt, scoor‐den significant hoger op de webcamtest. In de analyses is weliswaar gecontroleerdvoor deze variabelen, maar het feit dat een kandidaat door ervaring beter kanworden in het maken van de webcamtest is een gegeven dat benoemd moet wor‐den. Anderzijds is dit ook een interessante implicatie voor video-SJT’s. In lijn metde sociale leertheorie (Bandura, 1977) leren studenten blijkbaar van simpelwegsituaties en reacties observeren. Een video-SJT kan daarmee een interessantetrainingstool zijn.



Ook zijn enkele significante correlaties gevonden tussen de score op de webcam‐test en schalen van de persoonlijkheidsvragenlijst. De score op de webcamtest isbijvoorbeeld positief gecorreleerd met emotionele stabiliteit. Wanneer een kandi‐daat een lage emotionele stabiliteit heeft, is hij of zij angstiger, zelfbewuster engevoeliger (Judge, Higgins, Thoreson & Barrick, 1999). Deze eigenschappen kun‐nen het presteren op een webcamtest beïnvloeden. Daarnaast was zelfpresentatiepositief gecorreleerd met scores op de webcamtest. Hogere scores op de facettendominantie en energie zijn positief gecorreleerd met scores op de webcamtest.Het zou kunnen zijn dat deze studenten energieker en overtuigender overkomendan mensen met lagere scores op deze facetten, waardoor zij beter hebben gepres‐teerd op de webcamtest. Ook extraversie is positief gecorreleerd met scores op dewebcamtest. Het gaat hier dan met name om de facetten zelfvertoon en onbe‐schroomdheid. Een onbeschroomde student vindt het wellicht minder eng omzichzelf te presenteren voor een webcam en is daardoor in staat tot het geven vaneen effectievere reactie.In de huidige studie zijn de criteriumscores voor, tijdens en na de afname van depredictorscores verzameld. Het tegelijkertijd meten van voorspeller en criterium(concurrente validiteit) of het verzamelen van criteriumgegevens voordat de pre‐dictoren gemeten worden (retrospectieve validiteit) kan echter andere resultatenopleveren dan wanneer de voorspeller eerder gemeten wordt dan het criterium(McDaniel et al., 2001). Cook (2004) noemt de veronderstelde problemen metbetrekking tot concurrente validiteit. Zo is causaliteit een verondersteld pro‐bleem, maar bijvoorbeeld ook restriction of range. Van Iddekinge en Ployhart(2008) beschrijven in hun overzicht van ontwikkelingen in de criteriumgerela‐teerde validiteit van selectieprocedures, dat er bij het verzamelen van criterium‐scores ook rekening gehouden dient te worden met de dynamiek van prestatie(werknemers gaan bijvoorbeeld na verloop van tijd beter presteren door persoon‐lijke groei). Van Iddekinge en Ployhart benadrukken echter dat ondanks dezedynamiek, concurrente validiteitsgegevens gebruikt kunnen worden om presta‐ties te voorspellen. Daarnaast vonden Weekley, Ployhart en Harold (2004) in hunonderzoek geen verschil in concurrente en predictieve validiteit van SJT’s. Nietalleen in het kader van onderzoek naar de psychometrische kwaliteiten van web‐camtests, maar ook in het kader van verschillen tussen concurrente validiteit enpredictieve validiteit is het interessant om bij dezelfde groep studenten overenkele jaren nogmaals criteriumgegevens te verzamelen om de voorspellendewaarde van de webcamtest op lange termijn in kaart te brengen.Een ander methodologisch punt dat aangehaald moet worden is het gegeven datde cognitieve capaciteitentest al niet correleerde met het criterium professioneelgedrag. Het is dan een logisch gevolg dat bij een regressieanalyse de video-SJT ende webcamtest, die wel correleerden met professioneel gedrag, een toegevoegdewaarde hebben bij de voorspelling van dit criterium. Critici zouden zich kunnenafvragen of hier daarom wel gesproken mag worden van incrementele validiteit.De reden dat de cognitieve capaciteitentest toch is meegenomen in de analyses enin de conclusie is tweeledig. Enerzijds is de waarde van cognitieve capaciteiten bijde voorspelling van werk en studiesucces veelal aangetoond (bijv. Schmidt &Hunter, 1998). Theoretisch ligt het daarmee in de lijn der verwachtingen dat cog‐



nitieve capaciteiten invloed zouden hebben op professioneel gedrag dat, ondanksde sociale component, nog steeds een maat van studiesucces is. Anderzijds blijktdat één factor van professioneel gedrag, literatuurbegrip, wel correleert met decognitieve capaciteitentest (r = .31, p < .01). Het weglaten van de cognitieve capa‐citeitentest uit de analyses alsmede de conclusie zou daarmee een onvolledigbeeld scheppen.Een andere beperking van dit onderzoek is dat de onderzoeksgroep enkel uit stu‐denten bestond. In deze studie was het niet haalbaar om andere proefpersonendan studenten mee te nemen in de onderzoeksgroep. Het nadeel hiervan is dat ervoor de studenten niets afhing van de tests. Dit kan op verschillende maniereninvloed hebben gehad op de resultaten. Zo kunnen de studenten minder gemoti‐veerd zijn geweest dan wanneer zij in een echte selectiecontext de tests zoudenmoeten maken. Ryan en Ployhart (2000) benadrukken dat studenten geen goedesurrogaten zijn voor echte sollicitanten. Het is daarom raadzaam om onderzoeknaar de webcamtest te doen in een selectiecontext.Verder kwam in dit onderzoek naar voren dat het aantal jaren werkervaring enhet aantal jaren ervaring in een leidinggevende functie geen invloed had op deprestatie op de webcamtest. Omdat het type werk erg kan verschillen tussen stu‐denten, zou het kunnen zijn dat er wel degelijk een effect is van werk- en leiding‐gevende ervaring, maar dat dat in dit onderzoek niet naar voren komt. Vaak heb‐ben studenten een bijbaan van middelbaar niveau waar zij wellicht niet zwaar aantillen, denk hierbij aan bijvoorbeeld werk in de horeca of in een kledingwinkel.Voor toekomstig onderzoek zou het interessant zijn om werknemers uit verschil‐lende branches te testen, met en zonder ervaring als leidinggevende.Tot slot zijn de kandidaat-percepties interessant om verder uit te diepen. Onder‐werpen waar aan gedacht kan worden zijn testmotivatie, testangst, computer‐angst, prestatieangst en het al dan niet leuk vinden van de test. Gekeken kanworden naar de invloed van percepties op prestatie en indruksvaliditeit. Ditonderzoek kan verder geen uitsluitsel geven over de redenen waarom kandidatende webcamtest minder indruksvalide vonden dan de video-SJT. Het zou metbetrekking tot verdere testontwikkeling interessant kunnen zijn om een kwalita‐tief onderzoek te doen naar de meningen van de kandidaten over de webcamtest.Onderzoek naar de webcamtest staat in de kinderschoenen, maar de resultatentot nu toe zijn veelbelovend. Deze studie heeft een aanzet gegeven om de kwali‐teiten van de webcamtest verder te onderzoeken.

Praktijkbox

• De webcamtest is een innovatief video-assessment dat net als een rol‐lenspel en een werksimulatie gericht is op het meten van gedrag vankandidaten. De webcamtest is een betrouwbaar instrument dat eenvoorspellende en toegevoegde waarde heeft ten aanzien van een cogni‐tieve capaciteitentest, een persoonlijkheidsvragenlijst en een video-SJT met gesloten responsvorm bij het meten van professioneel gedrag(deze studie).



• Testgebruikers kunnen eerder de webcamtest gebruiken dan het rol‐

lenspel en een werksimulatie wanneer assessoren en/of kandidatenbijvoorbeeld niet ter plaatse aanwezig kunnen zijn, als de beoordelaarsonafhankelijk van elkaar (zonder elkaar te beïnvloeden) willen beoor‐delen of als zij standaardisatie verkiezen boven interactie.

• De webcamtest lijkt eerder typische prestatie dan maximale prestatiete meten. Testgebruikers kunnen in het geval waarin zij op zoek zijnnaar een meting van typische prestatie beter een webcamtest dan eenvideo-SJT met gesloten responsvorm inzetten.

The webcam test as a predictor of professional behavior

Marit Op de Beek, Janneke Oostrom & Marise Born, Gedrag & Organisatie, volume 24,September 2011, nr 3, pp. 257-285.The webcam test is a new video assessment designed to measure social competen‐cies. The main purpose of this study was to investigate the criterion-related vali‐dity of the webcam test and its incremental validity over and above a cognitiveability test, a personality questionnaire and a video-based situational judgmenttest. The sample consisted of 106 psychology students. In line with our expectati‐ons, the webcam test showed a significant correlation with the criterion professi‐onal behavior, a questionnaire about students’ motivation, chairmanship and pre‐paration. Furthermore, the webcam test showed incremental validity over andabove the other selection tests. Participants perceived the webcamtest as moreface valid than the cognitive ability test and the personality questionnaire. Howe‐ver, the video-based situational judgment test was perceived as more face validthan the webcamtest. Limitations of this study and suggestions for further studyare discussed.

Keywords: personnel selection, webcam testing, multimedia testing, video tes‐ting, face validity

Literatuur

Ardts, J. (2006). De nieuwe context. In G. Smit, H. Verhoeven & A. Driessen (Eds.), Perso‐neelsselectie en assessment: Wetenschap in de praktijk (p. 2-10). Assen, Nederland:Koninklijke Van Gorcum BV.

Bandura, A. (1977). Self-efficacy: Toward a unifying theory of behavioral change. Psycholo‐gical Review, 84, 191-215.

Barrett, G.V., Phillips, J.S., & Alexander, R.A. (1981). Concurrent and predictive validitydesigns: A critical reanalysis. Journal of Applied Psychology, 66, 1-6.

Cartney, P. (2006). Using video interviewing in the assessment of social work communica‐tion skills. British Journal of Social Work, 36, 827-844.



Chan, D. & Schmitt, N. (1997). Video-based versus paper-and-pencil method of assessmentin situational judgment tests: Subgroup differences in test performance and face vali‐dity perceptions. Journal of Applied Psychology, 82, 143-159.

Christian, M.S., Edwards, B.D., & Bradley, J.C. (2010). Situational judgment tests: Con‐structs assessed and a meta-analysis of their criterion-related validity. Personnel Psy‐chology, 63, 83-117.

Cook, M. (2004). Personnel selection: Adding value through people (4th ed.). Chichester: JohnWiley & Sons Ltd.

Derous, E., Van der Velde, M.E.G., & Born, M.P. (2011). Terug van nooit weggeweest: Inlei‐ding op de nieuwe reeks ‘Werving en Selectie’. Gedrag en Organisatie, 24, 3-17.

Dipboye, R.L., Wooten, K., & Halverson, S.F. (2004). Behavioral and situational interviews.In M. Hersen (Ed.), Comprehensive Handbook of Psychological Assessment (pp. 297-318).Hoboken, New Jersey: John Wiley & Sons Inc.

Hausknecht, J.P., Day, D.V., & Thomas, S.C. (2004). Application reactions to selection pro‐cedures: An updated model and meta-analysis. Personnel Psychology, 57, 639-683.

Hoekstra, H. (2006). Test informatie G5R. GITP INTERNATIONAL BV Versie 1.0.doc.Ironson, G.H., Guion, R.M., & Ostrander, M. (1982). Adverse impact from a psychometric

perspective. Journal of Applied Psychology, 67, 419-432.Judge, T.A., Higgins, C.A., Thoreson, C.J., Barrick, M.R. (1999). The Big Five personality

traits, general mental ability, and career success across the life span. Personnel Psycho‐logy, 3, 621-652.

Judge, T.A, Piccolo, R.F., & Ilies, R. (2004). The forgotten ones? The validity of considera‐tion and initiating structure in leadership research. Journal of Applied Psychology, 89,36-51.

Klehe, U.C. & Latham, G. (2006). “What would you do – really or ideally? Constructs under‐lying the behavior description interview and the situational interview in predictingtypical versus maximum performance”. Human Performance, 19, 357-382.

Kunda, Z. (1999). Social cognition: Making sense of people. Cambridge, Mass.: MIT Press.Lievens, F. (1998). Factors which improve the construct validity of assessment centers: A

review. International Journal of Selection and Assessment, 6, 141-152.Lievens, F., Van Dam, K., & Anderson, N. (2002). Recent trends and challenges in person‐

nel selection. Personnel Review, 31, 580-601.Lievens, F. & Sackett, P.F. (2006). Video-Based versus written situational judgement tests:

A comparison in terms of predictive validity. Journal of Applied Psychology, 91,1181-1188.

Lievens, F. & Thornton, G.C., III. (2005). Assessment centers: Recent developments inpractice and research. In A. Evers, O. Smit-Voskuijl & N. Anderson (Eds.), Handbook ofselection (pp. 243-264). London: Blackwell.

McDaniel, M.A., Hartman, N.S., Whetzel, D.L., & Grubb III, W.L. (2007). Situational judg‐ment tests, response instructions, and validity: A meta-analysis. Personnel Psychology,6, 63-91.

McDaniel, M.A., Morgeson, F.P., Finnegan, E.B. & Campion, M.A. (2001). Use of situatio‐nal judgment tests to predict job performance: A clarification of the literature. Journalof Applied Psychology, 86, 730-740.

Motowidlo, S.J., Brownlee, A.L., & Schmit, M.J. (2008). Effects of personality characteris‐tics on knowledge, skill, and performance in servicing retail customers. InternationalJournal of Selection and Assessment, 16, 272-281.

Oostrom, J.K., Born, M.Ph., Serlie, A.W., & Van der Molen, H.T. (2010). Webcam testing:Validation of an innovative open-ended multimedia test. European Journal of Work andOrganizational Psychology, 19, 532-550.



O’Reilly, J.M., Hubbard, M.L., Lessler, J.T., Biemer, P.P., & Turner, C.F. (1994). Audio andvideo computer assisted self-interviewing: Preliminary tests of new technologies fordata collection. Journal of Official Statistics, 1, 197-214.

Ployhart, R.E. & Ehrhart, M.G. (2003). Be careful what you ask for: Effects of responseinstructions on the construct validity and reliability of situational judgement tests.International Journal of Selection and Assessment, 11, 1-16.

Richman-Hirsch, W.L., Olson-Buchanan, J.B., & Drasgow, F. (2000). Examining the impactof administration medium on examinee perceptions and attitudes. Journal of AppliedPsychology, 85, 880-887.

Ryan, A.M. & Ployhart, R.E. (2000). Applicants’ perceptions of selection procedures anddecisions: A critical review and agenda for the future. Journal of Management, 26,565-606.

Sackett, P.R., Zedeck, S., & Fogli, L. (1988). Relations between measures of typical andmaximum job performance. Journal of Applied Psychology, 73, 482-486.

Salgado, J.F. & Lado, M. (2000). Validity generalization of video tests for predicting jobperformance ratings. Paper presented at the 15th Annual Conference of the Society ofIndustrial and Organisational Psychology, April, New Orleans.

Schmidt, F.L. & Hunter, J.E. (1998). The validity and utility of selection methods in per‐sonnel psychology: Practical and theoretical implications of 85 years of research find‐ings. Psychological Bulletin, 124, 262-274.

Smither, J.W., Reilly, R.R., Millsap, R.E., & Stoffey, R.W. (1993). Applicant reactions toselection procedures. Personnel Psychology, 46, 49-76.

Stricker, L.J. (1982). Interpersonal competence instrument: Development and preliminaryfindings. Applied Psychological Measurement, 6, 69-81.

Van der Maesen de Sombreff, P.E.A.M. (1992). Het rendement van personeelsselectie. Proef‐schrift Rijksuniversiteit Groningen.

Van der Maesen, P.E.A.M. (2005). Webcamtest voor actieve sociale vaardigheden. Gedown‐load op 30 oktober 2007 van: www.vandermaesen.nl/upload/files/Webcamtest%20algemeen.pdf

Van der Maesen, P.E.A.M. & Koch, B.P.N. (2007). Achtergrond & onderzoek. Gedownload op3 maart 2008 van: www.vandermaesenkoch.nl/webcamtest/index.php?id=2

Van Iddekinge, C.H., & Ployhart, R.E. (2008). Developments in the criterion-related valida‐tion of selection procedures: A critical review and recommendations for practice. Per‐sonnel Psychology, 61, 871-925.

Van Leeuwen, R. (2006). Test informatie Captain. GITP INTERNATIONAL BV Versie1.0.doc.

Weekley, J.A. & Jones, C. (1997). Video-based situational testing. Personnel Psychology, 50,25-49.

Weekley, J.A., Ployhart, R.E., & Harold, C.M. (2004). Personality and situational judgmenttests across applicant and incumbent settings: An examination of validity, measure‐ment, and subgroup differences. Human Performance, 17, 433-463.



Bijlage 1 Factoren van professioneel gedrag

1DDPIDFWRU

9UDJHQ�EHKRUHQGH�ELM�GH�IDFWRU

9RRU]LW�WHUVFKDS

��$OV�JHVSUHNVOHLGHU�KDG�GH�VWXGHQW�]LFK�JRHG�YRRUEHUHLG�HQ�KDG�KLM�]LM�HHQ�GXLGH�OLMN�RYHU]LFKW�YDQ�ZDW�HU�EHVSURNHQ�PRHVW�ZRUGHQ�

��$OV�JHVSUHNVOHLGHU�]RUJGH�GH�VWXGHQW�YRRU�GXLGHOLMNH�VWUXFWXXU�LQ�GH�EHVSUHNLQJYDQ�KHW�SUREOHHP�

��'H�WLPLQJ�HQ�GH�NZDOLWHLW�YDQ�GH�VDPHQYDWWLQJHQ�YDQ�GH�VWXGHQW�DOV�JHVSUHNVOHL�GHU�ZDUHQ�JRHG�

��'H�VWXGHQW�VWLPXOHHUGH�DOV�JHVSUHNVOHLGHU�DOOH�JURHSVOHGHQ�RP�ELM�WH�GUDJHQ�

��'H�VWXGHQW�VWHOGH�DOV�JHVSUHNVOHLGHU�FRQFUHWH�YUDJHQ�DDQ�GH�JURHS�RP�GLHSJDQJLQ�GH�GLVFXVVLH�WH�VWLPXOHUHQ�

%HWURN�NHQKHLG

��'H�VWXGHQW�VODDJGH�HULQ�DOV�QRWXOLVW�]HOIVWDQGLJ�ELMGUDJHQ�YDQ�JURHSVOHGHQ�NRUW�HQKHOGHU�VDPHQ�WH�YDWWHQ�RS�KHW�ERUG�

��'H�VWXGHQW�JDI�EOLMN�YDQ�JRHGH�]HOIVWXGLH�

��'H�VWXGHQW�KDG�H[WUD��UHOHYDQWH�OLWHUDWXXU�EHVWXGHHUG�ERYHQ�RS�GH�PLQLPDOH�HLVYDQ�WZHH�EURQQHQ�SHU�SUREOHHP�

��'H�VWXGHQW�QDP�DFWLHI�GHHO�DDQ�GH�EUDLQVWRUP�HQ�GH�SUREOHHPDQDO\VH�

��'H�VWXGHQW�QDP�DFWLHI�GHHO�DDQ�GH�QDEHVSUHNLQJ�YDQ�GH�SUREOHPHQ�

��'H�VWXGHQW�ZDV�WLMGHQV�GH�YRRU��HQ�QDEHVSUHNLQJ�JHPRWLYHHUG�RP�GH�SUREOH�PHQ�WRW�LQ�GH�GHWDLOV�XLW�WH�ZHUNHQ�

��'H�VWXGHQW�OXLVWHUGH�DFWLHI�QDDU�GH�ELMGUDJHQ�YDQ�DQGHUH�JURHSVOHGHQ�

��'H�VWXGHQW�KDG�HHQ�JHwQWHUHVVHHUGH��EHWURNNHQ�KRXGLQJ�WHQ�RS]LFKWH�YDQ�GHJURHS�

/LWHUD�WXXUEH�JULS

��'H�ELMGUDJHQ�YDQ�GH�VWXGHQW�DDQ�GH�QDEHVSUHNLQJ�ZDUHQ�LQKRXGHOLMN�YDQ�KRRJQLYHDX�

��'H�VWXGHQW�ZDV�LQ�VWDDW�RQGHUVFKHLG�WH�PDNHQ�WXVVHQ�KRRIG��HQ�ELM]DNHQ�LQ�GHOLWHUDWXXU�

��'H�VWXGHQW�ZDV�LQ�VWDDW�GH�EHVWXGHHUGH�VWRI�LQ�HLJHQ�ZRRUGHQ�XLW�WH�OHJJHQ�

��'H�VWXGHQW�FUHsHUGH�GLHSJDQJ�LQ�GH�GLVFXVVLH�GRRU�ELMYRRUEHHOG�NULWLVFKH�YUDJHQWH�VWHOOHQ�

��'H�VWXGHQW�]RFKW�XLW�]LFK]HOI�QDDU�YHUEDQGHQ�WXVVHQ�WKHRULHsQ�HQ�RI�ELMGUDJHQYDQ�JURHSVOHGHQ�


De webcamtest als voorspeller van professioneel gedrag

Documents

Transcript of De webcamtest als voorspeller van professioneel gedrag