9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde...

22
FILIP LIEVENS EVELINE SCHOLLAERT Naar een nieuwe generatie assessment Een open boek over situationele tests UITGEVERIJ NELISSEN | BARNEVELD

Transcript of 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde...

Page 1: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

F I L I P L I EVENS

EVEL INE SCHOLLAERT

Naar een nieuwe generatie assessment

Een open boek over situationele tests

UITGEVERIJ NELISSEN | BARNEVELD

9174_BW Naar een nieuwe generati3 39174_BW Naar een nieuwe generati3 3 29-09-2008 13:49:0829-09-2008 13:49:08

Page 2: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

Copyright: © Uitgeverij Nelissen, Barneveld 2008

Omslag: Henri van Santen, Studio Imago, Amersfoort

Binnenwerk: Studio Imago, Amersfoort

ISBN: 978 90 244 1817 6

NUR: 807

1e druk: 2008

ALLE RECHTEN VOORBEHOUDEN

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit

deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand,

of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door

fotokopieën, opnamen, of enig andere manier, zonder voorafgaande schriftelijke toestemming

van de uitgever.

Voor zover het maken van reprografi sche verveelvoudigingen uit deze uitgave is toegestaan

op grond van artikel 16h Auteurswet 1912 dient men de daarvoor wettelijk verschuldigde

vergoedingen te voldoen aan de Stichting Reprorecht (Postbus 3060, 2130 KB Hoofddorp,

www.reprorecht.nl). Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen,

readers en andere compilatiewerken (artikel 16 Auteurswet 1912) kan men zich wenden tot de

Stichting PRO (Stichting Publicatie- en Reproductierechten Organisatie, Postbus 3060, 2130 KB

Hoofddorp, www.cedar.nl/pro).

Uitgeverij Nelissen

Postbus 358, 3770 AJ BARNEVELD

Telefoon: 0342 42 79 50, telefax: 0342 42 79 59

www.nelissen.nl, e-mail: [email protected]

9174_BW Naar een nieuwe generati4 49174_BW Naar een nieuwe generati4 4 29-09-2008 13:49:0829-09-2008 13:49:08

Page 3: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

Inhoud

Voorwoord 7

Hoofdstuk 1 De basis van SJT’s 111.1 Historische schets 111.2 Gedrag als voorspeller voor toekomstig gedrag 121.3 Sample-benadering 131.4 Realisme van situatie 171.5 Realisme van antwoord 181.6 Taxonomie 191.7 Antwoordinstructies 211.8 Mate van interactiviteit 211.9 Scoring 221.10 Verschillen met andere technieken 231.11 Conclusie 24

Hoofdstuk 2 De doelstellingen van SJT’s 272.1 Beslissen over de doelstelling van SJT 272.2 Beslissen over de doelgroep van SJT 282.3 Implicaties van de eerste fase 32

Hoofdstuk 3 De inhoudelijke ontwikkeling van SJT’s 353.1 Situatiebeschrijvingen verzamelen 353.2 Verzamelde situatiebeschrijvingen sorteren 433.3 Situatiebeschrijvingen ombouwen tot itemstammen 453.4 Mogelijke antwoordopties verzamelen 493.5 Antwoordopties verfi jnen 53

Hoofdstuk 4 De instructies en scoring van SJT’s 554.1 Antwoordinstructies bepalen 554.2 Antwoordformaat bepalen 564.3 Scoringssleutel ontwikkelen 574.4 Scoringssleutel omzetten om in scores 65

Hoofdstuk 5 De implementatie van SJT’s 675.1 SJT’s tests 675.2 Effectiviteit van SJT’s onderzoeken 675.3 SJT’s opvolgen gedurende de looptijd 705.4 Samenvatting van de stappen in de ontwikkeling 74

9174_BW Naar een nieuwe generati5 59174_BW Naar een nieuwe generati5 5 29-09-2008 13:49:0929-09-2008 13:49:09

Page 4: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 776.1 Planning 776.2 Ontwerp van scripts 786.3 Preproductie 816.4 Video-opnamen 836.5 Postproductie 84

Hoofdstuk 7 De wetenschappelijke waarde van SJT’s 877.1 Zijn SJT’s betrouwbaar? 897.2 Wat is de voorspellende waarde van SJT’s? 907.3 Wat is de toegevoegde waarde van SJT’s ten opzichte van bestaande

selectietechnieken? 937.4 Wat meten SJT’s? 947.5 Wat is het kosten-batenplaatje van SJT’s? 967.6 Benadelen SJT’s bepaalde groepen? 987.7 Hoe staan kandidaten ten opzichte van SJT’s? 1007.8 Zijn SJT’s vatbaar voor sociale wenselijkheid en faking? 1017.9 Zijn SJT’s vatbaar voor coaching? 103

Hoofdstuk 8 Voorbeelden van SJT’s 1058.1 SJT voor administratieve medewerkers 1058.2 SJT voor projectingenieurs in de bouwsector 1098.3 SJT voor selectieadviseurs 1158.4 SJT voor leidinggevenden binnen de bouwsector 1198.5 SJT voor teamwork 1248.6 SJT voor managers 1268.7 Videogebaseerde SJT voor de ‘Toelatingsproef Geneeskunde en

Tandheelkunde’ 129

Hoofdstuk 9 Specifi eke toepassingen van SJT’s 1359.1 SJT’s en diversiteit 1359.2 SJT’s als realistic job preview 1359.3 Interculturele toepassingen van SJT’s 1369.4 SJT’s in een trainingscontext 1419.5 Constructgeoriënteerde toepassingen van SJT’s 1439.6 SJT’s en emotionele intelligentie 145 Nawoord 149

Referenties 151

Bijlagen 159Bijlage A – Vragenlijst om kritische incidenten te verzamelen 159Bijlage B – Vragenlijst om kritische incidenten om te zetten in itemstammen 161Bijlage C – Vragenlijst om antwoordopties te verzamelen 162

9174_BW Naar een nieuwe generati6 69174_BW Naar een nieuwe generati6 6 29-09-2008 13:49:0929-09-2008 13:49:09

Page 5: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

7

Voorwoord

De selectie van personeel is de laatste jaren sterk veranderd. Dit is op veel vlakken te merken. Allereerst is de selectiemarkt al lang geen blauwe oceaan meer. Het water ziet bloedrood aangezien het er krioelt van de haaien die vechten om kandidaten. In deze concurrentiegedreven markt moet selectie daarom vaak sneller, effi ciënter en goedkoper.

Een tweede sleutelontwikkeling is van technologische aard. De opkomst van internet biedt organisaties grote mogelijkheden om grote groepen sollicitanten in een keer te testen. Internet brengt onder andere voordelen mee qua fl exibiliteit in testafname en -scoring, administratieve effi ciëntie en potentiële grote kostenbesparingen. Daarom gebruiken steeds meer organisaties internet om tests en vragenlijsten af te nemen en daarmee interpersoonlijke competenties te peilen.

Ten derde worden kandidaten steeds mondiger. Door de actieve zoektocht van bedrijven op de arbeidsmarkt naar goede kandidaten zijn kandidaten maar al te goed op de hoogte van hun human capital. Het invullen van ‘saaie’ tests stuit dan ook vaak op weerstand. Kandidaten staan juist wel positief tegenover contextuele selectie-instrumenten (ook wel situationele selectie-instrumenten genoemd). Deze instrumenten plaatsen hen in een realistische functierelevante context. Ook organisaties kiezen voor moderne, aantrekke-lijke en hopelijk ook wetenschappelijk onderbouwde tests om op deze manier hun employer branding te verzorgen.

Deze veranderingen in het selectielandschap tonen dat traditionele selectie- en assess-menttools onvoldoende zijn. Er is behoefte aan een nieuwe generatie van assessment. Kortweg kan deze nieuwe generatie van assessment met vier kernwoorden worden samen-gevat: (1) webgebaseerde assessment, (2) situationele assessment, (3) assessment van interpersoonlijke competenties en (4) evidence-based assessment.

1 Webgebaseerde assessment betekent dat er resoluut wordt gekozen voor inter-net als medium om tests en vragenlijsten van kandidaten af te nemen. Dit is vooral relevant in een eerste selectiefase waarbij er nog een grotere groep kandidaten kan zijn.

2 Situationele assessment betekent dat gepoogd wordt om kandidaten in een functierelevante situatie te plaatsen die een afspiegeling is van de latere functie. Voorbeelden van situationele assessmenttechnieken zijn assessment centers en work samples (arbeidsproeven). Het voordeel van assessment centers en work sam-ples is dat kandidaten daadwerkelijk gedrag vertonen in functierelevante situaties. Nadelen zijn dan weer dat er aan assessment centers en work samples een prijs-kaartje hangt en dat ze niet via internet afgenomen kunnen worden. Situationele tests (situational judgment tests, kortweg SJT’s) zijn dan een oplossing. Deze tests confronteren sollicitanten met functiegerelateerde situaties en mogelijke reacties hierop en worden via internet aangeboden. De sollicitanten dienen aan te geven

9174_BW Naar een nieuwe generati7 79174_BW Naar een nieuwe generati7 7 29-09-2008 13:49:0929-09-2008 13:49:09

Page 6: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

8

NAAR EEN NIEUWE GENERATIE ASSESSMENT

welk alternatief zij zouden kiezen. Op deze manier combineren situational judg-ment tests de contextualiteit van assessment centers en de effi ciëntie van internet-administratie. SJT’s spelen dan ook een sleutelrol in de nieuwe generatie van assess-menttools.

3 Bij de nieuwe generatie van assessment ligt het accent op de toetsing van interper-soonlijke competenties. Via traditionele assessment- en testprocedures zijn deze interpersoonlijke competenties immers in preliminaire selectiestadia meestal bij-zonder moeilijk te meten. Ook hiervoor bieden SJT’s een oplossing.

4 Tot slot is de nieuwe generatie van assessment evidence-based assessment. Dit impliceert dat de voorgestelde technieken wetenschappelijk onderbouwd zijn. Het is van primordiaal belang dat men niet op grond van intuïtie stelling neemt voor of tegen situationele assessment. Daarom is een op wetenschappelijk bewijsmateriaal gebaseerd inzicht in de sterke en zwakke punten van situationele assessment nood-zakelijk.

Deze nieuwe generatie van assessment wordt in de Verenigde Staten steeds populairder tijdens het selectieproces (Ployhart, 2006; Weekley & Ployhart, 2006). Tegelijkertijd is er de laatste jaren veel empirisch onderzoek gedaan naar het gebruik ervan. Ondanks deze ontwikkelingen op praktisch en onderzoeksgebied is deze nieuwe generatie van assess-menttools nog niet echt ingeburgerd in de selectiepraktijk in het Nederlandse taalgebied. In België en Nederland worden bij het selecteren van werknemers hoofdzakelijk sollicita-tiegesprekken, cognitieve vaardigheidstests, persoonlijkheidsvragenlijsten en assessment centers gebruikt. Eén van de mogelijke redenen hiervoor is dat HR-specialisten en de anderen die verantwoordelijk zijn voor selectie nog niet erg vertrouwd zijn met deze nieuwe generatie assessment. Het is bijvoorbeeld opmerkelijk dat belangrijke handboe-ken over personeelsselectie (zoals Cook, 2003) geen informatie over situational judgment tests bevatten.

Er is dus een duidelijke behoefte om situationele assessment (en in het bijzonder situa-tional judgment tests, SJT’s) te introduceren in het Nederlandstalige gebied. Daarom zijn de doelstellingen van dit boek tweeledig. Allereerst willen we SJT’s als selectieprocedures voorstellen. Ten tweede is het de bedoeling om gedetailleerd te beschrijven hoe SJT’s in de praktijk kunnen worden ontwikkeld. Hierbij hanteren we het principe van een ‘open boek’. Dit betekent dat we de lezer een kijkje gunnen in de keuken van het ontwikkelen van een gedegen situationele assessment. Ons recept om SJT’s te ontwikkelen is gebaseerd op de workshops over SJT’s die we in de afgelopen jaren in verschillende landen hebben gegeven. Ook baseren wij ons op het beschikbare wetenschappelijke onderzoek.De structuur van dit boek weerspiegelt deze tweeledige doelstelling. Hoofdstuk 1 biedt een introductie tot deze nieuwe situationele assessmentgeneratie. Dit betekent dat wij de kernelementen van SJT’s afbakenen en de historische achtergrond van SJT’s schetsen. Ook maken we een vergelijking tussen SJT’s en andere bekendere selectieprocedures.De volgende vier hoofdstukken geven een gedetailleerd overzicht van de ontwikkelings-procedure van een SJT. Zo gaat hoofdstuk 2 in op de doelstelling en doelgroep van SJT’s. Hoofdstuk 3 spitst zich toe op de inhoudelijke ontwikkeling van SJT’s. We staan stil bij

9174_BW Naar een nieuwe generati8 89174_BW Naar een nieuwe generati8 8 29-09-2008 13:49:0929-09-2008 13:49:09

Page 7: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

9

de verzameling en verfi jning van itemstammen en antwoordopties. In hoofdstuk 4 staan de instructies en de scoring van SJT’s centraal. Hoofdstuk 5 sluit de ontwikkelingsproce-dure van SJT’s af door de implementatie van SJT’s toe te lichten.In hoofdstuk 6 wordt de aandacht specifi ek gewijd aan de ontwikkeling van videogeba-seerde SJT’s. Dit hoofdstuk is bedoeld als een praktische handleiding voor het opbouwen van een videogebaseerde SJT.Hoofdstuk 7 biedt een ‘evidence-based’ overzicht van de sterke en zwakke punten van SJT’s. Op grond van bestaand wetenschappelijk onderzoek over SJT’s meten we ze af aan een reeks ‘harde’ en ‘zachte’ psychometrische graadmeters. Concreet komen de volgende criteria aan bod: betrouwbaarheid, criteriumgerelateerde validiteit, incrementele validi-teit, constructgerelateerde validiteit, utiliteit, negatieve impact (ten aanzien van minder-heden), percepties van sollicitanten, mogelijkheid tot faken en gevoeligheid voor coaching- en oefeneffecten.Hoofdstuk 8 geeft voorbeelden van concrete SJT’s voor verschillende functies: een SJT voor administratieve medewerkers, een SJT voor projectingenieurs, een SJT voor selectie-adviseurs, een SJT voor leidinggevenden binnen de bouwsector en tot slot een video-SJT die gehanteerd wordt bij de toelatingsproef voor de studies geneeskunde en tandheel-kunde in Vlaanderen. Per SJT worden de achtergrond, doelstelling en ontwikkelingsfasen besproken. Wij geven ook telkens verschillende voorbeelditems.Hoofdstuk 9 spit een aantal specifi eke toepassingen van situationele assessment dieper uit. Hierbij bespreken wij onder andere SJT’s en diversiteit, SJT’s als realistic job preview, interculturele toepassingen van SJT’s, het gebruik van SJT’s bij scenariogebaseerde trai-ning en constructgedreven toepassingen van SJT’s.

9174_BW Naar een nieuwe generati9 99174_BW Naar een nieuwe generati9 9 29-09-2008 13:49:0929-09-2008 13:49:09

Page 8: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

11

1 De basis van SJT’s

In dit hoofdstuk staan we stil bij de basiskenmerken van situational judgment tests (SJT’s) als epigoon van een nieuwe generatie webgebaseerde assessmenttools die naar interper-soonlijke competenties kunnen peilen. We beginnen met een korte historische schets van het gebruik van SJT’s.

1.1 Historische schets

In een SJT krijgen sollicitanten verschillende werkgerelateerde situaties aangeboden. De sollicitanten dienen vervolgens voor elke situatie de meest passende handelswijze(n) te kiezen uit een opgegeven aantal alternatieven. De veronderstelling hierbij is dat de ant-woorden van sollicitanten op een grote reeks werkgerelateerde situaties voorspellen hoe zij zullen functioneren in gelijkaardige situaties in de latere functie. Meestal worden de werkgerelateerde situaties in geschreven vorm aangeboden. Er bestaan echter ook video- en multimedia-SJT’s.SJT’s bestaan eigenlijk al een hele tijd (McDaniel, Morgeson, Finnegan, Campion & Braverman, 2001). Volgens Weekley en Ployhart (2006) is een van de eerste SJT’s terug te vinden bij de US Civil Service Examinations in 1873. Een voorbeeldvraag was: ‘Een fi nan-ciële instelling vraagt legale bescherming voor een bepaald logo dat gebruikt wordt als merkteken op de correspondentie. Welke actie zou u in deze situatie ondernemen?’Een andere voorloper van SJT’s vinden we terug bij Binet (1905). Hij ontwikkelde een test om de mentale achterstand bij kinderen te achterhalen. In het kader hiervan hanteerde hij een deeltest die vragen bevatte zoals: ‘Een persoon heeft u beledigd en komt zich achteraf verontschuldigen, wat zou u doen?’ Dit kan worden beschouwd als een vorm van situational judgment testing.In 1926 werd de eerste ‘echte’ volledige SJT ontwikkeld, namelijk de ‘Judgment in Social Situations’, een subtest van de George Washington Social Intelligence Test (McDaniel et al., 2001). Deze test was waarschijnlijk de eerste wijdverspreide en geëvalueerde SJT.Er zijn ook sporen terug te vinden van het gebruik van SJT’s tijdens de Tweede Wereld-oorlog. Ansbacher (1941) merkte bijvoorbeeld op dat het volgende item gebruikt werd: ‘Uw sportclub plant een uitstap naar Berlijn om de voetbalmatch Duitsland-Engeland bij te wonen. Deze wedstrijd vindt binnen twee weken plaats. Er wordt u opgedragen om de voorberei-dingen en begeleiding van de reis te organiseren. Wat zou u doen?’ Eveneens trachtten psycho-logen van het Amerikaanse leger gedurende de Tweede Wereldoorlog het ‘inzicht’ van soldaten te peilen. Deze vroege beoordelingstests bestonden uit scenario’s met een aantal alternatieven. De oplossingen waren afhankelijk van het gezond verstand, de ervaring en de algemene kennis van de persoon, eerder dan van logisch redeneren.In de jaren ’40 en ’60 van de vorige eeuw werden ook tests ontwikkeld om het leider-schapspotentieel van sollicitanten te meten (McDaniel et al., 2001). Voorbeelden hiervan zijn de ‘Practical Judgment Test’ (Cardall, 1942), de ‘How Supervise?’ (File, 1945; File & Remmers, 1948) en de ‘Supervisory Practices Test’ (Greenberg, 1963).

9174_BW Naar een nieuwe generati11 119174_BW Naar een nieuwe generati11 11 29-09-2008 13:49:1029-09-2008 13:49:10

Page 9: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

12

NAAR EEN NIEUWE GENERATIE ASSESSMENT

Eind jaren ’50 en begin jaren ’60 van de vorige eeuw werden SJT’s opgenomen in testbat-terijen van grote organisaties om het succes van managers te voorspellen. Een voorbeeld is de ‘Management Judgment Test’; deze bestaat uit items die het probleem beschrijven gecombineerd met mogelijke oplossingen waaruit de respondenten de meest geschikte moeten kiezen (McDaniel et al., 2001). Na deze ontwikkelingen werd het middel echter steeds minder populair.In de jaren ’90 van de vorige eeuw kwam de toepassing van deze vroege prototypen van SJT’s bijna niet voor, tot de moderne versie opnieuw werd ‘uitgevonden’ door Motowidlo, Dun-nette en Carter (1990). Dankzij deze auteurs werd de interesse voor SJT’s weer aangewakkerd. Hun artikel gaf aanleiding tot veelvuldig onderzoek. Deze wetenschappers onderzochten het gebruik van een SJT bij de selectie van nieuwe managers. Bij deze SJT kregen de sollici-tanten verbale beschrijvingen van werksituaties voorgeschoteld. Er werden ook verschil-lende alternatieven van mogelijke acties weergegeven. De sollicitanten moesten voor elke situatie aanduiden welk antwoord zij het meest en het minst waarschijnlijk zouden kiezen. Sinds de jaren ‘90 van de vorige eeuw is er sprake van een hernieuwde interesse in SJT’s. Internet biedt enorme mogelijkheden om SJT’s van grote groepen af te nemen.Deze moderne SJT’s hebben de volgende negen kenmerken, die we hieronder bespreken:� Principe van gedragsconsistentie� Sample-benadering� Realisme van SJT-situatie� Realisme van SJT-antwoord� Taxonomie� Antwoordinstructies� Mate van interactiviteit� Scoring� Verschillen met andere technieken.

1.2 Gedrag als voorspeller voor toekomstig gedrag

Het principe van gedragsconsistentie vormt een van de kernideeën bij selectie (Werni-mont & Campbell, 1968; Schmitt & Ostroff, 1986). Dit principe stelt dat het belangrijk is om tijdens selectieprocedures kandidaten te confronteren met situaties die representatief zijn voor toekomstige functiesituaties. De verwachting is namelijk dat het gedrag dat kandidaten in kwestie in de selectiesituatie vertonen een goede voorspelling van hun toekomstig gedrag in de werksituatie zal zijn. In fi guur 1.1 wordt een schematisch over-zicht van dit principe weergegeven.

Figuur 1.1. Gedragsconsistentie

Gedrag in het verleden

Gedrag in de selectieprocedure

Gedrag in de toekomst

9174_BW Naar een nieuwe generati12 129174_BW Naar een nieuwe generati12 12 29-09-2008 13:49:1029-09-2008 13:49:10

Page 10: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

13

DE BASIS VAN SJT’S

Dit principe vormt eveneens de voornaamste theoretische basis van SJT’s. Dit is echter niet de enige selectietechniek die op dit principe stoelt. Zo fungeert dit principe ook als basis voor gedragsgerichte (gedrag in het verleden als voorspeller voor de toekomst) en situationele (intentioneel gedrag in interview als voorspeller voor gedrag in de toekomst) interviews. Ook assessment center-oefeningen en arbeidsproeven (work samples) ontlenen hun voorspellende kracht aan de logica van gedragsconsistentie.

1.3 Sample-benadering

SJT’s worden niet speciaal ontwikkeld om specifi eke onderliggende karaktertrekken te meten (Motowidlo et al., 1990). Dit onderscheidt SJT’s van traditionele selectietechnie-ken (bijvoorbeeld cognitieve vaardigheidstests en persoonlijkheidsvragenlijsten), die gebaseerd zijn op de sign-benadering. Zo meten cognitieve vaardigheidstests bijvoor-beeld numerieke of verbale intelligentie en peilen persoonlijkheidsvragenlijsten naar verschillende persoonlijkheidstrekken (zoals extraversie of emotionele stabiliteit). Bij de sign-benadering is er dus sprake van een indirecte relatie tussen een stabiele eigen-schap van een kandidaat (iets wat hij bezit) en zijn gedrag (iets wat hij doet).SJT’s maken onderdeel uit van de sample-benadering. Deze benadering stoelt op het principe dat het er bij selectie op aan komt om sollicitanten te confronteren met belangrijke en representatieve taken uit hun functie. SJT’s weerspiegelen dus realis-tische situaties uit een bepaald functiedomein, hetgeen een specifieke functie kan zijn, zoals telefonist(e), of een groep van gelijkaardige functies, zoals verkoopfunc-ties. Daardoor presenteren SJT’s aan sollicitanten een steekproef van mogelijke werksituaties en -gedragingen. De antwoorden van de sollicitanten worden beschouwd als directe aanwijzingen van hoe sollicitanten zouden handelen in een mogelijke toekomstige werksituatie.De sample-benadering doet dus geen beroep op het trekbegrip. Er wordt met andere woorden niet gepeild naar de karaktertrekken van mensen om functieprestaties te voorspellen. Men legt in deze sample-benadering een direct verband tussen het gedrag dat een sollicitant stelt in een aantal functierelevante situaties en zijn/haar later gedrag op de werkplek. In figuur 1.2 is een verduidelijkende schets van deze benadering terug te vinden.

Het feit dat SJT’s geen abstracte onderliggende eigenschappen beogen te meten, sluit niet uit dat ze diverse onderwerpen en functies kunnen bestrijken. De moge-lijkheid van interpersoonlijke competenties loopt hier als een rode draad doorheen. Zo zijn reeds SJT’s ontwikkeld om teamwork (McClough & Rogelberg, 2003; Morge-son, Reider & Campion, 2005; Stevens & Campion, 1999), integriteit van de werk-nemer (Becker, 2005), callcenterprestaties (Konradt, Hertel & Joder, 2003) of acade-mische prestaties (Oswald, Friede, Schmitt, Kim, Ramsay & Gillespie, 2004) te toetsen. Om deze verscheidenheid te illustreren geven wij hierna een aantal voor-beelden van items van diverse SJT’s.

9174_BW Naar een nieuwe generati13 139174_BW Naar een nieuwe generati13 13 29-09-2008 13:49:1029-09-2008 13:49:10

Page 11: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

14

NAAR EEN NIEUWE GENERATIE ASSESSMENT

Figuur 1.2. Voorbeeld van sign- en sample-benadering

Voorbeeld 1Item van een SJT die aangewend wordt als ondersteuning van de selectie van managers.

U bent samen met iemand van een andere afdeling verantwoordelijk voor de coördi-natie van een project waarbij beide afdelingen betrokken zijn. De andere persoon neemt zijn deel van de verantwoordelijkheid niet. U zou meest waarschijnlijk/minst waarschijnlijk …a de situatie met uw manager bespreken en hem vragen de situatie voor te leggen

aan de manager van de andere persoon;b hem eraan herinneren dat u zijn hulp nodig hebt en dat het project niet effectief

kan worden gerealiseerd zonder een teaminspanning van u beiden;c hem zeggen dat hij zijn deel van het werk niet doet, dat u het niet alleen gaat doen

en dat u zich verplicht voelt zijn manager in te lichten als hij niet meer werkt;d trachten te achterhalen waarom hij zijn deel van het werk niet doet en hem uit-

leggen dat hij meer werk voor u creëert en het moeilijker maakt om het project tot een goed einde te brengen;

e iemand anders van zijn afdeling u laten helpen bij het project.

Domein van de functie

Bijvoorbeeld

Alle functietaken en verantwoordelijkheden van een salesmanager

Sign-benadering

• Extraversie gemeten door persoonlijkheids- vragenlijst• Doorzettingsvermogen gemeten door persoonlijkheidsvragenlijst• Numeriek inzicht gemeten door cognitieve vaardigheidstest

Sample-benadering

• Assessment center oefening (groepsdiscussie) over budget• Assessment center oefening (gesprek) met medewerker• SJT met veel voorkomende functiesituaties

9174_BW Naar een nieuwe generati14 149174_BW Naar een nieuwe generati14 14 29-09-2008 13:49:1029-09-2008 13:49:10

Page 12: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

15

DE BASIS VAN SJT’S

Voorbeeld 2Item van een SJT die gebruikt wordt bij het meten van ‘integriteit’ (Becker, 2005).

U bent tijdens een teamvergadering met uw baas en collega’s aan het discussiëren over de manier waarop u een nieuw product aan de man/vrouw zou brengen. Ieder-een lijkt akkoord met de idee dat het product binnen een maand op de markt moet zijn. U hebt hier echter uw bedenkingen bij door een recent rapport van de onder-zoeksafdeling waarin verschillende potentiële veiligheidsproblemen van het product werden beschreven. Uw baas heeft niet graag dat mensen het met hem oneens zijn. Wat zou u het meest waarschijnlijk doen?a U probeert te begrijpen waarom iedereen voor dit voorstel gewonnen is. Het is immers mogelijk dat uw bezorgdheid niet gegrond is;b U gooit uw mening in de groep en beargumenteert uw bezorgdheid met betrekking tot de veiligheid van het product;c U volgt de rest van het team, een goed teamgevoel is immers belangrijk;d Na de meeting praat u met verschillende teamleden om na te gaan of ze uw bezorgdheid delen.

Voorbeeld 3Item van een SJT die gehanteerd wordt bij de selectie van winkelpersoneel (Ployhart & Ryan, 2001).

U bent verwikkeld in een telefoongesprek met een belangrijke klant wanneer een andere klant u onderbreekt. Deze laatste zegt dat hij/zij ontevreden is over uw winkel en hij/zij wil nu uw aandacht. Hij/zij spreekt luid en de andere klanten kunnen horen wat hij/zij zegt. Wat doet u?a U helpt de klant onmiddellijk en legt de hoorn neer;b U vraagt de persoon of hij/zij kan wachten tot u klaar bent met uw telefoongesprek;c U vraagt de klant aan de andere kant van de lijn of u hem/haar mag terugbellen;d U helpt eerst de klant aan de telefoon en helpt dan de klant die uw telefoon-

gesprek heeft onderbroken.

Voorbeeld 4Item van een video-SJT die gebruikt wordt bij de selectie voor verpleegkundigen in een rusthuis (Weekley & Jones, 1997, blz. 38-39).

Een verpleegkundige loopt de eetzaal binnen en merkt de zoon van een nieuwe bewoner op. De zoon lijkt heel bedroefd. [De scène begint wanneer de verpleegkun-dige de eetzaal binnenkomt en naar de zoon van de bewoner loopt.]Sandy: Mr. Andrews? Scheelt er iets?

9174_BW Naar een nieuwe generati15 159174_BW Naar een nieuwe generati15 15 29-09-2008 13:49:1129-09-2008 13:49:11

Page 13: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

16

NAAR EEN NIEUWE GENERATIE ASSESSMENT

Arnie [hij heeft duidelijk gehuild, maar probeert te kalmeren]: Oh, ik weet het niet… Dit is een van de moeilijkste dingen die ik ooit heb moeten doen. Ik voel me zo schuldig dat mijn vader hier woont.Sandy: Hij lijkt zich goed te voelen en raakt hier snel gewend.Arnie: Maar hij voelt zich hier niet echt thuis.Sandy: Ik begrijp dat het moeilijk voor u is, maar ik ben er zeker van dat alles op zijn pootjes terechtkomt zodra hij hier volledig gewend is.Arnie: Ik wist niet wat ik moest doen, ik weet dat hij niet meer in staat was om alleen thuis te blijven, maar ik vind het zo erg voor hem… (hier stopt het scenario).

Wat zou u doen indien u de verpleegkundige was?

a Hem zeggen dat u persoonlijk een oogje in het zeil zult houden;b Hem voorstellen aan enkele andere familieleden die hetzelfde gevoel hebben

gehad;c Hem aanraden om met een sociaal werker te praten;d Hem wat privacy geven.

Voorbeeld 5Item van een SJT die gebruikt wordt bij de selectie van teams (McClough & Rogelberg, 2003, blz. 596).

Onaangename taken (zoals warm, vuil, fysiek veeleisend werk) worden normaal gezien verdeeld over de werknemers. Stel dat u het gevoel hebt dat u het grootste deel van de onaangename taken toegewezen krijgt. Wat zou u doen?a Ik zou de taken uitvoeren. Pas na een tijdje zou ik het melden aan mijn chef,

omdat er waarschijnlijk een goede uitleg voor is. Het is trouwens moeilijk om al het werk eerlijk te verdelen;

b Ik zou het werk doen en daarna mijn chef erover aanspreken;c Ik zou mijn chef meteen vragen of ik het werk moet doen omdat nieuwelingen

leergeld moeten betalen. Ik zou wel verwachten dat dit niet meer gebeurt wanneer ik er wat langer werk.

Voorbeeld 6Item van een SJT die gebruikt wordt bij toelatingsexamens tot hogere studies (Oswald et al., 2004, blz. 205).

De score voor een bepaald vak is gebaseerd op drie examens. Aanwezigheid tijdens de lessen is niet verplicht. Het huiswerk voor dit vak staat op de website van de professor. Wat zou u het minst en het meest waarschijnlijk doen?a De les bijwonen zolang u het gevoel hebt dat het uw punten kan verbeteren;

9174_BW Naar een nieuwe generati16 169174_BW Naar een nieuwe generati16 16 29-09-2008 13:49:1129-09-2008 13:49:11

Page 14: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

17

DE BASIS VAN SJT’S

b Al het huiswerk maken maar slechts enkele lessen volgen. Het zijn de examens die tellen;

c Sowieso naar alle lessen gaan. De professor zou iets belangrijks kunnen zeggen;d Lessen overslaan, maar wanneer u een lage score zou halen op het eerste deel, wel

de lessen volgen;e Het heeft geen zin om de lessen bij te wonen. Gewoon het huiswerk maken en

slagen voor de examens.

Voorbeeld 7Item van een SJT die gebruikt wordt bij de selectie van leerkrachten (Stemler & Sternberg, 2006, blz. 125).

Meneer Thompson kan normaal gezien goed overweg met zijn collega’s. Tijdens een vergadering over het curriculum heeft hij een andere mening over het nieuwe program-ma dan de meeste van zijn collega’s. Plots valt een van zijn collega’s hem hierop aan.Gelieve de beoordelingsschaal van volgende statements te beoordelen:a Meneer Thompson zou zijn mening moeten herhalen, maar duidelijk stellen dat

hij bereid is de groep te volgen;b Na de vergadering zou meneer Thompson het beste aan een van de andere leer-

krachten kunnen vragen hoe hij volgens hem/haar moet omgaan met de onvrien-delijke opmerkingen van de collega;

c Meneer Thompson zou het beste zijn collega even apart kunnen nemen en hem zeggen dat hij de persoonlijke aanval heel ongepast vond;

d Meneer Thompson zou de aanval het beste kunnen negeren en zijn discussie met een andere leerkracht voortzetten;

e Meneer Thompson zou de directeur moeten vragen om zijn collega hierover aan te spreken;

f Meneer Thompson zou moeten voorstellen om formele regels op te stellen in verband met het gedrag tijdens vergaderingen;

g Meneer Thompson zou duidelijk moeten maken dat hij niet wil antwoorden op persoonlijke aanvallen, maar dat hij graag wil reageren op vragen over zijn mening over het programma.

1.4 Realisme van situatie

Hoewel alle SJT’s bij kandidaten een zo realistisch mogelijke steekproef (sample) van gedrag uit het domein beogen op te roepen, verschillen SJT’s nogal in de mate van realisme waarmee ze deze doelstelling realiseren. Deze mate van realisme en getrouwheid (fi delity) van de aangeboden werksituaties verwijst hierbij naar de mate waarin de stimuli (situaties) consistent zijn met situaties in de werkcontext.

9174_BW Naar een nieuwe generati17 179174_BW Naar een nieuwe generati17 17 29-09-2008 13:49:1129-09-2008 13:49:11

Page 15: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

18

NAAR EEN NIEUWE GENERATIE ASSESSMENT

Een SJT kan op drie verschillende manieren aan de respondent worden aangeboden: in een tekst (geschreven SJT’s), via videoscenario’s (video-SJT’s) of met behulp van een pc (multimedia-SJT’s).

1.4.1 Geschreven SJT’s

Een geschreven SJT biedt op papier hypothetische werkgerelateerde situaties aan de respon-dent aan. In enkele zinnen wordt de problematische werksituatie beschreven. Bij elke situ-atie worden verschillende antwoordalternatieven aangeboden waarbij elk antwoordalter-natief een mogelijke reactie op de situatie weerspiegelt. De respondent moet, afhankelijk van de instructie, zijn/haar meest of minst waarschijnlijke reactie op de situatie aanduiden of de effectiviteit van elk antwoordalternatief beoordelen (Motowidlo & Tippens, 1993).

1.4.2 Video-SJT’s

Een video-SJT bestaat uit een aantal videoscenario’s. Deze scenario’s brengen op een realistische manier een werksituatie in beeld. Naast de inhoudelijke boodschap is ook het non-verbale gedrag zichtbaar. Het aangeboden videoscenario stopt op een sleutel moment. Vervolgens verschijnen er diverse antwoordalternatieven op het scherm. Uit deze alter-natieven dient de respondent de gepaste reactie voor de situatie te selecteren (Dalessio, 1994; Smiderle, Perry & Cronshaw, 1994; Weekley & Jones, 1997). Een video-SJT heeft een aantal voordelen ten opzichte van een geschreven SJT. Allereerst kan men door het gebruik van videobeelden de situatie gedetailleerder, realistischer en nauwkeuriger schet-sen (Funke & Schuler, 1998; Olson-Buchanan & Drasgow, 2006). Ten tweede kunnen video-SJT’s ook worden gebruikt bij de selectie van individuen met minder kennis van het Nederlands (slechtere leesvaardigheid) (Chan & Schmitt, 1997). Dit biedt perspectie-ven voor het gebruik van SJT’s bij de selectie van allochtonen.

1.4.3 Multimedia-SJT’s

Deze SJT’s zijn grotendeels gelijk aan videogebaseerde SJT’s. Het enige verschil is dat een cd of dvd als medium fungeert (in plaats van videorecorder, McHenry & Schmitt, 1994).

1.5 Realisme van antwoord

SJT’s bieden vaak meerkeuzeantwoorden. Dit betekent dat kandidaten uit een lijst met verschillende antwoordopties moeten kiezen. Opnieuw kunnen de alternatieven op een geschreven wijze (low response fi delity) of op een videogebaseerde wijze (medium res-ponse fi delity) worden aangeboden. In dit laatste geval worden de antwoordmogelijkheden visueel gepresenteerd en eventueel auditief ondersteund door een gesproken boodschap.Er wordt niet aan de sollicitanten gevraagd om zelf reëel gedrag te vertonen (high res-ponse fi delity). Dit kenmerk onderscheidt SJT’s van high-fi delity simulaties zoals assess-ment center-oefeningen of work samples. Bij deze oefeningen krijgen kandidaten de

9174_BW Naar een nieuwe generati18 189174_BW Naar een nieuwe generati18 18 29-09-2008 13:49:1129-09-2008 13:49:11

Page 16: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

19

DE BASIS VAN SJT’S

opdracht om te antwoorden met reëel gedrag, dat geobserveerd en geëvalueerd wordt door getrainde assessoren.Deze graad van realisme van het antwoord heeft ook invloed op de snelheid waarmee individuen de SJT dienen te beantwoorden. Zo kunnen kandidaten bij geschreven meer-keuzevragen (low response fi delity) de tijd zelf verdelen over de verschillende items. Dit is meestal niet het geval als de antwoordopties via de pc of video worden aangeboden (medium response fi delity-variant). Kandidaten kunnen dan niet teruggaan naar voor-gaande items en hebben dikwijls slechts een beperkt aantal seconden om het fragment te beantwoorden. Hetzelfde geldt als ze direct na het getoonde fragment dienen te antwoor-den door concreet gedrag te vertonen (high response fi delity-variant).In tabel 1.1 is terug te vinden hoe situatie (stimulus) en antwoord (respons) aangeboden worden in respectievelijk low-fi delity simulaties, medium-fi delity simulaties en high-fi delity simulaties. Vervolgens lichten we deze drie soorten simulaties verder toe.

Tabel 1.1. Verschillen tussen low-, medium- en high-fi delity simulaties

Stimulus Respons

Low-fi delity simulatie Geschreven – mondeling Geschreven – mondeling

Medium-fi delity simulatie Video/multimedia Geschreven – mondeling – video – gedrag

High-fi delity simulatie Gedrag Gedrag

1.6 Taxonomie

Door de getrouwheid van de stimulus en de getrouwheid van het antwoord te variëren ontstaat een hele reeks mogelijke selectietechnieken. Deze worden in fi guur 1.3 schema-tisch geïllustreerd.

1.6.1 Low-fi delity simulaties

Deze simulaties presenteren enkel een louter verbale beschrijving van een werksituatie en vragen sollicitanten wat ze in die situatie zouden doen. Dit kan geschreven (met een SJT) of mondeling (met een situationeel interview) gebeuren. Recentelijk werd zelfs geëxperi-menteerd met het aanbieden van de situatie in cartoonvorm (cartoon-SJT). Dergelijke selectietechnieken staan gecategoriseerd onder low-fi delity simulaties omdat ze het prin-cipe van gedragsconsistentie slechts beperkt realiseren.Het is veel minder realistisch om de functierelevante situaties mondeling of schriftelijk aan kandidaten aan te bieden dan een situatie echt mee te maken en te beleven. Verder geven de kandidaten hun antwoorden mondeling of schriftelijk. Dit is echter nog geen garantie dat ze de aangegeven reactie in de werkelijkheid ook werkelijk zouden vertonen. Deze technieken scoren echter hoog qua standaardisatie, omdat alle sollicitanten dezelfde situatie aangeboden krijgen. Ook de antwoorden liggen in principe vast (behalve bij het situationele interview).

9174_BW Naar een nieuwe generati19 199174_BW Naar een nieuwe generati19 19 29-09-2008 13:49:1229-09-2008 13:49:12

Page 17: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

20

NAAR EEN NIEUWE GENERATIE ASSESSMENT

Mate van getrouwheid van stimulus en respons

Mate van standaardisatie van stimulus en respons

Video SJTMultimedia SJT

Medium fidelity simulations

Webcam SJT

Geschreven SJT

Low fidelity simulations

Situationeel interview

Rollenspel

High fidelity simulations

Groepsdiscussie

Figuur 1.3. Getrouwheid van stimulus en respons

1.6.2 High-fi delity simulaties

Deze simulaties baseren zich enkel op het gedrag dat mensen tonen om zo toekomstig gedrag nog beter te kunnen voorspellen. Voorbeelden zijn assessment center-oefeningen (groepsdiscussie, rollenspel enzovoort). Deze simulaties creëren immers niet enkel een realistische situatie, maar vragen ook dat de kandidaat daadwerkelijk de handeling stelt. Hierdoor scoort dit type simulaties hoog wat realisme van de situatie en realisme van het antwoord van de kandidaat betreft.Een mogelijk probleem bij high-fi delity simulaties is echter dat ze dikwijls inboeten aan standaardisatie. Assessment center-oefeningen zijn ook een stuk minder gestructureerd dan bijvoorbeeld een geschreven of video-SJT, aangezien de kandidaat zelf (onvoorspelbaar) gedrag vertoont, dat assessoren vervolgens observeren en beoordelen (‘interpreteren’).Kortom, de keerzijde van het hogere realisme van deze simulaties is een lagere standaar-disatie. Het dient wel gezegd te worden dat de standaardisatie van assessment center-oefeningen verhoogd kan worden door goed uitgekiende instructies en een gedegen training van assessoren en rollenspelers.

1.6.3 Medium-fi delity simulaties

Deze simulaties zijn recentelijk ontwikkeld. In essentie zijn dit hybride formaten waarbij wordt gepoogd een evenwicht te vinden tussen het maximaliseren van het realisme van de situatie en het maximaliseren van de standaardisatie.Een bekende hybride vorm is de video/multimedia-SJT. Deze SJT tracht de standaardisatie van een geschreven SJT te combineren met het realisme van werkelijk uitgebeeld gedrag,

9174_BW Naar een nieuwe generati20 209174_BW Naar een nieuwe generati20 20 29-09-2008 13:49:1229-09-2008 13:49:12

Page 18: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

21

DE BASIS VAN SJT’S

waarbij het non-verbale ook een rol speelt. De video/multimedia-SJT’s scoren hoger qua realisme dan geschreven SJT’s.Bij een andere hybride vorm wordt een gestandaardiseerde werksituatie bijvoorbeeld op video aangeboden maar wordt de respondent wel gevraagd er dadelijk en daadwerkelijk op te reageren. Hierbij neemt een camera (of soms zelfs een webcam) het gedrag op. Dit gedrag wordt vervolgens beoordeeld door assessoren.

1.7 Antwoordinstructies

Elke SJT deelt de respondenten ook mee hoe hij tot een antwoord moet komen. Dit gebeurt aan de hand van antwoordinstructies. De antwoordinstructies van SJT’s kunnen worden ingedeeld in twee groepen: kennisgeoriënteerde of gedragsgeoriënteerde instructies.Kennisinstructies peilen naar de kennis van de respondenten over het beste of meest effectieve antwoord. Gedragsgeoriënteerde instructies vragen de respondenten wat zij het meest en minst waarschijnlijk zouden doen (Ployhart & Ehrhart, 2003).

1.8 Mate van interactiviteit

Binnen de groep van multimedia-SJT’s kunnen twee soorten worden onderscheiden: lineaire SJT’s en niet-lineaire SJT’s. Deze laatste worden ook wel ‘vertakte’, ‘geneste’ of ‘interactieve’ SJT’s genoemd (Olson-Buchanan et al.,1998; Olson-Buchanan & Drasgow, 2006; Richman-Hirsch, Olson-Buchanan & Drasgow, 2000). Dit onderscheid heeft te maken met de situaties die getoond worden nadat de respondent zijn/haar eerste antwoord-alternatief heeft gekozen.

1.8.1 Lineaire SJT’s

Bij deze SJT’s worden alle SJT-items in dezelfde volgorde aan de kandidaten aangeboden. Elke kandidaat doorloopt dus dezelfde SJT-items. Bovendien doorloopt ook elke kandi-daat alle items.

1.8.2 Niet-lineaire of vertakte (‘branched’) SJT’s

Bij deze SJT’s worden niet alle SJT-items in een gelijke volgorde aan de kandidaten aange-boden. Elke kandidaat doorloopt dus niet lineair dezelfde situaties. De fragmenten bou-wen immers voort op de antwoorden van de kandidaat in kwestie en zijn in elkaar vertakt (zie fi guur 1.4). Indien de kandidaat bijvoorbeeld kiest om in een concrete situatie toe te staan dat persoon X iets vroeger het werk verlaat om zijn kleinzoon naar voetbaltraining te brengen, wordt de kandidaat in de volgende situatie geconfronteerd met de gevolgen van deze actie (namelijk dat persoon Y dit heeft gehoord en vraagt om de week erna iets later te mogen beginnen met werken omdat dit privé beter uitkomt). De vertakte opbouw

9174_BW Naar een nieuwe generati21 219174_BW Naar een nieuwe generati21 21 29-09-2008 13:49:1229-09-2008 13:49:12

Page 19: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

22

NAAR EEN NIEUWE GENERATIE ASSESSMENT

van de SJT-items biedt aan multimediatests de mogelijkheid om een zekere vorm van interactiviteit te creëren, terwijl toch een bepaald niveau van standaardisatie behouden blijft. Kandidaten worden geconfronteerd met de gevolgen van hun keuzes. Deze inter-activiteit houdt ook in dat alle sollicitanten niet op dezelfde items antwoorden. De tech-nologische mogelijkheid om interactieve SJT’s te ontwikkelen wordt vooral gebruikt bij multimedia-SJT’s.

............

....................................

............

............

............

............

............

............

............

............

............

............

............

............

............

............

Figuur 1.4. Voorbeeld van SJT met vertakte (‘branched’) items

1.9 Scoring

Een laatste kenmerk van SJT’s is dat de scoringssleutel op voorhand wordt ontwikkeld. Dit betekent dat er geen assessoren of beoordelaars aanwezig zijn die het gedrag van de kandidaten evalueren. In plaats daarvan worden SJT’s gescoord op grond van expertgeba-seerde, empirische of theoretische scoring (Bergman, Drasgow, Donovan, Henning & Juraska, 2006). We bespreken deze diverse modellen kort hieronder.

1.9.1 Expertgebaseerde scoring

Bij deze scoring is de scoringssleutel gebaseerd op de antwoorden van individuen met een aanzienlijke hoeveelheid kennis en ervaring over het onderwerp.

9174_BW Naar een nieuwe generati22 229174_BW Naar een nieuwe generati22 22 29-09-2008 13:49:1229-09-2008 13:49:12

Page 20: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

23

DE BASIS VAN SJT’S

1.9.2 Empirische scoring

Bij deze scoring wordt de test van een grote pilot-steekproef afgenomen. De scores wor-den vastgesteld door de keuzes van verschillende respondenten met elkaar te vergelijken. Hierbij wordt ervan uitgegaan dat de antwoordalternatieven differentiëren tussen perso-nen die verschillende prestatieniveaus behalen voor een bepaalde criteriumvariabele (bijvoorbeeld functieprestatie). In de praktijk komt dat erop neer dat de antwoordalter-natieven die frequent gekozen worden door respondenten die goed functioneren in de functie als correct worden gescoord. Opties die vooral aangeduid worden door respondenten die minder goed functioneren, worden als incorrect gescoord.

1.9.3 Theoretische scoring

Bij deze scoring wordt de scoringssleutel ontwikkeld op basis van een bestaand theore-tisch model (bijvoorbeeld een model voor confl icthantering). Antwoordopties die over-eenstemmen met de uitgangspunten van de theorie worden als effectief beschouwd. Opties die niet stroken met de theorie worden als niet-effectief gescoord.

1.10 Verschillen met andere technieken

De kernelementen van SJT’s die we in dit hoofdstuk naar voren brachten, verduidelijken de gelijkenissen en verschillen tussen SJT’s en bekendere tests zoals assessment center-oefeningen of work sample-tests.Overeenkomsten tussen SJT’s en deze sample-based tests zijn het feit dat zowel gedrags-consistentie als realisme (getrouwheid) als fundamenten van de test fungeren. Het zijn allemaal ook methoden die een veelheid aan domeinen kunnen bestrijken, ook al heb-ben ze niet de intentie om specifi eke constructen te meten.Er zijn echter ook belangrijke verschillen (zie tabel 1.2). Ten eerste kunnen SJT’s worden afgenomen van een grote groep mensen en via internet. Work samples en assessment center-oefeningen worden meestal gebruikt voor kleinere steekproeven en zijn afhanke-lijk van een specifi eke locatie. Ten tweede, zoals hierboven al aangegeven, zijn assessment center-oefeningen en work sample-tests ‘high-fi delity’simulaties, omdat anderen (getrain-de assessoren) het gedrag van de kandidaat observeren en beoordelen. SJT’s zijn daaren-tegen ‘low-fi delity’ simulaties, aangezien kandidaten zelf het correcte antwoord uit een lijst van vooraf opgestelde opties moeten kiezen (meerkeuzeformaat). Standaardisatie is dus verzekerd, aangezien bij iedereen dezelfde situaties worden weergegeven (met uitzon-dering van de vertakte SJT’s) en de scoringssleutel van tevoren bepaald is.In tabel 1.3 sommen we de kernverschillen op tussen gedragsgerichte interviews en SJT’s. Een belangrijk verschil is dat bij gedragsgerichte interviews de situaties door de kandidaat zelf worden gekozen en aangebracht, terwijl bij een SJT dezelfde gestandaardiseerde situaties aan alle kandidaten worden voorgelegd. Een ander punt van verschil is dat de beoordeling bij gedragsgerichte interviews door getrainde interviewers gebeurt, terwijl bij SJT’s kandidaten dienen te kiezen uit vooraf bepaalde antwoordopties.

9174_BW Naar een nieuwe generati23 239174_BW Naar een nieuwe generati23 23 29-09-2008 13:49:1329-09-2008 13:49:13

Page 21: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

24

NAAR EEN NIEUWE GENERATIE ASSESSMENT

Tabel 1.2. Verschillen tussen SJT’s en assessment centers

SJT’s Assessment centers

Stimulus � Gestandaardiseerde geschreven of op video opgenomen werk-situaties

� Gestandaardiseerde instructies bij assessment center-oefeningen

� ‘Ongecontroleerd’ tegenspel van andere kandidaten of rollen-spelers

Respons � Geschreven respons� Zelfbeoordeling� Meerkeuzeformaat

� Daadwerkelijk gedrag� Beoordeling door anderen

(assessoren)� Vrijheid in respons

Scoring � Ingebouwd expertmodel� Vooraf geconstrueerd

� Getrainde assessoren� ‘Live’ observatie en beoordeling

Gebruik � Select-out (screeningsfase)� Grote groepen

� Select-in (eindfase selectie)� Kleine groepen

Tabel 1.3. Verschillen tussen SJT’s en gedragsgerichte interviews

SJT’s Gedragsgerichte interviews

Stimulus � Gestandaardiseerde geschreven of op video opgenomen werk-situaties

� Verleden of toekomstige situatie

� Zelf aangebrachte situatie(verschilt van kandidaat tot kandidaat)

� Situatie uit het verleden

Respons � Geschreven respons� Zelfbeoordeling� Meerkeuzeformaat

� Mondelinge respons� Beoordeling door anderen

(interviewers)� Vrijheid in respons

Scoring � Ingebouwd expertmodel� Vooraf geconstrueerd

� Getrainde interviewers� ‘Live’ observatie en

beoordeling

Gebruik � Select-out (screeningsfase)� Grote groepen (webgebaseerd)

� Zowel ‘select-in’ als ‘select-out’

� Middelgrote groepen

1.11 Conclusie

Dit hoofdstuk laat zien dat we eigenlijk niet kunnen spreken over de SJT. Er bestaan bijzonder veel varianten van SJT’s. Zo bestaan er geschreven SJT’s, video-SJT’s en multi-media-SJT’s. Daarnaast kunnen SJT’s lineair of vertakt zijn opgebouwd. Ook dienen er keuzes te worden gemaakt met betrekking tot het type instructies en de scoring van SJT’s.Toch doen deze variaties geen afbreuk aan de eigenheid van SJT’s. Deze eigenheid laat zich als volgt karakteriseren. SJT’s presenteren functiegerelateerde en gecontextualiseerde situaties en mogelijke antwoordopties om op deze manier voorspellingen te kunnen

9174_BW Naar een nieuwe generati24 249174_BW Naar een nieuwe generati24 24 29-09-2008 13:49:1329-09-2008 13:49:13

Page 22: 9174 BW Naar een nieuwe generatie - businezz.nl · Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT’s 77 6.1 Planning 77 6.2 Ontwerp van scripts 78 6.3 Preproductie 81 6.4 Video-opnamen

25

DE BASIS VAN SJT’S

doen over het toekomstig functioneren. Hoe deze situatie wordt ingekleed, aangeboden en gescoord, kan echter variëren. Vervolgens peilen SJT’s voornamelijk de interpersoon-lijke competenties, hoewel bij SJT’s ook andere competenties aan bod kunnen komen. Tot slot kunnen geschreven, video- en multimedia-SJT’s via internet van grote groepen worden afgenomen.De variatie in SJT’s komt ook tot uiting in de ontwikkeling van SJT’s. In de volgende drie hoofdstukken gaan we dieper in op de keuzes die moeten worden gemaakt bij de ontwik-keling van SJT’s. Allereerst gaan we in op strategische keuzes in verband met doelstelling en doelgroep. Daarna staan respectievelijk de inhoud en de scoring van SJT’s centraal. Tot slot wijden we een hoofdstuk aan de implementatie en opvolging van SJT’s.

9174_BW Naar een nieuwe generati25 259174_BW Naar een nieuwe generati25 25 29-09-2008 13:49:1329-09-2008 13:49:13