Faculteit Psychologie en Pedagogische...

90
Faculteit Psychologie en Pedagogische Wetenschappen Academiejaar 2008-2009 Tweede Examenperiode Het omzetten van een bestaande geschreven situationele test in een videogebaseerde test met rollenspelers Scriptie neergelegd tot het behalen van de graad van Master in de Psychologie, Optie Bedrijfspsychologie en Personeelsbeleid door Timothy De Jaeger Wouter Pereboom Promotor : Prof. Dr. F. Lievens Begeleiding : Lic. E. Schollaert

Transcript of Faculteit Psychologie en Pedagogische...

Page 1: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Faculteit Psychologie en Pedagogische Wetenschappen

Academiejaar 2008-2009

Tweede Examenperiode

Het omzetten van een bestaande geschreven situationele test in een videogebaseerde test met rollenspelers

Scriptie neergelegd tot het behalen van de graad van Master in de Psychologie,

Optie Bedrijfspsychologie en Personeelsbeleid

door

Timothy De Jaeger

Wouter Pereboom

Promotor : Prof. Dr. F. Lievens

Begeleiding : Lic. E. Schollaert

Page 2: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

Ondergetekenden, Timothy De Jaeger en Wouter Pereboom, geven toelating tot het raadplegen van de

masterproef door derden.

Page 3: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

i

VOORWOORD

Deze masterproef betekende voor ons een belangrijk werkstuk van onze

vijfjarige universiteitsopleiding.

Dit zou er echter nooit geweest zijn zonder de steun van een aantal mensen. Daarom

graag aan hen een woord van dank.

Vooreerst zijn we Prof. Dr. Filip Lievens erkentelijk voor de kans die we kregen om

deze masterproef onder zijn promotorschap te realiseren. Hierbij aansluitend danken we

expliciet onze begeleidster Eveline Schollaert voor haar frequente en intensieve

feedback. Steeds ging zij in op onze vragen en was zij ontvankelijk voor onze inbreng.

Graag willen wij ook de gelegenheidsacteurs, Marnix Vangheluwe, Liesbeth De Smet

en David De Jaeger danken voor hun enthousiaste medewerking. Ook voor hen was dit

een nieuwe ervaring.

Wij willen Marnix Vangheluwe in het bijzonder danken voor het ter beschikking stellen

van een camera, montageprogramma, en de opleiding die hij ons heeft gegeven.

Verder danken wij ook Arche-Consulting voor het mogen gebruik maken van een

leslokaal en danken wij ook 9000 Studios voor het helpen ontwikkelen van de website.

Ten slotte gaat onze dank uit naar onze ouders en familie voor hun luisterend oor in

moeilijke momenten en hun empathie. Ze bleven ons steunen in de gemaakte keuzes,

leerden ons relativeren en gaven ons steeds passend advies.

Timothy De Jaeger

Wouter Pereboom

Gent, augustus 2009

Page 4: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

ii

ABSTRACT

In deze masterproef werd een videogebaseerde situationele beoordelingstest

(video SJT) ontwikkeld. Een videogebaseerde SJT bestaat uit scenario’s die op een

realistische manier een werksituatie in beeld brengen. Naast de inhoudelijke boodschap

is ook het non-verbale gedrag zichtbaar. Het aangeboden videoscenario stopt op een

sleutelmoment. Vervolgens verschijnen er diverse antwoordalternatieven op het scherm.

Uit deze alternatieven dient de respondent de gepaste reactie voor de situatie te

selecteren (Dalessio, 1994; Smiderle, Perry,& Cronshaw, 1994; Weekley & Jones,

1997).

Vooraleer wordt begonnen met de bespreking van de ontwikkeling van de video

SJT, wordt eerst de literatuurstudie besproken. Hierbij wordt ingegaan op de

omschrijving, de betrouwbaarheid, en de validiteit van een geschreven SJT. Daarbij

wordt ook aandacht besteed aan de bevindingen in verband met video SJTs. Daarnaast

wordt reeds kort de ontwikkeling van beide types SJT toegelicht. Ten slotte worden de

omschrijving, voordelen, en praktijkrelevantie van een video SJT nader besproken.

Vervolgens wordt de ontwikkeling van de video SJT besproken. Voor de

ontwikkeling van de video SJT werd er uitgegaan van een reeds bestaande geschreven

SJT, namelijk een vertaling van de SJT van Bess en Mullins (2002). Deze SJT peilt naar

de leermethoden van studenten en is reeds veel onderzocht geweest. Tijdens de

ontwikkeling van de video SJT werden de stappen, die beschreven worden in de

literatuur nauwgezet gevolgd.

Hierna wordt de ontwikkelde video SJT besproken aan de hand van de

mogelijke bijdrage aan praktijk en wetenschap alsook aan de hand van de beperkingen.

Mogelijkheden tot verder onderzoek worden eveneens besproken. In deze sectie volgt

tevens een mogelijke suggestie om de validiteit en betrouwbaarheid van de ontwikkelde

video test te onderzoeken.

Page 5: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

iii

INHOUDSTAFEL

Voorwoord i

Abstract ii

Inhoudstafel iii

Lijst met figuren v

Inleiding 1

Situational Judgment Test 2

Algemene omschrijving 2

Definitie 2

Evolutie 3

Simulatie met laag realiteitsgehalte 5

Validiteit en betrouwbaarheid 5

Criteriumvaliditeit 5

Incrementele validiteit 6

Constructvaliditeit 7

Face validiteit 8

Betrouwbaarheid 9

Adverse impact 9

Faking 10

Ontwikkeling SJT 11

Videogebaseerde SJT 13

Definitie 13

Voordelen videotest 13

Praktijkrelevantie 14

Doelstelling 15

Methode 16

Ontwikkeling van een SJT 16

Fase 1: Verzamelen van kritische incidenten 16

Fase 2: Antwoordalternatieven verzamelen 16

Fase 3: Bepalen van de antwoordinstructies 17

Fase 4: Scoring van de SJT 17

Fase 5: Bepalen van de scoringssleutel 18

Welke SJT? 18

Page 6: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

iv

Ontwikkeling van een video-SJT 19

Planning 19

Ontwerpen van scripts 20

Preproductie 24

Video-opnamen 27

Post-productie 29

Montage 29

Van film naar test 31

Discussie 33

Ontwikkeling 33

Bijdrage aan praktijk en wetenschap 34

Beperkingen en verder onderzoek 34

Beperkingen 34

Verder onderzoek 36

Conclusie 38

Referenties 39

Bijlages 45

Page 7: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

v

LIJST MET FIGUREN

Figuur 1. Voorbeeld item 3

Figuur 2. Item uit test van Bess en Mullins (2002) 22

Figuur 3. Script van item uit Figuur 2 23

Page 8: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

1

INLEIDING

In de huidige maatschappij zijn er twee belangrijke uitdagingen op de arbeidsmarkt.

Ten eerste wordt door het toenemend tekort van werknemers op de verschillende

arbeidsmarkten het alsmaar belangrijker voor bedrijven om ten aanzien van hun concurrenten

er in positieve zin uit te springen zodat ze als attractieve ondernemingen gezien worden door

potentiële sollicitanten (Maurer, Howe, & Lee, 1992; Taylor & Collins, 2000; Thomas &

Wise, 1999; Lievens & Highouse, 2005).

Ten tweede krijgt men vaak te horen dat de allochtonen ondervertegenwoordigd zijn

op de huidige arbeidsmarkt. Bovendien evolueert men naar een multiculturele maatschappij

waar diversiteit steeds belangrijker wordt. Bij de zoektocht naar werknemers is er daarom een

opportuniteit om deze doelgroep aan te spreken.

Het gebruik van situationele beoordelingstesten biedt een goed antwoord op de

uitdagingen van de arbeidsmarkt hierboven geschetst. Situationele beoordelingstesten (SJTs)

zijn testen die bestaan uit situaties over een probleem waarmee iemand tijdens zijn of haar

werk kan worden geconfronteerd en die een bepaalde handeling van de persoon vereist. De

sollicitant dient deze situaties te beoordelen met behulp van een lijst met mogelijke reacties

op de situatie. Uit deze lijst moet de kandidaat die reactie selecteren die zijn of haar meest of

minst waarschijnlijke manier van handelen tijdens de situatie beschrijft (McDaniel & Nguyen,

2001; Motowidlo et al., 1990; Van der Maesen, Born, Van Oudenhoven-Van der Zee, &

Ruhe, 2003).

Ten eerste lijkt deze vorm van testen als attractiever te worden gepercipieerd wat zich

zou kunnen vertalen naar een positief imago van de organisatie waar de test werd afgenomen

en op die manier de kans vergroot dat een bepaalde sollicitant bij verschillende gelijkwaardige

jobs voor de desbetreffende organisatie zal kiezen. De reacties van de kandidaten hebben

immers invloed op het beeld dat ze van de organisatie hebben en daaruit voortvloeiend of ze

de job al dan niet aanvaarden (Hausknecht, Day, & Thomas, 2004). Ten tweede komt uit de

literatuur naar voor dat de adverse impact lager zou zijn voor minderheidsgroepen wat betreft

deze manier van testen (Chan & Schmitt, 1997). Adverse impact betekent dat verschillende

groepen verschillend scoren op de test. Dit zijn slechts enkele voordelen waarom dergelijke

situationele beoordelingstesten meer en meer worden ingeschakeld in selectieprocedures.

Naast deze algemene voordelen van een SJT kunnen wij op basis van de

wetenschappelijke literatuur suggereren dat het gebruik van videogebaseerde SJTs bovenop

Page 9: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

2

geschreven SJTs een meerwaarde zou kunnen bieden voor organisaties (Olson-Buchanan &

Drasgow, 2006). Er is nog maar weinig empirisch onderzoek omtrent dit onderwerp gebeurd.

Toch werden reeds enkele belangrijke voordelen in de literatuur vermeld.

Vooreerst kan men door het gebruik van videobeelden de situatie meer gedetailleerd,

realistisch, en nauwkeurig schetsen (Funke & Schuler, 1998; Olson – Buchanan & Drasgow,

2006). Ten tweede vinden verschillende studies ook een hogere face validiteit (Kanning et al.,

2006; Chan & Schmitt, 1997). Dit wil zeggen dat kandidaten de selectieprocedure relevant

vinden voor de job waarvoor men solliciteert. Ten derde zouden video SJTs ook kunnen

gebruikt worden bij de selectie van individuen met een mindere leesvaardigheid. Dit biedt

perspectieven bij de selectie van allochtonen of bij beroepen waarbij leesvaardigheid minder

van belang is (minder adverse impact) (Chan & Schmitt, 1997).

Op basis hiervan kunnen we besluiten dat het gebruik van een video SJT in de

selectieprocedure een opportuniteit biedt in het licht van de huidige maatschappelijke context.

In het kader van deze scriptie ontwikkelen we daarom een videogebaseerde SJT.

Vooraleer we de ontwikkelde SJT bespreken, wordt een overzicht gegeven van de

relevante literatuur met betrekking tot SJTs. Eerst wordt getracht een algemene omschrijving

te geven van situationele beoordelingstesten. Vervolgens worden de relevante bevindingen

gepubliceerd in verband met validiteit en betrouwbaarheid en wordt reeds kort de

ontwikkeling van beide types SJT toegelicht. Ter afsluiting wordt dieper ingegaan op de video

SJT, meer bepaald de voordelen, de praktijkrelevantie, en de doelstelling van de scriptie.

Situational Judgment Test

Algemene Omschrijving

definitie SJTs zijn samengesteld uit beschrijvingen van situaties die voorkomen in de

functie waarvoor de kandidaat solliciteert. Meestal gaan deze situaties over een probleem

waarmee iemand tijdens zijn/haar werk kan worden geconfronteerd en die een bepaalde

handeling van de persoon vereist. De kandidaat dient deze situaties te beoordelen met behulp

van een lijst met mogelijke reacties op de situatie. Uit deze aangeboden lijst moet de

kandidaat die reactie selecteren die zijn of haar meest of minst waarschijnlijke manier van

handelen tijdens de situatie beschrijft. De assumptie hierbij is dat op basis van hoe iemand

presteert op een simulatie van de job, voorspeld kan worden hoe iemand in de job zal

functioneren (McDaniel & Nguyen, 2001; Motowidlo et al., 1990; Van der Maesen, Born,

Van Oudenhoven-Van der Zee, & Ruhe, 2003). Het voorbeelditem uit figuur 1 illustreert dit.

Page 10: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

3

Een medewerkster slaagt er vaak niet in om haar werk af te krijgen omdat ze altijd heel

lange praatjes voert met de klanten. Andere medewerkers hebben erover geklaagd dat zij op

die manier haar deel van het werk niet doet. Welk antwoord is het beste voor jou? Welk

antwoord is het slechtste voor jou ?

A. Haar ongemoeid laten want de klanten houden veel van deze babbels.

B. Haar zeggen dat ze meer moet werken en minder praten en haar daarbij opdrachten

geven die tegen een bepaalde dag moeten afgewerkt zijn.

C. Een formele disciplinaire maatregel opstarten.

D. Het verschil uitleggen tussen sociale babbels en dienstverlening en haar coachen om

de gesprekken korter te houden.

E. Dit punt enkel bespreken met haar als haar productie werkelijk onder de norm ligt.

(Ontwikkeling Generieke Testen, 2007)

Figuur 1. Voorbeelditem

evolutie Het eerste gebruik van situationele beoordelingstesten gaat terug tot in de

tweede wereldoorlog. Psychologen van het leger wilden het beoordelingsvermogen van de

soldaten testen. Deze testen bestonden uit verschillende militair gerelateerde scenario’s

waarbij men moest oordelen op basis van gezond verstand, ervaring, en kennis eerder dan

logisch redeneren. Bij onderzoek met deze testen bleek dat ze heel erg beroep deden op de

algemene cognitieve factor g en niet een specifieke factor (Northrop, 1989). Niet alleen in het

leger was men bezig met deze testen, ook in het bedrijfsleven waren dergelijke testen al

aanwezig. Zo werden vanaf de jaren ’40 een ganse resem situationele beoordelingstesten

ontwikkeld om het leiderschapspotentieel na te gaan. Voorbeelden hiervan zijn The Practical

Judgement Test (Cardall 1942), How Supervise? (File, 1945; File & Remmers, 1948), The

Supervisory Practices Test (Bruce & Learner, 1958), The Business Judgement Test (Bruce,

1965), The Supervisory Judgement Test (Greenberg, 1963), en The Supervisory Inventory on

Human Relations (Kirkpatrick & Planty, 1960). In de late jaren 50 en de vroege jaren 60

begonnen ook grote bedrijven deze testen te gebruiken als deel van hun selectiebatterij om

bijvoorbeeld succes in management te voorspellen. Eén van die bedrijven was The Standard

Oil Company of New Jersey die een programma genoemd ‘ the early identification of

management potential’ had om werknemers er uit te selecteren die het in zich hadden om

succesvol te zijn in management functies (Campbell, Dunnette, Lawler, & Weick, 1970). Een

onderdeel van het programma was een situationele beoordelingstest. Hier werden

Page 11: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

4

probleemsituaties voorgesteld waar managers later hadden mee af te rekenen en de

participanten konden uit een reeks mogelijke gedragingen de meest geschikte kiezen. Deze

testen waren nog kleinschalig (McDaniel et al., 2001).

Pas in de jaren ’90 zou de populariteit van de SJT’s in een stroomversnelling geraken.

Bedrijven en onderwijs werden meer en meer geïnteresseerd. In deze beide domeinen

ontstond er een grote behoefte tot het vinden van bijkomende predictoren buiten het

cognitieve domein. De motivatie hiervoor was tweeledig. Eerst was er het verlangen om een

selectiesysteem te vinden die minder verschillen oplevert tussen rassen, en minder

zogenaamde adverse impact oplevert dan systemen die dit meer hebben zoals cognitieve

metingen (Lievens, Buyse, & Sackett, 2005). Adverse impact verwijst naar de verschillende

scores op eenzelfde test bij verschillende groepen (etnische minderheden versus

meerderheden, mannen versus vrouwen, …). Verschillende alternatieven kwamen hiervoor in

aanmerking. De belangrijkste zijn het gebruik van andere constructen zoals persoonlijkheid of

interpersoonlijke vaardigheden en alternatieve presentatievormen.. Een tweede motivatie was

de behoefte om de criteria uit te breiden waar potentiële werknemers op beoordeeld moesten

worden (Lievens, Buyse, & Sackett, 2005).

Bij werknemers ging men verder kijken dan alleen de kerntaken (task performance),

maar ook naar gedragingen die daar niet toe konden gerekend worden namelijk contextual

performance. Voorbeelden van positieve gedragingen zijn collega’s helpen als men tijd heeft,

opruimen, enzovoort. Dit kan men omschrijven als citizenship. Voorbeelden van negatieve

gedragingen zijn het stelen van materiaal, pesten van collega’s, enzovoort. Dit wordt

counterproductive work behavior genoemd. In het onderwijs werd niet alleen kennis als norm

gehanteerd. Succes bij studenten werd ruimer geïnterpreteerd. Daarbij dacht men aan sociale

vaardigheden, levenslang leren (lifelong learning oriëntation), …(Chan & Schmitt, 2002).

Eén specifieke predictor trok bij dit alles de aandacht. Dat was de situationele

beoordelingstest. Verscheidene studies suggereerden belangrijke voordelen van deze soort

testen. Allereerst bezaten SJT’s een redelijke validiteit (predictieve validiteit, incrementele

validiteit ten opzichte van cognitieve vaardigheid en ten opzichte van persoonlijkheidstests).

Ten tweede waren er gunstige percepties van de respondenten (face validiteit). Een derde

belangrijk voordeel was de mindere adverse impact tegen minderheden die deze testen

bezaten ten opzichte van traditionele cognitieve vaardigheidstests. (Lievens, Buyse, &

Sackett, 2005).

Page 12: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

5

simulatie met laag realiteitsgehalte Een situationele judgment test (SJT) kan men

beschouwen als een simulatie met een laag realiteitsgehalte (low fidelity simulation). In de

eerste plaats is het een simulatie. Simulaties zijn in tegenstelling tot sign-gebaseerde

methoden gebaseerd op samples. Dat wil zeggen dat men niet gaat kijken naar onderliggende

‘signs’ zoals onderliggende vaardigheden, temperament of trekken maar uitgaat van het

gedragsconsistentie principe (behavioral consistency), namelijk vroeger gedrag voorspelt

toekomstig gedrag (Wernimont & Campbell, 1968).

Nu kunnen deze simulaties variëren in de mate van overeenkomst waarmee zij een

stimulus presenteren. Hoge overeenkomst betekent het gebruik van zeer realistische

materialen om de situatie voor te stellen. Zo kan de proefpersoon bijna volledig antwoorden

als was hij of zij in een echte jobsituatie. Simulaties met een lage overeenkomst daarentegen

presenteren een verbale beschrijving van een hypothetische werksituatie. De proefpersonen

moeten hier geen echte handelingen ondernemen. Simulaties met een hoge overeenkomst

(high fidelity simulations) zijn bijvoorbeeld de work sample of een assessment center. Een

situationele judgement test is een vorm van een low fidelity simulation (Motowidlo et al.,

1990).

Validiteit en Betrouwbaarheid Vaak worden nieuwe testen ontworpen wat soms gepaard gaat met hoge kosten.

Daarom zijn validiteit en betrouwbaarheid veelbesproken onderwerpen binnen de

personeelsselectie. Deze twee concepten tonen immers aan of deze testen wel degelijk een

meerwaarde leveren tegenover de reeds gevestigde testen. Nu wordt achtereenvolgens de

criteriumvaliditeit, de incrementele validiteit, de constructvaliditeit en de face validiteit van

SJTs besproken met steeds ook een kijk op videogebaseerde SJTs. Daarna bespreken we de

betrouwbaarheid van SJTs. Ook wordt de adverse impact onder de loep genomen. Als laatste

wordt nagegaan in welke mate SJTs vatbaar zijn voor ‘faking’.

criteriumvaliditeit Criteriumvaliditeit gaat na in welke mate een test een

voorspellende waarde heeft. Met andere woorden in welke mate kan de prestatie van een

respondent op de test de prestatie op een bepaald criterium voorspellen. Men kan

criteriumvaliditeit onderverdelen in predictieve validiteit en concurrente validiteit. Predictieve

validiteit geeft de mate weer waarin de testprestatie van een individu zijn toekomstig niveau

Page 13: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

6

op het criterium kan voorspellen, terwijl concurrente validiteit de mate weergeeft waarin

testscores een indicatie zijn voor zijn huidig niveau op het criterium (Messick, 1989).

In de meta-analyse van McDaniel en Nguyen (2001) werd sterke evidentie geleverd

voor de vraag of SJTs job prestatie kunnen voorspellen. Zij rapporteerden namelijk

significante correlaties tussen SJTs en emotionele stabiliteit (.31), consciëntieusheid (.26), en

aangenaamheid (.25). Deze drie persoonlijkheidsdimensies hebben reeds in het verleden

bewezen valide predictoren te zijn van job prestatie.

O’Connell et al. (2007) rapporteerden dat SJTs beter task performance (.14) dan

contextual performance (.10) konden voorspellen. In dit onderzoek heeft deze laatste

betrekking op extrarol gedragingen die de organisatie ten goede komen en slaat task

performance op gedragingen die vereist zijn om de job uit te oefenen.

Echter, al te vaak kiest men voor algemene job prestatie als criterium voor SJTs. Dit

kan problematisch zijn omdat zo’n algemeen criterium misschien te breed is. Je loopt het

risico om het specifieke voorspellende construct te missen. Zo overschrijden de

validiteitscoëfficiënten de 0.15 niet in validiteitstudies van videotesten met het gebruik van

metingen van algemene job prestatie. Bij gebruik van metingen van specifieke job prestatie

criteria liggen de validiteitscoëfficiënten tussen 0.25 en 0.40 (Funke & Schuler, 1998).

Eén van de eigenschappen van SJT items in het algemeen is dat zij vaak

interpersoonlijke situaties beschrijven. In tegenstelling tot geschreven SJTs, krijg je in

videogebaseerde SJTs ook informatie over non-verbale cues zoals lichaamstaal, toonhoogte

enzovoort. Op die manier kan je nagaan hoe sollicitanten de non-verbale cues interpreteren.

Men suggereerde dan ook dat een videogebaseerde SJT beter in staat was het interpersoonlijk

criterium, die samenhangt met de toekomstige job, te voorspellen dan een geschreven SJT.

Deze bevinding kan mogelijk verklaard worden door het additieve model van de impact van

verschillende informatie kanalen (Archer & Akert, 1980; Gesn & Ickes, 1999). Volgens dit

model leidt het toevoegen van extra informatie tot een meer waarheidsgetrouwe test (Lievens

& Sackett, 2006).

incrementele validiteit De incrementele validiteit van een SJT geeft weer hoeveel

variantie wordt verklaard door de SJT bovenop de reeds verklaarde variantie die verkregen

wordt door de afname van andere testen.

Ondanks dat O’Connell et al. (2007) geen incrementele validiteit vonden van SJTs

bovenop een cognitieve vaardigheids- en persoonlijkheidstest, wordt meestal een significante

incrementele validiteit van SJTs in de literatuur beschreven. Zo vonden Clevenger et al.

Page 14: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

7

(2001) dat SJTs incrementele validiteit opleverden bovenop cognitieve vaardigheid,

consciëntieusheid, en job ervaring in een sample bestaande uit onderzoeksagenten en een

sample bestaande uit vertegenwoordigers van een klantendienst. In een derde sample

bestaande uit ingenieurs werd geen incrementele validiteit verkregen, maar was er wel een

hoge correlatie tussen de SJT en cognitieve vaardigheid (.53). Deze hoge correlatie kan

verklaard worden doordat SJTs die peilen naar de kennis in verband met het oplossen van

problemen, planning, en het nemen van beslissingen meer gerelateerd zijn aan cognitieve

vaardigheden. SJTs, die interpersoonlijke situaties beschrijven, zullen minder aan cognitieve

vaardigheden gerelateerd zijn. Naargelang de samenstelling van de SJT heeft deze meer of

minder incrementele validiteit. (Clevenger et al., 2001). Ook Weekley en Jones (1997)

vonden significante incrementele validiteit van een SJT. Een groot verschil met de studie van

Clevenger et al. (2001) is dat Weekley en Jones (1997) een videogebaseerde SJT hanteerden.

Lievens en Sackett (2006) vergeleken de incrementele validiteit van een videogebaseerde

versie van een interpersoonlijk georiënteerde SJT met de incrementele validiteit van een

geschreven versie. Zij kwamen tot de bevindingen dat de videogebaseerde SJT bovenop de

cognitieve predictoren een significante en substantiële hoeveelheid variantie verklaarde in een

interpersoonlijk construct, terwijl de geschreven SJT geen bijkomende variantie kon

verklaren. Een mogelijke uitleg voor deze laatste bevinding is dat een videogebaseerde test

zichzelf eerder plaatst in een non-cognitieve categorie tegenover een geschreven SJT dat

eerder geplaatst is in een cognitieve categorie.

constructvaliditeit Constructvaliditeit gaat na of een test het construct meet dat het

beoogt te meten. Er wordt over het algemeen aangenomen dat SJTs een meetmethode zijn en

niet dat SJTs slechts één construct meten (McDaniel & Nguyen, 2001; O’Connell et al., 2007;

Chan & Schmitt, 2002).

Doordat men er vanuit gaat dat metingen van job kennis positief correleren met SJTs,

en doordat job kennis vaak wordt geoperationaliseerd als een meting van job ervaring, is er

onderzoek uitgevoerd naar de relatie van SJTs met job kennis en job ervaring. McDaniel en

Nguyen (2001) rapporteerden in hun meta-analyse een grotere correlatie tussen SJTs en job

kennis dan tussen SJTs en job ervaring. Waarschijnlijk is de reden hiervoor dat job kennis een

imperfecte meting van job ervaring blijkt te zijn. Doordat men in de eerste jaren in de job veel

meer leert dan in latere jaren, zal de correlatie tussen job ervaring en job kennis groter zijn in

de eerste jaren dan in latere jaren (McDaniel & Nguyen, 2001).

Page 15: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

8

Tevens zijn er significante correlaties gerapporteerd tussen SJTs en metingen van

persoonlijkheid (McDaniel & Nguyen, 2001; O’Connell et al., 2007; Peeters & Lievens,

2005). In hun meta-analyse rapporteerden McDaniel en Nguyen (2001) significante

verbanden tussen SJTs en drie persoonlijkheidsdimensies van de Big Five. De Big Five is een

persoonlijkheidsmodel dat bestaat uit vijf persoonlijkheidsdimensies, met name extraversie,

consciëntieusheid, aangenaamheid, emotionele stabiliteit en openheid. Significante correlaties

werden gerapporteerd met emotionele stabiliteit (.31), consciëntieusheid (.26) en

aangenaamheid (.25). Dit leverde sterk bewijs dat SJTs job prestatie kunnen voorspellen, want

deze drie persoonlijkheidsdimensies hebben al bewezen valide predictoren te zijn van job

prestatie (McDaniel & Nguyen, 2001). Peeters en Lievens (2005) vonden dan weer geen

significante correlatie van SJTs met emotionele stabiliteit, maar wel met de vier andere

dimensies van de Big Five. O’Connel et al. (2007) gebruikten een andere typologie van

persoonlijkheid. De SJT correleerde significant met consciëntieusheid (.33), aangenaamheid

(.31), positieve affectiviteit (.26), interne locus of control (.24) en aandacht voor details (.21).

Doorgaans is het ook redelijk te veronderstellen dat een SJT ook correleert met

cognitieve vaardigheid. In hun meta-analyse rapporteerden McDaniel en Nguyen (2001) een

gemiddelde correlatie van .46 met een betrouwbaarheidsinterval van .17 tot .75. Dit betekent

dat er veel variatie is in de grootte van correlaties van SJTs met cognitieve vaardigheid. Een

mogelijke verklaring hiervoor is dat men doorgaans aanneemt dat een SJT een meetmethode

is. Men kan SJTs creëren die vooral beroep doen op cognitieve vaardigheden en SJTs

waarvoor men weinig tot geen nood heeft aan cognitieve vaardigheid (McDaniel & Nguyen,

2001).

face validiteit Face validiteit verwijst naar de mate waarin sollicitanten de

selectieprocedure relevant vinden voor de job waarvoor men solliciteert. SJTs (zowel

geschreven als videogebaseerde SJTs) hebben een relatief hoge face validiteit (Lievens &

Sackett, 2006). Dit is van groot belang aangezien face validiteit een grote invloed uitoefent op

zowel de testmotivatie als de testperformantie (Chan & Schmitt, 1997). Wanneer sollicitanten

de items in een test relevant vinden voor de job, zullen ze de test ook als eerlijk bestempelen

(Chan et al., 1998).

De resultaten die gevonden zijn in verband met het verschil in face validiteit tussen

geschreven en videogebaseerde SJTs zijn wel verschillend. Zo rapporteerden zowel Lievens

en Sackett (2006) als Kanning et al. (2006) geen significant verschil in face validiteit tussen

de twee soorten SJTs. Anderzijds suggereerden Chan en Schmitt (1997) dat een

Page 16: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

9

videogebaseerde SJT wel een hogere face validiteit had dan een papier-en-potlood SJT. Dit

had ook zijn weerslag op adverse impact, aangezien het verschil in face validiteit tussen

zwarten en blanken kleiner was bij een videogebaseerde SJT dan bij een geschreven SJT.

De studie van Kanning et al. (2006) heeft gesuggereerd dat wanneer een

videogebaseerde SJT bestaat uit interactieve items, deze wel meer positief werden

geëvalueerd dan een geschreven SJT, ook al bestond deze laatste eveneens uit interactieve

items. Met interactief wordt bedoeld dat de situatie die men te zien krijgt afhankelijk is van

welke reactie men gekozen heeft op de vorige situatie.

betrouwbaarheid Er zijn twee mogelijkheden om de betrouwbaarheid van SJTs na te

gaan. Of men bekijkt de interne consistentie, of men bestudeert de test-hertest

betrouwbaarheid. Deze laatste is het meest aangewezen voor SJTs, want interne consistentie

is slechts geschikt voor een relatief homogeen constructdomein; terwijl SJTs een

mutidimensioneel constructdomein omvatten. Toch rapporteren Motowidlo et al. (1990) en

Motowidlo en Tippins (1993) cronbach α’s van respectievelijk .56 en .73. Ployhart en Ehrhart

(2003) hebben de invloed bestudeerd van verschillende antwoordinstructies op zowel interne

consistentie als test-hertest betrouwbaarheid. Bij de test-hertest methode zag men dat de

‘would do’-versie een hogere betrouwbaarheid had dan de ‘should do’-versie. Op interne

consistentie vond men echter geen invloed van instructies, maar wel van de gebruikte

scoringsmethode. Men rapporteerde de hoogste interne consistentie voor antwoordvormen

waarbij de opties moesten worden gerangschikt en de laagste interne consistentie voor

antwoordvormen met slechts één optie.

adverse impact Men spreekt van adverse impact wanneer verschillende groepen

verschillende scores behalen. Dit gaat dan vooral om verschillen tussen mannen en vrouwen

of verschillen tussen etnische groepen.

Ondanks het feit dat cognitieve vaardigheidstesten een gevestigde waarde zijn in

personeelsselectie, blijken deze testen grote verschillen teweeg te brengen in de behaalde

scores van verschillende etnische groepen. Pulakos en Schmitt (1996) hebben echter

aangetoond dat, wanneer men cognitieve vaardigheidsmetingen combineert met non-

cognitieve vaardigheidstesten, de verschillen sterk verminderd worden. Zo hebben ze aan een

verbale vaardigheidstest een biodata meting, een gestructureerd interview, en een SJT

toegevoegd. Een mogelijke verklaring voor deze bevinding is dat met zo’n uitgebreide

testbatterij bijna alle vaardigheden die vereist zijn voor de job getest worden en dat sommige

Page 17: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

10

van deze testen resulteren in minder adverse impact. Wanneer men een selectieratio van .80

nam, bleek adverse impact inderdaad verdwenen te zijn. Bij lagere selectieratio’s was adverse

impact echter nog steeds aanwezig. Pulakos en Schmitt (1996) hebben eveneens aangetoond

wanneer men een videogebaseerde verbale vaardigheidstest gebruikt deze de adverse impact

eveneens verlaagt. Anderzijds was de validiteit van deze videotest lager dan de validiteit van

de geschreven verbale vaardigheidstest.

Chan en Schmitt (1997) hebben de adverse impact van een videogebaseerde SJT

nagegaan en rapporteerden dat het verschil tussen zwarten en blanken substantieel lager was

bij een videogebaseerde SJT (-.21) in vergelijking met een geschreven SJT (-.95). Een

mogelijke verklaring hiervoor kan liggen in de waarden die door zwarten worden benadrukt.

Zij leggen vooral de nadruk op waarden als communalisme, beweging en mondelinge

communicatie. Dit zou dan een invloed uitoefenen op hun testprestaties. Dit betekent dat bij

een geschreven SJT zwarten een nadeel hebben door de cognitieve component van het lezen

en schrijven die vereist is om deze test af te leggen (Goldstein et al., 1992).

Wannneer men gaat kijken naar verschillen op gebied van geslacht, ziet men over het

algemeen dat vrouwen iets hogere scores halen dan mannen op SJTs. Het verschil is

doorgaans niet zo groot maar wel significant. Dit werd zowel gevonden bij geschreven SJTs

(O’Connell et al., 2007) als bij videogebaseerde SJTs (Lievens & Coetsier, 2002; Weekley &

Jones, 1997). Een mogelijke verklaring hiervoor is dat dergelijke situaties vaak een beroep

doen op interpersoonlijke vaardigheden. Hierdoor zouden vrouwen bevoordeeld zijn bij SJTs

(Weekley & Jones, 1997). Dit verschil kan echter teniet gedaan worden wanneer in de

selectieprocedure zowel een SJT als een cognitieve vaardigheidstest worden afgenomen

(Lievens & Coetsier, 2002).

faking ‘Faking’ vindt plaats wanneer er een intentionele vertekening is van de

antwoorden. Het onderzoek naar ‘faking’ in personeelsselectie kan gebeuren zowel als

veldonderzoek als in laboratoriumsituaties. Terwijl men in laboratoriumsituaties enkel het

maximale effect van ‘faken’ kan nagaan, weet men niet of men in het echte leven aan ‘faking’

doet. Hiervoor bieden veldsituaties een oplossing. In hun meta-analyse hebben Edens en

Arthur (2000) gerapporteerd dat ‘faking’ in het echte leven leidde tot een kleinere effect size

(.30) in vergelijking met ‘faking’ in laboratoriumsituaties (.71) (Peeters & Lievens, 2005).

Het onderzoek naar ‘faken’ op SJTs heeft geleid tot tegengestelde resultaten, waarbij

sommige vonden dat SJTs kunnen ‘gefaked’ worden (Haas & Mcdaniel, 1999; Nguyen et al.,

2002), terwijl andere juist suggereerden dat dit niet mogelijk is (Juraska & Drasgow, 2001).

Page 18: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

11

Deze studies waren wel niet zonder tekortkomingen. Zo is enkel de prestatie op SJTs

nagegaan, maar werd het effect van ‘faken’ op de validiteit van de SJT niet onderzocht. Ook

werd geen rekening gehouden met de constructen waarmee de SJT correleerde, aangezien

verschillende SJTs met verschillende constructen kunnen correleren. Peeters en Lievens

(2005) hielden in hun laboratoriumonderzoek bij universiteitsstudenten wel rekening met

bovenstaande opmerkingen. Als criterium werd het GPA of Grade Point Average van de

studenten gebruikt. Dit bestond hier uit de behaalde resultaten van de studenten in hun eerste

en tweede jaar. Peeters en Lievens (2005) rapporteerden in de ‘eerlijke’ groep een correlatie

van .33 tussen SJT en GPA, in de ‘fake’ groep was dit slechts .09. Ook leverde de SJT in de

‘fake’ groep geen incrementele validiteit boven op cognitieve vaardigheid en persoonlijkheid.

In de ‘eerlijke’ groep had de SJT een incrementele validiteit van 5.7%. Peeters en Lievens

(2005) suggereerden dus dat wanneer men op de SJT ‘faket’, deze niet langer een valide

predictor is. Het is wel zo dat, terwijl cognitieve testen heel moeilijk te ‘faken’ zijn, de SJT in

dit onderzoek een lage g-loading had. G-loading slaat op de mate waarin een test beroep doet

op de cognitieve vaardigheid van een respondent. Door de lage g-loading was de SJT meer

vatbaar voor ‘faking’.

Ontwikkeling SJT

Een SJT kan op twee verschillende manieren worden opgesteld: door middel van de

kritische-incidentenmethode (Flanagan, 1954), ook wel de inductieve methode genoemd, of

door middel van de deductieve methode, waarbij de situaties op basis van een theorie worden

opgesteld (Weekley et al., 2006).

Wanneer een SJT wordt ontwikkeld aan de hand van de kritische-incidentenmethode,

worden de situaties verzameld door het bevragen van experts met betrekking tot de inhoud

van de SJT (Subject Matter Experts ofwel SMEs). Dit bevragingsproces verloopt in drie fasen

(Ployhart & Ehrhart, 2003).

In een eerste fase wordt aan de SMEs gevraagd jobsituaties te beschrijven waarbij er

sprake was van uitzonderlijk goede of uitzonderlijke slechte prestaties. Dit noemt men de

kritische incidenten (Flanagan, 1954). Met kritisch wordt bedoeld dat de oplossing van deze

situaties belangrijk is voor het slagen of falen op het werk. Bij de beschrijving van elke

situatie door de SMEs wordt zowel naar het antecedent, de (in)effectiviteit van het gedrag en

de consequentie ervan gepeild. Het antecedent kan worden gebruikt om de situatie te

beschrijven, het gedrag als één van de antwoordalternatieven (Weekley et al., 2006).

Page 19: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

12

Nadat de kritische incidenten zijn gegenereerd, worden in de tweede fase de situaties

geselecteerd die in de finale SJT zullen worden opgenomen. Ook het construeren van de

mogelijke antwoordalternatieven gebeurt in deze fase. Hier doet men vaak beroep op SMEs

die weliswaar niet deelgenomen hebben aan de eerste fase. De meest en minst waarschijnlijke

reacties worden gekozen om uiteindelijk tot situaties te komen waar elk antwoordalternatief

een verschillende graad van effectiviteit weerspiegelt (McDaniel & Nguyen, 2001; Ployhart &

Ehrhart, 2001). Gedurende de derde fase van het ontwikkelingsproces wordt de

scoringssleutel ontwikkeld.

Een SJT kan echter ook ontwikkeld worden via een deductieve methode. De situaties

die hier worden gegenereerd weerspiegelen competenties of een theoretisch model. (Weekley

et al., 2006). De competenties bekomt men via jobanalyse of literatuuronderzoek. Echter niet

alle competenties worden opgenomen. Enkel degene die verondersteld worden noodzakelijk

te zijn voor een effectieve jobprestatie blijven behouden. De bruikbaarheid van deze methode

is moeilijk na te gaan omdat de meeste SJT’s, die op deze manier zijn ontwikkeld, enkel een

algemene testscore weergeven, geen subscore per competentie of dimensie (Samaey, 2006).

Nu wordt de ontwikkeling van een video SJT toegelicht. Volgens Walker, Cucina, en

Kannan (2008) kunnen hierbij vijf fasen onderscheiden worden. De eerste fase is de planning.

Dit betekent dat men een schema opstelt met alle ontwikkelingsfasen. Daarna kan men dan

overgaan tot een kostenraming. Hierbij moet rekening gehouden worden met het beschikbare

budget en met eventueel onverwachte kosten. Het doel is een zo’n precies mogelijk

kostenplaatje ter beschikking te hebben.

In de tweede fase worden de scripts ontwikkeld. Hierbij moet vooral gelet worden op

de visuele elementen. Dit houdt in dat men omschrijft welke acties er zullen plaatsvinden, wie

en wat er te zien zal zijn, welke de locatie en het opzet zullen zijn. Men kan ook in het script

verwerken welke bewegingen de acteurs zullen moeten uitvoeren en waar specifieke

attributen zich zullen bevinden ten einde de scène zo realistisch mogelijk te maken. Eenmaal

een script is ontwikkeld, is het van belang deze te laten beoordelen door domeinexperts. Zij

kunnen dan nagaan of het script voldoet aan de vooropgestelde criteria.

De volgende fase noemt men de preproductie. Wanneer de scripts goed bevonden zijn,

moet een geschikte locatie gevonden worden. Doorgaans verlopen opnames in studio, maar

men kan ook kiezen voor andere locaties. Wanneer dit laatste het geval is, moet men rekening

houden met tal van zaken. Eerst en vooral selecteert men een aantal opnamelocaties op basis

van het script. Daarna moet men dan nagaan wat mogelijke nadelen kunnen zijn van de

Page 20: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

13

opnamelocaties, zoals bijvoorbeeld geluidshinder. Verder moet ook toestemming verkregen

worden om te mogen filmen en mag men de logistieke aspecten zoals kleedkamers voor

acteurs niet uit het oog verliezen. Natuurlijk kan men niet beginnen filmen zonder spelers, dus

de selectie van acteurs is de volgende stap in deze fase. Hierbij heeft men twee keuzes. Men

kan kiezen voor professionele acteurs wat gepaard gaat met hoge kosten. Anderzijds is er bij

het ontwikkelen van de video SJT de mogelijkheid om voor niet-professionele acteurs te

kiezen zoals vrijwilligers of medewerkers. Tevens moeten ook de noodzakelijke rekwisieten

bepaald worden zoals bijvoorbeeld kledij. Hierbij is het van belang dat men de scripts goed

doorlicht. Er kan beroep gedaan worden op domeinexperts om realistische en

functiespecifieke rekwisieten te vinden. De laatste stap in de preproductie fase is het opstellen

van een opnameschema. Dit moet zeer gedetailleerd uitgewerkt zijn en bevat onder andere

zaken zoals het tijdstip waarop medewerkers moeten werken en welke scripts per dag

opgenomen worden.

In de voorlaatste fase vinden de eigenlijke opnames plaats. Hierbij houdt men best een

logboek bij waarin de begin- en eindpunten van verschillende scripts staan genoteerd en hoe

goed de opnamekwaliteit van de verschillende scripts is.

De laatste fase is deze van de postproductie. Hier wordt dan het ruwe filmmateriaal

bewerkt en wordt alles gemonteerd tot een eindproduct.

Videogebaseerde SJT

definitie Een videogebaseerde SJT is een omgezette geschreven SJT in beeld en

klank. Een video SJT bestaat uit scenario’s en deze scenario’s brengen op een realistische

manier een werksituatie in beeld. Naast de inhoudelijke boodschap is ook het non-verbale

gedrag zichtbaar. Het aangeboden videoscenario stopt op een sleutelmoment. Vervolgens

verschijnen er diverse antwoordalternatieven op het scherm. Uit deze alternatieven dient de

respondent de gepaste reactie voor de situatie te selecteren (Dalessio, 1994; Smiderle, Perry,

& Cronshaw, 1994; Weekley & Jones, 1997).

voordelen videotest Een video SJT heeft een aantal voordelen ten opzichte van een

geschreven SJT.

Allereerst kan men door het gebruik van videobeelden de situatie meer gedetailleerd,

realistisch, en nauwkeurig schetsen (Funke & Schuler, 1998; Olson-Buchanan & Drasgow,

2006). Dit kan mogelijk leiden tot een hogere inhouds - en predictieve validiteit. Zo vonden

managers dat een multimedia versie van een assessment relevantere informatie verschafte

Page 21: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

14

over de job dan een papier - en potlood test of een gecomputeriseerde versie van de

geschreven test (Richman-Hirsch et al., 2000). Deze bevinding heeft mogelijk ook zijn

weerslag op de face validity.

Wanneer sollicitanten de items in een test relevant vinden voor de job, zullen ze de test

mogelijk eerlijker percipiëren. Verschillende studies suggereren een hogere face validiteit van

de video SJT ten opzichte van een geschreven SJT waarbij de linguïstische informatie

constant werd gehouden. Zoals hierboven reeds aangehaald vonden Kanning et al. (2006) dat

een videogebaseerde SJT bestaande uit interactieve items positiever werd geëvalueerd dan een

geschreven SJT, ook al bestaat deze laatste eveneens uit interactieve items. Chan en Schmitt

(1997) bemerkten een gelijkaardige trend in hun studie. Een videogebaseerde SJT bleek een

hogere face validiteit te hebben dan een papier - en potloodtest. Een videogebaseerde SJT is

bovendien een vorm van een multimediatest. Een studie hieromtrent suggereerde een

positievere evaluatie van de sollicitant omtrent de face validiteit en de gepercipieerde

rechtvaardigheid (perceived fairness) van deze manier van testen (Richman-Hirsch et al.,

2000).

Ten tweede zouden video SJTs ook kunnen gebruikt worden bij de selectie van

individuen met een mindere leesvaardigheid (Chan & Schmitt, 1997). Hun onderzoek

suggereerde interessante resultaten. Zo kwam naar voor dat in de VS zwarten minder goed

scoorden dan blanken op een SJT, maar dat dit verschil beduidend kleiner was in het geval

van een video SJT ten opzichte van een geschreven test met dezelfde inhoud. Deels is het

verschil mogelijk te wijten aan de mindere leesvaardigheid van de zwarten. Een andere

verklaring is dat de zwarten andere waarden beklemtonen in hun cultuur. Zo zouden zij de

nadruk leggen op waarden als communalisme, beweging en belangrijker mondelinge

communicatie (Goldstein et al., 1992). Bovendien vonden Chan en Schmitt dat de face

validiteit van de geschreven SJT lager was voor de zwarten dan de blanken. De mindere

leesvaardigheid en de orale traditie in hun cultuur zorgen er mogelijk voor dat zij de

geschreven SJT minder kunnen appreciëren en deze test als onrechtvaardiger percipiëren. Dit

biedt perspectieven voor het gebruik van video SJTs bij de selectie van allochtonen of bij

beroepen waarbij leesvaardigheid minder van belang is.

praktijkrelevantie Onderzoek suggereert dat de impressies van sollicitanten de

aantrekking tot bedrijven beïnvloeden (Smither et al., 1993; Lievens & Highhouse, 2005).

Een mogelijk gevolg is dat bedrijven die testen gebruiken met een hoge face validiteit zoals

Page 22: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

15

de video SJT een strategisch voordeel hebben bij de rekrutering en selectie (Richman-Hirsch

et al., 2000).

Daarnaast blijkt uit het besproken onderzoek dat minderheidsgroepen video SJTs

mogelijk ook als meer face valide en rechtvaardiger gaan beschouwen (Chan & Schmitt,

1997). Dit kan belangrijk zijn aangezien in de huidige maatschappelijke context de aandacht

voor diversiteit steeds meer beklemtoond wordt. De slogan “Diversiteit verrijkt” her en der

verschijnend op de bussen is hier een expressie van. Bovendien wordt onze huidige

arbeidsmarkt gekenmerkt door een tekort aan werkkrachten. Allochtonen zijn daarbij nog

steeds ondervertegenwoordigd op de werkplaats. Het aantrekken van die pool van potentiële

sollicitanten van allochtone origine wordt daarom een steeds belangrijker gegeven. In de

“War for Talent” die er heerst om toch maar werknemers te vinden, zullen het de bedrijven

zijn die de juiste strategie hanteren die zullen excelleren. Het inspelen op deze doelgroep

wordt daarbij primordiaal. Het gebruik van een video SJT kan hieromtrent een belangrijke

bijdrage bieden.

Doelstelling

Ondanks het weinige onderzoek dat gebeurd is en de relatief hoge ontwikkelingskost

van video SJTs kunnen we uit het voorgaande afleiden dat er heel wat argumenten in het

voordeel spreken van een video SJT. Face validiteit en adverse impact zijn belangrijke

eigenschappen van een test in het licht van de huidige maatschappelijke context. In de praktijk

kan deze vorm van testen aangewend worden om een competitief voordeel uit te bouwen in

het kader van de rekrutering. Ons lijkt het daarom zinvol een video SJT te gaan ontwikkelen.

Page 23: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

16

METHODE

Er wordt eerst begonnen met een algemene bespreking van de ontwikkeling van een

SJT. Daarna wordt er dan specifiek ingegaan op de ontwikkeling van een video SJT en hierbij

wordt uitgelegd hoe men de video SJT voor deze scriptie heeft ontwikkeld.

Ontwikkeling van een SJT

De ontwikkeling van een SJT verloopt in vijf grote fasen. In de eerste fase worden

kritisch incidenten verzameld. Deze worden vervolgens omgezet in duidelijk omschreven

itemstammen. In de tweede fase worden de itemstammen voorzien van mogelijke

antwoordalternatieven. In de derde fase worden de antwoordinstructies bepaald. In de vierde

fase wordt de efficiëntie beoordeeld van de antwoordalternatieven zodat er in de vijfde fase

een scoringssleutel kan bepaald worden (Weekley, Ployhart, & Holtz, 2006; Lievens &

Schollaert, 2008).

Fase 1: Verzamelen van Kritische Incidenten

Voor het verzamelen van kritische incidenten wordt aan subject matter experts (SMEs)

gevraagd om uitzonderlijk goede voorbeelden en uitzonderlijk arme voorbeelden te geven van

prestaties. Belangrijk is dat deze kritische incidenten niet meer dan 6 tot 12 maanden oud

mogen zijn (Lievens & Schollaert, 2008).

Vervolgens worden de verzamelde incidenten herschreven tot itemstammen. De

itemstam vormt dat deel van het item dat de werkgerelateerde situatie aan de respondent

voorstelt. Bij deze stap moeten een aantal zaken in acht genomen worden. Eerst en vooral

dienen de situaties gerangschikt te worden. Hierbij worden alle gelijkaardige situaties

samengevoegd. Een tweede punt betreft de mate van specificiteit. De stam kan heel specifieke

elementen bevatten. Dit is vaak het geval wanneer de SJT in functie van één bepaalde taak

wordt ontwikkeld. Ten derde variëren itemstammen in lengte, complexiteit, en

begrijpelijkheid. Zo geven sommige tests hun situaties weer aan de hand van korte

beschrijvingen die simpele scenario’s presenteren, terwijl andere tests gedetailleerde en

complexere situatiebeschrijvingen hanteren (Weekley, Ployhart & Holtz, 2006).

Fase 2: Antwoordalternatieven Verzamelen

Voor het genereren van de antwoordalternatieven zijn er twee mogelijke manieren, de

(1) inductieve methode en de (2) deductieve methode. Bij de inductieve methode worden de

Page 24: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

17

antwoordopties meestal verzameld bij een nieuwe groep respondenten. Dit kan gaan om een

nieuwe groep SMEs, maar men kan ook leken inschakelen hiervoor. Terwijl men bij de eerste

optie komt te weten wat het beste en het slechtste antwoord is, krijgt men bij de laatste optie

vooral antwoorden met verschillende graad van effectiviteit. Bij de deductieve methode

worden antwoordalternatieven gegenereerd aan de hand van theoretische modellen. Deze

benadering geeft meer inzicht waarom een bepaalde handeling beter is dan een alternatieve

actie (Olson-Buchanan et al., 1998; Lievens & Schollaert, 2008).

In een volgende stap moet het aantal antwoordalternatieven gereduceerd worden.

Doorgaans wordt er tot vier antwoordalternatieven gereduceerd, maar dit aantal is slechts een

vuistregel (Lievens & Schollaert, 2008).

Fase 3: Bepalen van de Antwoordinstructies

Een SJT moet meedelen aan de respondent hoe hij tot een antwoord dient te komen.

Hierbij zijn twee soorten antwoordinstructies voorhanden: (1) gedragsgeoriënteerde

instructies of ‘would do’-instructies en (2) kennisinstructies of ‘should do’-instructies.

Gedragsgeoriënteerde instructies vragen de respondent wat hij waarschijnlijk zou doen of hoe

hij zich waarschijnlijk zou gedragen. Kennisinstructies vragen de respondent wat hij idealiter

zou moeten doen en peilen dus naar zijn kennis over de effectiviteit van de mogelijke

handelingen (Weekley, Ployhart, & Holtz, 2006).

Fase 4: Scoring van de SJT

In deze fase wordt bepaald welke de beste en welke de slechtste antwoordalternatieven

zijn. De effectiviteit van antwoordalternatieven wordt nagegaan om een scoringssleutel te

ontwikkelen. De alternatieven kunnen op vier verschillende manieren gescoord worden: (1)

rationele of expertgebaseerde scoring, (2) empirische scoring, (3) theoretische scoring, en (4)

hybride scoring (Lievens & Schollaert, 2008).

Bij de rationele of expertgebaseerde scoring is het uitgangspunt de veronderstelling

dat domeindeskundigen de relatieve effectiviteit en ineffectiviteit van de verschillende

antwoorden in de praktijk kennen (Mac-Lane, Barton, Holloway-Lundy, & Nickels, 2001).

Bij deze methode wordt de scoringssleutel dus gebaseerd op de antwoorden van individuen

met een aanzienlijke hoeveelheid kennis over en ervaring met het onderwerp (Lievens &

Schollaert, 2008).

Bij empirische scoring worden de items van een grote steekproef afgenomen. Meestal

bekijkt men de antwoordalternatieven van een grote groep individuen die representatief zijn

Page 25: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

18

voor de functie. Hierbij kan de antwoordoptie gekoppeld worden aan een criteriumvariabele

zoals bijvoorbeeld prestatieniveau. Zo zullen de antwoordopties die relatief vaak aangeduid

worden door goed presterende individuen als correct worden gescoord en de antwoordopties

die relatief vaak aangeduid worden door slecht presterende individuen zullen als incorrect

worden gescoord. Een andere mogelijkheid is om de correlaties tussen SJT-scores en

criterium te hanteren. Positieve correlaties worden geassocieerd met hoge prestaties en deze

opties zullen als correct worden beschouwd. Omgekeerd zullen negatieve correlaties

geassocieerd worden met lage prestaties en deze antwoordalternatieven zullen als niet correct

worden beschouwd (Lievens & Schollaert, 2008).

Bij theoriegebaseerde scoring wordt een scoringssleutel ontwikkeld op basis van een

bestaand theoretisch kader. De verschillende antwoordopties kunnen bepaalde

veronderstellingen over de theorie weerspiegelen, er neutraal tegenover staan, of tegengesteld

zijn aan wat de theorie voorspelt. Antwoordopties die in overeenstemming zijn met de theorie

wordt als correct (1) gescoord, antwoordopties die tegengesteld zijn aan de theorie zullen als

incorrect (-1) worden gescoord, en antwoordopties die irrelevant zijn voor de theorie krijgen

een nulscore (Lievens & Schollaert, 2008; Olson-Buchanan et al., 1998).

Als laatste scoringsmethode is er nog de hybride scoring. Hierbij wordt een empirische

scoring gecombineerd met een andere scoringsmethode (Lievens & Schollaert, 2008).

Fase 5: Bepalen van de Scoringssleutel

Voor het bepalen van de scoringssleutel is het belangrijk dat er een beslissingsregel

wordt ontworpen. Deze regel bepaalt welke punten er worden toegekend aan elk antwoord.

Deze regel zorgt er dus voor dat er een definitieve score kan toegekend worden aan iedereen

die de SJT invult.

Welke SJT?

Voor deze scriptie werd een videogebaseerde SJT ontwikkeld van een reeds bestaande

geschreven SJT (zie bijlage 1 en 2). Er werd besloten te kiezen voor een SJT die peilt naar de

leermethoden van studenten (Bess & Mullins, 2002). Er werd voor deze test gekozen omdat

het naar de mening van de auteurs van deze scriptie de enige test is die studentensituaties

weerspiegelt en naar het Nederlands is vertaald. Verder is het ook een test die al veel

onderzocht werd. Zo bleek in een onderzoek van Peeters en Lievens (2005), waarin de faking

van SJTs werd nagegaan, dat deze test valide zou zijn wanneer men de instructies kreeg om

eerlijk te antwoorden en gevraagd werd hoe men waarschijnlijk zou reageren in de

Page 26: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

19

verschillende situaties. De SJT bestond oorspronkelijk uit 24 items. Bij de vertaling naar het

Nederlands werd er besloten één item te verwijderen. In de SJT worden dus 23

probleemsituaties geschetst en bij elke probleemsituatie zijn er vier mogelijke

antwoordalternatieven. De scoringssleutel voor de test werd ontwikkeld door gebruik te

maken van SMEs. Tien 1ste

master studenten met een gemiddelde leeftijd van 23 jaar, die

succesvol hun bacheloropleiding hadden afgerond, hebben onafhankelijk van elkaar de SJT

ingevuld. Zij moesten aangeven wat de meest effectieve en de minst effectieve alternatieven

waren. Daarna kwamen ze samen om hun antwoorden te vergelijken. De consensus moest

80% zijn of hoger. Als dit niet het geval was, moesten de discrepanties opgelost worden door

discussie. Uiteindelijk kwam men tot de volgende scoringssleutel (zie bijlage 3). De sleutel

maakt een onderscheid tussen het best mogelijke antwoord, het slechtst mogelijke antwoord,

en antwoorden die noch goed noch slecht zijn. Zo krijgt het best mogelijke antwoord +1, het

slechtst mogelijke antwoord –1 en de neutrale antwoorden 0. Op die manier krijgen de

respondenten die noch het slechtste noch het beste alternatief kiezen, toch nog gedeeltelijk

krediet voor hun keuze. De totale testscore wordt dan bereikt door de scores op de 23 items op

te tellen. Dit betekent dus dat een totale score kan reiken van –23 tot +23 (Peeters & Lievens,

2005).

Ontwikkeling van een Video SJT

Voor het ontwikkelen van de videogebaseerde SJT werden vijf stappen doorlopen: (1)

planning, (2) ontwerp van scripts, (3) preproductie, (4) video-opnamen, en (5) postproductie

(Lievens & Schollaert, 2008; Walker, Cucina, & Kannan, 2008).

Planning

Vooraleer men begint aan de ontwikkeling van een video SJT, is het van belang een

duidelijke planning met alle ontwikkelingsfasen op te stellen. De fasen die in deze planning

kunnen vermeld worden zijn ‘ontwerpen van scripts’, ‘preproductie’, ‘video-opnamen’, en

‘postproductie’. In deze planning kan het best een tijdslijn worden geïntegreerd (Lievens &

Schollaert, 2008).

Bij de ontwikkeling van de video SJT voor deze scriptie werden de fasen eerst

opgelijst en afgelijnd. De tijd, die nodig was voor de verschillende fasen, werd ingeschat (zie

bijlage 4). Dit bracht een vlotte overgang naar de volgende stap in de planning met zich mee.

Na de oplijsting en aflijning van de fasen werden ze immers geïntegreerd in een tijdslijn.

Voor elke fase werd een begindatum en einddatum vastgelegd. Vervolgens werd elke fase nog

Page 27: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

20

eens apart belicht. Hierbij was het de bedoeling grondig na te gaan wie en wat er allemaal

nodig is in elke fase.

Vervolgens is het van belang het budget te bepalen dat aan de ontwikkeling van de

video SJT kan worden uitgegeven. Hierbij dient men rekening te houden met onverwachte

kosten en met het gegeven dat bij video SJTs eenmalige implementatiekosten zullen

plaatsvinden. Het is van belang een zo’n precies mogelijk kostenplaatje te bepalen. Daarom

werd bij de ontwikkeling van de video SJT per fase nagegaan wat de hiermee gepaard gaande

kosten konden zijn. Men kan hierbij denken aan bijvoorbeeld de acteurs, de film - en

opnameapparatuur enzovoort. Na de raming van de kosten kan dan de ontwikkelingsstrategie

worden bepaald. Hier worden vragen behandeld zoals ‘waar gaat men de video SJT

opnemen?’, ‘wie zal meewerken aan de opnamen?’ enzovoort (Lievens & Schollaert, 2008).

Er werd zoveel mogelijk getracht de initiële planning te respecteren. Uiteindelijk werd

volgend logboek gehanteerd ( zie bijlage 5).

Eenmaal de verschillende fases duidelijk omlijnd worden en geïntegreerd worden in

een planning, en de budgetbepaling voltooid is, kan overgegaan worden naar de volgende stap

in de ontwikkeling van de video SJT, namelijk het ‘ontwerpen van scripts’.

Ontwerpen van Scripts

Een script is een omgezette itemstam of - optie waarbij zowel de visuele elementen

(zoals de handelingen) als de geluidselementen (zoals de dialogen) volledig zijn uitgeschreven

zodat deze kunnen worden verfilmd (Walker, Cucina, & Kannan, 2008).

Voor het ontwerpen van scripts moeten itemstammen en - opties voorhanden zijn.

Reeds hierboven werd uitgelegd hoe men tot itemstammen en - opties kan komen. (Lievens &

Schollaert, 2008; Olson-Buchanan et al., 1998).

Een script moet een aantal duidelijk uitgewerkte elementen bevatten. Eerst en vooral

zijn er de visuele elementen. Dit betekent dat er moet omschreven worden welke handelingen

er in de scripts zullen plaatsvinden en wat er allemaal te zien zal zijn. Er moet dus duidelijk

beschreven zijn waar de acteurs zich bevinden en welke handelingen ze moeten uitvoeren.

Ook de plaats van de attributen moet gespecificeerd worden in het script. Daarnaast zijn er

ook de geluidselementen. De dialogen moeten volledig uitgeschreven zijn. Tot slot moet ook

achtergrondinformatie gespecificeerd worden om de scène zo realistisch mogelijk te maken

(Lievens & Schollaert, 2008).

Page 28: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

21

Concreet wil dit zeggen dat een goed script op de eerste plaats visueel moet zijn. Dat

betekent dat zij exact hetzelfde moeten communiceren aan elke lezer. Verder is ook het

taalgebruik in het script van belang. Het is de bedoeling dat de dialoog natuurlijk overkomt.

Een volgend punt is de realiteit die gecreëerd wordt. Deze moet geloofwaardig en consistent

zijn. De procedures en rollen van acteurs moeten door het hele script gelijkwaardig zijn. Een

laatste punt betreft de focus van het script. Hiermee wordt bedoeld dat er een duidelijke

richting moet gegeven worden aan het script. Hierbij kunnen tijdens het ontwerpen van de

scripts twee vragen gesteld worden: wat maken de deelnemers mee of wat zien ze? Komt dit

overeen met de doelen van de SJT? Dit zijn slechts enkele richtlijnen die kunnen leiden tot

een goed script (Walker, Cucina, & Kannan, 2008).

Vooraleer men begint met het schrijven van scripts moet eerst worden beslist in welk

formaat men de scripts gaat ontwikkelen. Hiervoor beschikt men namelijk over twee

mogelijkheden: (1) het split screen-formaat en (2) het standaardformaat (Walker, Cucina, &

Kannan, 2008).

Het ‘split screen-formaat’ bestaat uit twee kolommen. De linkerkolom bevat de visuele

elementen zoals bijvoorbeeld de acties. De rechterkolom geeft het overeenstemmende

geluidselement weer. Het standaard formaat daarentegen bevat één script dat de visuele en

geluidselementen combineert (Lievens & Schollaert, 2008).

In functie van de gebruiksvriendelijkheid werd er in deze scriptie geopteerd het

standaardformaat te hanteren bij het uitschrijven van de scripts.

Eens het formaat bepaald, werd er begonnen met het schrijven van de scripts. Er is

getracht geweest de shots, de dialogen en de voice-overs, die in deze SJT veelvuldig

voorkomen, in detail uit te schrijven. In figuur 3 vindt men een voorbeeld van een uitgewerkt

script. Het desbetreffende item vindt men terug in figuur 2.

Eens de scripts zijn uitgeschreven, moeten ze ook nog een review krijgen. Hiervoor

wordt een beroep gedaan op SMEs. Doorgaans worden twee rondes van review gehanteerd. In

de eerste ronde bekritiseren SMEs de scripts onafhankelijk van elkaar. Op basis van hun

opmerkingen worden de scripts aangepast. De tweede ronde bestaat uit een

groepsvergadering. Tijdens deze vergadering leest men het script voor aan de SMEs en wordt

de positie van de acteurs verduidelijkt. Dit helpt SMEs om het script te visualiseren. Een

andere mogelijkheid bestaat er uit om voor elk script een ‘storyboard’ te hanteren. Een

storyboard is een opeenvolging van beelden die de locatie, de dialoog en de beweging tonen.

Page 29: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

22

Een voordeel van het storyboard is dat het een leidraad kan vormen tijdens het filmen.

Rekening houdend met de suggesties van de SMEs past men aan het einde van deze fase het

script aan (Walker, Cucina & Kannan, 2008).

Voor de review van de video SJT in deze scriptie werd beroep gedaan op 5 SMEs. Dit

waren 2 vrouwen en 3 mannen. De minimum leeftijd bedroeg 20 jaar, de maximum leeftijd 28

jaar. De gemiddelde leeftijd was 23.8 jaar (SD=3.2). Aangezien de test zich situeerde rond

studenten, waren 4 van de 5 SMEs studenten. Om zich niet enkel te beperken tot studenten

was de 5de

SME een assistente aan de faculteit psychologie en pedagogische wetenschappen

van de universiteit van Gent. Deze persoon werkte samen met studenten en leverde dus een

andere kijk op de zaken dan de studenten zelf. De 5 SMEs hebben onafhankelijk van elkaar de

scripts nagekeken en bekritiseerd. De scripts werden dan aangepast op basis van de

opmerkingen die de 5 SMEs naar voor hebben gebracht. Na deze individuele ronde werd er in

groep gediscussieerd over deze scripts. Op basis van deze tweede ronde werden nog een

aantal finale aanpassingen aan de scripts gemaakt( zie bijlage 6).

Je kotgenoot heeft problemen om te studeren voor een examen voor een vak waarin jij goed

bent. Je hebt je taken voor die avond afgewerkt en je was van plan om samen met een aantal

vrienden uit eten te gaan. Je beseft echter dat je kotgenoot je voordien heeft geholpen met

enkele van jouw taken. Je kotgenoot vraagt je om hulp bij het studeren voor het examen. Wat

zou je doen?

a. je legt uit dat je reeds plannen hebt gemaakt, maar dat je samen met de kotgenoot de

leerstof nog eens zal hernemen wanneer je thuiskomt na het eten.

b. je belt je vrienden op en je zegt het etentje af. In de plaats daarvan blijf je thuis om je

kotgenoot te helpen en om samen met hem te eten.

c. je stelt je plannen om te gaan eten uit en besteedt de nodige tijd aan het helpen van je

kotgenoot. Daarna ga je uit eten.

d. je legt uit dat je hem/haar graag zou hebben geholpen, maar dat je reeds plannen hebt

die je niet kan afzeggen.

Figuur 2. Item uit test van Bess en Mullins (2002)

Page 30: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

23

St: Dirk Mst: Elise

Dirk zit op zijn kamer. Hij legt zijn boeken opzij.

St: Hij denkt het volgende: Voilà, mijn taken voor vanavond zijn afgewerkt. Nu kan ik

vertrekken om te gaan uiteten met mijn vrienden.

Er wordt geklopt op de deur. Dirk opent en het is zijn kotgenoot Elise die daar staat.

Mst: Zeg Dirk, ik heb problemen met het studeren van mijn vak en ik heb binnenkort dat

examen. Zou je mij willen helpen bij het studeren?

St: Hij denkt eventjes na: Zij heeft mij ook al eens geholpen met mijn taken.

a) St: Ik heb eigenlijk al plannen voor vanavond. Ik ga uiteten met een paar vrienden, maar

ik wil wel met jou eens de leerstof doorlopen als ik terug thuis ben.

Mst: Oké, Ik zie je dan straks wel.

Er wordt afscheid genomen.

b) St: Oké, ik zal je helpen. Ik stel wel voor dat we eerst hier op kot wat gaan eten. Ik kom

onmiddellijk af.

Elise gaat weg. Dirk belt iemand op.

St: Hey, Alles goed? … Zeg het is voor het volgende, ik kan niet meekomen eten. Kan

jij aan de rest melden dat ik er niet zal zijn?

c) St: Oké, ik zal je helpen. Ik kom onmiddellijk af.

Elise gaat weg. Dirk belt iemand op.

St: Hey, Alles goed? … Zeg, is het goed als we het etentje verplaatsen later op de

avond? … Kan jij dit aan de rest melden?

d) St: Sorry, maar dat zal niet gaan. Ik had je graag willen helpen, maar ik heb reeds

plannen die ik niet meer kan afzeggen. ( resoluut).

Mst: Oké ( gaat ontgoocheld weg).

Figuur 3. Script van item uit Figuur 2.

Page 31: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

24

Tot slot dient ook rekening gehouden te worden met de testveiligheid. Testveiligheid

betekent dat scripts niet worden verspreid. Omdat scripts veel gedetailleerde informatie over

het scenario bevatten, is het van belang dat men voorzichtig omspringt met de scripts. Er zijn

enkele mogelijkheden om de testveiligheid van scripts te garanderen. Eerst en vooral bewaart

men de scripts best in een veilige en afgesloten plaats. Men moet ook proberen de scripts aan

niemand mee te geven. Zeker wat betreft acteurs is dit belangrijk. Zij durven soms de scripts

mee naar huis vragen, zodat ze zich kunnen voorbereiden. Best noteert men ook hoeveel

exemplaren van het script zijn gemaakt. Op die manier merkt men onmiddellijk wanneer er

één ontbreekt. Als laatste punt rond testveiligheid kan men aan iedereen die meewerkt aan de

ontwikkeling van de video SJT (zoals acteurs, cameraman, …), vragen om een overeenkomst

te tekenen waarin ze verklaren om de inhoud van de scripts niet openbaar te maken (Lievens

& Schollaert, 2008). De auteurs van deze scriptie hebben tijdens de ontwikkeling van de

video SJT op de testveiligheid toegekeken.

Na deze finale stap in het ontwerpen van scripts, kan overgegaan worden naar de

volgende fase, met name de ‘preproductie’.

Preproductie

In deze fase worden de opnamelocaties vastgelegd, de acteurs geselecteerd, en wordt

aandacht besteed aan de rekwisieten en de planning van de opnameshots (Lievens &

Schollaert).

De opname’s kunnen plaatsvinden in een studio. Een andere mogelijkheid is om te

gaan filmen op locatie. Waar vooral naar gekeken moet worden is dat de locatie aan de eisen

van het script voldoet (Lievens & Schollaert, 2008).

Doorgaans is er een locatieverantwoordelijke die samen met de producer de

verschillende scènes doorloopt, de beschikbare opnamelocaties bezoekt en bekijkt, en alle

mogelijke opnameopties bespreekt. Er wordt eveneens gekeken of er hindernissen gekoppeld

zijn aan de opnamelocaties en of die eventueel kunnen verholpen worden. Een voorbeeld van

een dergelijke hindernis is de geluidshinder door verkeer. Daarnaast moet men er ook

rekening mee houden dat het nodig kan zijn toestemming te krijgen om op de gekozen locatie

te mogen filmen (Walker, Cucina ,& Kannan, 2008).

Ook de logistieke aspecten mogen niet uit het oog worden verloren. Hiermee worden

zaken bedoeld zoals de beschikbaarheid van kleedkamers voor acteurs, een opslagruimte voor

Page 32: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

25

rekwisieten, een vergaderruimte, en voldoende stroomtoevoer voor camera’s en belichting

(Lievens & Schollaert, 2008).

In deze scriptie werd besloten om niet in een studio te filmen maar op locatie. Na

grondig nazicht van de scripts bleken er drie verschillende locaties nodig te zijn, namelijk (1)

een studentenkamer, (2) een leslokaal, en (3) een ruimte voor het samenkomen van

groepswerken. Voor de locatie van de studentenkamer werd er gebruikt gemaakt van twee

verschillende studentenkamers. Op die manier kregen de respondenten voldoende variatie in

het bekijken van de video SJT. De locatie van leslokaal werd gebruikt voor scènes die zich

afspeelden tijdens examens of lessen. Voor de derde locatie werd eveneens het leslokaal

gebruikt. Aangezien in realiteit een leslokaal ter beschikking wordt gesteld voor examens,

lessen en groepswerken, zou het geen probleem mogen opleveren dat dezelfde locatie voor

deze drie verschillende settings werd gebruikt.

Voor de selectie van acteurs zijn er twee mogelijkheden. De eerste mogelijkheid is

kiezen voor professionele acteurs. Deze kan men best rekruteren via een castingbureau of via

toneelgezelschappen (Olson-Buchanan et al., 1998). Deze acteurs zijn echter vaak

gespecialiseerd en dus dient men erop toe te zien dat hun specialisatie overeenstemt met wat

het script van hen verlangt. Verder moet men ook toezien dat er geen sprake is van

overacting, want dit zou een invloed kunnen hebben op de inhoud van de items of zou de

scènes onnatuurlijk laten overkomen. Daarnaast bedragen de kosten, die professionele acteurs

met zich meebrengen, zo’n 30-45% van het totale productiebudget (Walker, Cucina, &

Kannan, 2008).

Een tweede mogelijkheid is kiezen voor niet-professionele acteurs. Dit betreft dan

personen die over weinig tot geen acteerervaring beschikken. Voorbeelden hiervan zijn

medewerkers aan de video SJT of vrijwilligers (Walker, Cucina, & Kannan, 2008).

Enkele mogelijke richtlijnen voor het selecteren hierbij kan zijn het organiseren van

audities (Olson-Buchanan et al., 1998). Eveneens is het belangrijk te zorgen voor een goede

demografische balans. Dit houdt ook in dat men bij het tonen van verschillende

demografische groepen positieve en negatieve aspecten moet afwisselen. Verder is het ook

belangrijk stereotypen te vermijden (Lievens & Schollaert, 2008).

In deze scriptie werd in kader van het budget besloten om niet-professionele acteurs te

selecteren. Er werd dus op zoek gegaan naar vrijwilligers. Vijf vrijwilligers werden

geselecteerd. Dit waren vier mannen en één vrouw. De minimum leeftijd bedroeg 22 jaar en

de maximumleeftijd bedroeg 40 jaar. De gemiddelde acteur had een gemiddelde leeftijd van

Page 33: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

26

27.6 jaar (SD=2.7). Deze niet-professionele acteurs hadden echter wel al amateuristische

ervaring. Van de acteurs fungeerden er twee als student, één als mannelijke student en één als

vrouwelijke student. Zij vertolkten de hoofdrollen. Eén iemand nam de rol als prof op zich.

Deze persoon heeft in het verleden nog een carrière als prof gehad, wat hem geschikt maakte

om deze rol te vertolken. De twee overige acteurs dienden de rol van figuranten op zich te

nemen. Zij bleven vooral op de achtergrond en dienden in de eerste plaats om de scènes

realistisch in beeld te kunnen brengen.

Een volgende punt in de preproductie betreft de rekwisieten en de kleding. Hiervoor

worden de scènes grondig doorgelicht. Soms kan het handig zijn beroep te doen op

domeinexperts om realistische en functiespecifieke rekwisieten te vinden. Best bepaal je

hierbij ook waar de rekwisieten te verkrijgen zijn. Daarnaast is het ook van belang om voor

geschikte kleding te zorgen voor de acteurs (Lievens & Schollaert, 2008).

Om een volledige lijst te bekomen van de rekwisieten werden bij de ontwikkeling de

verschillende scripts zeer aandachtig en nauwkeurig overlopen. Alles moest tot in detail

voorhanden zijn. Wanneer zou blijken dat tijdens de opnames iets ontbreekt, zou dit de hele

planning kunnen verstoren. Bepaalde opnameshots zouden dan moeten worden uitgesteld,

waardoor het opnameschema volledig in de war zou worden gestuurd. Er werd dan ook een

exhaustieve lijst van alle benodigdheden samengesteld (zie bijlage 7). In sommige scripts kon

zeer duidelijk bepaald worden wat de verschillende benodigdheden waren, zoals in figuur 3,

waar duidelijk is dat men boeken en een (mobiele) telefoon nodig heeft. In andere scripts was

dit minder duidelijk. Dit ging vaak om minder opvallende elementen zoals een horloge, een

balpen, of simpelweg gewoon wit A4-papier.

Qua kleding waren er geen bijzondere vereisten. De personen die de rollen van

studenten vertolkten, kregen de opdracht alledaagse kleding te dragen. De persoon die de rol

van professor vertolkte, droeg een kostuum. Belangrijk punt hierbij is dat in geval van het

herfilmen van scènes op een later tijdstip, er moet voor gezorgd worden dat de acteurs exact

dezelfde kledij weer aan hebben. Het past niet dat iemand bij de ene optie andere kledij draagt

dan bij een andere optie van datzelfde item. Hiermee werd tijdens de ontwikkeling rekening

gehouden.

Een volgende punt in de preproductie betreft de ontwikkeling van een opnameschema.

Er moet een gedetailleerd plan van de opnamen ontworpen worden dat tot in de puntjes is

uitgewerkt. Een aantal belangrijke elementen moeten hierin wel vermeld worden. Zo moet het

Page 34: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

27

opnameschema bevatten welke scripts er per dag worden opgenomen, het aantal scenario’s

dat gefilmd moet worden, het aantal acteurs per scène, het tijdstip en de locatie waarop de

medewerkers moeten werken, hoeveel alternatieve tekstversies er nodig zijn, contactgegevens

van acteurs en andere medewerkers. (Lievens & Schollaert, 2008).

Bij de ontwikkeling van de video SJT is getracht geweest een zo’n gedetailleerd

mogelijk opnameplan uit te werken (zie bijlage 5). Hierbij is rekening gehouden met de

tijdstippen waarop de acteurs beschikbaar waren alsook met de hierboven vermelde elementen

die een opnameschema moet bevatten. Ook met de beschikbaarheid van filmlocaties moest

rekening gehouden worden bij de opstelling van de planning. Daarnaast moest eveneens in

acht genomen worden dat misschien bepaalde scènes moesten herfilmd worden. Zo is het

bijvoorbeeld gebeurd dat bij de eerste take van de scène er zonlicht door het raam scheen. Bij

de tweede take van diezelfde scène was het zonlicht verdwenen. Daardoor kreeg men echter

na het knip- en plakwerk een scène die middenin plots veel donkerder werd. Om deze redenen

werd er na de montage een paar dagen extra voorzien voor scènes die opnieuw moesten

gefilmd worden.

Tot slot werd er op zoek gegaan naar beschikbare en adequate filmapparatuur. Het is

essentieel over degelijke apparatuur te beschikken, want kwaliteit is belangrijk. Als

filmapparatuur werd de Sony HDR-SR1 camera gebruikt. Er is ook een cursus gevolgd om

met de apparatuur overweg te kunnen. Naast de videocamera moest eveneens de mogelijkheid

aanwezig zijn om te monteren. Er is dan ook gezocht geweest naar het meest geschikte

montageprogramma. Voor de montage werd uiteindelijk Adobe Premiere Elements 3.0 (2006)

gehanteerd. Ook hier werd er een cursus voor gevolgd.

Wanneer dit alles in orde is, kan overgegaan worden naar de voorlaatste stap in het

ontwikkelen van videogebaseerde SJT.

Video-Opnamen

Dit is de fase waarin de eigenlijke opnames van start gaan. De acteerprestaties van de

acteurs worden gefilmd. Tijdens deze fase zijn naast de acteurs ook een aantal medewerkers

aanwezig die elk hun eigen functie hebben en elk met hun eigen expertise bijdragen aan het

welslagen van deze fase. De belangrijkste functies zijn, (1) de producer, (2) de director of

photography, (3) de geluidstechnicus, (4) de hoofd technicus, (5) de testontwikkelaar, (6) de

domeinexpert, en (7) de acteurs (Walker, Cucina, & Kannan, 2008).

Page 35: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

28

De producer, ook wel manager genoemd, heeft de leiding over de opnamen. Hij is

verantwoordelijk voor het behalen van het eindproduct en geeft leiding aan de acteurs. De

director of photography probeert de visie van de producer om te zetten. Hij overlegt samen

met de producer over de lay-out van de scènes, de beweging van de scènes enzovoort. De

geluidstechnicus selecteert de juiste microfoons om het geluid van de acteurs zo duidelijk

mogelijk weer te geven. Hij staat ook in voor het filteren van storend achtergrondgeluid. De

hoofd technicus staat onder leiding van de director of photography en is verantwoordelijk

voor de belichting van de set en de scènes. De testontwikkelaar zorgt ervoor dat de doelen van

de test worden bereikt. De domeinexpert begeleidt de acteurs en de filmcrew en zorgt ervoor

dat het realisme van de scènes bewaakt wordt. De acteurs brengen met hun acteerprestaties de

scripts tot leven (Walker, Cucina, & Kannan, 2008).

Tijdens de opnamen nam één van de auteurs de rol van producer op zich. Daarbij

vervulde die ook de rol van director of photography. De cameraman was tegelijkertijd ook

hoofdtechnicus. De andere auteur van deze scriptie nam de rol van testontwikkelaar en

domeinexpert op zich.

Een aantal essentiële aspecten mogen niet worden vergeten bij deze fase. Eerst en

vooral is het van belang een accuraat logboek bij te houden. Het logboek kan immers dienen

als gids bij de postproductie. Het logboek geeft het begin- en eindpunt van de scènes, de

opnamenummers en de kwaliteit van de opnames weer (Lieven & Schollaert, 2008).Voor

deze scriptie moesten er 23 itemstammen met 4 antwoordalternatieven gefilmd worden. In

totaal kwam dit dus neer op 115 scènes die in beeld moesten worden gebracht. Het

beschikken over een logboek bleek een handig hulpmiddel te zijn.

Ten tweede dient men op geregelde tijdstippen de opnamen te bekijken om er zeker

van te zijn dat het gefilmde materiaal goed is (Lieven & Schollaert, 2008). Tijdens de

opnamen werd het gefilmde materiaal geregeld bekeken door de producer en de

domeinexpert.

Ten derde moet tijdens het filmen een domeinexpert aanwezig zijn om de accuraatheid

en het realisme van de opnamen te controleren. Ook de testontwikkelaar en director of

photography zijn met elk hun expertise in staat opmerkingen te geven. Op basis van deze

opmerkingen van de domeinexpert, de testontwikkelaar of de director of photography geeft de

producer aan de acteurs feedback en maakt de producer aanpassingen aan de scène (Lievens

Page 36: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

29

& Schollaert, 2008).Bij de ontwikkeling van de video SJT moest de domeinexpert tijdens de

opnames ervoor zorgen dat de scènes accuraat en realistisch waren en dat scènes nog steeds in

overeenstemming waren met de doelen van de test. Hij bekeek dus regelmatig het gefilmde

materiaal. Op basis van de opmerkingen die hieruit voortvloeiden, werd dan feedback

gegeven aan de acteurs en werden aanpassingen gemaakt aan de scènes. Zo is er bijvoorbeeld

omwille van de plaatsing van de acteurs moeten worden herfilmd. Vaak merkt men pas dat

acteurs slecht geplaatst zijn nadat men al eens een take opgenomen heeft. Verder moesten er

ook af en toe nieuwe takes genomen worden omdat de acteerprestaties te onnatuurlijk

overkwamen, omdat men zijn tekst was vergeten, of omdat men begon te lachen of te

stotteren. Daarnaast werden ook aanpassingen gegeven over het puur technische aspect. Zo

moest er herfilmd worden omdat men de camera te snel bewoog.

Nu alle scènes zijn opgenomen wacht er nog één belangrijke fase in de ontwikkeling

van videogebaseerde SJT, namelijk de postproductie.

Postproductie

montage In deze fase staat de montage van het ruwe filmmateriaal centraal. Hierbij

bewerkt men het product tot een gewenst eindresultaat. Verschillende stappen kunnen bij de

montageprocedure worden onderscheiden. De eerste twee stappen bestaan uit het digitaliseren

van enerzijds het relevant ruw materiaal en anderzijds het minder belangrijk filmmateriaal. In

een derde stap wordt aan de hand van het ruw materiaal een beste opname samengesteld. Een

vierde en laatste stap betreft het toevoegen van vertellers, effecten en figuren om uiteindelijk

zo tot een voorlopige scène te komen (Lievens & Schollaert, 2008).

Voor de montage werd gebruik gemaakt van een specifiek softwarepakket met name

Adobe Premiere Elements 3.0 (2006). Dit programma werkt met verschillende projecten die

men kan opstarten. Daarom werd vanuit het standpunt van gebruiksvriendelijkheid geopteerd

om elk van de 23 scènes als een apart project te beschouwen.

Elke scène werd vervolgens ingedeeld in enerzijds een inleidend stuk die de situatie

voorstelt. Dit stuk geeft de nodige achtergrondinformatie over de vraagstelling van de test.

Daaropvolgend werden telkens de vier antwoordmogelijkheden gerangschikt. Deze structuur

was analoog met een test die we vormtechnisch als voorbeeld hadden genomen (SQ-demo,

2009). Ten slotte werd elk van deze onderdelen voorzien van een passend titelsjabloon dat het

montageprogramma ons ter beschikking stelde. Het filmmateriaal van de scènes werd

Page 37: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

30

uiteindelijk in het overeenkomstige project ingeladen en op die manier gedigitaliseerd. De

eerste twee stappen van de montageprocedure werden hierdoor gerealiseerd.

Per scène werd dan een keuze gemaakt tussen verschillende opnamen van hetzelfde

script. Men moet hierbij rekening houden met verschillende criteria. Primordiaal moet worden

gekeken welke opnames het beste het doel van het script uitbeelden. Ook kan rekening

worden gehouden met verlichting, omgevingsgeluiden, en de duidelijkheid van de dialoog

(Lievens & Schollaert, 2008). Rekening houdend met deze criteria werd het beeldmateriaal

dan ook zorgvuldig gescreend en werd de derde stap in de montageprocedure vervolledigd.

De laatste stap bij de montageprocedure bestond in de eerste plaats uit het inspreken

van de voice-overs. Deze stemmen-buiten-beeld zijn nodig omdat zij belangrijke informatie

geven aan de kandidaten die de test afnemen (Lievens & Schollaert, 2008). Er werd gebruik

gemaakt van twee soorten voice-overs. Enerzijds werd een vertelstem geïmplementeerd. Deze

stem verzorgt de introductie en instructies van de test en werd gebruikt bij het geven van de

nodige achtergrondinformatie bij de situatie van elke scène. Deze stem werd ingesproken door

één van de auteurs. Anderzijds waren er de voice-overs die betrekking hadden op de

gedachten van de hoofdrolspelers. Deze dienden door de overeenkomstige acteurs te worden

ingesproken. Met hen werden dan ook de nodige afspraken hieromtrent gemaakt. Beide types

voice-overs werden ingesproken door gebruik te maken van een passende koptelefoon met

ingebouwde microfoon. Na deze opnamesessies werd ten slotte het beeldmateriaal aan deze

voice-overs aangepast en werden de nodige effecten toegevoegd. Op die manier werd

uiteindelijk een eerste versie van de videotest verkregen.

Na het bekijken van deze versie en een grondige analyse werd er rekening gehouden

met vier mogelijke knelpunten.

Ten eerste werd het probleem van de mimiek nagegaan. Meer specifiek werd gekeken

of de acteurs in de verschillende scènes te weinig, te veel of niet de gepaste

gelaatsuitdrukkingen vertoonden. Het non-verbale gedrag is immers een belangrijke factor

waarin een videotest verschilt van een schriftelijke test. Het is een extra informatiebron waar

de kandidaat die de test afneemt zijn oordeel op kan baseren en is dus met andere woorden

één van de factoren waardoor het gebruik van videobeelden de situatie meer gedetailleerd,

realistisch, en nauwkeurig voorstelt (Olson-Buchanan & Drasgow, 2006).

Ten tweede werd de versie van de video-SJT voorgelegd aan een testgroep. Zes

vrijwilligers werden hiervoor geselecteerd. Dit waren drie mannen en drie vrouwen. De

minimum leeftijd bedroeg 23 jaar en de maximumleeftijd bedroeg 52 jaar. De gemiddelde

leeftijd was 36.5 jaar (SD=12.3). Rekening houdend met hun opmerkingen werden

Page 38: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

31

noodzakelijke aanpassingen verricht. Bijvoorbeeld suggereerden zij om beeldmateriaal in te

korten en bepaalde onderdelen van bijkomende voice-overs te voorzien.

Ten derde werd nagegaan of alle scènes goed genoeg de SJT uitbeeldden. Het doel van

de SJT moet immers steeds in gedachten blijven. De scenario’s van de SJT moeten voldoende

overeenstemmen met de functie waarvoor de SJT is bedoeld (Lieven & Schollaert, 2008;

Olson-Buchanan et al., 1998). Concreet werd gekeken of de scènes duidelijk genoeg waren en

dus de inhoud zo goed als mogelijk werd gevisualiseerd. Er werd hierbij nagedacht over het

camerastandpunt, het nut van in te zoomen op de handelingen, en de verankering in beeld van

de hoofdrolspeler.

Ten slotte werden nog enkele praktische knelpunten bekeken. Bijvoorbeeld bleek dat

bepaalde opnames niet werden gezien als één geheel. De reden hiervoor is dat soms gebruik

werd gemaakt van two-take-shots in plaats van one-take-shots. Dit betekent dat een deel van

het beeldmateriaal van een scène opgesplitst werd met het oog op het later samenvoegen van

deze twee delen door middel van een video-effect. Deze shots werden gemaakt als voorlopige

oplossing vanwege het feit dat het werken met niet-professionele acteurs soms tot gevolg had

dat binnen het voorziene tijdschema te veel shots opnieuw dienden te gebeuren. Er werd dus

gekeken in hoeverre deze two-take-shots de dynamiek tussen de beelden verbrak en of dit

storend werd ervaren.

Vooraleer de montage af te ronden dienden echter nog enkele bijkomende zaken te

gebeuren. Dit had echter geen betrekking meer op de 23 scènes. Bijvoorbeeld dienden de

inleidende testinstructies nog geïmplementeerd te worden. Deze werden als buiten-beeld-stem

ingesproken door één van de auteurs en de tekst werd visueel geprojecteerd op het scherm (zie

bijlage 8). Deze instructies waren analoog aan deze van de schriftelijke test (zie bijlage 1).

Ten slotte werd ook nog een voorbeeldscène ontwikkeld (zie bijlage 9).

van film naar test Na de montage diende nog een laatste taak te worden uitgevoerd.

Er was immers een film ontwikkeld maar nog geen test. Verschillende nadelen van een

filmversie kunnen worden opgesomd. Ten eerste is er geen mogelijkheid tot aanklikken van

de juiste antwoorden. Zodoende zouden de kandidaten toch nog de antwoorden schriftelijk

moeten noteren. Ten tweede konden de scènes ook niet opnieuw worden bekeken. Dit is een

belangrijk verschil met een schriftelijke test waar de kandidaten wel een vraag nogmaals

kunnen herlezen. Ten derde loopt een film volgens een vast tempo. Ook dit is verschillend ten

opzichte van een schriftelijke test waarbij men binnen een bepaald tijdsbestek zijn eigen

tempo per vraag kan bepalen. Daarom werd overgegaan tot het ontwikkelen van een website

Page 39: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

32

Er werden hierbij specifieke instructies ingesproken (zie bijlage 10). Website en instructies

waren analoog aan de video SJT die vormtechnisch als voorbeeld diende (SQ-demo, 2009).

Voor de ontwikkeling van de website werd beroep gedaan op experts (9000 Studios).

Zij kochten domeinruimte aan, ontwikkelden de design, en implementeerden het

beeldmateriaal. Er werd ook de mogelijkheid voorzien om een score na de test te verkrijgen

die enkel zichtbaar was voor de testverantwoordelijke. Ook de verschillende subscores per

item konden door de testverantwoordelijke worden bekomen. Ten slotte werd de website

beveiligd door middel van een paswoord (www.testproject.be).

Praktisch gezien is de test klaar voor gebruik. Vooraleer de test in gebruik te nemen

dient deze echter eerst gevalideerd te worden.

Page 40: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

33

DISCUSSIE

In de discussie geven we een kort overzicht over hoe te werk is gegaan om de video

SJT te ontwikkelen. Daarna wordt er besproken wat de bijdrage van de ontwikkeling van deze

video SJT is aan praktijk en wetenschap. Vervolgens worden enkele beperkingen

weergegeven met aansluitend aanbevelingen voor verder onderzoek. Tot slot volgt er een

conclusie van deze scriptie.

Situationele beoordelingsinstrumenten worden steeds vaker ingezet voor de selectie

van werknemers, omdat ze aanschouwd worden als valide selectie-instrumenten (McDaniel et

al., 2001). Zij hebben incrementele validiteit boven op cognitieve vaardigheid en

persoonlijkheid (McDaniel et al., 2007). Tevens hebben SJTs ook een goede criterium-

validiteit wat betreft latere prestatie op de job (McDaniel & Nguyen, 2001). Het meeste

wetenschappelijke onderzoek heeft zich echter gericht op geschreven SJTs, hoewel de auteurs

van deze scriptie reeds gewezen hebben op de voordelen van videogebaseerde SJTs bovenop

geschreven SJTs. Zo wordt gesuggereerd dat een video SJT een betere predictieve validiteit

zou hebben dan een geschreven SJT (Lievens & Sacket, 2006). Ook op vlak van face

validiteit werden betere resultaten gevonden bij de video SJTs in vergelijking met een

geschreven SJT (Chan & Schmitt, 1997) Daarnaast waren ook de resultaten betreffende

adverse impact positiever bij video SJTs (Lievens & Coetsier, 2002; Weekley & Jones, 1997).

Het doel van deze masterproef was om een videogebaseerde SJT te ontwikkelen.

Gezien nog maar weinig video SJTs ontworpen werden en het wetenschappelijk onderzoek

beperkt is, kan deze test een aanzet geven tot onderzoek naar de voordelen, de validiteit en de

betrouwbaarheid van video SJTs.

Ontwikkeling

Voor de ontwikkeling van de videogebaseerde SJT zijn er vijf fases doorlopen. In de

eerste fase werd er een planning gemaakt. Hierbij is er een tijdslijn opgesteld en werd het

budget bepaald.

In de tweede fase werden de itemstammen en - opties omgezet naar scripts zodat deze

konden gefilmd worden. Tevens werden tijdens deze fase de scripts ook beoordeeld door

SMEs.

In de derde fase werden de voorbereidingen getroffen voor het filmen.

Opnameapparatuur, acteurs, locaties, en rekwisieten werden gezocht en verzameld. Tevens

werden ook de opnameshots gepland.

Page 41: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

34

In de vierde fase werden de prestaties van de acteurs in beeld gebracht.

In de vijfde en laatste fase werd er gemonteerd. Na de montage werd de video SJT

online geplaatst op het world wide web.

Bijdrage aan Praktijk en Wetenschap

Voor de ontwikkeling van de video SJT werden de stappen gevolgd die aangeraden

worden in de literatuur. De test werd op een zo’n accuraat mogelijke manier ontwikkeld. De

belangrijkste bijdrage van deze test aan de wetenschap is dat deze een aanzet kan geven tot

empirisch onderzoek naar videogebaseerde SJTs.

Vanuit praktisch oogpunt kan het gebruik van video SJTs nuttig zijn voor hoge school

of universiteitsrichtingen die met examens voor toelating tot de richting werken. Ze kunnen

de video SJT integreren als een deel van het ingangsexamen. Sinds een aantal jaren groeien er

zorgen over het feit dat de toelating tot hogere studies te veel gebaseerd zou zijn op cognitief

georiënteerde metingen (Atkinson, 2001; Oswald et al., 2004; Sternberg, Wagner, Williams,

& Horvath, 1995). Dit kan problematisch zijn omdat is aangetoond dat deze metingen een

negatieve impact hebben op minderheden (Hough, Oswald, & Ployhart, 2001; Sackett,

Schmitt, Ellingson, & Kabin, 2001; Schmitt, Sackett, & Ellingson, 2002). Daarbij komt nog

eens, door de nadruk op cognitieve vaardigheid, dat een brede waaier van belangrijke

vaardigheden en persoonlijkheidstrekken genegeerd worden (Peeters & Lievens, 2005).

Mogelijk kan de video SJT hier een oplossing bieden. Zo wordt in België een

videogebaseerde SJT opgenomen in de testbatterij van het toelatingsexamen voor medische

studies (Lievens, Buyse, & Sackett, 2005).

Verder kan de test nuttig zijn voor instanties zoals het Centrum voor

Leerlingenbegeleiding (CLB). Het CLB begeleidt leerlingen uit basis- en secundair onderwijs.

Het CLB kan deze video SJT gebruiken om na te gaan of laatstejaars humaniora studenten

geschikt zijn voor universiteit of hoge school. Verder kunnen ze ook nagaan waar het

probleem ligt bij mensen die problemen hebben met studeren. Vanuit de test kunnen ze dan

aanbevelingen doen aan de studenten om bepaalde leermethoden te hanteren.

Beperkingen en Verder Onderzoek

Beperkingen

Een eerste opmerking heeft te maken met de betrouwbaarheid van de vertaling van de

test van Bess en Mullins (2002) waarop de video SJT werd gebaseerd. Deze werd onderzocht

Page 42: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

35

aan de hand van de interne consistentie. De interne consistentiebetrouwbaarheid gaat de

samenhang tussen de antwoorden van een kandidaat op de verschillende situaties na. De

interne consistentiebetrouwbaarheid van de SJT scores bleek eerder laag te zijn bij deze

geschreven SJT. Deze bedroeg namelijk .55 (Peeters & Lievens, 2005). Echter, interne

consistentie is geen adequate maat voor de betrouwbaarheid van SJTs (Lievens & Schollaert,

2008). Een reden hiervoor is de multidimensionaliteit van SJTs. In een SJT worden namelijk

verschillende constructen tegelijk gemeten en is hierdoor erg heterogeen (Schmitt & Chan,

2006). Interne consistentiebetrouwbaarheid is als betrouwbaarheidsmaat eerder geschikt voor

het meten van meer homogene constructdomeinen. De schatting van de interne

consistentiebetrouwbaarheid is dus niet geschikt bij een SJT (McDaniel & Nguyen, 2001).

De test-hertestbetrouwbaarheid is betere maat voor het meten van de betrouwbaarheid

van een SJT. De test-hertestbetrouwheid is namelijk geschikt voor heterogene

constructdomeinen (McDaniel & Nguyen, 2001). Om de test-hertestbetrouwbaarheid na te

gaan moeten de kandidaten de test tweemaal afleggen. Op die manier kan worden nagegaan of

testscores doorheen de tijd stabiel zijn (Motowidlo et al., 1990).

Een tweede opmerking betreft de validiteit van de ontwikkelde video SJT. Een test kan

niet in gebruik genomen worden voordat hij gevalideerd is. Binnen het tijdskader van de

masterproef was het niet mogelijk om zowel ontwikkeling als validatie te realiseren. Bij

toekomstig onderzoek bespreken we verder hoe validatie kan gebeuren.

Een derde opmerking handelt over de taal van de test. Het gaat hier om een

Nederlandstalige video test. Dit betekent dat het toepassingsgebied van de test beperkt is. Wat

betreft wetenschappelijk onderzoek geldt dezelfde opmerking. De video SJT kan enkel getest

en toegepast worden in Vlaanderen en Nederland.

Een volgende opmerking heeft te maken met het gegeven dat het afnemen van video

SJT via technische apparatuur moet gebeuren. Daarom moet men op zijn hoede zijn voor

technische storingen. Zo kan bijvoorbeeld een computer vastlopen. Vaak heeft men zulke

technische storingen niet onder controle. Het is daarom van groot belang dat de test frequent

op voorhand getest wordt zodat kan gezien worden of de test regelmatig vastloopt of niet.

Daarnaast is het eveneens belangrijk dat bij de afname van de video SJT een persoon

aanwezig is die goed overweg kan met de technische apparatuur en waarop onmiddellijk

beroep kan gedaan worden (Potosky & Bobko, 2004).

Page 43: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

36

De video SJT is online geplaatst en moet via de computer ingevuld worden. Dit kan

echter een probleem opleveren wanneer respondenten niet goed met een computer overweg

kunnen (Potosky & Bobko, 2004).

Tot slot zijn er nog twee opmerkingen mee te delen die samenhangen met een gebrek

aan budget. Zo was het niet mogelijk om professionele acteurs te selecteren. Het gebruik van

niet-professionele acteurs kan echter het realiteitsgehalte van de test aantasten. Verder was het

ook niet mogelijk beroep te doen op een aantal rollen die aanwezig moeten zijn bij de video

opnamen. Zo waren er geen professionele producer, director of photography, en technici

aanwezig. Dit werd opgevangen door de auteurs van deze scriptie die elk meerdere rollen op

zich namen. Aan een aantal essentiële aspecten is wel voldaan geweest zoals het bijhouden

van een accuraat logboek, het bekijken en herbekijken van het gefilmde materiaal, en de

aanwezigheid van domeinexperts.

Verder Onderzoek

Ten eerste is het belangrijk dat de criteriumvaliditeit van de ontwikkelde video SJT

wordt onderzocht. Aangezien het een test is betreffende leermethoden kan een mogelijkheid

om dit te onderzoeken de volgende zijn. Men kan kiezen om universiteits- of hoge

schoolstudenten als respondenten te nemen die reeds enkele jaren bezig zijn aan de hogere

studies. Als criterium kan dan vroeger academisch succes van de schoolstudenten genomen

worden. Een criteriummaat hiervoor kan het GPA van de studenten zijn. Men vraagt dan aan

de pilootgroep om de punten, procenten of graad van hun 1ste

jaar en de punten, procenten of

graad van hun 2de

jaar te vermelden. In een voorgaand onderzoek bleek de correlatie .68 te

zijn tussen deelnemers 1ste

jaars en 2de

jaars GPA (Peeters & Lievens, 2005). Deze waarde is

ook gelijkwaardig aan de waarden die werden gevonden in een meta-analyse over temporele

stabiliteit van GPA (Vey et al., 2003).

Voorts is het interessant om meer onderzoek te verrichten naar de face validiteit van

video SJTs. Er werden in onderzoeken tegenstrijdige resultaten teruggevonden op het vlak

van face validiteit. Zo waren er onderzoeken waarin geen significant verschil gevonden werd

tussen beide SJTs op het vlak van face validiteit (Lievens & Sacktet, 2006; Kanning et al.,

2006), terwijl andere studies aantoonden dat video SJTs significant hogere face validiteit

opleverden (Chan & Schmitt, 1997). Ook wat betreft adverse impact, zou verder onderzoek

nuttig kunnen zijn. Wat betreft geslacht scoren vrouwen iets beter dan mannen. Het verschil is

Page 44: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

37

klein maar significant en dit geldt zowel voor een video SJT (Lievens & Coetsier, 2002;

Weekley & Jones, 1997) als voor een geschreven SJT (O’Connel et al., 2007). Gezien de

veelbelovende maar ook tegenstrijdige resultaten, kan de ontwikkelde video SJT uit de

scriptie een handig instrument vormen om de face validiteit en de adverse impact nader te

onderzoeken.

De video-test kan mogelijks ook aanzet geven tot onderzoek naar de incrementele en

constructvaliditeit van videogebaseerde SJTs. Eveneens kan nagegaan worden of video SJTs

vatbaar zijn voor faking.

Tevens kan de betrouwbaarheid ook onderwerp van onderzoek vormen. De

betrouwbaarheid van de SJT is nog niet aangetoond en de interne consistentiebetrouwbaarheid

van de geschreven SJT, waarop de video SJT gebaseerd is, bleek eerder laag te zijn. Zoals

vermeld echter is de interne consistentiebetrouwbaarheid een imperfecte maat bij SJTs en

moet de betrouwbaarheid van zowel de geschreven als de video SJT onderzocht worden aan

de hand van de test-hertestbetrouwbaarheid.

Ten slotte blijkt uit onderzoek dat een interpersoonlijk georiënteerde SJT een hogere

predictieve validiteit heeft in het voorspellen van prestaties op een interpersoonlijk criterium

dan een geschreven SJT (Lievens & Sackett, 2006). Verder onderzoek kan nu aanwijzen of dit

kan gerepliceerd worden. Vervolgens moet ook opgemerkt worden dat in de geschreven SJT

geen emoties, gezichtsexpressies en stemtonen worden omschreven. Het kan dus nuttig en

interessant zijn om te onderzoeken of het resultaat kan gerepliceerd worden wanneer ook non-

verbale inhoud wordt omschreven in de geschreven SJT (Lievens & Sackett, 2006).

Page 45: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

38

CONCLUSIE

Het doel van dit onderzoek was om een videogebaseerde SJT te ontwikkelen. Hierbij

is er uitgegaan van een bestaande geschreven SJT, namelijk een vertaling van de test van Bess

en Mullins. Deze test peilt naar de leermethoden van de studenten en heeft als doel te

differentiëren tussen studenten met goede leermethoden en studenten met slechte

leermethoden. Voor de ontwikkeling zelf werden de fasen gevolgd die beschreven worden in

de literatuur. De ontwikkelde video SJT bestaat uit 23 items.

In de discussie werd een aanzet gegeven tot een validiteits - en

betrouwbaarheidsonderzoek, alsook enkele punten die onderwerp kunnen zijn van toekomstig

onderzoek.

Voorts werden ook een aantal zaken aangebracht waaruit het nut moet blijken om deze

test in de praktijk te brengen.

We hopen dat deze studie toekomstig onderzoek zal aanmoedigen omtrent de

ontwikkeling, scoring, en validering van SJTs in het algemeen en van video SJTs in het

bijzonder.

Page 46: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

39

REFERENTIES

Archer, D., & Akert, R. M. (1980). The encoding of meaning: A test of three theories of

social interaction. Sociological Inquiry, 50, 393–419.

Atkinson, R. C. (2001, April). Standardized tests and access to American universities. Lecture

delivered at the 83rd annual meeting of the American Council on Education,

Washington, DC.

Bergman, M. E., Drasgow, F., Donovan, M. A., Henning, J. B., & Juraska, S. E. (2006).

Scoring Situational Judgment Tests: Once You Get the Data, Your Troubles Begin.

International Journal of selection and assessment, 14, 223-235.

Bess, T.L., & Mullins, M.E. (2002, April). Exploring a dimensionality of situational

judgment: Task and contextual knwoledge. Paper presented at the 17th

annual

conference of the Society for Industrial and Organizational Psychology, Toronto,

Canada.

Bruce, M. M. (1965). Examiner’s manual: Business Judgement Test. Larchmont, NY: Author.

Bruce, M. M., & Learner, D. B. (1958). A supervisory practices test. Personnel Psychology,

11, 207-216.

Campbell, J. P., Dunnette, M.D., Lawler, E. E., & Weick, K. E. (1970). Managerial behavior,

performance and effectiveness. New York: McGraw-Hill.

Cardall, A. J. (1942). Preliminary manual for the Test of Practical Judgement. Chicago:

Science Research.

Chan, D., & Schmitt, N. (1997). Video-based versus paper-and-pencil method of assessment

in situational judgement tests: subgroup differences in test performance and face

validity perceptions. Journal of Applied Psychology, 82, 143-159.

Chan, D., & Schmitt, N. (2002). Situational judgement and job performance. Human

Performance, 15, 233-254.

Chan, D., Scmitt, N., Jennings, D., Clause, C. S., & Delbridge, K. (1998). Applicant

Perceptions of Test Fairness: Integrating Justice and Self-Serving Bias Perspectives.

International Journal of Selection and Assessment, 6, 232-239.

Clevenger, J., Pereira, G. M., Wiechmann, D., Schmitt, N., & Harvey, V. S. (2001).

Incremental validity of SJT’s. Journal of applied psychology, 86, 410-417.

Dalessio, A.T. (1994). Predicting insurance agent turnover using a video-based situational

judgement test. Journal of Business and Psychology, 9, 23-32.

Page 47: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

40

Edens, P. S., & Arthur,W. (2000, April). A meta-analysis investigating the susceptibility of

selfreport inventories to distortion. Paper presented at the 15th annual conference of

the Society for Industrial and Organizational Psychology, New Orleans, LA.

File, Q. W. (1945). The measurement of supervisory quality in industry. Journal of Applied

Psychology, 29, 381-387.

File, Q. W., & Remmers, H. H. (1948). How supervise? Manual 1948 revision. New York:

Psychological Corporation.

Flanagan, J. C. (1954). The critical incident technique. Psychological Bulletin, 51, 327-358.

Funke, U., & Schuler, H. (1998). Validity of stimulus and response components in a video

test of social competence. International Journal of selection and assessment, 6, 115-

123.

Gesn, P. R., & Ickes, W. (1999). The development of meaning contexts for emphatic

accuracy: Channel and sequence effects. Journal of Personality and Social

Psychology, 77, 746–761.

Goldstein, H. W., Braverman, E. P., & Chung, B. (1992, May). Method versus content: The

effects of different testing methodologies on subgroup differences. Paper presented at

the 7th Annual Conference of the Society for Industrial and Organizational

Psychology, Montreal, Quebec, Canada.

Greenberg, S. H. (1963). Supervisory Judgement Test manual. Washington, DC: U.S. Civil

Service Commission.

Haas, A., & McDaniel, M. A. (1999, April). Faking strategies: Effects on a situational

judgment test. Paper presented at the 14th annual conference of the Society for

Industrial and Organizational Psychology, Atlanta, GA.

Hausknecht, J.P., Day, D.V., & Thomas, S.C. (2004). Applicant reactions to selection

procedures: An updated model and meta-analysis. Personnel Psychology, 57, 639-683.

Hough, L. M., Oswald, F. L.,&Ployhart, R. E. (2001). Determinants, detection and

amelioration of adverse impact in personnel selection procedures: Issues, evidence and

lessons learned. International Journal of Selection and Assessment, 9, 152-194.

Juraska, S. E., & Drasgow, F. (2001, April). Faking situational judgment: A test of the

Conflict Resolution Skills Assessment. Paper presented at the 16th annual conference

of the Society for Industrial and Organizational Psychology, San Diego, CA.

Kanning, U. P., Grewe, K., Hollenberg, S., et al. (2006). From the subjects’ point of view –

reactions to different types of situational judgement items. European Journal of

Psychological Assessment, 22, 168-176.

Page 48: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

41

Kirkpatrick, D. L., & Planty E. (1960). Supervisory Inventory on Human Relations. Chicago:

Science Research Associates.

Lievens, F., Buyse, T., & Sacket, P. R. (2005). The operational validity of a video-based

situational judgement test for medical college admissions: Illustrating the importance

of matching predictor and criterion construct domains. Journal of Applied Psychology,

90, 442-452.

Lievens, F., & Coetsier, P. (2002). Situational tests in student selection: An examination of

predictive validity, adverse impact and construct validity. International journal of

selection and assessment, 10, 245-257.

Lievens, F., & Highhouse, F. (2003). The relation of instrumental and symbolic attributes to a

company’s attractiveness as an employer. Personnel Psychology, 56, 75-102.

Lievens, F., & Sackett, P. R. (2006). Video-Based Versus Written Situational Judgment Tests:

A Comparison in Terms of Predictive Validity. Journal of Applied Psychology, 91,

1181-1188.

Lievens, F., & Schollaert, E. (2008). Naar een nieuwe generatie assessment. Barneveld:

Uitgeverij Nelissen.

MacLane, C.N., Barton, M.G., Holloway-Lundy, A.E., & Nickels, B.J. (2001). Keeping

score: Expert weights on situational judgment responses. Paper presented at the 16th

Annual Conference of the Society of Industrial and Organizational Psychology, San

Diego, CA.

Maurer S.D., Howe V, Lee T.W. (1992). Organizational recruiting as marketing

manangement: An interdisciplinary study of engineering graduates. Personnel

Psychology, 45, 807-833

McDaniel, M.A., Hartman, N.S., Whetzel, D.L., & Grubb III, W.L. (2007). Situational

jugdment tests, response instructions, and validity: A meta-analysis. Personnel

Psychology, 60, 63-91.

McDaniel, M.A., Morgeson, F.P., Finnegan, E.B., Campion, M.A., & Braverman, E.P.

(2001). Use of situational judgement tests to predict job performance: A clarification

of the literature. Journal of Applied Psychology, 86, 730-740.

McDaniel, M. A., & Nguyen, N. T. (2001). Situational judgement tests: A review of practice

and constructs assessed. International Journal of Selection and Assessment, 9, 103-

113.

Page 49: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

42

Messick, S. (1989). Validity. In: R.L. Linn (Eds), (3nd ed.). Educational Measurement.

National Council on Measurement in Education. London: Collier Macmillan

Publishers.

Motowidlo, S., Dunnette, M., & Carter, G. (1990). An alternative selection procedure: the

low-fidelity simulation. Journal of Applied Psychology, 73, 640-647.

Motowidlo, S. J., Tippins, N. (1993). Further studies of the low-fidelity simulation in the form

of a situational inventory. Journal of Occupational and Organizational Psychology,

66, 337-344

Nguyen, N. T., McDaniel, M. A., & Biderman, M. D. (2002). Response instructions in

situational judgment tests: Effects on faking and construct validity. Paper presented at

the 17th annual conference of the Society for Industrial and Organizational

Psychology, Toronto, Canada.

Northrop, L. C. (1989). The psychometric history of selected ability constructs. Washington,

DC: U. S. Office of Personnel Management.

O’Connell, M.S., Hartman, N.S., McDaniel, M.A., Grubb III, W.L., & Lawrence, A. (2007).

Incremental Validity of Situational Judgment Tests for Task and Contextual Job

Performance. International Journal of Selection and Assessment, 15, 19-29.

Olson-Buchanan, J.B., & Drasgow, F. (2006). Multimedia situational judgment tests: The

medium creates the message. In J.A. Weekley & R.E. Ployhart (Eds.), Situational

Judgment Tests, 253-278. San Francisco, Jossey Bass.

Olson-Buchanan, J.B., Drasgow, F., Moberg, P.J., Mead, A.D., Keenen, P.A., & Donovan,

M.A. (1998). Interactive video assessment of colflict resolution skills. Personnel

psychology, 51, 1-24.

Ontwikkeling Generieke Testen. Retrieved March 6, 2008, from

http://www2.vlaanderen.be/personeel/statuten/overlegorgaan_PenO/sopo/voortgangsra

pportering_sopo/PenO_workshop_24juli_7aug_2007.ppt

Oswald, F. L., Schmitt, N., Kim, B. H., Ramsay, L. J., & Gillespie, M. A. (2004). Developing

a biodata measure and situational judgment inventory as predictors of college student

performance. Journal of Applied Psychology, 89, 187–207.

Peeters, H., & Lievens, F. (2005). Situational judgement tests and their predictiveness of

college students’ succes: The influence of faking. Educational and Psychological

Measurement, 65, 70-89.

Ployhart, R. E., & Ehrhart, M. (2001). Effects of response instructions on the criterionrelated

validity , construct validity, and reliability of situational judgement tests. Paper

Page 50: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

43

presented at the 16th Annual Conference of the Society for Industrial and

Organizational Psychology, San Diego, CA.

Ployhart, R. E., & Ehrhart, M. (2003). Be careful what you ask for: Effects of response

instructions on the construct validity and reliability of situational judgement tests.

International Journal of Selection and Assessment, 11, 1-16.

Potosky, D., & Bobko, P. (2004). Selection testing via the Internet: practical considerations

and exploratory empirical findings. Personnel Psychology, 57, 1003-1034.

Pulakos, E.D., & Schmitt, N. (1996). An Evaluation of Two Strategies for Reducing Adverse

Impact and Their Effects on Criterion-Related Validity. Human Performance, 9, 241-

258.

Richman- Hirsch, W., Olson-Buchanan, J., & Drasgow, F. (2000). Examining the impact of

administration medium on examinee perceptions and attitudes. Journal of Applied

Psychology, 85, 880-887.

Sackett, P. R., Schmitt, N., Ellingson, J. E., & Kabin, M. B. (2001). High-stakes testing in

employment, credentialing, and higher education: Prospects in a post-affirmative

action world. American Psychologist, 56, 302-318.

Samaey, B. (2006). Selectieadviseurs geselecteerd: de ontwikkeling van een situatiespecifieke

test. Licentiescriptie van Universiteit Gent.

Smiderle, D., Perry, B.A., & Cronshaw, S.F. (1994). Evaluation of video-based assessment in

transit operator selection. Journal of Business and Psychology, 9, 3-22.

Smither, J.W., Reilly, R.R., Millsap, R.E., Pearlman, K., & Stoffey, R.W. (1993). Applicant

reactions to selection procedures. Personnel Psychology, 46, 49-76.

Schmitt, N., & Chan, D. (2006). Situational judgment tests: Method or construct? In J.

Weekley & R.E. Ployhart (Eds.), Situational judgment tests, 135-156. Mahwah, NJ:

Lawrence Erlbaum.

Schmitt, N., Sackett, P. R., & Ellingson, J. E. (2002). No easy solution to subgroup

differences. American Psychologist, 57, 305-306.

Sternberg, R. J., Wagner, R. K., Williams, W. M., & Horvath, J. A. (1995). Testing common

sense. American Psychologist, 50, 912-927.

SQ-demo. Retrieved Februari, 6, 2009, from

http://www.vandermaesenkoch.nl/sq4/

Taylor M.S., Collins C.J. (2000). Organizational recruitment: Enhancing the intersection of

research and practice. In Cooper CL, Locke EA (Eds.), Industrial and organizational

psychology: Linking theory with practice (pp. 304-334). Oxford: Blackwell.

Page 51: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

44

Thomas K.M., Wise P.G. (1999). Organizational attractiveness and individual differences:

Are diverse applicants attracted by different factors? Journal of Busines and

Psychology, 13, 375-390.

Van der Maesen, P., Born, M., Van Oudenhoven – Van der Zee, K., & Ruhe, D. (2003).

Situationele beoordelingstest in de schijnwerpers. De Psycholoog, 58-67.

Vey, M.A., Ones, D.S., Hezlett, S.A., Kuncel, N.R., Vannelli, J.R., Briggs, K.H., et al. (2003,

April). Relationships among college grade indices: A meta-analysis examining

temporal influences. Paper presented at the 18th

annual conference of the Society for

Industrial and Organizational Psychology, Orlando, FL.

Walker, D., Cucina, J., & Kannan, S. (2008, April). Lights, camera, action! How to develop a

video-based test. Paper presented at the 23rd

Annual Conference of the Society for

Industrial and Organizational Psychology, San Francisco, CA.

Weekley, J., & Jones, C. (1997). Video-based situational testing. Personnel Psychology, 50,

25-49.

Weekley, J.A., Ployhart, R.E., & Holtz, B.C. (2006). On the development of situational

judgement tests: Issues in item development, scaling and scoring. In Weekley, J.A., &

Ployhart, R.E. (Eds), Situational Judgement Test: Theory, measurement and

application (pp. 157-185). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Wernimont, P. F., & Campbell, J. P. (1968). Signs, samples, and criteria. Journal of Applied

Psychology, 52, 372-376.

Page 52: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

45

BIJLAGES

Bijlage 1. Geschreven situational judgment test: opdrachtbeschrijving 46

Bijlage 2. Geschreven situational judgment test: items 47

Bijlage 3. Geschreven situational judgment test: scoringssleutel 56

Bijlage 4. Planning: oplijsting en aflijning fasen 65

Bijlage 5. Planning: logboek ontwikkeling videogebaseerde SJT 68

Bijlage 6. Selectie uit het script 70

Bijlage 7. Lijst rekwisieten/locaties/acteurs 78

Bijlage 8. Inleidende instructies 80

Bijlage 9. Voorbeeldscript 81

Bijlage 10. Instructies voor de website 83

Page 53: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

46

Bijlage 1: Geschreven Situational Jugdment Test: Opdrachtbeschrijving

Instructies

Lees alle instructies zorgvuldig voor je begint met antwoorden.

Deze vragenlijst bevat 23 beschrijvingen van probleemsituaties. Lees elke situatie zorgvuldig.

Elke probleemsituatie heeft 4 mogelijke acties die ondernomen kunnen worden om met het

probleem om te gaan. Je moet voor elk probleem een beoordeling maken: beslis welk

alternatief je het meest waarschijnlijk zou kiezen als antwoord op de probleemsituatie.

Beantwoord de volgende vragen zo eerlijk mogelijk. We vragen niet hoe je zou antwoorden

om jezelf in zo’n positief mogelijk daglicht te stellen, maar wel hoe je daadwerkelijk zou

handelen.

Maak geen aantekeningen op het testboekje, maar noteer je antwoorden op het optisch

formulier.

Voorbeeld

Je bent aan het winkelen en plots zie een man die aan het stelen is. Wat zou je doen?

a. niets, en je wil met deze zaak niets te maken hebben.

b. de dief zelf proberen te vatten.

c. de man volgen en de politie bellen van zodra de man ergens op één plaats blijft.

d. de winkel zo snel mogelijk verlaten en de politie bellen.

Als je denkt dat je daadwerkelijk “niets zou doen en met deze zaak niets te maken zou willen

hebben”, dan maak je op het antwoordblad het vakje onder A als volgt zwart:

Kruis slechts één mogelijkheid aan bij elke probleemsituatie. Beantwoord alle items.

Page 54: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

47

Bijlage 2: Geschreven Situational Judgment Test: Items

1) Tijdens het studeren voor een examen, vind je dan dat je de beste resultaten behaalt

wanneer:

a. je op voorhand begint te plannen en tijd ervoor vrijmaakt.

b. je werkt in een nette en ordelijke omgeving, zelfs wanneer dit betekent

dat je daardoor wat tijd verliest bij het studeren.

c. je wacht tot je echt gemotiveerd bent vooraleer je je bezig houdt met de

belangrijkste studietaken.

d. je tot de laatste dagen wacht om te studeren, omdat je dan beseft dat

je het nu MOET gedaan krijgen.

2) Een professor kondigt tijdens de les aan dat er studenten nodig zijn om als proefpersoon

deel te nemen aan zijn aanstaand onderzoek. Hoewel je geen enkele formele vorm van

extra studiepunten zou krijgen, waardeert de professor wel dat men zich als vrijwilliger

opgeeft. Wat zou je doen?

a. je lessenrooster nakijken en je zo veel uren als je kan aanbieden als vrijwilliger.

b. je lessenrooster nakijken en je voor een enkele uren per week aanbieden als

vrijwilliger wanneer het je persoonlijk goed schikt.

c. beseffen dat je wat van je vrije tijd zou moeten opofferen en beslissen om je niet als

vrijwilliger aan te bieden.

d. je aanbieden om enkel als proefpersoon deel te nemen wanneer je betaald wordt.

3) Tijdens het studeren voor een examen dat zowel lesnota’s als opgegeven hoofdstukken

uit een handboek omvat, vind je dan dat je de beste resultaten behaalt wanneer:

a. je het studeren in onderdelen opdeelt en jezelf test terwijl je

de leerstof doorneemt.

b. je al de leerstof doorneemt en dan jezelf test.

c. je eerst al je lesnota’s en daarna je aantekeningen vanuit het handboek doorneemt.

d. je de hoofdstukken in de loop van het semester leest, maar je

concentreert op de lesnota’s voor het examen.

4) Je bent lid van een groep die een opdracht heeft voltooid. De professor heeft ook reeds de

punten en de feedback gegeven. In zijn bemerkingen valt de professor gericht de groep

Page 55: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

48

aan voor plagiaat en daardoor werden enkele punten afgetrokken. Je weet dat je als

student moreel verplicht bent om om het even wie plagiaat heeft gepleegd, aan te geven.

Het plagiëren had echter geen betrekking op het deel van het project waar jij persoonlijk

verantwoordelijk voor was. Wat zou je doen?

a. de professor vertellen wie verantwoordelijk was voor het plagiaat.

b. aan de persoon die verantwoordelijk is voor het plagiaat vertellen dat hij/zij contact

zou moeten opnemen met de groepsleider.

c. de situatie bespreken met de groep om samen tot een beslissing te komen over wat

te doen.

d. de punten aanvaarden, leren vanuit de ervaring en jezelf beloven het nooit meer

te laten gebeuren.

5) Je hebt zoveel taken af te maken en zoveel te studeren, dat je het gevoel hebt dat je er

nooit toe zult komen iets af te werken. Je bent echt helemaal bedolven onder het werk.

Wat zou je doen?

a. prioriteiten stellen wat betreft je activiteiten, de stappen die verwezenlijkt moeten

worden voor elke activiteit één voor één opsommen en op systematische wijze door

je werk gaan.

b. beslissen wat je redelijkerwijze kan afwerken en je richten op het afmaken van dat

werk, en de rest van het werk onafgewerkt laten.

c. praten met de professor in kwestie, je situatie uitleggen en uitstel vragen op de

inleveringsdatum.

d. een paar dagen vrijaf nemen samen met je vrienden; daarna terug hard aan het werk

gaan.

6) Wat zou je doen tijdens het studeren voor een examen dat zal handelen over zowel

opgegeven hoofdstukken uit een handboek als lesnota’s?

a. je leest het handboek ten minste éénmaal en je leest je lesnota’s door.

b. je woont de lessen bij en je leest het handboek, daarna besteed je de avond voor het

examen tijd aan het hernemen van de volledige leerstof.

c. je maakt nota’s tijdens de lessen en vanuit je handboek en je herneemt enkel deze

nota’s voor het examen.

d. je integreert de nota’s die je genomen hebt tijdens de lessen en die vanuit het

handboek in een samenvatting waaruit je zal studeren.

Page 56: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

49

7) Wat zou je doen wanneer je een multiple-choice examen aflegt (nadat je reeds alle vragen

hebt gelezen)?

a. je begint eerst te werken aan de gemakkelijke vragen en je komt daarna terug op de

meer moeilijke vragen.

b. je begint te werken aan de eerste vraag en je werkt verder aan de vragen in de

opgegeven volgorde.

c. je werkt de vragen op willekeurige wijze af, totdat alle vragen zijn beantwoord.

d. je begint eerst te werken aan de moeilijke vragen en je komt daarna terug op de

gemakkelijke vragen.

8) Je bent aan het werken aan een taak en realiseert je dat die taak meer tijd vereist dan je

hebt voorzien. Je hebt uitstel gevraagd, maar de professor in kwestie heeft dit geweigerd.

Je beseft dat deze taak een groot deel van je punten bepaalt. Wat zou je doen?

a. andere methoden bepalen om de taak te maken die minder tijd vereisen, zelfs

wanneer dit betekent dat je wat van de kwaliteit van de taak moet opofferen.

b. raad vragen aan anderen die gelijkaardige problemen hebben ervaren i.v.m. de beste

manier om de zaken aan te pakken.

c. met de professor het volgende bespreken: het belang van de taak en de vooruitgang

die je hebt gemaakt, waarom je precies meer tijd nodig hebt, en hoe het gebrek aan

tijd invloed zal hebben op je werk. Proberen om de professor te overtuigen om je te

geven wat je nodig hebt.

d. de benodigde extra uren eraan besteden, zodat de taak is afgewerkt, zelfs wanneer

dit betekent dat je slaap of vrije tijd moet opofferen.

9) Wat zou je doen wanneer je een examen met open vragen aflegt?

a. je schrijft een kladversie en daarna een definitieve versie voor elke vraag.

b. je schrijft een uitgebreid samenvattend overzicht voor elke vraag in klad vooraleer je

het uitschrijft in een netversie.

c. je schrijft eerst de kernwoorden neer in klad vooraleer je het antwoord uitschrijft.

d. je begint de antwoorden uit te schrijven in een definitieve versie, wetende dat je

indien nodig terug kan gaan om je antwoorden te herwerken.

Page 57: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

50

10) Je bent een student in een les. Een andere student komt naar je toe en vraagt om je

lesnota’s te lenen, vermits hij niet naar de les kon komen. Je geeft hem de nota’s. Later

die maand gebeurt hetzelfde en opnieuw geef je je nota’s aan de student. Deze situatie

blijft voortduren en uiteindelijk geraak je geërgerd, vermits je klasgenoot zijn eigen werk

zou moeten doen en naar de les zou moeten komen, en niet op jou vertrouwen om voor

hem nota’s te nemen. Hoe ga je te werk?

a. je legt aan de student uit dat je niet begrijpt wat het probleem is om naar de les te

komen, maar dat je zoveel mogelijk hebt geholpen als je kan.

b. je blijft je lesnota’s aan hem uitlenen.

c. je deelt de student mee dat je je lesnota’s nog één maal aan hem zal geven, maar

waarschuwt hem dat het de laatste keer zal zijn.

d. je praat met de student en achterhaalt waarom hij niet naar de les komt, zodat je de

beste manier kan uitzoeken om vanaf nu met de situatie om te gaan.

11) Wat zou je doen wanneer je op de feedbackdag je examen mag inkijken?

a. je kijkt naar de punten die je gekregen hebt en geeft

daarna het examen terug aan de professor.

b. je bekijkt vluchtig het examen om te zien welke vragen je fout

hebt beantwoord.

c. je bekijkt je examen en je probeert uit te zoeken waarom je de vraag fout hebt

beantwoord.

d. je kijkt niet naar het examen.

12) Je werkt met een zeer goede student die onlangs enkele persoonlijke moeilijkheden bij

een groepswerk heeft ervaren. Hij heeft deze problemen enkel aan jou toevertrouwd. Je

hebt een toegenomen werkbelasting omwille van zijn problemen. Je hebt met hem

gepraat over je bezorgdheden en hem op empatische wijze verzocht om zo snel mogelijk

zijn volledige taken te hernemen. Een maand gaat voorbij en je doet nog steeds te veel

van zijn werk. Je ziet in dat zijn werk het merendeel van je vrije tijd in beslag neemt. Wat

zou je doen?

a. je deelt je medestudent mee dat je zijn problemen begrijpt, maar dat je niet langer

in staat bent om zijn werk te verrichten.

b. je vraagt je medestudent of hij liever heeft dat jij iemand anders zou zoeken om

mee samen te werken.

Page 58: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

51

c. je blijft je medestudent inlichten over je bezorgdheden, totdat hij zijn volledige

taken herneemt.

d. je praat met de professor in kwestie over de situatie.

13) Je krijgt een taak die ingeleverd moet worden op dezelfde dag dat je een zeer moeilijk

examen van een andere vak dient te maken. Wat zou je doen?

a. je overlegt met de professor die de taak gaf en vraagt om uitstel.

b. je aanvaardt dat je de taak te laat zult indienen en dat er daardoor punten zullen

worden afgetrokken.

c. je maakt de taak de avond voordien af, waardoor je wat van de kwaliteit moet

opofferen, maar toch op tijd indient.

d. je maakt de taak op voorhand af, zodat je de avond voordien de tijd kan besteden

aan studeren voor je examen.

14) Je hebt problemen met één van je vakken. Het examen nadert snel en je wil hierop goede

punten halen, vooral omwille van je lage punten op een ander vak waarvan je reeds

examen hebt afgelegd. Je hebt tot nu toe hard gewerkt om een goed totaal gemiddelde

(over al je vakken samen) en een hoge graad te behouden en je wil die graad niet in

gevaar brengen. Wat zou je doen?

a. je blijft studeren en geeft niet op, zelfs wanneer je geconfronteerd wordt met

moeilijke gedeelten.

b. je maakt een afspraak en raadpleegt de professor om jou te helpen bij het studeren

en bij het doornemen van de leerstof.

c. je maakt meer tijd vrij om te studeren voor dit vak dan dat je hebt gedaan voor het

andere vak.

d. je aanvaardt dat je niet altijd uitstekende punten kunt halen en concentreert je op

andere vakken waarop je het zeker goed zult doen.

15) Op de eerste lesdag geeft een professor te kennen dat de les drie maal per week zal

plaatsvinden. De lesvorm zal bestaan uit een uiteenzetting tijdens de eerste helft, gevolgd

door een discussie en het beantwoorden van vragen op de onderwerpen tijdens de tweede

helft. Voor elke uiteenzetting is er ook een opgegeven overeenkomstig hoofdstuk in een

handboek. Wat zou je doen?

Page 59: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

52

a. je woont de uiteenzettingen bij en leest dan vóór de examens de opgegeven

hoofdstukken uit het handboek.

b. je leest het opgegeven hoofdstuk vóór elke les.

c. je leest het opgegeven hoofdstuk na elke les.

d. je leest de hoofdstukken uit het handboek niet.

16) Je hebt een vijftal vakken dit semester en voor al deze vakken zijn er examens en enkele

taken. Wat zou je doen in de loop van het semester?

a. je wacht tot de dag voordat iets moet ingeleverd worden en werkt er dan aan tot het

af is.

b. je besteedt iedere dag wat tijd aan studeren, zodat het werk zich niet opstapelt.

c. een paar dagen voordat een taak moet ingeleverd worden begin je er elke dag een

beetje aan te werken.

d. je maakt je er geen zorgen over en je bekijkt de zaken van dag tot dag.

17) Je bent aan het werken aan een taak waarvoor je wat opzoekwerk moet doen en veel moet

lezen samen met een andere student. Je neemt een pauze en als je teruggekomt ontdek je

dat op je bureau de wetenschappelijke artikels door elkaar liggen. Je medestudent

“reorganiseerde” blijkbaar alles op je bureau en nu kan je niet meer zeggen wat je al

gelezen hebt en wat je nog moet lezen. Je bent kwaad. Wat zou je doen?

a. een paar minuten afkoelen en daarna aan de student vragen om je te vertellen hoe

zij je bureau heeft “gereorganiseerd”.

b. beseffen dat het jouw schuld is, omdat je de papieren achteloos op je bureau

achterliet.

c. de student meedelen dat je het niet op prijs stelt en haar zeggen dat je in de

toekomst wil dat zij van je bureau afblijft.

d. ervan uitgaan dat de student geen slechte bedoelingen had en zelf proberen om de

wetenschappelijke artikels te hersorteren.

18) Je kotgenoot heeft problemen om te studeren voor een examen voor een vak waarin jij

goed bent. Je hebt je taken voor die avond afgewerkt en je was van plan om samen met

een aantal vrienden uit eten te gaan. Je beseft echter dat je kotgenoot je voordien heeft

geholpen met enkele van jouw taken. Je kotgenoot vraagt je om hulp bij het studeren voor

het examen. Wat zou je doen?

Page 60: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

53

a. je legt uit dat je reeds plannen hebt gemaakt, maar dat je samen met hem de leerstof

nog eens zal hernemen wanneer je thuiskomt na het eten.

b. je belt je vrienden op en je zegt het etentje af. In de plaats daarvan blijf je thuis om

je kotgenoot te helpen en om samen met hem te eten.

c. je stelt je plannen om te gaan eten uit en besteedt de nodige tijd aan het helpen van

je kotgenoot. Daarna ga je uit eten.

d. je legt uit dat je hem graag zou hebben geholpen, maar dat je reeds plannen hebt die

je niet kan afzeggen.

19) Je krijgt een laatste en beslissende taak opgegeven die op het einde van het semester moet

binnengebracht worden. De professor beveelt je een planning aan om doorheen het

semester te volgen, met regelmatige tussentijdse herzieningen door de professor van

verschillende onderdelen van de taak. Toch is de uiteindelijke versie van de taak het

enige waarop je punten zal krijgen. Wat zou je doen?

a. je wacht tot het einde van het semester om de taak te schrijven.

b. je blijft bij de planning die de professor heeft voorgesteld.

c. je werkt in de loop van het semester regelmatig aan de taak, maar volgt niet

noodzakelijk de planning van de professor.

d. je schrijft de taak tijdens de eerste maand van het semester, zodat het afgewerkt is

en je je geen zorgen meer hoeft te maken.

20) Je krijgt de opdracht een rapport te schrijven over een onderzoek dat werd uitgevoerd

tijdens de les. Je weet niet hoe je bepaalde delen van het rapport moet voorbereiden. Wat

zou je doen als eerste stap om dit te achterhalen?

a. je vraagt het aan de professor in kwestie.

b. je schrijft het rapport zo goed als je kan zelf uit.

c. je zoekt relevante documentatie en vroegere voorbeeldrapporten op om te bepalen

hoe je het jouwe gaat schrijven.

d. je gaat na of studenten, die dit vak reeds hebben gehad, ook een rapport hebben

moeten schrijven en je vraagt hen hoe je het aanpakt.

21) Tijdens de eerste les overloopt de professor de hoofdstukken van de cursus en vermeldt

dat er een examen zal zijn over zijn vak. De professor bespreekt tijdens de les wat dit

Page 61: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

54

examen zal omvatten en deelt mee dat het examen in de eerste plaats over de lesnota’s zal

gaan. Wat zou je doen?

a. je neemt elk hoofdstuk van de cursus in de loop van het semester vlug door, maar

studeert uitsluitend vanuit je lesnota’s.

b. je leest en herneemt elk hoofdstuk van de cursus en studeert tevens vanuit je

lesnota’s voor je examen.

c. je gebruikt enkel de lesnota’s bij het studeren voor het examen.

d. je richt je op de hoofdstukken van de cursus, erop vertrouwend dat de professor het

boek gebruikt als basis voor de uiteenzettingen.

22) Je dient met drie andere mensen aan een groepsopdracht te werken. Het is de avond

voordat de opdracht moet ingeleverd worden en er moeten nog een aantal kleinigheden

worden afgewerkt. Jullie zijn humeurig en moe aan het worden, maar er is nog steeds een

volledig uur werk nodig voordat de opdracht is afgewerkt. Daarenboven realiseren jullie

je dat de punten op deze opdracht voor jullie het verschil kunnen maken tussen een A en

een B op dit vak. Wat zou je doen?

a. de groep erop wijzen dat iedereen moe is en voorstellen om het project zo snel

mogelijk af te krijgen.

b. kalm blijven en je richten op de nog af te werken taken, terwijl je de anderen laat

ruzie maken als ze dat willen.

c. aanbieden om de laatste taken op jou te nemen, zodat de anderen naar huis kunnen

gaan.

d. besluiten dat de punten op deze opdracht niet zo belangrijk zijn en beslissen om

naar huis te gaan.

23) In het begin van het semester vraagt een professor een vrijwilliger om na elke les de

lesnota’s uit te typen voor een dove student. De taak zou inhouden dat je de lesnota’s

uittypt en ze vóór de volgende les via email doorstuurt naar de student. Je wordt er niet

voor betaald. Wat zou je doen?

a. je als vrijwilliger aanbieden om je nota’s te typen.

b. je in het begin van het semester aanbieden als vrijwilliger, maar halverwege het

semester beseffen dat je het niet meer wil doen en ermee stoppen.

Page 62: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

55

c. beseffen dat het te veel tijd in beslag zal nemen, waardoor je je niet als vrijwilliger

aanbiedt.

d. je als vrijwilliger aanbieden om de helft van de nota’s te typen als de professor

iemand kan vinden om de taak met je te delen.

Page 63: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

56

Bijlage 3: Geschreven Situational Judgment Test: Scoringssleutel

1) Tijdens het studeren voor een examen, vind je dan dat je de beste resultaten behaalt

wanneer:

a. je op voorhand begint te plannen en tijd ervoor vrijmaakt. (+1)

b. je werkt in een nette en ordelijke omgeving, zelfs wanneer dit betekent

dat je daardoor wat tijd verliest bij het studeren. (0)

c. je wacht tot je echt gemotiveerd bent vooraleer je je bezig houdt met de

belangrijkste studietaken. (0)

d. je tot de laatste dagen wacht om te studeren, omdat je dan beseft dat

je het nu MOET gedaan krijgen. (-1)

2) Een professor kondigt tijdens de les aan dat er studenten nodig zijn om als proefpersoon

deel te nemen aan zijn aanstaand onderzoek. Hoewel je geen enkele formele vorm van

extra studiepunten zou krijgen, waardeert de professor wel dat men zich als vrijwilliger

opgeeft. Wat zou je doen?

a. je lessenrooster nakijken en je zo veel uren als je kan aanbieden als vrijwilliger. (0)

b. je lessenrooster nakijken en je voor een enkele uren per week aanbieden als

vrijwilliger wanneer het je persoonlijk goed schikt. (+1)

c. beseffen dat je wat van je vrije tijd zou moeten opofferen en beslissen om je niet als

vrijwilliger aan te bieden. (-1)

d. je aanbieden om enkel als proefpersoon deel te nemen wanneer je betaald wordt. (0)

3) Tijdens het studeren voor een examen dat zowel lesnota’s als opgegeven hoofdstukken

uit een handboek omvat, vind je dan dat je de beste resultaten behaalt wanneer:

a; je het studeren in onderdelen opdeelt en jezelf test terwijl je

de leerstof doorneemt. (+1)

b. je al de leerstof doorneemt en dan jezelf test. (0)

c. je eerst al je lesnota’s en daarna je aantekeningen vanuit het handboek doorneemt.

(0)

d. je de hoofdstukken in de loop van het semester leest, maar je

concentreert op de lesnota’s voor het examen. (-1)

Page 64: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

57

4) Je bent lid van een groep die een opdracht heeft voltooid. De professor heeft ook reeds de

punten en de feedback gegeven. In zijn bemerkingen valt de professor gericht de groep

aan voor plagiaat en daardoor werden enkele punten afgetrokken. Je weet dat je als

student moreel verplicht bent om om het even wie plagiaat heeft gepleegd, aan te geven.

Het plagiëren had echter geen betrekking op het deel van het project waar jij persoonlijk

verantwoordelijk voor was. Wat zou je doen?

a. de professor vertellen wie verantwoordelijk was voor het plagiaat. (-1)

b. aan de persoon die verantwoordelijk is voor het plagiaat vertellen dat hij/zij contact

zou moeten opnemen met de groepsleider. (0)

c. de situatie bespreken met de groep om samen tot een beslissing te komen over wat

te doen.(+1)

d. de punten aanvaarden, leren vanuit de ervaring en jezelf beloven het nooit meer te

laten gebeuren. (0)

5) Je hebt zoveel taken af te maken en zoveel te studeren, dat je het gevoel hebt dat je er

nooit toe zult komen iets af te werken. Je bent echt helemaal bedolven onder het werk.

Wat zou je doen?

a. prioriteiten stellen wat betreft je activiteiten, de stappen die verwezenlijkt moeten

worden voor elke activiteit één voor één opsommen en op systematische wijze door

je werk gaan. (+1)

b. beslissen wat je redelijkerwijze kan afwerken en je richten op het afmaken van dat

werk, en de rest van het werk onafgewerkt laten.(0)

c. praten met de professor in kwestie, je situatie uitleggen en uitstel vragen op de

inleveringsdatum. (0)

d. een paar dagen vrijaf nemen samen met je vrienden; daarna terug hard aan het werk

gaan.(-1)

6) Wat zou je doen tijdens het studeren voor een examen dat zal handelen over zowel

opgegeven hoofdstukken uit een handboek als lesnota’s?

a. je leest het handboek ten minste éénmaal en je leest je lesnota’s door. (-1)

b. je woont de lessen bij en je leest het handboek, daarna besteed je de avond voor het

examen tijd aan het hernemen van de volledige leerstof. (0)

c. je maakt nota’s tijdens de lessen en vanuit je handboek en je herneemt enkel deze

nota’s voor het examen. (0)

Page 65: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

58

d. je integreert de nota’s die je genomen hebt tijdens de lessen en die vanuit het

handboek in een samenvatting waaruit je zal studeren. (+1)

7) Wat zou je doen wanneer je een multiple-choice examen aflegt (nadat je reeds alle vragen

hebt gelezen)?

a. je begint eerst te werken aan de gemakkelijke vragen en je komt daarna terug op de

meer moeilijke vragen. (+1)

b. je begint te werken aan de eerste vraag en je werkt verder aan de vragen in de

opgegeven volgorde. (0)

c. je werkt de vragen op willekeurige wijze af, totdat alle vragen zijn beantwoord. (0)

d. je begint eerst te werken aan de moeilijke vragen en je komt daarna terug op de

gemakkelijke vragen. (-1)

8) Je bent aan het werken aan een taak en realiseert je dat die taak meer tijd vereist dan je

hebt voorzien. Je hebt uitstel gevraagd, maar de professor in kwestie heeft dit geweigerd.

Je beseft dat deze taak een groot deel van je punten bepaalt. Wat zou je doen?

a. andere methoden bepalen om de taak te maken die minder tijd vereisen, zelfs

wanneer dit betekent dat je wat van de kwaliteit van de taak moet opofferen. (0)

b. raad vragen aan anderen die gelijkaardige problemen hebben ervaren i.v.m. de beste

manier om de zaken aan te pakken. (0)

c. met de professor het volgende bespreken: het belang van de taak en de vooruitgang

die je hebt gemaakt, waarom je precies meer tijd nodig hebt, en hoe het gebrek aan

tijd invloed zal hebben op je werk. Proberen om de professor te overtuigen om je te

geven wat je nodig hebt. (-1)

d. de benodigde extra uren eraan besteden, zodat de taak is afgewerkt, zelfs wanneer

dit betekent dat je slaap of vrije tijd moet opofferen. (+1)

9) Wat zou je doen wanneer je een examen met open vragen aflegt?

a. je schrijft een kladversie en daarna een definitieve versie voor elke vraag. (-1)

b. je schrijft een uitgebreid samenvattend overzicht voor elke vraag in klad vooraleer

je het uitschrijft in een netversie. (0)

c. je schrijft eerst de kernwoorden neer in klad vooraleer je het antwoord uitschrijft.

(+1)

Page 66: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

59

d. je begint de antwoorden uit te schrijven in een definitieve versie, wetende dat je

indien nodig terug kan gaan om je antwoorden te herwerken. (0)

10) Je bent een student in een les. Een andere student komt naar je toe en vraagt om je

lesnota’s te lenen, vermits hij niet naar de les kon komen. Je geeft hem de nota’s. Later

die maand gebeurt hetzelfde en opnieuw geef je je nota’s aan de student. Deze situatie

blijft voortduren en uiteindelijk geraak je geërgerd, vermits je klasgenoot zijn eigen werk

zou moeten doen en naar de les zou moeten komen, en niet op jou vertrouwen om voor

hem nota’s te nemen. Hoe ga je te werk?

a. je legt aan de student uit dat je niet begrijpt wat het probleem is om naar de les te

komen, maar dat je zoveel mogelijk hebt geholpen als je kan.(0)

b. je blijft je lesnota’s aan hem uitlenen. (-1)

c. je deelt de student mee dat je je lesnota’s nog één maal aan hem zal geven, maar

waarschuwt hem dat het de laatste keer zal zijn. (0)

d. je praat met de student en achterhaalt waarom hij niet naar de les komt, zodat je de

beste manier kan uitzoeken om vanaf nu met de situatie om te gaan. (+1)

11) Wat zou je doen wanneer je op de feedbackdag je examen mag inkijken?

a. je kijkt naar de punten die je gekregen hebt en geeft

daarna het examen terug aan de professor. (0)

b. je bekijkt vluchtig het examen om te zien welke vragen je fout

hebt beantwoord. (0)

c. e bekijkt je examen en je probeert uit te zoeken waarom je de vraag fout hebt

beantwoord. (+1)

d. je kijkt niet naar het examen. (-1)

12) Je werkt met een zeer goede student die onlangs enkele persoonlijke moeilijkheden bij

een groepswerk heeft ervaren. Hij heeft deze problemen enkel aan jou toevertrouwd. Je

hebt een toegenomen werkbelasting omwille van zijn problemen. Je hebt met hem

gepraat over je bezorgdheden en hem op empatische wijze verzocht om zo snel mogelijk

zijn volledige taken te hernemen. Een maand gaat voorbij en je doet nog steeds te veel

van zijn werk. Je ziet in dat zijn werk het merendeel van je vrije tijd in beslag neemt. Wat

zou je doen?

Page 67: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

60

a. je deelt je medestudent mee dat je zijn problemen begrijpt, maar dat je niet langer in

staat bent om zijn werk te verrichten. (+1)

b. je vraagt je medestudent of hij liever heeft dat jij iemand anders zou zoeken om

mee samen te werken. (-1)

c. je blijft je medestudent inlichten over je bezorgdheden, totdat hij zijn volledige

taken herneemt. (0)

d. je praat met de professor in kwestie over de situatie. (0)

13) Je krijgt een taak die ingeleverd moet worden op dezelfde dag dat je een zeer moeilijk

examen van een andere vak dient te maken. Wat zou je doen?

a. je overlegt met de professor die de taak gaf en vraagt om uitstel. (0)

b. je aanvaardt dat je de taak te laat zult indienen en dat er daardoor punten zullen

worden afgetrokken. (-1)

c. je maakt de taak de avond voordien af, waardoor je wat van de kwaliteit moet

opofferen, maar toch op tijd indient. (0)

d. je maakt de taak op voorhand af, zodat je de avond voordien de tijd kan besteden

aan studeren voor je examen. (+1)

14) Je hebt problemen met één van je vakken. Het examen nadert snel en je wil hierop goede

punten halen, vooral omwille van je lage punten op een ander vak waarvan je reeds

examen hebt afgelegd. Je hebt tot nu toe hard gewerkt om een goed totaal gemiddelde

(over al je vakken samen) en een hoge graad te behouden en je wil die graad niet in

gevaar brengen. Wat zou je doen?

a. je blijft studeren en geeft niet op, zelfs wanneer je geconfronteerd wordt met

moeilijke gedeelten. (+1)

b. je maakt een afspraak en raadpleegt de professor om jou te helpen bij het studeren

en bij het doornemen van de leerstof. (0)

c. je maakt meer tijd vrij om te studeren voor dit vak dan dat je hebt gedaan voor het

andere vak. (0)

d. je aanvaardt dat je niet altijd uitstekende punten kunt halen en concentreert je op

andere vakken waarop je het zeker goed zult doen. (-1)

15) Op de eerste lesdag geeft een professor te kennen dat de les drie maal per week zal

plaatsvinden. De lesvorm zal bestaan uit een uiteenzetting tijdens de eerste helft, gevolgd

Page 68: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

61

door een discussie en het beantwoorden van vragen op de onderwerpen tijdens de tweede

helft. Voor elke uiteenzetting is er ook een opgegeven overeenkomstig hoofdstuk in een

handboek. Wat zou je doen?

a. je woont de uiteenzettingen bij en leest dan vóór de examens de opgegeven

hoofdstukken uit het handboek. (0)

b. je leest het opgegeven hoofdstuk vóór elke les. (+1)

c. je leest het opgegeven hoofdstuk na elke les. (0)

d. je leest de hoofdstukken uit het handboek niet. (-1)

16) Je hebt een vijftal vakken dit semester en voor al deze vakken zijn er examens en enkele

taken. Wat zou je doen in de loop van het semester?

a. je wacht tot de dag voordat iets moet ingeleverd worden en werkt er dan aan tot het

af is. (0)

b. je besteedt iedere dag wat tijd aan studeren, zodat het werk zich niet opstapelt. (+1)

c. een paar dagen voordat een taak moet ingeleverd worden begin je er elke dag een

beetje aan te werken. (0)

d. je maakt je er geen zorgen over en je bekijkt de zaken van dag tot dag. (-1)

17) Je bent aan het werken aan een taak waarvoor je wat opzoekwerk moet doen en veel moet

lezen samen met een andere student. Je neemt een pauze en als je teruggekomt ontdek je

dat op je bureau de wetenschappelijke artikels door elkaar liggen. Je medestudent

“reorganiseerde” blijkbaar alles op je bureau en nu kan je niet meer zeggen wat je al

gelezen hebt en wat je nog moet lezen. Je bent kwaad. Wat zou je doen?

a. een paar minuten afkoelen en daarna aan de student vragen om je te vertellen hoe zij

je bureau heeft “gereorganiseerd”. (+1)

b. beseffen dat het jouw schuld is, omdat je de papieren achteloos op je bureau

achterliet. (-1)

c. de student meedelen dat je het niet op prijs stelt en haar zeggen dat je in de

toekomst wil dat zij van je bureau afblijft. (0)

d. ervan uitgaan dat de student geen slechte bedoelingen had en zelf proberen om de

wetenschappelijke artikels te hersorteren. (0)

18) Je kotgenoot heeft problemen om te studeren voor een examen voor een vak waarin jij

goed bent. Je hebt je taken voor die avond afgewerkt en je was van plan om samen met

Page 69: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

62

een aantal vrienden uit eten te gaan. Je beseft echter dat je kotgenoot je voordien heeft

geholpen met enkele van jouw taken. Je kotgenoot vraagt je om hulp bij het studeren voor

het examen. Wat zou je doen?

a. je legt uit dat je reeds plannen hebt gemaakt, maar dat je samen met hem de leerstof

nog eens zal hernemen wanneer je thuiskomt na het eten. (0)

b. je belt je vrienden op en je zegt het etentje af. In de plaats daarvan blijf je thuis om

je kotgenoot te helpen en om samen met hem te eten. (0)

c. je stelt je plannen om te gaan eten uit en besteedt de nodige tijd aan het helpen van

je kotgenoot. Daarna ga je uit eten. (+1)

d. je legt uit dat je hem graag zou hebben geholpen, maar dat je reeds plannen hebt die

je niet kan afzeggen. (-1)

19) Je krijgt een laatste en beslissende taak opgegeven die op het einde van het semester moet

binnengebracht worden. De professor beveelt je een planning aan om doorheen het

semester te volgen, met regelmatige tussentijdse herzieningen door de professor van

verschillende onderdelen van de taak. Toch is de uiteindelijke versie van de taak het

enige waarop je punten zal krijgen. Wat zou je doen?

a. je wacht tot het einde van het semester om de taak te schrijven. (-1)

b. je blijft bij de planning die de professor heeft voorgesteld. (+1)

c. je werkt in de loop van het semester regelmatig aan de taak, maar volgt niet

noodzakelijk de planning van de professor. (0)

d. je schrijft de taak tijdens de eerste maand van het semester, zodat het afgewerkt is

en je je geen zorgen meer hoeft te maken. (0)

20) Je krijgt de opdracht een rapport te schrijven over een onderzoek dat werd uitgevoerd

tijdens de les. Je weet niet hoe je bepaalde delen van het rapport moet voorbereiden. Wat

zou je doen als eerste stap om dit te achterhalen?

a. je vraagt het aan de professor in kwestie. (0)

b. je schrijft het rapport zo goed als je kan zelf uit. (-1)

c. je zoekt relevante documentatie en vroegere voorbeeldrapporten op om te bepalen

hoe je het jouwe gaat schrijven. (+1)

d. je gaat na of studenten, die dit vak reeds hebben gehad, ook een rapport hebben

moeten schrijven en je vraagt hen hoe je het aanpakt. (0)

Page 70: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

63

21) Tijdens de eerste les overloopt de professor de hoofdstukken van de cursus en vermeldt

dat er een examen zal zijn over zijn vak. De professor bespreekt tijdens de les wat dit

examen zal omvatten en deelt mee dat het examen in de eerste plaats over de lesnota’s zal

gaan. Wat zou je doen?

a. je neemt elk hoofdstuk van de cursus in de loop van het semester vlug door, maar

studeert uitsluitend vanuit je lesnota’s. (0)

b. je leest en herneemt elk hoofdstuk van de cursus en studeert tevens vanuit je

lesnota’s voor je examen. (+1)

c. je gebruikt enkel de lesnota’s bij het studeren voor het examen. (0)

d. je richt je op de hoofdstukken van de cursus, erop vertrouwend dat de professor het

boek gebruikt als basis voor de uiteenzettingen. (-1)

22) Je dient met drie andere mensen aan een groepsopdracht te werken. Het is de avond

voordat de opdracht moet ingeleverd worden en er moeten nog een aantal kleinigheden

worden afgewerkt. Jullie zijn humeurig en moe aan het worden, maar er is nog steeds een

volledig uur werk nodig voordat de opdracht is afgewerkt. Daarenboven realiseren jullie

je dat de punten op deze opdracht voor jullie het verschil kunnen maken tussen een A en

een B op dit vak. Wat zou je doen?

a. de groep erop wijzen dat iedereen moe is en voorstellen om het project zo snel

mogelijk af te krijgen. (+1)

b. kalm blijven en je richten op de nog af te werken taken, terwijl je de anderen laat

ruzie maken als ze dat willen. (0)

c. aanbieden om de laatste taken op jou te nemen, zodat de anderen naar huis kunnen

gaan. (0)

d. besluiten dat de punten op deze opdracht niet zo belangrijk zijn en beslissen om

naar huis te gaan. (-1)

23) In het begin van het semester vraagt een professor een vrijwilliger om na elke les de

lesnota’s uit te typen voor een dove student. De taak zou inhouden dat je de lesnota’s

uittypt en ze vóór de volgende les via email doorstuurt naar de student. Je wordt er niet

voor betaald. Wat zou je doen?

a. je als vrijwilliger aanbieden om je nota’s te typen. (0)

Page 71: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

64

b. je in het begin van het semester aanbieden als vrijwilliger, maar halverwege het

semester beseffen dat je het niet meer wil doen en ermee stoppen. (-1)

c. beseffen dat het te veel tijd in beslag zal nemen, waardoor je je niet als vrijwilliger

aanbiedt. (0)

d. je als vrijwilliger aanbieden om de helft van de nota’s te typen als de professor

iemand kan vinden om de taak met je te delen. (+1)

Page 72: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

65

Bijlage 4: Planning: Oplijsting en Aflijning Fasen

Planning

- Duidelijke planning met alle ontwikkelingsfasen opstellen. In deze planning kan best

een tijdslijn worden geïntegreerd.

- Bepaling budget: ontwikkeling, onverwachtse kosten, eenmalige implementatiekosten

- Ontwikkelingsstrategie: waar? wie? interne ontwikkeling, uitbesteden van

ontwikkeling, combinatie?

Ontwerp van Scripts

- Omzetting itemstammen en –opties

• Testontwikkelaar: doel en inhoud

• Schrijver: giet doelen in scripts

• Producer: zorgt dat gefilmd kan worden

• Domeinexpert: script realistisch en overeenstemming functie

- Wat is een goed script?

• Visuele elementen: omschrijven welke acties en wat te zien

• Geluidselementen: dialogen

• Locatie

• Opzet: waar acteurs en attributen, welke bewegingen acteurs

• Realistisch script: welke attributen en achtergrondinfo nodig

• Twee vragen: 1) Wat maken deelnemers mee/wat zien ze?

2) Komt dit overeen met de doelen van de SJT?

- Twee soorten scripts:

• Split screen-formaat: linkerkolom visuele elementen,

rechterkolom geluidselementen

• Standaardformaat: filmscript dat visuele en geluidselementen

combineert

- Review script – twee mogelijkheden:

• Domeinexperten onafhankelijke van elkaar, dan

groepsvergadering (voorlezen script en verduidelijkihng positie

acteurs -> helpt experten script te visualiseren)

Page 73: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

66

• Storyboard: opeenvolging beelden die locatie, dialoog en

beweging tonen -> hulp voor producer tijdens het filmen

=> Verandering script op grond van finale veranderingen en

suggesties van domeinexperten

- Testveiligheid

Preproductie: Selecteren van een Goede Locatie

- Locatie: studio, andere plaatsen

- Locatieverantwoordelijke en producer doorlopen scripts, bekijken opnamelocaties en –

opties, gaan mogelijke hindernissen na (geluidshonder, …), en vragen toestemming

filmen indien nodig.

- Logistieke aspecten: kleedkamers voor acteurs, opslagruimte voor rekwisieten,

vergaderruimte, voldoende stroomtoevoer voor camera’s en belichting

Preproductie: Selecteren van Acteurs

- Professionele acteurs:

• Castingbureaus of toneelgezelschappen

• Specialisatie acteurs in overeenstemming met script

• Waakzaam voor overacting

• Kosten: 30-45% van volledige productiebudget

- Niet-professionele acteurs:

• Personen die geen acteercarrière beogen, weinig/geen ervaring

• Bijv huidige medewerkers aan het script of vrijwilligers

- Aandachtspunten:

• Audities houden

• Demografische balans: verschillende demografische groepen

wisselen positieve en negatieve eigenschappen af

• Vermijdt het gebruik van stereotypen

Preproductie: Rekwisieten en Kleding

- Scripts grondig doorlichten

- Beroep op domeinexperten om realistische en functiespecifieke rekwisieten te vinden

- Waar rekwisieten te verkrijgen: bijv tweedehandswinkel, …

Page 74: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

67

- Geschikte kleding kiezen voor de acteurs

Preproductie: Ontwikkeling van het Opnameschema

- Moet gedetailleerd zijn en tot in de puntjes uitgewerkt

Video-opnamen

- Verschillende functies

- Accuraat logboek: begin- en eindpunt scènes, opnamenummers en opnamekwaliteit

- Opnamen op geregelde tijdstippen bekijken om zeker te zijn dat filmmateriaal goed is

- Domeinexpert aanwezig om accuraatheid en realisme van de opnamen te controleren

Postproductie

- Gebeurt in de montagekamer

- Stemmen-buiten-beeld: testinstructies, presentator, verteller

- Illustraties: ondertiteling scènes, timer met klokje

- Intro’s, afsluiters en overgangen nodig

- Montage van ruw-filmmateriaal in vier fasen:

• Digitaliseren van relevant ruw filmmateriaal o.b.v. logboek

• Digitaliseren minder belangrijk filmmateriaal (‘B-roll’)

• Montage ruw filmmateriaal om beste opnamen samen te stellen

• Toevoegen van vertellers, effecten, figuren enz. om de

voorlopige versie van de scène te maken

Lievens, F., & Schollaert, E. (2008). Naar een nieuwe generatie assessments: Een open boek

voor situationele tests

Page 75: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

68

Bijlage 5: Planning: Logboek Ontwikkeling Videogebaseerde Situational Judgment Test

Logboek

2007-2008: Literatuurstudie

2008-2009: Ontwikkeling video-SJT

september – november: planning: ontwikkeling tijdschema

december – februari: ontwerpen van scripts: brainstormen over scripts

scripts voorleggen aan SME’s

groepsbijeenkomst

aanpassingen verrichten

maart – april: preproductie: opleiding cameravoering

opleiding montageprogramma

opleiding inspreken voice-overs

zoektocht naar rekwisieten, locaties en

acteurs

april – mei: video-opnamen (zie hieronder voor opnameschema)

Opnameschema

Opdeling

te filmen 1,3, 5,7, 9, 11, ( Liesbeth)

te filmen 6 ( David)

te filmen 10,17,18 ( David, Liesbeth)

te filmen 2, 12(d), 20, ( David, Marnix) te filmen 13, 15, 19,21, 23 ( Liesbeth, Marnix)

te filmen 4 ( Marnix, David, Liesbeth, en figurant)

te filmen 22 ( David, Liesbeth, 2 figuranten)

te filmen 8, 12,(a,b,c), 14, 16 ( David)

Page 76: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

69

te filmen 1, 5, 11, 17 ( Liesbeth, Liesbeth en David studeerkamer)

Afgesproken Data

7 april – 10 april: Voorbereidingen filmen op locatie studeerkamers en kot

Vrijdag 10 april: Script 1,5,11 ( Liesbeth, studeerkamer)

Zaterdag 11 april: Script 17 ( Liesbeth versus David)

Maandag 13 april: Script 3 en 6 en 18 ( Liesbeth, David , kot)

Dinsdag 14 april: Script 8, 12 ( a, b, c), 14, 16 ( David, studeerkamer)

14 april – 18 april: Voorbereidingen filmen op locatie gesimuleerd auditorium

Zaterdag 18 april: Scriptt 2, 12(d), 15, 19, 20, 21, 23 ( Marnix, Liesbeth, David,

auditorium, bureau prof)

Zondag 19 april: Script 4, 7,9, 10,13, 22 ( Marnix, Liesbeth, David ,auditorium)

Inhaalweekend 25-26 april

mei – juni: postproductie: montage 1

tekstversie 1

inspreken voice-overs

grondige analyse, knelpunten detecteren

juli – augustus : oplossen problemen

montage 2, definitieve versie

tekstversie 2

ontwikkeling website

Page 77: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

70

Bijlage 6: Selectie uit de Scripts

1) Tijdens het studeren voor een examen, vind je dan dat je de beste resultaten behaalt

wanneer:

a. je op voorhand begint te plannen en tijd ervoor vrijmaakt.

b. je werkt in een nette en ordelijke omgeving, zelfs wanneer dit betekent

dat je daardoor wat tijd verliest bij het studeren.

c. je wacht tot je echt gemotiveerd bent vooraleer je je bezig houdt met de

belangrijkste studietaken.

d. je tot de laatste dagen wacht om te studeren, omdat je dan beseft dat

je het nu MOET gedaan krijgen.

St: Elise

De scene stelt een studeerkamer voor. De examenperiode kondigt zich aan. Elise vraagt zich

af hoe ze de beste resultaten kan behalen.

a) Elise zit aan haar bureau en bladert door haar agenda.

St: Zij denkt het volgende: Ik ga voor het examen op voorhand beginnen plannen

zodat ik tijd ervoor kan vrijmaken.

b) Elise zit aan haar bureau.

St: Zij denkt het volgende: Ik ga eerst alles opruimen. Ik kan niet tegen wanorde. Het

is niet erg dat ik hierdoor wat tijd verlies.

Ze neemt boeken van haar bureau en plaatst ze in de kast.

c) Elise zit aan haar bureau.

St: Zij denkt het volgende: Ik ga wachten met studeren tot ik meer motivatie heb.

Page 78: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

71

Ze legt haar mappen opzij. Ze neemt een tijdschrift om te lezen.

d) Elise zit aan haar bureau.

St: Zij denkt het volgende: Ik ga nog niet studeren. Ik ervaar nog geen enkele druk.

Het examen is nog niet voor de eerste dagen.

Ze legt haar mappen opzij. Ze neemt een tijdschrift om te lezen.

2) Een professor kondigt tijdens de les aan dat er studenten nodig zijn om als

proefpersoon deel te nemen aan zijn aanstaand onderzoek. Hoewel je geen enkele

formele vorm van extra studiepunten zou krijgen, waardeert de professor wel dat

men zich als vrijwilliger opgeeft. Wat zou je doen?

a. je lessenrooster nakijken en je zo veel uren als je kan aanbieden als

vrijwilliger.

b. je lessenrooster nakijken en je voor een enkele uren per week aanbieden als

vrijwilliger wanneer het je persoonlijk goed schikt.

c. beseffen dat je wat van je vrije tijd zou moeten opofferen en beslissen om je

niet als vrijwilliger aan te bieden.

d. je aanbieden om enkel als proefpersoon deel te nemen wanneer je betaald

wordt.

Pr: Professor

St: Dirk

De prof staat vooraan in het auditorium of leslokaal. Je ziet enkel de prof. Er wordt geen shot

getoond van het volledige leslokaal of auditorium.

Pr: Beste studenten. Vooraleer de les te starten, wil ik eerst even een huishoudelijke

mededeling meegeven. Ik ga tijdens ons kwartiertje pauze een lijst laten doorgaan.

(toont een lege lijst). Daarop kunnen jullie je naam noteren indien jullie zich willen

opgeven als vrijwilliger voor een onderzoek waar ik zou mee willen starten. Let wel:

Er zijn geen extra punten te verdienen. Ik zou het wel waarderen als jullie hier met zo

Page 79: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

72

veel mogelijk mensen aan zouden willen deelnemen. Op de lijst gaan jullie zien dat er

verschillende tijdstippen zijn in de week wanneer de afnames zullen doorgaan.

a) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.

Hij kijkt even in zijn boekentas en haalt er zijn agenda bij.

St: Hij denkt het volgende: Ik bied me zo veel mogelijk aan als vrijwilliger.

Dirk vult op verschillende tijdstippen zijn naam in op de lijst.

b) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.

Hij kijkt even in zijn boekentas en haalt er zijn agenda bij.

St: Hij denkt het volgende: Ik ga me zoveel uren aanbieden als het mij uitkomt.

Wanneer zou het me passen?

Dirk vult op een passend tijdstip zijn naam in op de lijst.

c) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.

St: Hij denkt het volgende: Die onderzoeken duren toch redelijk lang. Ik heb geen zin

om mijn vrije tijd voor zo iets op te offeren.

Dirk geeft zonder zijn naam in te vullen de lijst door aan een medestudent.

d) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.

St: Hij denkt het volgende : Ik ga voorlopig de lijst niet invullen. Straks na de les ga ik

eerst even vragen of er geen vergoeding tegenover staat.

Dirk geeft zonder zijn naam in te vullen de lijst door aan een medestudent.

Page 80: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

73

3) Tijdens het studeren voor een examen dat zowel lesnota’s als opgegeven

hoofdstukken uit een handboek omvat, vind je dan dat je de beste resultaten behaalt

wanneer:

a. je het studeren in onderdelen opdeelt en jezelf test terwijl je

de leerstof doorneemt.

b. je al de leerstof doorneemt en dan jezelf test.

c. je eerst al je lesnota’s en daarna je aantekeningen vanuit het handboek

doorneemt.

d. je de hoofdstukken in de loop van het semester leest, maar je

concentreert op de lesnota’s voor het examen.

St: Elise

De scène speelt zich af op een kot. Elise wil beginnen aan haar vak want zij heeft binnenkort

examen. De te kennen leerstof omvat handboek en de lesnota’s van het vak. Zij is aan het

studeren. Ze vraagt zich af hoe de beste resultaten te behalen.

a) St: Zij denkt het volgende: Ik zal eerst en vooral beginnen met de leerstof in

verschillende onderdelen op te delen. Zo kan ik tijdens het leren mijzelf testen.

Ze neemt een blad en noteert de verschillende onderdelen en wanneer ze zichzelf zal

testen.

b) St: : Elise denkt het volgende: Ik ga eerst alle leerstof doornemen en daarna ga ik dan

mezelf testen.

Ze neemt een blad en noteert alle hoofdstukken en wanneer ze zichzelf zal testen.

c) St: Zij denkt het volgende: Ik ga eerst de lesnota’s doornemen en daarna neem ik de

aantekeningen vanuit het handboek door.

Ze neemt een blad en wijst aan wat ze nog moet leren en vervolgens duidt ze op een t

weede blad aan met wat ze zal beginnen.

Page 81: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

74

d) St: Zij denkt het volgende: Voor het examen moet ik nu nog enkel de lesnota’s leren.

De hoofdstukken uit het boek heb ik reeds in het semester gelezen. Daar moet ik me

niet meer op concentreren.

Ze neemt een blad en doorkruist wat ze reeds heeft geleerd en vervolgens duidt ze op

een tweede blad aan wat ze nu gaat studeren.

4) Je bent lid van een groep die een opdracht heeft voltooid. De professor heeft ook

reeds de punten en de feedback gegeven. In zijn bemerkingen valt de professor

gericht de groep aan voor plagiaat en daardoor werden enkele punten afgetrokken.

Je weet dat je als student moreel verplicht bent om om het even wie plagiaat heeft

gepleegd, aan te geven. Het plagiëren had echter geen betrekking op het deel van het

project waar jij persoonlijk verantwoordelijk voor was. Wat zou je doen?

a. de professor vertellen wie verantwoordelijk was voor het plagiaat.

b. aan de persoon die verantwoordelijk is voor het plagiaat vertellen dat hij/zij

contact zou moeten opnemen met de groepsleider.

c. de situatie bespreken met de groep om samen tot een beslissing te komen over

wat te doen.

d. de punten aanvaarden, leren vanuit de ervaring en jezelf beloven het nooit

meer te laten gebeuren.

St: Dirk

Pr: Professor

Mst: Elise

Groepsleden: Eddy en Geert

De prof staat vooraan in het auditorium of leslokaal. Je ziet enkel de prof. Er wordt geen shot

getoond van het volledige leslokaal of auditorium.

Tijdens de les worden de verschillende groepswerken die door de studenten gepresenteerd

werden besproken. De professor richt zich tot de laatste groep die nog feedback dient te

krijgen.

Page 82: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

75

Pr: Als laatste groep hebben we de groep bestaande uit Dirk, Elise, Eddy en Geert. Ik

geef jullie een score van 11/20. Dit had meer kunnen zijn. Ware het niet dat ik gemerkt

heb dat stukken in het eerste deel van de paper letterlijk waren overgenomen uit enkele

wetenschappelijke artikels zonder ook maar één referentie. Dit noemen we plagiaat

mensen. Niettegenstaande dit onvergeeflijke feit zat de presentatie wel goed in elkaar.

We zien Dirk, één van de studenten van het laatst geëvalueerde werkstuk. Hij is niet

verantwoordelijk voor het plagiaat dat gebeurd is.

a) Dirk blijft achter in het klaslokaal. Hij stapt naar de professor toe en gaat in dialoog met

hem.

St: Professor?

Pr: Ja Dirk.

St: Ik vind dat ik onrechtvaardig ben behandeld. Ik ben namelijk niet verantwoordelijk

voor het plagiaat dat gebeurd is.

Pr: Wie dan wel als ik vragen mag.

St: Elise heeft volledig op eigen houtje gehandeld.

b) De les is afgelopen. De prof verdwijnt uit het leslokaal. Twee studenten blijven achter.

Dirk, één van de studenten van het laatst geëvalueerde werkstuk gaat in dialoog met Elise

die verantwoordelijk is voor het plagiaat.

St: Hey Elise. Zou ik je even kunnen spreken?

Mst: Het is over het groepswerk zeker.

St: Inderdaad. Ik sta echt versteld van wat je gedaan hebt. Ik wil niet voor jouw

misstap boeten. Ik zou graag hebben dat je contact opneemt met onze groepsleider.

Mst: ( kijkt eerder boos)

c) De les is afgelopen. De prof verdwijnt uit het leslokaal. De vier studenten

verantwoordelijk voor het laatst geëvalueerde groepswerk blijven achter. Dirk spreekt

zijn collega’s van het groepswerk aan.

Page 83: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

76

St: Ik vind het een triestige zaak dat we zo weinig punten hebben gekregen. Kunnen

we dit deze middag tijdens de lunchpauze even samen bespreken? Dan kunnen we

beslissen wat we gaan doen.

De groep knikt instemmend.

d) De les is afgelopen. De prof verdwijnt uit het leslokaal. Dirk , één van de studenten van

het laatst geëvalueerde groepswerk blijft achter.

St: Dirk denkt het volgende: (de schouders ophalend) Er is nu toch niks meer aan te

veranderen. 11/20 is nog steeds een voldoende. In mijn volgend groepswerk zal ik er

op toezien dat mij dit niet nogmaals overkomt.

5) Je hebt zoveel taken af te maken en zoveel te studeren, dat je het gevoel hebt dat je

er nooit toe zult komen iets af te werken. Je bent echt helemaal bedolven onder het

werk. Wat zou je doen?

a. prioriteiten stellen wat betreft je activiteiten, de stappen die verwezenlijkt

moeten worden voor elke activiteit één voor één opsommen en op

systematische wijze door je werk gaan.

b. beslissen wat je redelijkerwijze kan afwerken en je richten op het afmaken van

dat werk, en de rest van het werk onafgewerkt laten.

c. praten met de professor in kwestie, je situatie uitleggen en uitstel vragen op de

inleveringsdatum.

d. een paar dagen vrijaf nemen samen met je vrienden; daarna terug hard aan

het werk gaan.

St: Elise

Pr: Professor

De scene speelt zich af in een studeerkamer. Elise zucht. Zij ziet het niet meer goed zitten.

Page 84: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

77

St: Zij denkt het volgende: Nog zoveel opdrachten en dan vergeten we nog het

‘studeren’. Waar moet ik in godsnaam de tijd hiervoor vinden?

a) We zien Elise aan haar bureau.

St: Zij denkt het volgende: Ik ga prioriteiten stellen aan de volgens mij belangrijkste

activiteiten en zien welk stappen nog moeten uitgevoerd worden voor die activiteiten.

Op die manier kan ik systematisch te werk gaan.

b) We zien Elise aan haar bureau.

St: Zij denkt het volgende: Het is onmogelijk om alles nog te kunnen doen. Ik zal eens

zien wat ik nog redelijkerwijze kan afwerken en mij dan enkel op die zaken richten.

De rest laat ik dan wel onafgewerkt.

c) We zien Elise. Zij klopt aan op de deur van de bureau van een professor.

Pr: Ja. Kom maar binnen.

St: Dag professor. Ik zou graag met u over iets willen praten.

Pr: Vertel maar.

St: Ik heb zoveel taken te doen en ik weet niet meer wanneer ik deze allemaal moet

afwerken. Zou het mogelijk zijn om voor jouw vak uitstel te krijgen?

d) We zien Elise in haar studeerkamer.

St: Zij denkt het volgende: Ik ga een paar dagen vrijaf nemen en enkele vrienden

opbellen. Ik moet eventjes de batterijen opladen. Daarna kan ik terug hard aan het

werk gaan.

Ze neemt de GSM bij de hand.

Volledig script te raadplegen bij één van de auteurs. Contactadressen:

[email protected]; [email protected]

Page 85: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

78

Bijlage 7: Lijst Rekwisieten/Locaties/Acteurs

Rekwisieten/Benodigdheden

1. agenda

2. boeken

3. mappen

4. boekje

5. leesboek

6. lege lijst waar je je naam kan op plaatsen naast dagen bvb. ma/wo/vr

7. boekentas

8. lessenrooster

9. handboek

10. oefenboek

11. blad waarop hoofdstukken worden genoteerd en geschrapt

12. blad waarop lesnota’s/handboek staat genoteerd en geschrapt wordt

13. lesnota’s

14. aantekeningen handboek

15. uurwerk

16. To Do lijst

17. Samenvatting

18. Multiple choice examen formulier/rode formulier

19. Computer

20. Opgestelde mail. : weigering uitstel taak door professor

21. Examen open vragen + kladpapier examen.

22. Notitieblok om lesnota’s te nemen

23. Schema met vakken met bijkomende taken en data van deadlines

24. Stapels wetenschappelijke artikels of wat daarvoor moet doorgaan

25. Gsm

26. Horloge

27. flipchart met in het groot tekst van de acteurs

Locaties

1. studeerkamer met bureau en opbergkast

Page 86: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

79

2. leslokaal

3. kot

Acteurs

1. mannelijke student

2. vrouwelijke student

3. professor

4. medestudenten

Page 87: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

80

Bijlage 8: Inleidende Instructies

Inleidende instructies.

Zo meteen gaat u beginnen met de videogebaseerde versie van de situationele

beoordelingstest zoals deze werd ontwikkeld door Bess & Mullins. In het Nederlands vertaald

door Peeters & Lievens.

Deze test gaat na hoe goed u inzicht is in probleemsituaties betreffende verschillende

studentgerelateerde thema’s.

De test laat u 23 scènes zien van probleemsituaties. Elke probleemsituatie heeft 4 mogelijke

acties die door studenten kunnen worden ondernomen om met het probleem om te gaan.

Je moet voor elk probleem een beoordeling maken. Beslis welk alternatief je het meest

waarschijnlijk zou kiezen als antwoord op de probleemsituatie. Antwoord zo eerlijk mogelijk!

We vragen niet hoe je zou antwoorden om jezelf in een positief daglicht te stellen, maar wel

hoe je daadwerkelijk zou handelen.

Page 88: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

81

Bijlage 9: Voorbeeldscript

Tijdens het studeren voor een examen heb je honger. Je wil echter zo weinig mogelijk tijd

verliezen. Wat zou je doen?

a) zelf koken 0

b) take-away aan huis laten komen +1

c) op restaurant gaan -1

d) niks eten 0

St: Dirk

PT: persoon die take-away levert.

De scène stelt een studeerkamer voor. We zien Dirk. Het volgende examen kondigt zich aan.

Tijdens het studeren, krijgt hij honger. Hij wil zo weinig mogelijk tijd verliezen.

a) Dirk is aan het koken. We zien hem verschillend stappen in het kookproces uitvoeren

b) Er wordt aangebeld. Dirk opent de deur en gaat in dialoog met de persoon die hem zijn

bestelde take-away komt brengen.

Pt: Is het bij De Jaeger?

St: Ja

Pt: Ik ben hier met de Pizza

St: Bedankt

Pt: Dat is dan 9 euro

St: 9 euro (haalt geld tevoorschijn)

Pt: 10

St: Hou de rest maar

Pt: Dank u! Smakelijk!

St: Tot ziens

c) We zien een restaurant. Dirk kom aan met de fiets en gaat het restaurant binnen.

Page 89: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

82

d) Dirk is aan het studeren.

Hij denkt het volgende: Mijn honger zal wel over gaan.

Hij studeert verder.

Page 90: Faculteit Psychologie en Pedagogische Wetenschappenlib.ugent.be/fulltxt/RUG01/001/393/018/RUG01-001393018_2010_0001... · Academiejaar 2008-2009 ... namelijk een vertaling van de

Videobased Situational Judgment Test

83

Bijlage 10: instructies voor de website

Eerst krijgt U nu de nodige instructies.

Elke scène begint telkens met een inleidend stuk die de situatie voorstelt. U kan deze

achtergrondinformatie bekijken door situatie aan te klikken met de muis. Vervolgens ziet U

vier mogelijke reacties op deze situatie. U kunt elke reactie één voor één afspelen door deze

aant te klikken.

Na het afspelen van de vier reacties ten slotte beslist U hoe u in dergelijke situatie zou

reageren. Dit doe je door respectievelijke reactie aan te vinken met de muis.

U kan de situatie nogmaals afspelen als u dit wenst. U kan ook steeds uw keuze wijzigen.

Als U tevreden bent met de keuze die u gemaakt hebt, gaat u naar volgende situatie door

rechts onderaan op volgende situatie te klikken.

Let wel éénmaal U naar volgende situatie gaat, kan U niet meer terugkeren naar de vorige.

Vooraleer de test te starten, krijgt u om te oefenen een voorbeeld te zien. Probeer hierbij ook

een situatie opnieuw af te spelen en een keuze te wijzigen. Als U tevreden bent met de

gemaakte keuze en alles begrijpt , klikt U op volgende situatie om te starten met de echte test.

Website is te vinden op www.testproject.be