Faculteit Psychologie en Pedagogische Wetenschappen
Academiejaar 2008-2009
Tweede Examenperiode
Het omzetten van een bestaande geschreven situationele test in een videogebaseerde test met rollenspelers
Scriptie neergelegd tot het behalen van de graad van Master in de Psychologie,
Optie Bedrijfspsychologie en Personeelsbeleid
door
Timothy De Jaeger
Wouter Pereboom
Promotor : Prof. Dr. F. Lievens
Begeleiding : Lic. E. Schollaert
Videobased Situational Judgment Test
Ondergetekenden, Timothy De Jaeger en Wouter Pereboom, geven toelating tot het raadplegen van de
masterproef door derden.
Videobased Situational Judgment Test
i
VOORWOORD
Deze masterproef betekende voor ons een belangrijk werkstuk van onze
vijfjarige universiteitsopleiding.
Dit zou er echter nooit geweest zijn zonder de steun van een aantal mensen. Daarom
graag aan hen een woord van dank.
Vooreerst zijn we Prof. Dr. Filip Lievens erkentelijk voor de kans die we kregen om
deze masterproef onder zijn promotorschap te realiseren. Hierbij aansluitend danken we
expliciet onze begeleidster Eveline Schollaert voor haar frequente en intensieve
feedback. Steeds ging zij in op onze vragen en was zij ontvankelijk voor onze inbreng.
Graag willen wij ook de gelegenheidsacteurs, Marnix Vangheluwe, Liesbeth De Smet
en David De Jaeger danken voor hun enthousiaste medewerking. Ook voor hen was dit
een nieuwe ervaring.
Wij willen Marnix Vangheluwe in het bijzonder danken voor het ter beschikking stellen
van een camera, montageprogramma, en de opleiding die hij ons heeft gegeven.
Verder danken wij ook Arche-Consulting voor het mogen gebruik maken van een
leslokaal en danken wij ook 9000 Studios voor het helpen ontwikkelen van de website.
Ten slotte gaat onze dank uit naar onze ouders en familie voor hun luisterend oor in
moeilijke momenten en hun empathie. Ze bleven ons steunen in de gemaakte keuzes,
leerden ons relativeren en gaven ons steeds passend advies.
Timothy De Jaeger
Wouter Pereboom
Gent, augustus 2009
Videobased Situational Judgment Test
ii
ABSTRACT
In deze masterproef werd een videogebaseerde situationele beoordelingstest
(video SJT) ontwikkeld. Een videogebaseerde SJT bestaat uit scenario’s die op een
realistische manier een werksituatie in beeld brengen. Naast de inhoudelijke boodschap
is ook het non-verbale gedrag zichtbaar. Het aangeboden videoscenario stopt op een
sleutelmoment. Vervolgens verschijnen er diverse antwoordalternatieven op het scherm.
Uit deze alternatieven dient de respondent de gepaste reactie voor de situatie te
selecteren (Dalessio, 1994; Smiderle, Perry,& Cronshaw, 1994; Weekley & Jones,
1997).
Vooraleer wordt begonnen met de bespreking van de ontwikkeling van de video
SJT, wordt eerst de literatuurstudie besproken. Hierbij wordt ingegaan op de
omschrijving, de betrouwbaarheid, en de validiteit van een geschreven SJT. Daarbij
wordt ook aandacht besteed aan de bevindingen in verband met video SJTs. Daarnaast
wordt reeds kort de ontwikkeling van beide types SJT toegelicht. Ten slotte worden de
omschrijving, voordelen, en praktijkrelevantie van een video SJT nader besproken.
Vervolgens wordt de ontwikkeling van de video SJT besproken. Voor de
ontwikkeling van de video SJT werd er uitgegaan van een reeds bestaande geschreven
SJT, namelijk een vertaling van de SJT van Bess en Mullins (2002). Deze SJT peilt naar
de leermethoden van studenten en is reeds veel onderzocht geweest. Tijdens de
ontwikkeling van de video SJT werden de stappen, die beschreven worden in de
literatuur nauwgezet gevolgd.
Hierna wordt de ontwikkelde video SJT besproken aan de hand van de
mogelijke bijdrage aan praktijk en wetenschap alsook aan de hand van de beperkingen.
Mogelijkheden tot verder onderzoek worden eveneens besproken. In deze sectie volgt
tevens een mogelijke suggestie om de validiteit en betrouwbaarheid van de ontwikkelde
video test te onderzoeken.
Videobased Situational Judgment Test
iii
INHOUDSTAFEL
Voorwoord i
Abstract ii
Inhoudstafel iii
Lijst met figuren v
Inleiding 1
Situational Judgment Test 2
Algemene omschrijving 2
Definitie 2
Evolutie 3
Simulatie met laag realiteitsgehalte 5
Validiteit en betrouwbaarheid 5
Criteriumvaliditeit 5
Incrementele validiteit 6
Constructvaliditeit 7
Face validiteit 8
Betrouwbaarheid 9
Adverse impact 9
Faking 10
Ontwikkeling SJT 11
Videogebaseerde SJT 13
Definitie 13
Voordelen videotest 13
Praktijkrelevantie 14
Doelstelling 15
Methode 16
Ontwikkeling van een SJT 16
Fase 1: Verzamelen van kritische incidenten 16
Fase 2: Antwoordalternatieven verzamelen 16
Fase 3: Bepalen van de antwoordinstructies 17
Fase 4: Scoring van de SJT 17
Fase 5: Bepalen van de scoringssleutel 18
Welke SJT? 18
Videobased Situational Judgment Test
iv
Ontwikkeling van een video-SJT 19
Planning 19
Ontwerpen van scripts 20
Preproductie 24
Video-opnamen 27
Post-productie 29
Montage 29
Van film naar test 31
Discussie 33
Ontwikkeling 33
Bijdrage aan praktijk en wetenschap 34
Beperkingen en verder onderzoek 34
Beperkingen 34
Verder onderzoek 36
Conclusie 38
Referenties 39
Bijlages 45
Videobased Situational Judgment Test
v
LIJST MET FIGUREN
Figuur 1. Voorbeeld item 3
Figuur 2. Item uit test van Bess en Mullins (2002) 22
Figuur 3. Script van item uit Figuur 2 23
Videobased Situational Judgment Test
1
INLEIDING
In de huidige maatschappij zijn er twee belangrijke uitdagingen op de arbeidsmarkt.
Ten eerste wordt door het toenemend tekort van werknemers op de verschillende
arbeidsmarkten het alsmaar belangrijker voor bedrijven om ten aanzien van hun concurrenten
er in positieve zin uit te springen zodat ze als attractieve ondernemingen gezien worden door
potentiële sollicitanten (Maurer, Howe, & Lee, 1992; Taylor & Collins, 2000; Thomas &
Wise, 1999; Lievens & Highouse, 2005).
Ten tweede krijgt men vaak te horen dat de allochtonen ondervertegenwoordigd zijn
op de huidige arbeidsmarkt. Bovendien evolueert men naar een multiculturele maatschappij
waar diversiteit steeds belangrijker wordt. Bij de zoektocht naar werknemers is er daarom een
opportuniteit om deze doelgroep aan te spreken.
Het gebruik van situationele beoordelingstesten biedt een goed antwoord op de
uitdagingen van de arbeidsmarkt hierboven geschetst. Situationele beoordelingstesten (SJTs)
zijn testen die bestaan uit situaties over een probleem waarmee iemand tijdens zijn of haar
werk kan worden geconfronteerd en die een bepaalde handeling van de persoon vereist. De
sollicitant dient deze situaties te beoordelen met behulp van een lijst met mogelijke reacties
op de situatie. Uit deze lijst moet de kandidaat die reactie selecteren die zijn of haar meest of
minst waarschijnlijke manier van handelen tijdens de situatie beschrijft (McDaniel & Nguyen,
2001; Motowidlo et al., 1990; Van der Maesen, Born, Van Oudenhoven-Van der Zee, &
Ruhe, 2003).
Ten eerste lijkt deze vorm van testen als attractiever te worden gepercipieerd wat zich
zou kunnen vertalen naar een positief imago van de organisatie waar de test werd afgenomen
en op die manier de kans vergroot dat een bepaalde sollicitant bij verschillende gelijkwaardige
jobs voor de desbetreffende organisatie zal kiezen. De reacties van de kandidaten hebben
immers invloed op het beeld dat ze van de organisatie hebben en daaruit voortvloeiend of ze
de job al dan niet aanvaarden (Hausknecht, Day, & Thomas, 2004). Ten tweede komt uit de
literatuur naar voor dat de adverse impact lager zou zijn voor minderheidsgroepen wat betreft
deze manier van testen (Chan & Schmitt, 1997). Adverse impact betekent dat verschillende
groepen verschillend scoren op de test. Dit zijn slechts enkele voordelen waarom dergelijke
situationele beoordelingstesten meer en meer worden ingeschakeld in selectieprocedures.
Naast deze algemene voordelen van een SJT kunnen wij op basis van de
wetenschappelijke literatuur suggereren dat het gebruik van videogebaseerde SJTs bovenop
Videobased Situational Judgment Test
2
geschreven SJTs een meerwaarde zou kunnen bieden voor organisaties (Olson-Buchanan &
Drasgow, 2006). Er is nog maar weinig empirisch onderzoek omtrent dit onderwerp gebeurd.
Toch werden reeds enkele belangrijke voordelen in de literatuur vermeld.
Vooreerst kan men door het gebruik van videobeelden de situatie meer gedetailleerd,
realistisch, en nauwkeurig schetsen (Funke & Schuler, 1998; Olson – Buchanan & Drasgow,
2006). Ten tweede vinden verschillende studies ook een hogere face validiteit (Kanning et al.,
2006; Chan & Schmitt, 1997). Dit wil zeggen dat kandidaten de selectieprocedure relevant
vinden voor de job waarvoor men solliciteert. Ten derde zouden video SJTs ook kunnen
gebruikt worden bij de selectie van individuen met een mindere leesvaardigheid. Dit biedt
perspectieven bij de selectie van allochtonen of bij beroepen waarbij leesvaardigheid minder
van belang is (minder adverse impact) (Chan & Schmitt, 1997).
Op basis hiervan kunnen we besluiten dat het gebruik van een video SJT in de
selectieprocedure een opportuniteit biedt in het licht van de huidige maatschappelijke context.
In het kader van deze scriptie ontwikkelen we daarom een videogebaseerde SJT.
Vooraleer we de ontwikkelde SJT bespreken, wordt een overzicht gegeven van de
relevante literatuur met betrekking tot SJTs. Eerst wordt getracht een algemene omschrijving
te geven van situationele beoordelingstesten. Vervolgens worden de relevante bevindingen
gepubliceerd in verband met validiteit en betrouwbaarheid en wordt reeds kort de
ontwikkeling van beide types SJT toegelicht. Ter afsluiting wordt dieper ingegaan op de video
SJT, meer bepaald de voordelen, de praktijkrelevantie, en de doelstelling van de scriptie.
Situational Judgment Test
Algemene Omschrijving
definitie SJTs zijn samengesteld uit beschrijvingen van situaties die voorkomen in de
functie waarvoor de kandidaat solliciteert. Meestal gaan deze situaties over een probleem
waarmee iemand tijdens zijn/haar werk kan worden geconfronteerd en die een bepaalde
handeling van de persoon vereist. De kandidaat dient deze situaties te beoordelen met behulp
van een lijst met mogelijke reacties op de situatie. Uit deze aangeboden lijst moet de
kandidaat die reactie selecteren die zijn of haar meest of minst waarschijnlijke manier van
handelen tijdens de situatie beschrijft. De assumptie hierbij is dat op basis van hoe iemand
presteert op een simulatie van de job, voorspeld kan worden hoe iemand in de job zal
functioneren (McDaniel & Nguyen, 2001; Motowidlo et al., 1990; Van der Maesen, Born,
Van Oudenhoven-Van der Zee, & Ruhe, 2003). Het voorbeelditem uit figuur 1 illustreert dit.
Videobased Situational Judgment Test
3
Een medewerkster slaagt er vaak niet in om haar werk af te krijgen omdat ze altijd heel
lange praatjes voert met de klanten. Andere medewerkers hebben erover geklaagd dat zij op
die manier haar deel van het werk niet doet. Welk antwoord is het beste voor jou? Welk
antwoord is het slechtste voor jou ?
A. Haar ongemoeid laten want de klanten houden veel van deze babbels.
B. Haar zeggen dat ze meer moet werken en minder praten en haar daarbij opdrachten
geven die tegen een bepaalde dag moeten afgewerkt zijn.
C. Een formele disciplinaire maatregel opstarten.
D. Het verschil uitleggen tussen sociale babbels en dienstverlening en haar coachen om
de gesprekken korter te houden.
E. Dit punt enkel bespreken met haar als haar productie werkelijk onder de norm ligt.
(Ontwikkeling Generieke Testen, 2007)
Figuur 1. Voorbeelditem
evolutie Het eerste gebruik van situationele beoordelingstesten gaat terug tot in de
tweede wereldoorlog. Psychologen van het leger wilden het beoordelingsvermogen van de
soldaten testen. Deze testen bestonden uit verschillende militair gerelateerde scenario’s
waarbij men moest oordelen op basis van gezond verstand, ervaring, en kennis eerder dan
logisch redeneren. Bij onderzoek met deze testen bleek dat ze heel erg beroep deden op de
algemene cognitieve factor g en niet een specifieke factor (Northrop, 1989). Niet alleen in het
leger was men bezig met deze testen, ook in het bedrijfsleven waren dergelijke testen al
aanwezig. Zo werden vanaf de jaren ’40 een ganse resem situationele beoordelingstesten
ontwikkeld om het leiderschapspotentieel na te gaan. Voorbeelden hiervan zijn The Practical
Judgement Test (Cardall 1942), How Supervise? (File, 1945; File & Remmers, 1948), The
Supervisory Practices Test (Bruce & Learner, 1958), The Business Judgement Test (Bruce,
1965), The Supervisory Judgement Test (Greenberg, 1963), en The Supervisory Inventory on
Human Relations (Kirkpatrick & Planty, 1960). In de late jaren 50 en de vroege jaren 60
begonnen ook grote bedrijven deze testen te gebruiken als deel van hun selectiebatterij om
bijvoorbeeld succes in management te voorspellen. Eén van die bedrijven was The Standard
Oil Company of New Jersey die een programma genoemd ‘ the early identification of
management potential’ had om werknemers er uit te selecteren die het in zich hadden om
succesvol te zijn in management functies (Campbell, Dunnette, Lawler, & Weick, 1970). Een
onderdeel van het programma was een situationele beoordelingstest. Hier werden
Videobased Situational Judgment Test
4
probleemsituaties voorgesteld waar managers later hadden mee af te rekenen en de
participanten konden uit een reeks mogelijke gedragingen de meest geschikte kiezen. Deze
testen waren nog kleinschalig (McDaniel et al., 2001).
Pas in de jaren ’90 zou de populariteit van de SJT’s in een stroomversnelling geraken.
Bedrijven en onderwijs werden meer en meer geïnteresseerd. In deze beide domeinen
ontstond er een grote behoefte tot het vinden van bijkomende predictoren buiten het
cognitieve domein. De motivatie hiervoor was tweeledig. Eerst was er het verlangen om een
selectiesysteem te vinden die minder verschillen oplevert tussen rassen, en minder
zogenaamde adverse impact oplevert dan systemen die dit meer hebben zoals cognitieve
metingen (Lievens, Buyse, & Sackett, 2005). Adverse impact verwijst naar de verschillende
scores op eenzelfde test bij verschillende groepen (etnische minderheden versus
meerderheden, mannen versus vrouwen, …). Verschillende alternatieven kwamen hiervoor in
aanmerking. De belangrijkste zijn het gebruik van andere constructen zoals persoonlijkheid of
interpersoonlijke vaardigheden en alternatieve presentatievormen.. Een tweede motivatie was
de behoefte om de criteria uit te breiden waar potentiële werknemers op beoordeeld moesten
worden (Lievens, Buyse, & Sackett, 2005).
Bij werknemers ging men verder kijken dan alleen de kerntaken (task performance),
maar ook naar gedragingen die daar niet toe konden gerekend worden namelijk contextual
performance. Voorbeelden van positieve gedragingen zijn collega’s helpen als men tijd heeft,
opruimen, enzovoort. Dit kan men omschrijven als citizenship. Voorbeelden van negatieve
gedragingen zijn het stelen van materiaal, pesten van collega’s, enzovoort. Dit wordt
counterproductive work behavior genoemd. In het onderwijs werd niet alleen kennis als norm
gehanteerd. Succes bij studenten werd ruimer geïnterpreteerd. Daarbij dacht men aan sociale
vaardigheden, levenslang leren (lifelong learning oriëntation), …(Chan & Schmitt, 2002).
Eén specifieke predictor trok bij dit alles de aandacht. Dat was de situationele
beoordelingstest. Verscheidene studies suggereerden belangrijke voordelen van deze soort
testen. Allereerst bezaten SJT’s een redelijke validiteit (predictieve validiteit, incrementele
validiteit ten opzichte van cognitieve vaardigheid en ten opzichte van persoonlijkheidstests).
Ten tweede waren er gunstige percepties van de respondenten (face validiteit). Een derde
belangrijk voordeel was de mindere adverse impact tegen minderheden die deze testen
bezaten ten opzichte van traditionele cognitieve vaardigheidstests. (Lievens, Buyse, &
Sackett, 2005).
Videobased Situational Judgment Test
5
simulatie met laag realiteitsgehalte Een situationele judgment test (SJT) kan men
beschouwen als een simulatie met een laag realiteitsgehalte (low fidelity simulation). In de
eerste plaats is het een simulatie. Simulaties zijn in tegenstelling tot sign-gebaseerde
methoden gebaseerd op samples. Dat wil zeggen dat men niet gaat kijken naar onderliggende
‘signs’ zoals onderliggende vaardigheden, temperament of trekken maar uitgaat van het
gedragsconsistentie principe (behavioral consistency), namelijk vroeger gedrag voorspelt
toekomstig gedrag (Wernimont & Campbell, 1968).
Nu kunnen deze simulaties variëren in de mate van overeenkomst waarmee zij een
stimulus presenteren. Hoge overeenkomst betekent het gebruik van zeer realistische
materialen om de situatie voor te stellen. Zo kan de proefpersoon bijna volledig antwoorden
als was hij of zij in een echte jobsituatie. Simulaties met een lage overeenkomst daarentegen
presenteren een verbale beschrijving van een hypothetische werksituatie. De proefpersonen
moeten hier geen echte handelingen ondernemen. Simulaties met een hoge overeenkomst
(high fidelity simulations) zijn bijvoorbeeld de work sample of een assessment center. Een
situationele judgement test is een vorm van een low fidelity simulation (Motowidlo et al.,
1990).
Validiteit en Betrouwbaarheid Vaak worden nieuwe testen ontworpen wat soms gepaard gaat met hoge kosten.
Daarom zijn validiteit en betrouwbaarheid veelbesproken onderwerpen binnen de
personeelsselectie. Deze twee concepten tonen immers aan of deze testen wel degelijk een
meerwaarde leveren tegenover de reeds gevestigde testen. Nu wordt achtereenvolgens de
criteriumvaliditeit, de incrementele validiteit, de constructvaliditeit en de face validiteit van
SJTs besproken met steeds ook een kijk op videogebaseerde SJTs. Daarna bespreken we de
betrouwbaarheid van SJTs. Ook wordt de adverse impact onder de loep genomen. Als laatste
wordt nagegaan in welke mate SJTs vatbaar zijn voor ‘faking’.
criteriumvaliditeit Criteriumvaliditeit gaat na in welke mate een test een
voorspellende waarde heeft. Met andere woorden in welke mate kan de prestatie van een
respondent op de test de prestatie op een bepaald criterium voorspellen. Men kan
criteriumvaliditeit onderverdelen in predictieve validiteit en concurrente validiteit. Predictieve
validiteit geeft de mate weer waarin de testprestatie van een individu zijn toekomstig niveau
Videobased Situational Judgment Test
6
op het criterium kan voorspellen, terwijl concurrente validiteit de mate weergeeft waarin
testscores een indicatie zijn voor zijn huidig niveau op het criterium (Messick, 1989).
In de meta-analyse van McDaniel en Nguyen (2001) werd sterke evidentie geleverd
voor de vraag of SJTs job prestatie kunnen voorspellen. Zij rapporteerden namelijk
significante correlaties tussen SJTs en emotionele stabiliteit (.31), consciëntieusheid (.26), en
aangenaamheid (.25). Deze drie persoonlijkheidsdimensies hebben reeds in het verleden
bewezen valide predictoren te zijn van job prestatie.
O’Connell et al. (2007) rapporteerden dat SJTs beter task performance (.14) dan
contextual performance (.10) konden voorspellen. In dit onderzoek heeft deze laatste
betrekking op extrarol gedragingen die de organisatie ten goede komen en slaat task
performance op gedragingen die vereist zijn om de job uit te oefenen.
Echter, al te vaak kiest men voor algemene job prestatie als criterium voor SJTs. Dit
kan problematisch zijn omdat zo’n algemeen criterium misschien te breed is. Je loopt het
risico om het specifieke voorspellende construct te missen. Zo overschrijden de
validiteitscoëfficiënten de 0.15 niet in validiteitstudies van videotesten met het gebruik van
metingen van algemene job prestatie. Bij gebruik van metingen van specifieke job prestatie
criteria liggen de validiteitscoëfficiënten tussen 0.25 en 0.40 (Funke & Schuler, 1998).
Eén van de eigenschappen van SJT items in het algemeen is dat zij vaak
interpersoonlijke situaties beschrijven. In tegenstelling tot geschreven SJTs, krijg je in
videogebaseerde SJTs ook informatie over non-verbale cues zoals lichaamstaal, toonhoogte
enzovoort. Op die manier kan je nagaan hoe sollicitanten de non-verbale cues interpreteren.
Men suggereerde dan ook dat een videogebaseerde SJT beter in staat was het interpersoonlijk
criterium, die samenhangt met de toekomstige job, te voorspellen dan een geschreven SJT.
Deze bevinding kan mogelijk verklaard worden door het additieve model van de impact van
verschillende informatie kanalen (Archer & Akert, 1980; Gesn & Ickes, 1999). Volgens dit
model leidt het toevoegen van extra informatie tot een meer waarheidsgetrouwe test (Lievens
& Sackett, 2006).
incrementele validiteit De incrementele validiteit van een SJT geeft weer hoeveel
variantie wordt verklaard door de SJT bovenop de reeds verklaarde variantie die verkregen
wordt door de afname van andere testen.
Ondanks dat O’Connell et al. (2007) geen incrementele validiteit vonden van SJTs
bovenop een cognitieve vaardigheids- en persoonlijkheidstest, wordt meestal een significante
incrementele validiteit van SJTs in de literatuur beschreven. Zo vonden Clevenger et al.
Videobased Situational Judgment Test
7
(2001) dat SJTs incrementele validiteit opleverden bovenop cognitieve vaardigheid,
consciëntieusheid, en job ervaring in een sample bestaande uit onderzoeksagenten en een
sample bestaande uit vertegenwoordigers van een klantendienst. In een derde sample
bestaande uit ingenieurs werd geen incrementele validiteit verkregen, maar was er wel een
hoge correlatie tussen de SJT en cognitieve vaardigheid (.53). Deze hoge correlatie kan
verklaard worden doordat SJTs die peilen naar de kennis in verband met het oplossen van
problemen, planning, en het nemen van beslissingen meer gerelateerd zijn aan cognitieve
vaardigheden. SJTs, die interpersoonlijke situaties beschrijven, zullen minder aan cognitieve
vaardigheden gerelateerd zijn. Naargelang de samenstelling van de SJT heeft deze meer of
minder incrementele validiteit. (Clevenger et al., 2001). Ook Weekley en Jones (1997)
vonden significante incrementele validiteit van een SJT. Een groot verschil met de studie van
Clevenger et al. (2001) is dat Weekley en Jones (1997) een videogebaseerde SJT hanteerden.
Lievens en Sackett (2006) vergeleken de incrementele validiteit van een videogebaseerde
versie van een interpersoonlijk georiënteerde SJT met de incrementele validiteit van een
geschreven versie. Zij kwamen tot de bevindingen dat de videogebaseerde SJT bovenop de
cognitieve predictoren een significante en substantiële hoeveelheid variantie verklaarde in een
interpersoonlijk construct, terwijl de geschreven SJT geen bijkomende variantie kon
verklaren. Een mogelijke uitleg voor deze laatste bevinding is dat een videogebaseerde test
zichzelf eerder plaatst in een non-cognitieve categorie tegenover een geschreven SJT dat
eerder geplaatst is in een cognitieve categorie.
constructvaliditeit Constructvaliditeit gaat na of een test het construct meet dat het
beoogt te meten. Er wordt over het algemeen aangenomen dat SJTs een meetmethode zijn en
niet dat SJTs slechts één construct meten (McDaniel & Nguyen, 2001; O’Connell et al., 2007;
Chan & Schmitt, 2002).
Doordat men er vanuit gaat dat metingen van job kennis positief correleren met SJTs,
en doordat job kennis vaak wordt geoperationaliseerd als een meting van job ervaring, is er
onderzoek uitgevoerd naar de relatie van SJTs met job kennis en job ervaring. McDaniel en
Nguyen (2001) rapporteerden in hun meta-analyse een grotere correlatie tussen SJTs en job
kennis dan tussen SJTs en job ervaring. Waarschijnlijk is de reden hiervoor dat job kennis een
imperfecte meting van job ervaring blijkt te zijn. Doordat men in de eerste jaren in de job veel
meer leert dan in latere jaren, zal de correlatie tussen job ervaring en job kennis groter zijn in
de eerste jaren dan in latere jaren (McDaniel & Nguyen, 2001).
Videobased Situational Judgment Test
8
Tevens zijn er significante correlaties gerapporteerd tussen SJTs en metingen van
persoonlijkheid (McDaniel & Nguyen, 2001; O’Connell et al., 2007; Peeters & Lievens,
2005). In hun meta-analyse rapporteerden McDaniel en Nguyen (2001) significante
verbanden tussen SJTs en drie persoonlijkheidsdimensies van de Big Five. De Big Five is een
persoonlijkheidsmodel dat bestaat uit vijf persoonlijkheidsdimensies, met name extraversie,
consciëntieusheid, aangenaamheid, emotionele stabiliteit en openheid. Significante correlaties
werden gerapporteerd met emotionele stabiliteit (.31), consciëntieusheid (.26) en
aangenaamheid (.25). Dit leverde sterk bewijs dat SJTs job prestatie kunnen voorspellen, want
deze drie persoonlijkheidsdimensies hebben al bewezen valide predictoren te zijn van job
prestatie (McDaniel & Nguyen, 2001). Peeters en Lievens (2005) vonden dan weer geen
significante correlatie van SJTs met emotionele stabiliteit, maar wel met de vier andere
dimensies van de Big Five. O’Connel et al. (2007) gebruikten een andere typologie van
persoonlijkheid. De SJT correleerde significant met consciëntieusheid (.33), aangenaamheid
(.31), positieve affectiviteit (.26), interne locus of control (.24) en aandacht voor details (.21).
Doorgaans is het ook redelijk te veronderstellen dat een SJT ook correleert met
cognitieve vaardigheid. In hun meta-analyse rapporteerden McDaniel en Nguyen (2001) een
gemiddelde correlatie van .46 met een betrouwbaarheidsinterval van .17 tot .75. Dit betekent
dat er veel variatie is in de grootte van correlaties van SJTs met cognitieve vaardigheid. Een
mogelijke verklaring hiervoor is dat men doorgaans aanneemt dat een SJT een meetmethode
is. Men kan SJTs creëren die vooral beroep doen op cognitieve vaardigheden en SJTs
waarvoor men weinig tot geen nood heeft aan cognitieve vaardigheid (McDaniel & Nguyen,
2001).
face validiteit Face validiteit verwijst naar de mate waarin sollicitanten de
selectieprocedure relevant vinden voor de job waarvoor men solliciteert. SJTs (zowel
geschreven als videogebaseerde SJTs) hebben een relatief hoge face validiteit (Lievens &
Sackett, 2006). Dit is van groot belang aangezien face validiteit een grote invloed uitoefent op
zowel de testmotivatie als de testperformantie (Chan & Schmitt, 1997). Wanneer sollicitanten
de items in een test relevant vinden voor de job, zullen ze de test ook als eerlijk bestempelen
(Chan et al., 1998).
De resultaten die gevonden zijn in verband met het verschil in face validiteit tussen
geschreven en videogebaseerde SJTs zijn wel verschillend. Zo rapporteerden zowel Lievens
en Sackett (2006) als Kanning et al. (2006) geen significant verschil in face validiteit tussen
de twee soorten SJTs. Anderzijds suggereerden Chan en Schmitt (1997) dat een
Videobased Situational Judgment Test
9
videogebaseerde SJT wel een hogere face validiteit had dan een papier-en-potlood SJT. Dit
had ook zijn weerslag op adverse impact, aangezien het verschil in face validiteit tussen
zwarten en blanken kleiner was bij een videogebaseerde SJT dan bij een geschreven SJT.
De studie van Kanning et al. (2006) heeft gesuggereerd dat wanneer een
videogebaseerde SJT bestaat uit interactieve items, deze wel meer positief werden
geëvalueerd dan een geschreven SJT, ook al bestond deze laatste eveneens uit interactieve
items. Met interactief wordt bedoeld dat de situatie die men te zien krijgt afhankelijk is van
welke reactie men gekozen heeft op de vorige situatie.
betrouwbaarheid Er zijn twee mogelijkheden om de betrouwbaarheid van SJTs na te
gaan. Of men bekijkt de interne consistentie, of men bestudeert de test-hertest
betrouwbaarheid. Deze laatste is het meest aangewezen voor SJTs, want interne consistentie
is slechts geschikt voor een relatief homogeen constructdomein; terwijl SJTs een
mutidimensioneel constructdomein omvatten. Toch rapporteren Motowidlo et al. (1990) en
Motowidlo en Tippins (1993) cronbach α’s van respectievelijk .56 en .73. Ployhart en Ehrhart
(2003) hebben de invloed bestudeerd van verschillende antwoordinstructies op zowel interne
consistentie als test-hertest betrouwbaarheid. Bij de test-hertest methode zag men dat de
‘would do’-versie een hogere betrouwbaarheid had dan de ‘should do’-versie. Op interne
consistentie vond men echter geen invloed van instructies, maar wel van de gebruikte
scoringsmethode. Men rapporteerde de hoogste interne consistentie voor antwoordvormen
waarbij de opties moesten worden gerangschikt en de laagste interne consistentie voor
antwoordvormen met slechts één optie.
adverse impact Men spreekt van adverse impact wanneer verschillende groepen
verschillende scores behalen. Dit gaat dan vooral om verschillen tussen mannen en vrouwen
of verschillen tussen etnische groepen.
Ondanks het feit dat cognitieve vaardigheidstesten een gevestigde waarde zijn in
personeelsselectie, blijken deze testen grote verschillen teweeg te brengen in de behaalde
scores van verschillende etnische groepen. Pulakos en Schmitt (1996) hebben echter
aangetoond dat, wanneer men cognitieve vaardigheidsmetingen combineert met non-
cognitieve vaardigheidstesten, de verschillen sterk verminderd worden. Zo hebben ze aan een
verbale vaardigheidstest een biodata meting, een gestructureerd interview, en een SJT
toegevoegd. Een mogelijke verklaring voor deze bevinding is dat met zo’n uitgebreide
testbatterij bijna alle vaardigheden die vereist zijn voor de job getest worden en dat sommige
Videobased Situational Judgment Test
10
van deze testen resulteren in minder adverse impact. Wanneer men een selectieratio van .80
nam, bleek adverse impact inderdaad verdwenen te zijn. Bij lagere selectieratio’s was adverse
impact echter nog steeds aanwezig. Pulakos en Schmitt (1996) hebben eveneens aangetoond
wanneer men een videogebaseerde verbale vaardigheidstest gebruikt deze de adverse impact
eveneens verlaagt. Anderzijds was de validiteit van deze videotest lager dan de validiteit van
de geschreven verbale vaardigheidstest.
Chan en Schmitt (1997) hebben de adverse impact van een videogebaseerde SJT
nagegaan en rapporteerden dat het verschil tussen zwarten en blanken substantieel lager was
bij een videogebaseerde SJT (-.21) in vergelijking met een geschreven SJT (-.95). Een
mogelijke verklaring hiervoor kan liggen in de waarden die door zwarten worden benadrukt.
Zij leggen vooral de nadruk op waarden als communalisme, beweging en mondelinge
communicatie. Dit zou dan een invloed uitoefenen op hun testprestaties. Dit betekent dat bij
een geschreven SJT zwarten een nadeel hebben door de cognitieve component van het lezen
en schrijven die vereist is om deze test af te leggen (Goldstein et al., 1992).
Wannneer men gaat kijken naar verschillen op gebied van geslacht, ziet men over het
algemeen dat vrouwen iets hogere scores halen dan mannen op SJTs. Het verschil is
doorgaans niet zo groot maar wel significant. Dit werd zowel gevonden bij geschreven SJTs
(O’Connell et al., 2007) als bij videogebaseerde SJTs (Lievens & Coetsier, 2002; Weekley &
Jones, 1997). Een mogelijke verklaring hiervoor is dat dergelijke situaties vaak een beroep
doen op interpersoonlijke vaardigheden. Hierdoor zouden vrouwen bevoordeeld zijn bij SJTs
(Weekley & Jones, 1997). Dit verschil kan echter teniet gedaan worden wanneer in de
selectieprocedure zowel een SJT als een cognitieve vaardigheidstest worden afgenomen
(Lievens & Coetsier, 2002).
faking ‘Faking’ vindt plaats wanneer er een intentionele vertekening is van de
antwoorden. Het onderzoek naar ‘faking’ in personeelsselectie kan gebeuren zowel als
veldonderzoek als in laboratoriumsituaties. Terwijl men in laboratoriumsituaties enkel het
maximale effect van ‘faken’ kan nagaan, weet men niet of men in het echte leven aan ‘faking’
doet. Hiervoor bieden veldsituaties een oplossing. In hun meta-analyse hebben Edens en
Arthur (2000) gerapporteerd dat ‘faking’ in het echte leven leidde tot een kleinere effect size
(.30) in vergelijking met ‘faking’ in laboratoriumsituaties (.71) (Peeters & Lievens, 2005).
Het onderzoek naar ‘faken’ op SJTs heeft geleid tot tegengestelde resultaten, waarbij
sommige vonden dat SJTs kunnen ‘gefaked’ worden (Haas & Mcdaniel, 1999; Nguyen et al.,
2002), terwijl andere juist suggereerden dat dit niet mogelijk is (Juraska & Drasgow, 2001).
Videobased Situational Judgment Test
11
Deze studies waren wel niet zonder tekortkomingen. Zo is enkel de prestatie op SJTs
nagegaan, maar werd het effect van ‘faken’ op de validiteit van de SJT niet onderzocht. Ook
werd geen rekening gehouden met de constructen waarmee de SJT correleerde, aangezien
verschillende SJTs met verschillende constructen kunnen correleren. Peeters en Lievens
(2005) hielden in hun laboratoriumonderzoek bij universiteitsstudenten wel rekening met
bovenstaande opmerkingen. Als criterium werd het GPA of Grade Point Average van de
studenten gebruikt. Dit bestond hier uit de behaalde resultaten van de studenten in hun eerste
en tweede jaar. Peeters en Lievens (2005) rapporteerden in de ‘eerlijke’ groep een correlatie
van .33 tussen SJT en GPA, in de ‘fake’ groep was dit slechts .09. Ook leverde de SJT in de
‘fake’ groep geen incrementele validiteit boven op cognitieve vaardigheid en persoonlijkheid.
In de ‘eerlijke’ groep had de SJT een incrementele validiteit van 5.7%. Peeters en Lievens
(2005) suggereerden dus dat wanneer men op de SJT ‘faket’, deze niet langer een valide
predictor is. Het is wel zo dat, terwijl cognitieve testen heel moeilijk te ‘faken’ zijn, de SJT in
dit onderzoek een lage g-loading had. G-loading slaat op de mate waarin een test beroep doet
op de cognitieve vaardigheid van een respondent. Door de lage g-loading was de SJT meer
vatbaar voor ‘faking’.
Ontwikkeling SJT
Een SJT kan op twee verschillende manieren worden opgesteld: door middel van de
kritische-incidentenmethode (Flanagan, 1954), ook wel de inductieve methode genoemd, of
door middel van de deductieve methode, waarbij de situaties op basis van een theorie worden
opgesteld (Weekley et al., 2006).
Wanneer een SJT wordt ontwikkeld aan de hand van de kritische-incidentenmethode,
worden de situaties verzameld door het bevragen van experts met betrekking tot de inhoud
van de SJT (Subject Matter Experts ofwel SMEs). Dit bevragingsproces verloopt in drie fasen
(Ployhart & Ehrhart, 2003).
In een eerste fase wordt aan de SMEs gevraagd jobsituaties te beschrijven waarbij er
sprake was van uitzonderlijk goede of uitzonderlijke slechte prestaties. Dit noemt men de
kritische incidenten (Flanagan, 1954). Met kritisch wordt bedoeld dat de oplossing van deze
situaties belangrijk is voor het slagen of falen op het werk. Bij de beschrijving van elke
situatie door de SMEs wordt zowel naar het antecedent, de (in)effectiviteit van het gedrag en
de consequentie ervan gepeild. Het antecedent kan worden gebruikt om de situatie te
beschrijven, het gedrag als één van de antwoordalternatieven (Weekley et al., 2006).
Videobased Situational Judgment Test
12
Nadat de kritische incidenten zijn gegenereerd, worden in de tweede fase de situaties
geselecteerd die in de finale SJT zullen worden opgenomen. Ook het construeren van de
mogelijke antwoordalternatieven gebeurt in deze fase. Hier doet men vaak beroep op SMEs
die weliswaar niet deelgenomen hebben aan de eerste fase. De meest en minst waarschijnlijke
reacties worden gekozen om uiteindelijk tot situaties te komen waar elk antwoordalternatief
een verschillende graad van effectiviteit weerspiegelt (McDaniel & Nguyen, 2001; Ployhart &
Ehrhart, 2001). Gedurende de derde fase van het ontwikkelingsproces wordt de
scoringssleutel ontwikkeld.
Een SJT kan echter ook ontwikkeld worden via een deductieve methode. De situaties
die hier worden gegenereerd weerspiegelen competenties of een theoretisch model. (Weekley
et al., 2006). De competenties bekomt men via jobanalyse of literatuuronderzoek. Echter niet
alle competenties worden opgenomen. Enkel degene die verondersteld worden noodzakelijk
te zijn voor een effectieve jobprestatie blijven behouden. De bruikbaarheid van deze methode
is moeilijk na te gaan omdat de meeste SJT’s, die op deze manier zijn ontwikkeld, enkel een
algemene testscore weergeven, geen subscore per competentie of dimensie (Samaey, 2006).
Nu wordt de ontwikkeling van een video SJT toegelicht. Volgens Walker, Cucina, en
Kannan (2008) kunnen hierbij vijf fasen onderscheiden worden. De eerste fase is de planning.
Dit betekent dat men een schema opstelt met alle ontwikkelingsfasen. Daarna kan men dan
overgaan tot een kostenraming. Hierbij moet rekening gehouden worden met het beschikbare
budget en met eventueel onverwachte kosten. Het doel is een zo’n precies mogelijk
kostenplaatje ter beschikking te hebben.
In de tweede fase worden de scripts ontwikkeld. Hierbij moet vooral gelet worden op
de visuele elementen. Dit houdt in dat men omschrijft welke acties er zullen plaatsvinden, wie
en wat er te zien zal zijn, welke de locatie en het opzet zullen zijn. Men kan ook in het script
verwerken welke bewegingen de acteurs zullen moeten uitvoeren en waar specifieke
attributen zich zullen bevinden ten einde de scène zo realistisch mogelijk te maken. Eenmaal
een script is ontwikkeld, is het van belang deze te laten beoordelen door domeinexperts. Zij
kunnen dan nagaan of het script voldoet aan de vooropgestelde criteria.
De volgende fase noemt men de preproductie. Wanneer de scripts goed bevonden zijn,
moet een geschikte locatie gevonden worden. Doorgaans verlopen opnames in studio, maar
men kan ook kiezen voor andere locaties. Wanneer dit laatste het geval is, moet men rekening
houden met tal van zaken. Eerst en vooral selecteert men een aantal opnamelocaties op basis
van het script. Daarna moet men dan nagaan wat mogelijke nadelen kunnen zijn van de
Videobased Situational Judgment Test
13
opnamelocaties, zoals bijvoorbeeld geluidshinder. Verder moet ook toestemming verkregen
worden om te mogen filmen en mag men de logistieke aspecten zoals kleedkamers voor
acteurs niet uit het oog verliezen. Natuurlijk kan men niet beginnen filmen zonder spelers, dus
de selectie van acteurs is de volgende stap in deze fase. Hierbij heeft men twee keuzes. Men
kan kiezen voor professionele acteurs wat gepaard gaat met hoge kosten. Anderzijds is er bij
het ontwikkelen van de video SJT de mogelijkheid om voor niet-professionele acteurs te
kiezen zoals vrijwilligers of medewerkers. Tevens moeten ook de noodzakelijke rekwisieten
bepaald worden zoals bijvoorbeeld kledij. Hierbij is het van belang dat men de scripts goed
doorlicht. Er kan beroep gedaan worden op domeinexperts om realistische en
functiespecifieke rekwisieten te vinden. De laatste stap in de preproductie fase is het opstellen
van een opnameschema. Dit moet zeer gedetailleerd uitgewerkt zijn en bevat onder andere
zaken zoals het tijdstip waarop medewerkers moeten werken en welke scripts per dag
opgenomen worden.
In de voorlaatste fase vinden de eigenlijke opnames plaats. Hierbij houdt men best een
logboek bij waarin de begin- en eindpunten van verschillende scripts staan genoteerd en hoe
goed de opnamekwaliteit van de verschillende scripts is.
De laatste fase is deze van de postproductie. Hier wordt dan het ruwe filmmateriaal
bewerkt en wordt alles gemonteerd tot een eindproduct.
Videogebaseerde SJT
definitie Een videogebaseerde SJT is een omgezette geschreven SJT in beeld en
klank. Een video SJT bestaat uit scenario’s en deze scenario’s brengen op een realistische
manier een werksituatie in beeld. Naast de inhoudelijke boodschap is ook het non-verbale
gedrag zichtbaar. Het aangeboden videoscenario stopt op een sleutelmoment. Vervolgens
verschijnen er diverse antwoordalternatieven op het scherm. Uit deze alternatieven dient de
respondent de gepaste reactie voor de situatie te selecteren (Dalessio, 1994; Smiderle, Perry,
& Cronshaw, 1994; Weekley & Jones, 1997).
voordelen videotest Een video SJT heeft een aantal voordelen ten opzichte van een
geschreven SJT.
Allereerst kan men door het gebruik van videobeelden de situatie meer gedetailleerd,
realistisch, en nauwkeurig schetsen (Funke & Schuler, 1998; Olson-Buchanan & Drasgow,
2006). Dit kan mogelijk leiden tot een hogere inhouds - en predictieve validiteit. Zo vonden
managers dat een multimedia versie van een assessment relevantere informatie verschafte
Videobased Situational Judgment Test
14
over de job dan een papier - en potlood test of een gecomputeriseerde versie van de
geschreven test (Richman-Hirsch et al., 2000). Deze bevinding heeft mogelijk ook zijn
weerslag op de face validity.
Wanneer sollicitanten de items in een test relevant vinden voor de job, zullen ze de test
mogelijk eerlijker percipiëren. Verschillende studies suggereren een hogere face validiteit van
de video SJT ten opzichte van een geschreven SJT waarbij de linguïstische informatie
constant werd gehouden. Zoals hierboven reeds aangehaald vonden Kanning et al. (2006) dat
een videogebaseerde SJT bestaande uit interactieve items positiever werd geëvalueerd dan een
geschreven SJT, ook al bestaat deze laatste eveneens uit interactieve items. Chan en Schmitt
(1997) bemerkten een gelijkaardige trend in hun studie. Een videogebaseerde SJT bleek een
hogere face validiteit te hebben dan een papier - en potloodtest. Een videogebaseerde SJT is
bovendien een vorm van een multimediatest. Een studie hieromtrent suggereerde een
positievere evaluatie van de sollicitant omtrent de face validiteit en de gepercipieerde
rechtvaardigheid (perceived fairness) van deze manier van testen (Richman-Hirsch et al.,
2000).
Ten tweede zouden video SJTs ook kunnen gebruikt worden bij de selectie van
individuen met een mindere leesvaardigheid (Chan & Schmitt, 1997). Hun onderzoek
suggereerde interessante resultaten. Zo kwam naar voor dat in de VS zwarten minder goed
scoorden dan blanken op een SJT, maar dat dit verschil beduidend kleiner was in het geval
van een video SJT ten opzichte van een geschreven test met dezelfde inhoud. Deels is het
verschil mogelijk te wijten aan de mindere leesvaardigheid van de zwarten. Een andere
verklaring is dat de zwarten andere waarden beklemtonen in hun cultuur. Zo zouden zij de
nadruk leggen op waarden als communalisme, beweging en belangrijker mondelinge
communicatie (Goldstein et al., 1992). Bovendien vonden Chan en Schmitt dat de face
validiteit van de geschreven SJT lager was voor de zwarten dan de blanken. De mindere
leesvaardigheid en de orale traditie in hun cultuur zorgen er mogelijk voor dat zij de
geschreven SJT minder kunnen appreciëren en deze test als onrechtvaardiger percipiëren. Dit
biedt perspectieven voor het gebruik van video SJTs bij de selectie van allochtonen of bij
beroepen waarbij leesvaardigheid minder van belang is.
praktijkrelevantie Onderzoek suggereert dat de impressies van sollicitanten de
aantrekking tot bedrijven beïnvloeden (Smither et al., 1993; Lievens & Highhouse, 2005).
Een mogelijk gevolg is dat bedrijven die testen gebruiken met een hoge face validiteit zoals
Videobased Situational Judgment Test
15
de video SJT een strategisch voordeel hebben bij de rekrutering en selectie (Richman-Hirsch
et al., 2000).
Daarnaast blijkt uit het besproken onderzoek dat minderheidsgroepen video SJTs
mogelijk ook als meer face valide en rechtvaardiger gaan beschouwen (Chan & Schmitt,
1997). Dit kan belangrijk zijn aangezien in de huidige maatschappelijke context de aandacht
voor diversiteit steeds meer beklemtoond wordt. De slogan “Diversiteit verrijkt” her en der
verschijnend op de bussen is hier een expressie van. Bovendien wordt onze huidige
arbeidsmarkt gekenmerkt door een tekort aan werkkrachten. Allochtonen zijn daarbij nog
steeds ondervertegenwoordigd op de werkplaats. Het aantrekken van die pool van potentiële
sollicitanten van allochtone origine wordt daarom een steeds belangrijker gegeven. In de
“War for Talent” die er heerst om toch maar werknemers te vinden, zullen het de bedrijven
zijn die de juiste strategie hanteren die zullen excelleren. Het inspelen op deze doelgroep
wordt daarbij primordiaal. Het gebruik van een video SJT kan hieromtrent een belangrijke
bijdrage bieden.
Doelstelling
Ondanks het weinige onderzoek dat gebeurd is en de relatief hoge ontwikkelingskost
van video SJTs kunnen we uit het voorgaande afleiden dat er heel wat argumenten in het
voordeel spreken van een video SJT. Face validiteit en adverse impact zijn belangrijke
eigenschappen van een test in het licht van de huidige maatschappelijke context. In de praktijk
kan deze vorm van testen aangewend worden om een competitief voordeel uit te bouwen in
het kader van de rekrutering. Ons lijkt het daarom zinvol een video SJT te gaan ontwikkelen.
Videobased Situational Judgment Test
16
METHODE
Er wordt eerst begonnen met een algemene bespreking van de ontwikkeling van een
SJT. Daarna wordt er dan specifiek ingegaan op de ontwikkeling van een video SJT en hierbij
wordt uitgelegd hoe men de video SJT voor deze scriptie heeft ontwikkeld.
Ontwikkeling van een SJT
De ontwikkeling van een SJT verloopt in vijf grote fasen. In de eerste fase worden
kritisch incidenten verzameld. Deze worden vervolgens omgezet in duidelijk omschreven
itemstammen. In de tweede fase worden de itemstammen voorzien van mogelijke
antwoordalternatieven. In de derde fase worden de antwoordinstructies bepaald. In de vierde
fase wordt de efficiëntie beoordeeld van de antwoordalternatieven zodat er in de vijfde fase
een scoringssleutel kan bepaald worden (Weekley, Ployhart, & Holtz, 2006; Lievens &
Schollaert, 2008).
Fase 1: Verzamelen van Kritische Incidenten
Voor het verzamelen van kritische incidenten wordt aan subject matter experts (SMEs)
gevraagd om uitzonderlijk goede voorbeelden en uitzonderlijk arme voorbeelden te geven van
prestaties. Belangrijk is dat deze kritische incidenten niet meer dan 6 tot 12 maanden oud
mogen zijn (Lievens & Schollaert, 2008).
Vervolgens worden de verzamelde incidenten herschreven tot itemstammen. De
itemstam vormt dat deel van het item dat de werkgerelateerde situatie aan de respondent
voorstelt. Bij deze stap moeten een aantal zaken in acht genomen worden. Eerst en vooral
dienen de situaties gerangschikt te worden. Hierbij worden alle gelijkaardige situaties
samengevoegd. Een tweede punt betreft de mate van specificiteit. De stam kan heel specifieke
elementen bevatten. Dit is vaak het geval wanneer de SJT in functie van één bepaalde taak
wordt ontwikkeld. Ten derde variëren itemstammen in lengte, complexiteit, en
begrijpelijkheid. Zo geven sommige tests hun situaties weer aan de hand van korte
beschrijvingen die simpele scenario’s presenteren, terwijl andere tests gedetailleerde en
complexere situatiebeschrijvingen hanteren (Weekley, Ployhart & Holtz, 2006).
Fase 2: Antwoordalternatieven Verzamelen
Voor het genereren van de antwoordalternatieven zijn er twee mogelijke manieren, de
(1) inductieve methode en de (2) deductieve methode. Bij de inductieve methode worden de
Videobased Situational Judgment Test
17
antwoordopties meestal verzameld bij een nieuwe groep respondenten. Dit kan gaan om een
nieuwe groep SMEs, maar men kan ook leken inschakelen hiervoor. Terwijl men bij de eerste
optie komt te weten wat het beste en het slechtste antwoord is, krijgt men bij de laatste optie
vooral antwoorden met verschillende graad van effectiviteit. Bij de deductieve methode
worden antwoordalternatieven gegenereerd aan de hand van theoretische modellen. Deze
benadering geeft meer inzicht waarom een bepaalde handeling beter is dan een alternatieve
actie (Olson-Buchanan et al., 1998; Lievens & Schollaert, 2008).
In een volgende stap moet het aantal antwoordalternatieven gereduceerd worden.
Doorgaans wordt er tot vier antwoordalternatieven gereduceerd, maar dit aantal is slechts een
vuistregel (Lievens & Schollaert, 2008).
Fase 3: Bepalen van de Antwoordinstructies
Een SJT moet meedelen aan de respondent hoe hij tot een antwoord dient te komen.
Hierbij zijn twee soorten antwoordinstructies voorhanden: (1) gedragsgeoriënteerde
instructies of ‘would do’-instructies en (2) kennisinstructies of ‘should do’-instructies.
Gedragsgeoriënteerde instructies vragen de respondent wat hij waarschijnlijk zou doen of hoe
hij zich waarschijnlijk zou gedragen. Kennisinstructies vragen de respondent wat hij idealiter
zou moeten doen en peilen dus naar zijn kennis over de effectiviteit van de mogelijke
handelingen (Weekley, Ployhart, & Holtz, 2006).
Fase 4: Scoring van de SJT
In deze fase wordt bepaald welke de beste en welke de slechtste antwoordalternatieven
zijn. De effectiviteit van antwoordalternatieven wordt nagegaan om een scoringssleutel te
ontwikkelen. De alternatieven kunnen op vier verschillende manieren gescoord worden: (1)
rationele of expertgebaseerde scoring, (2) empirische scoring, (3) theoretische scoring, en (4)
hybride scoring (Lievens & Schollaert, 2008).
Bij de rationele of expertgebaseerde scoring is het uitgangspunt de veronderstelling
dat domeindeskundigen de relatieve effectiviteit en ineffectiviteit van de verschillende
antwoorden in de praktijk kennen (Mac-Lane, Barton, Holloway-Lundy, & Nickels, 2001).
Bij deze methode wordt de scoringssleutel dus gebaseerd op de antwoorden van individuen
met een aanzienlijke hoeveelheid kennis over en ervaring met het onderwerp (Lievens &
Schollaert, 2008).
Bij empirische scoring worden de items van een grote steekproef afgenomen. Meestal
bekijkt men de antwoordalternatieven van een grote groep individuen die representatief zijn
Videobased Situational Judgment Test
18
voor de functie. Hierbij kan de antwoordoptie gekoppeld worden aan een criteriumvariabele
zoals bijvoorbeeld prestatieniveau. Zo zullen de antwoordopties die relatief vaak aangeduid
worden door goed presterende individuen als correct worden gescoord en de antwoordopties
die relatief vaak aangeduid worden door slecht presterende individuen zullen als incorrect
worden gescoord. Een andere mogelijkheid is om de correlaties tussen SJT-scores en
criterium te hanteren. Positieve correlaties worden geassocieerd met hoge prestaties en deze
opties zullen als correct worden beschouwd. Omgekeerd zullen negatieve correlaties
geassocieerd worden met lage prestaties en deze antwoordalternatieven zullen als niet correct
worden beschouwd (Lievens & Schollaert, 2008).
Bij theoriegebaseerde scoring wordt een scoringssleutel ontwikkeld op basis van een
bestaand theoretisch kader. De verschillende antwoordopties kunnen bepaalde
veronderstellingen over de theorie weerspiegelen, er neutraal tegenover staan, of tegengesteld
zijn aan wat de theorie voorspelt. Antwoordopties die in overeenstemming zijn met de theorie
wordt als correct (1) gescoord, antwoordopties die tegengesteld zijn aan de theorie zullen als
incorrect (-1) worden gescoord, en antwoordopties die irrelevant zijn voor de theorie krijgen
een nulscore (Lievens & Schollaert, 2008; Olson-Buchanan et al., 1998).
Als laatste scoringsmethode is er nog de hybride scoring. Hierbij wordt een empirische
scoring gecombineerd met een andere scoringsmethode (Lievens & Schollaert, 2008).
Fase 5: Bepalen van de Scoringssleutel
Voor het bepalen van de scoringssleutel is het belangrijk dat er een beslissingsregel
wordt ontworpen. Deze regel bepaalt welke punten er worden toegekend aan elk antwoord.
Deze regel zorgt er dus voor dat er een definitieve score kan toegekend worden aan iedereen
die de SJT invult.
Welke SJT?
Voor deze scriptie werd een videogebaseerde SJT ontwikkeld van een reeds bestaande
geschreven SJT (zie bijlage 1 en 2). Er werd besloten te kiezen voor een SJT die peilt naar de
leermethoden van studenten (Bess & Mullins, 2002). Er werd voor deze test gekozen omdat
het naar de mening van de auteurs van deze scriptie de enige test is die studentensituaties
weerspiegelt en naar het Nederlands is vertaald. Verder is het ook een test die al veel
onderzocht werd. Zo bleek in een onderzoek van Peeters en Lievens (2005), waarin de faking
van SJTs werd nagegaan, dat deze test valide zou zijn wanneer men de instructies kreeg om
eerlijk te antwoorden en gevraagd werd hoe men waarschijnlijk zou reageren in de
Videobased Situational Judgment Test
19
verschillende situaties. De SJT bestond oorspronkelijk uit 24 items. Bij de vertaling naar het
Nederlands werd er besloten één item te verwijderen. In de SJT worden dus 23
probleemsituaties geschetst en bij elke probleemsituatie zijn er vier mogelijke
antwoordalternatieven. De scoringssleutel voor de test werd ontwikkeld door gebruik te
maken van SMEs. Tien 1ste
master studenten met een gemiddelde leeftijd van 23 jaar, die
succesvol hun bacheloropleiding hadden afgerond, hebben onafhankelijk van elkaar de SJT
ingevuld. Zij moesten aangeven wat de meest effectieve en de minst effectieve alternatieven
waren. Daarna kwamen ze samen om hun antwoorden te vergelijken. De consensus moest
80% zijn of hoger. Als dit niet het geval was, moesten de discrepanties opgelost worden door
discussie. Uiteindelijk kwam men tot de volgende scoringssleutel (zie bijlage 3). De sleutel
maakt een onderscheid tussen het best mogelijke antwoord, het slechtst mogelijke antwoord,
en antwoorden die noch goed noch slecht zijn. Zo krijgt het best mogelijke antwoord +1, het
slechtst mogelijke antwoord –1 en de neutrale antwoorden 0. Op die manier krijgen de
respondenten die noch het slechtste noch het beste alternatief kiezen, toch nog gedeeltelijk
krediet voor hun keuze. De totale testscore wordt dan bereikt door de scores op de 23 items op
te tellen. Dit betekent dus dat een totale score kan reiken van –23 tot +23 (Peeters & Lievens,
2005).
Ontwikkeling van een Video SJT
Voor het ontwikkelen van de videogebaseerde SJT werden vijf stappen doorlopen: (1)
planning, (2) ontwerp van scripts, (3) preproductie, (4) video-opnamen, en (5) postproductie
(Lievens & Schollaert, 2008; Walker, Cucina, & Kannan, 2008).
Planning
Vooraleer men begint aan de ontwikkeling van een video SJT, is het van belang een
duidelijke planning met alle ontwikkelingsfasen op te stellen. De fasen die in deze planning
kunnen vermeld worden zijn ‘ontwerpen van scripts’, ‘preproductie’, ‘video-opnamen’, en
‘postproductie’. In deze planning kan het best een tijdslijn worden geïntegreerd (Lievens &
Schollaert, 2008).
Bij de ontwikkeling van de video SJT voor deze scriptie werden de fasen eerst
opgelijst en afgelijnd. De tijd, die nodig was voor de verschillende fasen, werd ingeschat (zie
bijlage 4). Dit bracht een vlotte overgang naar de volgende stap in de planning met zich mee.
Na de oplijsting en aflijning van de fasen werden ze immers geïntegreerd in een tijdslijn.
Voor elke fase werd een begindatum en einddatum vastgelegd. Vervolgens werd elke fase nog
Videobased Situational Judgment Test
20
eens apart belicht. Hierbij was het de bedoeling grondig na te gaan wie en wat er allemaal
nodig is in elke fase.
Vervolgens is het van belang het budget te bepalen dat aan de ontwikkeling van de
video SJT kan worden uitgegeven. Hierbij dient men rekening te houden met onverwachte
kosten en met het gegeven dat bij video SJTs eenmalige implementatiekosten zullen
plaatsvinden. Het is van belang een zo’n precies mogelijk kostenplaatje te bepalen. Daarom
werd bij de ontwikkeling van de video SJT per fase nagegaan wat de hiermee gepaard gaande
kosten konden zijn. Men kan hierbij denken aan bijvoorbeeld de acteurs, de film - en
opnameapparatuur enzovoort. Na de raming van de kosten kan dan de ontwikkelingsstrategie
worden bepaald. Hier worden vragen behandeld zoals ‘waar gaat men de video SJT
opnemen?’, ‘wie zal meewerken aan de opnamen?’ enzovoort (Lievens & Schollaert, 2008).
Er werd zoveel mogelijk getracht de initiële planning te respecteren. Uiteindelijk werd
volgend logboek gehanteerd ( zie bijlage 5).
Eenmaal de verschillende fases duidelijk omlijnd worden en geïntegreerd worden in
een planning, en de budgetbepaling voltooid is, kan overgegaan worden naar de volgende stap
in de ontwikkeling van de video SJT, namelijk het ‘ontwerpen van scripts’.
Ontwerpen van Scripts
Een script is een omgezette itemstam of - optie waarbij zowel de visuele elementen
(zoals de handelingen) als de geluidselementen (zoals de dialogen) volledig zijn uitgeschreven
zodat deze kunnen worden verfilmd (Walker, Cucina, & Kannan, 2008).
Voor het ontwerpen van scripts moeten itemstammen en - opties voorhanden zijn.
Reeds hierboven werd uitgelegd hoe men tot itemstammen en - opties kan komen. (Lievens &
Schollaert, 2008; Olson-Buchanan et al., 1998).
Een script moet een aantal duidelijk uitgewerkte elementen bevatten. Eerst en vooral
zijn er de visuele elementen. Dit betekent dat er moet omschreven worden welke handelingen
er in de scripts zullen plaatsvinden en wat er allemaal te zien zal zijn. Er moet dus duidelijk
beschreven zijn waar de acteurs zich bevinden en welke handelingen ze moeten uitvoeren.
Ook de plaats van de attributen moet gespecificeerd worden in het script. Daarnaast zijn er
ook de geluidselementen. De dialogen moeten volledig uitgeschreven zijn. Tot slot moet ook
achtergrondinformatie gespecificeerd worden om de scène zo realistisch mogelijk te maken
(Lievens & Schollaert, 2008).
Videobased Situational Judgment Test
21
Concreet wil dit zeggen dat een goed script op de eerste plaats visueel moet zijn. Dat
betekent dat zij exact hetzelfde moeten communiceren aan elke lezer. Verder is ook het
taalgebruik in het script van belang. Het is de bedoeling dat de dialoog natuurlijk overkomt.
Een volgend punt is de realiteit die gecreëerd wordt. Deze moet geloofwaardig en consistent
zijn. De procedures en rollen van acteurs moeten door het hele script gelijkwaardig zijn. Een
laatste punt betreft de focus van het script. Hiermee wordt bedoeld dat er een duidelijke
richting moet gegeven worden aan het script. Hierbij kunnen tijdens het ontwerpen van de
scripts twee vragen gesteld worden: wat maken de deelnemers mee of wat zien ze? Komt dit
overeen met de doelen van de SJT? Dit zijn slechts enkele richtlijnen die kunnen leiden tot
een goed script (Walker, Cucina, & Kannan, 2008).
Vooraleer men begint met het schrijven van scripts moet eerst worden beslist in welk
formaat men de scripts gaat ontwikkelen. Hiervoor beschikt men namelijk over twee
mogelijkheden: (1) het split screen-formaat en (2) het standaardformaat (Walker, Cucina, &
Kannan, 2008).
Het ‘split screen-formaat’ bestaat uit twee kolommen. De linkerkolom bevat de visuele
elementen zoals bijvoorbeeld de acties. De rechterkolom geeft het overeenstemmende
geluidselement weer. Het standaard formaat daarentegen bevat één script dat de visuele en
geluidselementen combineert (Lievens & Schollaert, 2008).
In functie van de gebruiksvriendelijkheid werd er in deze scriptie geopteerd het
standaardformaat te hanteren bij het uitschrijven van de scripts.
Eens het formaat bepaald, werd er begonnen met het schrijven van de scripts. Er is
getracht geweest de shots, de dialogen en de voice-overs, die in deze SJT veelvuldig
voorkomen, in detail uit te schrijven. In figuur 3 vindt men een voorbeeld van een uitgewerkt
script. Het desbetreffende item vindt men terug in figuur 2.
Eens de scripts zijn uitgeschreven, moeten ze ook nog een review krijgen. Hiervoor
wordt een beroep gedaan op SMEs. Doorgaans worden twee rondes van review gehanteerd. In
de eerste ronde bekritiseren SMEs de scripts onafhankelijk van elkaar. Op basis van hun
opmerkingen worden de scripts aangepast. De tweede ronde bestaat uit een
groepsvergadering. Tijdens deze vergadering leest men het script voor aan de SMEs en wordt
de positie van de acteurs verduidelijkt. Dit helpt SMEs om het script te visualiseren. Een
andere mogelijkheid bestaat er uit om voor elk script een ‘storyboard’ te hanteren. Een
storyboard is een opeenvolging van beelden die de locatie, de dialoog en de beweging tonen.
Videobased Situational Judgment Test
22
Een voordeel van het storyboard is dat het een leidraad kan vormen tijdens het filmen.
Rekening houdend met de suggesties van de SMEs past men aan het einde van deze fase het
script aan (Walker, Cucina & Kannan, 2008).
Voor de review van de video SJT in deze scriptie werd beroep gedaan op 5 SMEs. Dit
waren 2 vrouwen en 3 mannen. De minimum leeftijd bedroeg 20 jaar, de maximum leeftijd 28
jaar. De gemiddelde leeftijd was 23.8 jaar (SD=3.2). Aangezien de test zich situeerde rond
studenten, waren 4 van de 5 SMEs studenten. Om zich niet enkel te beperken tot studenten
was de 5de
SME een assistente aan de faculteit psychologie en pedagogische wetenschappen
van de universiteit van Gent. Deze persoon werkte samen met studenten en leverde dus een
andere kijk op de zaken dan de studenten zelf. De 5 SMEs hebben onafhankelijk van elkaar de
scripts nagekeken en bekritiseerd. De scripts werden dan aangepast op basis van de
opmerkingen die de 5 SMEs naar voor hebben gebracht. Na deze individuele ronde werd er in
groep gediscussieerd over deze scripts. Op basis van deze tweede ronde werden nog een
aantal finale aanpassingen aan de scripts gemaakt( zie bijlage 6).
Je kotgenoot heeft problemen om te studeren voor een examen voor een vak waarin jij goed
bent. Je hebt je taken voor die avond afgewerkt en je was van plan om samen met een aantal
vrienden uit eten te gaan. Je beseft echter dat je kotgenoot je voordien heeft geholpen met
enkele van jouw taken. Je kotgenoot vraagt je om hulp bij het studeren voor het examen. Wat
zou je doen?
a. je legt uit dat je reeds plannen hebt gemaakt, maar dat je samen met de kotgenoot de
leerstof nog eens zal hernemen wanneer je thuiskomt na het eten.
b. je belt je vrienden op en je zegt het etentje af. In de plaats daarvan blijf je thuis om je
kotgenoot te helpen en om samen met hem te eten.
c. je stelt je plannen om te gaan eten uit en besteedt de nodige tijd aan het helpen van je
kotgenoot. Daarna ga je uit eten.
d. je legt uit dat je hem/haar graag zou hebben geholpen, maar dat je reeds plannen hebt
die je niet kan afzeggen.
Figuur 2. Item uit test van Bess en Mullins (2002)
Videobased Situational Judgment Test
23
St: Dirk Mst: Elise
Dirk zit op zijn kamer. Hij legt zijn boeken opzij.
St: Hij denkt het volgende: Voilà, mijn taken voor vanavond zijn afgewerkt. Nu kan ik
vertrekken om te gaan uiteten met mijn vrienden.
Er wordt geklopt op de deur. Dirk opent en het is zijn kotgenoot Elise die daar staat.
Mst: Zeg Dirk, ik heb problemen met het studeren van mijn vak en ik heb binnenkort dat
examen. Zou je mij willen helpen bij het studeren?
St: Hij denkt eventjes na: Zij heeft mij ook al eens geholpen met mijn taken.
a) St: Ik heb eigenlijk al plannen voor vanavond. Ik ga uiteten met een paar vrienden, maar
ik wil wel met jou eens de leerstof doorlopen als ik terug thuis ben.
Mst: Oké, Ik zie je dan straks wel.
Er wordt afscheid genomen.
b) St: Oké, ik zal je helpen. Ik stel wel voor dat we eerst hier op kot wat gaan eten. Ik kom
onmiddellijk af.
Elise gaat weg. Dirk belt iemand op.
St: Hey, Alles goed? … Zeg het is voor het volgende, ik kan niet meekomen eten. Kan
jij aan de rest melden dat ik er niet zal zijn?
c) St: Oké, ik zal je helpen. Ik kom onmiddellijk af.
Elise gaat weg. Dirk belt iemand op.
St: Hey, Alles goed? … Zeg, is het goed als we het etentje verplaatsen later op de
avond? … Kan jij dit aan de rest melden?
d) St: Sorry, maar dat zal niet gaan. Ik had je graag willen helpen, maar ik heb reeds
plannen die ik niet meer kan afzeggen. ( resoluut).
Mst: Oké ( gaat ontgoocheld weg).
Figuur 3. Script van item uit Figuur 2.
Videobased Situational Judgment Test
24
Tot slot dient ook rekening gehouden te worden met de testveiligheid. Testveiligheid
betekent dat scripts niet worden verspreid. Omdat scripts veel gedetailleerde informatie over
het scenario bevatten, is het van belang dat men voorzichtig omspringt met de scripts. Er zijn
enkele mogelijkheden om de testveiligheid van scripts te garanderen. Eerst en vooral bewaart
men de scripts best in een veilige en afgesloten plaats. Men moet ook proberen de scripts aan
niemand mee te geven. Zeker wat betreft acteurs is dit belangrijk. Zij durven soms de scripts
mee naar huis vragen, zodat ze zich kunnen voorbereiden. Best noteert men ook hoeveel
exemplaren van het script zijn gemaakt. Op die manier merkt men onmiddellijk wanneer er
één ontbreekt. Als laatste punt rond testveiligheid kan men aan iedereen die meewerkt aan de
ontwikkeling van de video SJT (zoals acteurs, cameraman, …), vragen om een overeenkomst
te tekenen waarin ze verklaren om de inhoud van de scripts niet openbaar te maken (Lievens
& Schollaert, 2008). De auteurs van deze scriptie hebben tijdens de ontwikkeling van de
video SJT op de testveiligheid toegekeken.
Na deze finale stap in het ontwerpen van scripts, kan overgegaan worden naar de
volgende fase, met name de ‘preproductie’.
Preproductie
In deze fase worden de opnamelocaties vastgelegd, de acteurs geselecteerd, en wordt
aandacht besteed aan de rekwisieten en de planning van de opnameshots (Lievens &
Schollaert).
De opname’s kunnen plaatsvinden in een studio. Een andere mogelijkheid is om te
gaan filmen op locatie. Waar vooral naar gekeken moet worden is dat de locatie aan de eisen
van het script voldoet (Lievens & Schollaert, 2008).
Doorgaans is er een locatieverantwoordelijke die samen met de producer de
verschillende scènes doorloopt, de beschikbare opnamelocaties bezoekt en bekijkt, en alle
mogelijke opnameopties bespreekt. Er wordt eveneens gekeken of er hindernissen gekoppeld
zijn aan de opnamelocaties en of die eventueel kunnen verholpen worden. Een voorbeeld van
een dergelijke hindernis is de geluidshinder door verkeer. Daarnaast moet men er ook
rekening mee houden dat het nodig kan zijn toestemming te krijgen om op de gekozen locatie
te mogen filmen (Walker, Cucina ,& Kannan, 2008).
Ook de logistieke aspecten mogen niet uit het oog worden verloren. Hiermee worden
zaken bedoeld zoals de beschikbaarheid van kleedkamers voor acteurs, een opslagruimte voor
Videobased Situational Judgment Test
25
rekwisieten, een vergaderruimte, en voldoende stroomtoevoer voor camera’s en belichting
(Lievens & Schollaert, 2008).
In deze scriptie werd besloten om niet in een studio te filmen maar op locatie. Na
grondig nazicht van de scripts bleken er drie verschillende locaties nodig te zijn, namelijk (1)
een studentenkamer, (2) een leslokaal, en (3) een ruimte voor het samenkomen van
groepswerken. Voor de locatie van de studentenkamer werd er gebruikt gemaakt van twee
verschillende studentenkamers. Op die manier kregen de respondenten voldoende variatie in
het bekijken van de video SJT. De locatie van leslokaal werd gebruikt voor scènes die zich
afspeelden tijdens examens of lessen. Voor de derde locatie werd eveneens het leslokaal
gebruikt. Aangezien in realiteit een leslokaal ter beschikking wordt gesteld voor examens,
lessen en groepswerken, zou het geen probleem mogen opleveren dat dezelfde locatie voor
deze drie verschillende settings werd gebruikt.
Voor de selectie van acteurs zijn er twee mogelijkheden. De eerste mogelijkheid is
kiezen voor professionele acteurs. Deze kan men best rekruteren via een castingbureau of via
toneelgezelschappen (Olson-Buchanan et al., 1998). Deze acteurs zijn echter vaak
gespecialiseerd en dus dient men erop toe te zien dat hun specialisatie overeenstemt met wat
het script van hen verlangt. Verder moet men ook toezien dat er geen sprake is van
overacting, want dit zou een invloed kunnen hebben op de inhoud van de items of zou de
scènes onnatuurlijk laten overkomen. Daarnaast bedragen de kosten, die professionele acteurs
met zich meebrengen, zo’n 30-45% van het totale productiebudget (Walker, Cucina, &
Kannan, 2008).
Een tweede mogelijkheid is kiezen voor niet-professionele acteurs. Dit betreft dan
personen die over weinig tot geen acteerervaring beschikken. Voorbeelden hiervan zijn
medewerkers aan de video SJT of vrijwilligers (Walker, Cucina, & Kannan, 2008).
Enkele mogelijke richtlijnen voor het selecteren hierbij kan zijn het organiseren van
audities (Olson-Buchanan et al., 1998). Eveneens is het belangrijk te zorgen voor een goede
demografische balans. Dit houdt ook in dat men bij het tonen van verschillende
demografische groepen positieve en negatieve aspecten moet afwisselen. Verder is het ook
belangrijk stereotypen te vermijden (Lievens & Schollaert, 2008).
In deze scriptie werd in kader van het budget besloten om niet-professionele acteurs te
selecteren. Er werd dus op zoek gegaan naar vrijwilligers. Vijf vrijwilligers werden
geselecteerd. Dit waren vier mannen en één vrouw. De minimum leeftijd bedroeg 22 jaar en
de maximumleeftijd bedroeg 40 jaar. De gemiddelde acteur had een gemiddelde leeftijd van
Videobased Situational Judgment Test
26
27.6 jaar (SD=2.7). Deze niet-professionele acteurs hadden echter wel al amateuristische
ervaring. Van de acteurs fungeerden er twee als student, één als mannelijke student en één als
vrouwelijke student. Zij vertolkten de hoofdrollen. Eén iemand nam de rol als prof op zich.
Deze persoon heeft in het verleden nog een carrière als prof gehad, wat hem geschikt maakte
om deze rol te vertolken. De twee overige acteurs dienden de rol van figuranten op zich te
nemen. Zij bleven vooral op de achtergrond en dienden in de eerste plaats om de scènes
realistisch in beeld te kunnen brengen.
Een volgende punt in de preproductie betreft de rekwisieten en de kleding. Hiervoor
worden de scènes grondig doorgelicht. Soms kan het handig zijn beroep te doen op
domeinexperts om realistische en functiespecifieke rekwisieten te vinden. Best bepaal je
hierbij ook waar de rekwisieten te verkrijgen zijn. Daarnaast is het ook van belang om voor
geschikte kleding te zorgen voor de acteurs (Lievens & Schollaert, 2008).
Om een volledige lijst te bekomen van de rekwisieten werden bij de ontwikkeling de
verschillende scripts zeer aandachtig en nauwkeurig overlopen. Alles moest tot in detail
voorhanden zijn. Wanneer zou blijken dat tijdens de opnames iets ontbreekt, zou dit de hele
planning kunnen verstoren. Bepaalde opnameshots zouden dan moeten worden uitgesteld,
waardoor het opnameschema volledig in de war zou worden gestuurd. Er werd dan ook een
exhaustieve lijst van alle benodigdheden samengesteld (zie bijlage 7). In sommige scripts kon
zeer duidelijk bepaald worden wat de verschillende benodigdheden waren, zoals in figuur 3,
waar duidelijk is dat men boeken en een (mobiele) telefoon nodig heeft. In andere scripts was
dit minder duidelijk. Dit ging vaak om minder opvallende elementen zoals een horloge, een
balpen, of simpelweg gewoon wit A4-papier.
Qua kleding waren er geen bijzondere vereisten. De personen die de rollen van
studenten vertolkten, kregen de opdracht alledaagse kleding te dragen. De persoon die de rol
van professor vertolkte, droeg een kostuum. Belangrijk punt hierbij is dat in geval van het
herfilmen van scènes op een later tijdstip, er moet voor gezorgd worden dat de acteurs exact
dezelfde kledij weer aan hebben. Het past niet dat iemand bij de ene optie andere kledij draagt
dan bij een andere optie van datzelfde item. Hiermee werd tijdens de ontwikkeling rekening
gehouden.
Een volgende punt in de preproductie betreft de ontwikkeling van een opnameschema.
Er moet een gedetailleerd plan van de opnamen ontworpen worden dat tot in de puntjes is
uitgewerkt. Een aantal belangrijke elementen moeten hierin wel vermeld worden. Zo moet het
Videobased Situational Judgment Test
27
opnameschema bevatten welke scripts er per dag worden opgenomen, het aantal scenario’s
dat gefilmd moet worden, het aantal acteurs per scène, het tijdstip en de locatie waarop de
medewerkers moeten werken, hoeveel alternatieve tekstversies er nodig zijn, contactgegevens
van acteurs en andere medewerkers. (Lievens & Schollaert, 2008).
Bij de ontwikkeling van de video SJT is getracht geweest een zo’n gedetailleerd
mogelijk opnameplan uit te werken (zie bijlage 5). Hierbij is rekening gehouden met de
tijdstippen waarop de acteurs beschikbaar waren alsook met de hierboven vermelde elementen
die een opnameschema moet bevatten. Ook met de beschikbaarheid van filmlocaties moest
rekening gehouden worden bij de opstelling van de planning. Daarnaast moest eveneens in
acht genomen worden dat misschien bepaalde scènes moesten herfilmd worden. Zo is het
bijvoorbeeld gebeurd dat bij de eerste take van de scène er zonlicht door het raam scheen. Bij
de tweede take van diezelfde scène was het zonlicht verdwenen. Daardoor kreeg men echter
na het knip- en plakwerk een scène die middenin plots veel donkerder werd. Om deze redenen
werd er na de montage een paar dagen extra voorzien voor scènes die opnieuw moesten
gefilmd worden.
Tot slot werd er op zoek gegaan naar beschikbare en adequate filmapparatuur. Het is
essentieel over degelijke apparatuur te beschikken, want kwaliteit is belangrijk. Als
filmapparatuur werd de Sony HDR-SR1 camera gebruikt. Er is ook een cursus gevolgd om
met de apparatuur overweg te kunnen. Naast de videocamera moest eveneens de mogelijkheid
aanwezig zijn om te monteren. Er is dan ook gezocht geweest naar het meest geschikte
montageprogramma. Voor de montage werd uiteindelijk Adobe Premiere Elements 3.0 (2006)
gehanteerd. Ook hier werd er een cursus voor gevolgd.
Wanneer dit alles in orde is, kan overgegaan worden naar de voorlaatste stap in het
ontwikkelen van videogebaseerde SJT.
Video-Opnamen
Dit is de fase waarin de eigenlijke opnames van start gaan. De acteerprestaties van de
acteurs worden gefilmd. Tijdens deze fase zijn naast de acteurs ook een aantal medewerkers
aanwezig die elk hun eigen functie hebben en elk met hun eigen expertise bijdragen aan het
welslagen van deze fase. De belangrijkste functies zijn, (1) de producer, (2) de director of
photography, (3) de geluidstechnicus, (4) de hoofd technicus, (5) de testontwikkelaar, (6) de
domeinexpert, en (7) de acteurs (Walker, Cucina, & Kannan, 2008).
Videobased Situational Judgment Test
28
De producer, ook wel manager genoemd, heeft de leiding over de opnamen. Hij is
verantwoordelijk voor het behalen van het eindproduct en geeft leiding aan de acteurs. De
director of photography probeert de visie van de producer om te zetten. Hij overlegt samen
met de producer over de lay-out van de scènes, de beweging van de scènes enzovoort. De
geluidstechnicus selecteert de juiste microfoons om het geluid van de acteurs zo duidelijk
mogelijk weer te geven. Hij staat ook in voor het filteren van storend achtergrondgeluid. De
hoofd technicus staat onder leiding van de director of photography en is verantwoordelijk
voor de belichting van de set en de scènes. De testontwikkelaar zorgt ervoor dat de doelen van
de test worden bereikt. De domeinexpert begeleidt de acteurs en de filmcrew en zorgt ervoor
dat het realisme van de scènes bewaakt wordt. De acteurs brengen met hun acteerprestaties de
scripts tot leven (Walker, Cucina, & Kannan, 2008).
Tijdens de opnamen nam één van de auteurs de rol van producer op zich. Daarbij
vervulde die ook de rol van director of photography. De cameraman was tegelijkertijd ook
hoofdtechnicus. De andere auteur van deze scriptie nam de rol van testontwikkelaar en
domeinexpert op zich.
Een aantal essentiële aspecten mogen niet worden vergeten bij deze fase. Eerst en
vooral is het van belang een accuraat logboek bij te houden. Het logboek kan immers dienen
als gids bij de postproductie. Het logboek geeft het begin- en eindpunt van de scènes, de
opnamenummers en de kwaliteit van de opnames weer (Lieven & Schollaert, 2008).Voor
deze scriptie moesten er 23 itemstammen met 4 antwoordalternatieven gefilmd worden. In
totaal kwam dit dus neer op 115 scènes die in beeld moesten worden gebracht. Het
beschikken over een logboek bleek een handig hulpmiddel te zijn.
Ten tweede dient men op geregelde tijdstippen de opnamen te bekijken om er zeker
van te zijn dat het gefilmde materiaal goed is (Lieven & Schollaert, 2008). Tijdens de
opnamen werd het gefilmde materiaal geregeld bekeken door de producer en de
domeinexpert.
Ten derde moet tijdens het filmen een domeinexpert aanwezig zijn om de accuraatheid
en het realisme van de opnamen te controleren. Ook de testontwikkelaar en director of
photography zijn met elk hun expertise in staat opmerkingen te geven. Op basis van deze
opmerkingen van de domeinexpert, de testontwikkelaar of de director of photography geeft de
producer aan de acteurs feedback en maakt de producer aanpassingen aan de scène (Lievens
Videobased Situational Judgment Test
29
& Schollaert, 2008).Bij de ontwikkeling van de video SJT moest de domeinexpert tijdens de
opnames ervoor zorgen dat de scènes accuraat en realistisch waren en dat scènes nog steeds in
overeenstemming waren met de doelen van de test. Hij bekeek dus regelmatig het gefilmde
materiaal. Op basis van de opmerkingen die hieruit voortvloeiden, werd dan feedback
gegeven aan de acteurs en werden aanpassingen gemaakt aan de scènes. Zo is er bijvoorbeeld
omwille van de plaatsing van de acteurs moeten worden herfilmd. Vaak merkt men pas dat
acteurs slecht geplaatst zijn nadat men al eens een take opgenomen heeft. Verder moesten er
ook af en toe nieuwe takes genomen worden omdat de acteerprestaties te onnatuurlijk
overkwamen, omdat men zijn tekst was vergeten, of omdat men begon te lachen of te
stotteren. Daarnaast werden ook aanpassingen gegeven over het puur technische aspect. Zo
moest er herfilmd worden omdat men de camera te snel bewoog.
Nu alle scènes zijn opgenomen wacht er nog één belangrijke fase in de ontwikkeling
van videogebaseerde SJT, namelijk de postproductie.
Postproductie
montage In deze fase staat de montage van het ruwe filmmateriaal centraal. Hierbij
bewerkt men het product tot een gewenst eindresultaat. Verschillende stappen kunnen bij de
montageprocedure worden onderscheiden. De eerste twee stappen bestaan uit het digitaliseren
van enerzijds het relevant ruw materiaal en anderzijds het minder belangrijk filmmateriaal. In
een derde stap wordt aan de hand van het ruw materiaal een beste opname samengesteld. Een
vierde en laatste stap betreft het toevoegen van vertellers, effecten en figuren om uiteindelijk
zo tot een voorlopige scène te komen (Lievens & Schollaert, 2008).
Voor de montage werd gebruik gemaakt van een specifiek softwarepakket met name
Adobe Premiere Elements 3.0 (2006). Dit programma werkt met verschillende projecten die
men kan opstarten. Daarom werd vanuit het standpunt van gebruiksvriendelijkheid geopteerd
om elk van de 23 scènes als een apart project te beschouwen.
Elke scène werd vervolgens ingedeeld in enerzijds een inleidend stuk die de situatie
voorstelt. Dit stuk geeft de nodige achtergrondinformatie over de vraagstelling van de test.
Daaropvolgend werden telkens de vier antwoordmogelijkheden gerangschikt. Deze structuur
was analoog met een test die we vormtechnisch als voorbeeld hadden genomen (SQ-demo,
2009). Ten slotte werd elk van deze onderdelen voorzien van een passend titelsjabloon dat het
montageprogramma ons ter beschikking stelde. Het filmmateriaal van de scènes werd
Videobased Situational Judgment Test
30
uiteindelijk in het overeenkomstige project ingeladen en op die manier gedigitaliseerd. De
eerste twee stappen van de montageprocedure werden hierdoor gerealiseerd.
Per scène werd dan een keuze gemaakt tussen verschillende opnamen van hetzelfde
script. Men moet hierbij rekening houden met verschillende criteria. Primordiaal moet worden
gekeken welke opnames het beste het doel van het script uitbeelden. Ook kan rekening
worden gehouden met verlichting, omgevingsgeluiden, en de duidelijkheid van de dialoog
(Lievens & Schollaert, 2008). Rekening houdend met deze criteria werd het beeldmateriaal
dan ook zorgvuldig gescreend en werd de derde stap in de montageprocedure vervolledigd.
De laatste stap bij de montageprocedure bestond in de eerste plaats uit het inspreken
van de voice-overs. Deze stemmen-buiten-beeld zijn nodig omdat zij belangrijke informatie
geven aan de kandidaten die de test afnemen (Lievens & Schollaert, 2008). Er werd gebruik
gemaakt van twee soorten voice-overs. Enerzijds werd een vertelstem geïmplementeerd. Deze
stem verzorgt de introductie en instructies van de test en werd gebruikt bij het geven van de
nodige achtergrondinformatie bij de situatie van elke scène. Deze stem werd ingesproken door
één van de auteurs. Anderzijds waren er de voice-overs die betrekking hadden op de
gedachten van de hoofdrolspelers. Deze dienden door de overeenkomstige acteurs te worden
ingesproken. Met hen werden dan ook de nodige afspraken hieromtrent gemaakt. Beide types
voice-overs werden ingesproken door gebruik te maken van een passende koptelefoon met
ingebouwde microfoon. Na deze opnamesessies werd ten slotte het beeldmateriaal aan deze
voice-overs aangepast en werden de nodige effecten toegevoegd. Op die manier werd
uiteindelijk een eerste versie van de videotest verkregen.
Na het bekijken van deze versie en een grondige analyse werd er rekening gehouden
met vier mogelijke knelpunten.
Ten eerste werd het probleem van de mimiek nagegaan. Meer specifiek werd gekeken
of de acteurs in de verschillende scènes te weinig, te veel of niet de gepaste
gelaatsuitdrukkingen vertoonden. Het non-verbale gedrag is immers een belangrijke factor
waarin een videotest verschilt van een schriftelijke test. Het is een extra informatiebron waar
de kandidaat die de test afneemt zijn oordeel op kan baseren en is dus met andere woorden
één van de factoren waardoor het gebruik van videobeelden de situatie meer gedetailleerd,
realistisch, en nauwkeurig voorstelt (Olson-Buchanan & Drasgow, 2006).
Ten tweede werd de versie van de video-SJT voorgelegd aan een testgroep. Zes
vrijwilligers werden hiervoor geselecteerd. Dit waren drie mannen en drie vrouwen. De
minimum leeftijd bedroeg 23 jaar en de maximumleeftijd bedroeg 52 jaar. De gemiddelde
leeftijd was 36.5 jaar (SD=12.3). Rekening houdend met hun opmerkingen werden
Videobased Situational Judgment Test
31
noodzakelijke aanpassingen verricht. Bijvoorbeeld suggereerden zij om beeldmateriaal in te
korten en bepaalde onderdelen van bijkomende voice-overs te voorzien.
Ten derde werd nagegaan of alle scènes goed genoeg de SJT uitbeeldden. Het doel van
de SJT moet immers steeds in gedachten blijven. De scenario’s van de SJT moeten voldoende
overeenstemmen met de functie waarvoor de SJT is bedoeld (Lieven & Schollaert, 2008;
Olson-Buchanan et al., 1998). Concreet werd gekeken of de scènes duidelijk genoeg waren en
dus de inhoud zo goed als mogelijk werd gevisualiseerd. Er werd hierbij nagedacht over het
camerastandpunt, het nut van in te zoomen op de handelingen, en de verankering in beeld van
de hoofdrolspeler.
Ten slotte werden nog enkele praktische knelpunten bekeken. Bijvoorbeeld bleek dat
bepaalde opnames niet werden gezien als één geheel. De reden hiervoor is dat soms gebruik
werd gemaakt van two-take-shots in plaats van one-take-shots. Dit betekent dat een deel van
het beeldmateriaal van een scène opgesplitst werd met het oog op het later samenvoegen van
deze twee delen door middel van een video-effect. Deze shots werden gemaakt als voorlopige
oplossing vanwege het feit dat het werken met niet-professionele acteurs soms tot gevolg had
dat binnen het voorziene tijdschema te veel shots opnieuw dienden te gebeuren. Er werd dus
gekeken in hoeverre deze two-take-shots de dynamiek tussen de beelden verbrak en of dit
storend werd ervaren.
Vooraleer de montage af te ronden dienden echter nog enkele bijkomende zaken te
gebeuren. Dit had echter geen betrekking meer op de 23 scènes. Bijvoorbeeld dienden de
inleidende testinstructies nog geïmplementeerd te worden. Deze werden als buiten-beeld-stem
ingesproken door één van de auteurs en de tekst werd visueel geprojecteerd op het scherm (zie
bijlage 8). Deze instructies waren analoog aan deze van de schriftelijke test (zie bijlage 1).
Ten slotte werd ook nog een voorbeeldscène ontwikkeld (zie bijlage 9).
van film naar test Na de montage diende nog een laatste taak te worden uitgevoerd.
Er was immers een film ontwikkeld maar nog geen test. Verschillende nadelen van een
filmversie kunnen worden opgesomd. Ten eerste is er geen mogelijkheid tot aanklikken van
de juiste antwoorden. Zodoende zouden de kandidaten toch nog de antwoorden schriftelijk
moeten noteren. Ten tweede konden de scènes ook niet opnieuw worden bekeken. Dit is een
belangrijk verschil met een schriftelijke test waar de kandidaten wel een vraag nogmaals
kunnen herlezen. Ten derde loopt een film volgens een vast tempo. Ook dit is verschillend ten
opzichte van een schriftelijke test waarbij men binnen een bepaald tijdsbestek zijn eigen
tempo per vraag kan bepalen. Daarom werd overgegaan tot het ontwikkelen van een website
Videobased Situational Judgment Test
32
Er werden hierbij specifieke instructies ingesproken (zie bijlage 10). Website en instructies
waren analoog aan de video SJT die vormtechnisch als voorbeeld diende (SQ-demo, 2009).
Voor de ontwikkeling van de website werd beroep gedaan op experts (9000 Studios).
Zij kochten domeinruimte aan, ontwikkelden de design, en implementeerden het
beeldmateriaal. Er werd ook de mogelijkheid voorzien om een score na de test te verkrijgen
die enkel zichtbaar was voor de testverantwoordelijke. Ook de verschillende subscores per
item konden door de testverantwoordelijke worden bekomen. Ten slotte werd de website
beveiligd door middel van een paswoord (www.testproject.be).
Praktisch gezien is de test klaar voor gebruik. Vooraleer de test in gebruik te nemen
dient deze echter eerst gevalideerd te worden.
Videobased Situational Judgment Test
33
DISCUSSIE
In de discussie geven we een kort overzicht over hoe te werk is gegaan om de video
SJT te ontwikkelen. Daarna wordt er besproken wat de bijdrage van de ontwikkeling van deze
video SJT is aan praktijk en wetenschap. Vervolgens worden enkele beperkingen
weergegeven met aansluitend aanbevelingen voor verder onderzoek. Tot slot volgt er een
conclusie van deze scriptie.
Situationele beoordelingsinstrumenten worden steeds vaker ingezet voor de selectie
van werknemers, omdat ze aanschouwd worden als valide selectie-instrumenten (McDaniel et
al., 2001). Zij hebben incrementele validiteit boven op cognitieve vaardigheid en
persoonlijkheid (McDaniel et al., 2007). Tevens hebben SJTs ook een goede criterium-
validiteit wat betreft latere prestatie op de job (McDaniel & Nguyen, 2001). Het meeste
wetenschappelijke onderzoek heeft zich echter gericht op geschreven SJTs, hoewel de auteurs
van deze scriptie reeds gewezen hebben op de voordelen van videogebaseerde SJTs bovenop
geschreven SJTs. Zo wordt gesuggereerd dat een video SJT een betere predictieve validiteit
zou hebben dan een geschreven SJT (Lievens & Sacket, 2006). Ook op vlak van face
validiteit werden betere resultaten gevonden bij de video SJTs in vergelijking met een
geschreven SJT (Chan & Schmitt, 1997) Daarnaast waren ook de resultaten betreffende
adverse impact positiever bij video SJTs (Lievens & Coetsier, 2002; Weekley & Jones, 1997).
Het doel van deze masterproef was om een videogebaseerde SJT te ontwikkelen.
Gezien nog maar weinig video SJTs ontworpen werden en het wetenschappelijk onderzoek
beperkt is, kan deze test een aanzet geven tot onderzoek naar de voordelen, de validiteit en de
betrouwbaarheid van video SJTs.
Ontwikkeling
Voor de ontwikkeling van de videogebaseerde SJT zijn er vijf fases doorlopen. In de
eerste fase werd er een planning gemaakt. Hierbij is er een tijdslijn opgesteld en werd het
budget bepaald.
In de tweede fase werden de itemstammen en - opties omgezet naar scripts zodat deze
konden gefilmd worden. Tevens werden tijdens deze fase de scripts ook beoordeeld door
SMEs.
In de derde fase werden de voorbereidingen getroffen voor het filmen.
Opnameapparatuur, acteurs, locaties, en rekwisieten werden gezocht en verzameld. Tevens
werden ook de opnameshots gepland.
Videobased Situational Judgment Test
34
In de vierde fase werden de prestaties van de acteurs in beeld gebracht.
In de vijfde en laatste fase werd er gemonteerd. Na de montage werd de video SJT
online geplaatst op het world wide web.
Bijdrage aan Praktijk en Wetenschap
Voor de ontwikkeling van de video SJT werden de stappen gevolgd die aangeraden
worden in de literatuur. De test werd op een zo’n accuraat mogelijke manier ontwikkeld. De
belangrijkste bijdrage van deze test aan de wetenschap is dat deze een aanzet kan geven tot
empirisch onderzoek naar videogebaseerde SJTs.
Vanuit praktisch oogpunt kan het gebruik van video SJTs nuttig zijn voor hoge school
of universiteitsrichtingen die met examens voor toelating tot de richting werken. Ze kunnen
de video SJT integreren als een deel van het ingangsexamen. Sinds een aantal jaren groeien er
zorgen over het feit dat de toelating tot hogere studies te veel gebaseerd zou zijn op cognitief
georiënteerde metingen (Atkinson, 2001; Oswald et al., 2004; Sternberg, Wagner, Williams,
& Horvath, 1995). Dit kan problematisch zijn omdat is aangetoond dat deze metingen een
negatieve impact hebben op minderheden (Hough, Oswald, & Ployhart, 2001; Sackett,
Schmitt, Ellingson, & Kabin, 2001; Schmitt, Sackett, & Ellingson, 2002). Daarbij komt nog
eens, door de nadruk op cognitieve vaardigheid, dat een brede waaier van belangrijke
vaardigheden en persoonlijkheidstrekken genegeerd worden (Peeters & Lievens, 2005).
Mogelijk kan de video SJT hier een oplossing bieden. Zo wordt in België een
videogebaseerde SJT opgenomen in de testbatterij van het toelatingsexamen voor medische
studies (Lievens, Buyse, & Sackett, 2005).
Verder kan de test nuttig zijn voor instanties zoals het Centrum voor
Leerlingenbegeleiding (CLB). Het CLB begeleidt leerlingen uit basis- en secundair onderwijs.
Het CLB kan deze video SJT gebruiken om na te gaan of laatstejaars humaniora studenten
geschikt zijn voor universiteit of hoge school. Verder kunnen ze ook nagaan waar het
probleem ligt bij mensen die problemen hebben met studeren. Vanuit de test kunnen ze dan
aanbevelingen doen aan de studenten om bepaalde leermethoden te hanteren.
Beperkingen en Verder Onderzoek
Beperkingen
Een eerste opmerking heeft te maken met de betrouwbaarheid van de vertaling van de
test van Bess en Mullins (2002) waarop de video SJT werd gebaseerd. Deze werd onderzocht
Videobased Situational Judgment Test
35
aan de hand van de interne consistentie. De interne consistentiebetrouwbaarheid gaat de
samenhang tussen de antwoorden van een kandidaat op de verschillende situaties na. De
interne consistentiebetrouwbaarheid van de SJT scores bleek eerder laag te zijn bij deze
geschreven SJT. Deze bedroeg namelijk .55 (Peeters & Lievens, 2005). Echter, interne
consistentie is geen adequate maat voor de betrouwbaarheid van SJTs (Lievens & Schollaert,
2008). Een reden hiervoor is de multidimensionaliteit van SJTs. In een SJT worden namelijk
verschillende constructen tegelijk gemeten en is hierdoor erg heterogeen (Schmitt & Chan,
2006). Interne consistentiebetrouwbaarheid is als betrouwbaarheidsmaat eerder geschikt voor
het meten van meer homogene constructdomeinen. De schatting van de interne
consistentiebetrouwbaarheid is dus niet geschikt bij een SJT (McDaniel & Nguyen, 2001).
De test-hertestbetrouwbaarheid is betere maat voor het meten van de betrouwbaarheid
van een SJT. De test-hertestbetrouwheid is namelijk geschikt voor heterogene
constructdomeinen (McDaniel & Nguyen, 2001). Om de test-hertestbetrouwbaarheid na te
gaan moeten de kandidaten de test tweemaal afleggen. Op die manier kan worden nagegaan of
testscores doorheen de tijd stabiel zijn (Motowidlo et al., 1990).
Een tweede opmerking betreft de validiteit van de ontwikkelde video SJT. Een test kan
niet in gebruik genomen worden voordat hij gevalideerd is. Binnen het tijdskader van de
masterproef was het niet mogelijk om zowel ontwikkeling als validatie te realiseren. Bij
toekomstig onderzoek bespreken we verder hoe validatie kan gebeuren.
Een derde opmerking handelt over de taal van de test. Het gaat hier om een
Nederlandstalige video test. Dit betekent dat het toepassingsgebied van de test beperkt is. Wat
betreft wetenschappelijk onderzoek geldt dezelfde opmerking. De video SJT kan enkel getest
en toegepast worden in Vlaanderen en Nederland.
Een volgende opmerking heeft te maken met het gegeven dat het afnemen van video
SJT via technische apparatuur moet gebeuren. Daarom moet men op zijn hoede zijn voor
technische storingen. Zo kan bijvoorbeeld een computer vastlopen. Vaak heeft men zulke
technische storingen niet onder controle. Het is daarom van groot belang dat de test frequent
op voorhand getest wordt zodat kan gezien worden of de test regelmatig vastloopt of niet.
Daarnaast is het eveneens belangrijk dat bij de afname van de video SJT een persoon
aanwezig is die goed overweg kan met de technische apparatuur en waarop onmiddellijk
beroep kan gedaan worden (Potosky & Bobko, 2004).
Videobased Situational Judgment Test
36
De video SJT is online geplaatst en moet via de computer ingevuld worden. Dit kan
echter een probleem opleveren wanneer respondenten niet goed met een computer overweg
kunnen (Potosky & Bobko, 2004).
Tot slot zijn er nog twee opmerkingen mee te delen die samenhangen met een gebrek
aan budget. Zo was het niet mogelijk om professionele acteurs te selecteren. Het gebruik van
niet-professionele acteurs kan echter het realiteitsgehalte van de test aantasten. Verder was het
ook niet mogelijk beroep te doen op een aantal rollen die aanwezig moeten zijn bij de video
opnamen. Zo waren er geen professionele producer, director of photography, en technici
aanwezig. Dit werd opgevangen door de auteurs van deze scriptie die elk meerdere rollen op
zich namen. Aan een aantal essentiële aspecten is wel voldaan geweest zoals het bijhouden
van een accuraat logboek, het bekijken en herbekijken van het gefilmde materiaal, en de
aanwezigheid van domeinexperts.
Verder Onderzoek
Ten eerste is het belangrijk dat de criteriumvaliditeit van de ontwikkelde video SJT
wordt onderzocht. Aangezien het een test is betreffende leermethoden kan een mogelijkheid
om dit te onderzoeken de volgende zijn. Men kan kiezen om universiteits- of hoge
schoolstudenten als respondenten te nemen die reeds enkele jaren bezig zijn aan de hogere
studies. Als criterium kan dan vroeger academisch succes van de schoolstudenten genomen
worden. Een criteriummaat hiervoor kan het GPA van de studenten zijn. Men vraagt dan aan
de pilootgroep om de punten, procenten of graad van hun 1ste
jaar en de punten, procenten of
graad van hun 2de
jaar te vermelden. In een voorgaand onderzoek bleek de correlatie .68 te
zijn tussen deelnemers 1ste
jaars en 2de
jaars GPA (Peeters & Lievens, 2005). Deze waarde is
ook gelijkwaardig aan de waarden die werden gevonden in een meta-analyse over temporele
stabiliteit van GPA (Vey et al., 2003).
Voorts is het interessant om meer onderzoek te verrichten naar de face validiteit van
video SJTs. Er werden in onderzoeken tegenstrijdige resultaten teruggevonden op het vlak
van face validiteit. Zo waren er onderzoeken waarin geen significant verschil gevonden werd
tussen beide SJTs op het vlak van face validiteit (Lievens & Sacktet, 2006; Kanning et al.,
2006), terwijl andere studies aantoonden dat video SJTs significant hogere face validiteit
opleverden (Chan & Schmitt, 1997). Ook wat betreft adverse impact, zou verder onderzoek
nuttig kunnen zijn. Wat betreft geslacht scoren vrouwen iets beter dan mannen. Het verschil is
Videobased Situational Judgment Test
37
klein maar significant en dit geldt zowel voor een video SJT (Lievens & Coetsier, 2002;
Weekley & Jones, 1997) als voor een geschreven SJT (O’Connel et al., 2007). Gezien de
veelbelovende maar ook tegenstrijdige resultaten, kan de ontwikkelde video SJT uit de
scriptie een handig instrument vormen om de face validiteit en de adverse impact nader te
onderzoeken.
De video-test kan mogelijks ook aanzet geven tot onderzoek naar de incrementele en
constructvaliditeit van videogebaseerde SJTs. Eveneens kan nagegaan worden of video SJTs
vatbaar zijn voor faking.
Tevens kan de betrouwbaarheid ook onderwerp van onderzoek vormen. De
betrouwbaarheid van de SJT is nog niet aangetoond en de interne consistentiebetrouwbaarheid
van de geschreven SJT, waarop de video SJT gebaseerd is, bleek eerder laag te zijn. Zoals
vermeld echter is de interne consistentiebetrouwbaarheid een imperfecte maat bij SJTs en
moet de betrouwbaarheid van zowel de geschreven als de video SJT onderzocht worden aan
de hand van de test-hertestbetrouwbaarheid.
Ten slotte blijkt uit onderzoek dat een interpersoonlijk georiënteerde SJT een hogere
predictieve validiteit heeft in het voorspellen van prestaties op een interpersoonlijk criterium
dan een geschreven SJT (Lievens & Sackett, 2006). Verder onderzoek kan nu aanwijzen of dit
kan gerepliceerd worden. Vervolgens moet ook opgemerkt worden dat in de geschreven SJT
geen emoties, gezichtsexpressies en stemtonen worden omschreven. Het kan dus nuttig en
interessant zijn om te onderzoeken of het resultaat kan gerepliceerd worden wanneer ook non-
verbale inhoud wordt omschreven in de geschreven SJT (Lievens & Sackett, 2006).
Videobased Situational Judgment Test
38
CONCLUSIE
Het doel van dit onderzoek was om een videogebaseerde SJT te ontwikkelen. Hierbij
is er uitgegaan van een bestaande geschreven SJT, namelijk een vertaling van de test van Bess
en Mullins. Deze test peilt naar de leermethoden van de studenten en heeft als doel te
differentiëren tussen studenten met goede leermethoden en studenten met slechte
leermethoden. Voor de ontwikkeling zelf werden de fasen gevolgd die beschreven worden in
de literatuur. De ontwikkelde video SJT bestaat uit 23 items.
In de discussie werd een aanzet gegeven tot een validiteits - en
betrouwbaarheidsonderzoek, alsook enkele punten die onderwerp kunnen zijn van toekomstig
onderzoek.
Voorts werden ook een aantal zaken aangebracht waaruit het nut moet blijken om deze
test in de praktijk te brengen.
We hopen dat deze studie toekomstig onderzoek zal aanmoedigen omtrent de
ontwikkeling, scoring, en validering van SJTs in het algemeen en van video SJTs in het
bijzonder.
Videobased Situational Judgment Test
39
REFERENTIES
Archer, D., & Akert, R. M. (1980). The encoding of meaning: A test of three theories of
social interaction. Sociological Inquiry, 50, 393–419.
Atkinson, R. C. (2001, April). Standardized tests and access to American universities. Lecture
delivered at the 83rd annual meeting of the American Council on Education,
Washington, DC.
Bergman, M. E., Drasgow, F., Donovan, M. A., Henning, J. B., & Juraska, S. E. (2006).
Scoring Situational Judgment Tests: Once You Get the Data, Your Troubles Begin.
International Journal of selection and assessment, 14, 223-235.
Bess, T.L., & Mullins, M.E. (2002, April). Exploring a dimensionality of situational
judgment: Task and contextual knwoledge. Paper presented at the 17th
annual
conference of the Society for Industrial and Organizational Psychology, Toronto,
Canada.
Bruce, M. M. (1965). Examiner’s manual: Business Judgement Test. Larchmont, NY: Author.
Bruce, M. M., & Learner, D. B. (1958). A supervisory practices test. Personnel Psychology,
11, 207-216.
Campbell, J. P., Dunnette, M.D., Lawler, E. E., & Weick, K. E. (1970). Managerial behavior,
performance and effectiveness. New York: McGraw-Hill.
Cardall, A. J. (1942). Preliminary manual for the Test of Practical Judgement. Chicago:
Science Research.
Chan, D., & Schmitt, N. (1997). Video-based versus paper-and-pencil method of assessment
in situational judgement tests: subgroup differences in test performance and face
validity perceptions. Journal of Applied Psychology, 82, 143-159.
Chan, D., & Schmitt, N. (2002). Situational judgement and job performance. Human
Performance, 15, 233-254.
Chan, D., Scmitt, N., Jennings, D., Clause, C. S., & Delbridge, K. (1998). Applicant
Perceptions of Test Fairness: Integrating Justice and Self-Serving Bias Perspectives.
International Journal of Selection and Assessment, 6, 232-239.
Clevenger, J., Pereira, G. M., Wiechmann, D., Schmitt, N., & Harvey, V. S. (2001).
Incremental validity of SJT’s. Journal of applied psychology, 86, 410-417.
Dalessio, A.T. (1994). Predicting insurance agent turnover using a video-based situational
judgement test. Journal of Business and Psychology, 9, 23-32.
Videobased Situational Judgment Test
40
Edens, P. S., & Arthur,W. (2000, April). A meta-analysis investigating the susceptibility of
selfreport inventories to distortion. Paper presented at the 15th annual conference of
the Society for Industrial and Organizational Psychology, New Orleans, LA.
File, Q. W. (1945). The measurement of supervisory quality in industry. Journal of Applied
Psychology, 29, 381-387.
File, Q. W., & Remmers, H. H. (1948). How supervise? Manual 1948 revision. New York:
Psychological Corporation.
Flanagan, J. C. (1954). The critical incident technique. Psychological Bulletin, 51, 327-358.
Funke, U., & Schuler, H. (1998). Validity of stimulus and response components in a video
test of social competence. International Journal of selection and assessment, 6, 115-
123.
Gesn, P. R., & Ickes, W. (1999). The development of meaning contexts for emphatic
accuracy: Channel and sequence effects. Journal of Personality and Social
Psychology, 77, 746–761.
Goldstein, H. W., Braverman, E. P., & Chung, B. (1992, May). Method versus content: The
effects of different testing methodologies on subgroup differences. Paper presented at
the 7th Annual Conference of the Society for Industrial and Organizational
Psychology, Montreal, Quebec, Canada.
Greenberg, S. H. (1963). Supervisory Judgement Test manual. Washington, DC: U.S. Civil
Service Commission.
Haas, A., & McDaniel, M. A. (1999, April). Faking strategies: Effects on a situational
judgment test. Paper presented at the 14th annual conference of the Society for
Industrial and Organizational Psychology, Atlanta, GA.
Hausknecht, J.P., Day, D.V., & Thomas, S.C. (2004). Applicant reactions to selection
procedures: An updated model and meta-analysis. Personnel Psychology, 57, 639-683.
Hough, L. M., Oswald, F. L.,&Ployhart, R. E. (2001). Determinants, detection and
amelioration of adverse impact in personnel selection procedures: Issues, evidence and
lessons learned. International Journal of Selection and Assessment, 9, 152-194.
Juraska, S. E., & Drasgow, F. (2001, April). Faking situational judgment: A test of the
Conflict Resolution Skills Assessment. Paper presented at the 16th annual conference
of the Society for Industrial and Organizational Psychology, San Diego, CA.
Kanning, U. P., Grewe, K., Hollenberg, S., et al. (2006). From the subjects’ point of view –
reactions to different types of situational judgement items. European Journal of
Psychological Assessment, 22, 168-176.
Videobased Situational Judgment Test
41
Kirkpatrick, D. L., & Planty E. (1960). Supervisory Inventory on Human Relations. Chicago:
Science Research Associates.
Lievens, F., Buyse, T., & Sacket, P. R. (2005). The operational validity of a video-based
situational judgement test for medical college admissions: Illustrating the importance
of matching predictor and criterion construct domains. Journal of Applied Psychology,
90, 442-452.
Lievens, F., & Coetsier, P. (2002). Situational tests in student selection: An examination of
predictive validity, adverse impact and construct validity. International journal of
selection and assessment, 10, 245-257.
Lievens, F., & Highhouse, F. (2003). The relation of instrumental and symbolic attributes to a
company’s attractiveness as an employer. Personnel Psychology, 56, 75-102.
Lievens, F., & Sackett, P. R. (2006). Video-Based Versus Written Situational Judgment Tests:
A Comparison in Terms of Predictive Validity. Journal of Applied Psychology, 91,
1181-1188.
Lievens, F., & Schollaert, E. (2008). Naar een nieuwe generatie assessment. Barneveld:
Uitgeverij Nelissen.
MacLane, C.N., Barton, M.G., Holloway-Lundy, A.E., & Nickels, B.J. (2001). Keeping
score: Expert weights on situational judgment responses. Paper presented at the 16th
Annual Conference of the Society of Industrial and Organizational Psychology, San
Diego, CA.
Maurer S.D., Howe V, Lee T.W. (1992). Organizational recruiting as marketing
manangement: An interdisciplinary study of engineering graduates. Personnel
Psychology, 45, 807-833
McDaniel, M.A., Hartman, N.S., Whetzel, D.L., & Grubb III, W.L. (2007). Situational
jugdment tests, response instructions, and validity: A meta-analysis. Personnel
Psychology, 60, 63-91.
McDaniel, M.A., Morgeson, F.P., Finnegan, E.B., Campion, M.A., & Braverman, E.P.
(2001). Use of situational judgement tests to predict job performance: A clarification
of the literature. Journal of Applied Psychology, 86, 730-740.
McDaniel, M. A., & Nguyen, N. T. (2001). Situational judgement tests: A review of practice
and constructs assessed. International Journal of Selection and Assessment, 9, 103-
113.
Videobased Situational Judgment Test
42
Messick, S. (1989). Validity. In: R.L. Linn (Eds), (3nd ed.). Educational Measurement.
National Council on Measurement in Education. London: Collier Macmillan
Publishers.
Motowidlo, S., Dunnette, M., & Carter, G. (1990). An alternative selection procedure: the
low-fidelity simulation. Journal of Applied Psychology, 73, 640-647.
Motowidlo, S. J., Tippins, N. (1993). Further studies of the low-fidelity simulation in the form
of a situational inventory. Journal of Occupational and Organizational Psychology,
66, 337-344
Nguyen, N. T., McDaniel, M. A., & Biderman, M. D. (2002). Response instructions in
situational judgment tests: Effects on faking and construct validity. Paper presented at
the 17th annual conference of the Society for Industrial and Organizational
Psychology, Toronto, Canada.
Northrop, L. C. (1989). The psychometric history of selected ability constructs. Washington,
DC: U. S. Office of Personnel Management.
O’Connell, M.S., Hartman, N.S., McDaniel, M.A., Grubb III, W.L., & Lawrence, A. (2007).
Incremental Validity of Situational Judgment Tests for Task and Contextual Job
Performance. International Journal of Selection and Assessment, 15, 19-29.
Olson-Buchanan, J.B., & Drasgow, F. (2006). Multimedia situational judgment tests: The
medium creates the message. In J.A. Weekley & R.E. Ployhart (Eds.), Situational
Judgment Tests, 253-278. San Francisco, Jossey Bass.
Olson-Buchanan, J.B., Drasgow, F., Moberg, P.J., Mead, A.D., Keenen, P.A., & Donovan,
M.A. (1998). Interactive video assessment of colflict resolution skills. Personnel
psychology, 51, 1-24.
Ontwikkeling Generieke Testen. Retrieved March 6, 2008, from
http://www2.vlaanderen.be/personeel/statuten/overlegorgaan_PenO/sopo/voortgangsra
pportering_sopo/PenO_workshop_24juli_7aug_2007.ppt
Oswald, F. L., Schmitt, N., Kim, B. H., Ramsay, L. J., & Gillespie, M. A. (2004). Developing
a biodata measure and situational judgment inventory as predictors of college student
performance. Journal of Applied Psychology, 89, 187–207.
Peeters, H., & Lievens, F. (2005). Situational judgement tests and their predictiveness of
college students’ succes: The influence of faking. Educational and Psychological
Measurement, 65, 70-89.
Ployhart, R. E., & Ehrhart, M. (2001). Effects of response instructions on the criterionrelated
validity , construct validity, and reliability of situational judgement tests. Paper
Videobased Situational Judgment Test
43
presented at the 16th Annual Conference of the Society for Industrial and
Organizational Psychology, San Diego, CA.
Ployhart, R. E., & Ehrhart, M. (2003). Be careful what you ask for: Effects of response
instructions on the construct validity and reliability of situational judgement tests.
International Journal of Selection and Assessment, 11, 1-16.
Potosky, D., & Bobko, P. (2004). Selection testing via the Internet: practical considerations
and exploratory empirical findings. Personnel Psychology, 57, 1003-1034.
Pulakos, E.D., & Schmitt, N. (1996). An Evaluation of Two Strategies for Reducing Adverse
Impact and Their Effects on Criterion-Related Validity. Human Performance, 9, 241-
258.
Richman- Hirsch, W., Olson-Buchanan, J., & Drasgow, F. (2000). Examining the impact of
administration medium on examinee perceptions and attitudes. Journal of Applied
Psychology, 85, 880-887.
Sackett, P. R., Schmitt, N., Ellingson, J. E., & Kabin, M. B. (2001). High-stakes testing in
employment, credentialing, and higher education: Prospects in a post-affirmative
action world. American Psychologist, 56, 302-318.
Samaey, B. (2006). Selectieadviseurs geselecteerd: de ontwikkeling van een situatiespecifieke
test. Licentiescriptie van Universiteit Gent.
Smiderle, D., Perry, B.A., & Cronshaw, S.F. (1994). Evaluation of video-based assessment in
transit operator selection. Journal of Business and Psychology, 9, 3-22.
Smither, J.W., Reilly, R.R., Millsap, R.E., Pearlman, K., & Stoffey, R.W. (1993). Applicant
reactions to selection procedures. Personnel Psychology, 46, 49-76.
Schmitt, N., & Chan, D. (2006). Situational judgment tests: Method or construct? In J.
Weekley & R.E. Ployhart (Eds.), Situational judgment tests, 135-156. Mahwah, NJ:
Lawrence Erlbaum.
Schmitt, N., Sackett, P. R., & Ellingson, J. E. (2002). No easy solution to subgroup
differences. American Psychologist, 57, 305-306.
Sternberg, R. J., Wagner, R. K., Williams, W. M., & Horvath, J. A. (1995). Testing common
sense. American Psychologist, 50, 912-927.
SQ-demo. Retrieved Februari, 6, 2009, from
http://www.vandermaesenkoch.nl/sq4/
Taylor M.S., Collins C.J. (2000). Organizational recruitment: Enhancing the intersection of
research and practice. In Cooper CL, Locke EA (Eds.), Industrial and organizational
psychology: Linking theory with practice (pp. 304-334). Oxford: Blackwell.
Videobased Situational Judgment Test
44
Thomas K.M., Wise P.G. (1999). Organizational attractiveness and individual differences:
Are diverse applicants attracted by different factors? Journal of Busines and
Psychology, 13, 375-390.
Van der Maesen, P., Born, M., Van Oudenhoven – Van der Zee, K., & Ruhe, D. (2003).
Situationele beoordelingstest in de schijnwerpers. De Psycholoog, 58-67.
Vey, M.A., Ones, D.S., Hezlett, S.A., Kuncel, N.R., Vannelli, J.R., Briggs, K.H., et al. (2003,
April). Relationships among college grade indices: A meta-analysis examining
temporal influences. Paper presented at the 18th
annual conference of the Society for
Industrial and Organizational Psychology, Orlando, FL.
Walker, D., Cucina, J., & Kannan, S. (2008, April). Lights, camera, action! How to develop a
video-based test. Paper presented at the 23rd
Annual Conference of the Society for
Industrial and Organizational Psychology, San Francisco, CA.
Weekley, J., & Jones, C. (1997). Video-based situational testing. Personnel Psychology, 50,
25-49.
Weekley, J.A., Ployhart, R.E., & Holtz, B.C. (2006). On the development of situational
judgement tests: Issues in item development, scaling and scoring. In Weekley, J.A., &
Ployhart, R.E. (Eds), Situational Judgement Test: Theory, measurement and
application (pp. 157-185). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.
Wernimont, P. F., & Campbell, J. P. (1968). Signs, samples, and criteria. Journal of Applied
Psychology, 52, 372-376.
Videobased Situational Judgment Test
45
BIJLAGES
Bijlage 1. Geschreven situational judgment test: opdrachtbeschrijving 46
Bijlage 2. Geschreven situational judgment test: items 47
Bijlage 3. Geschreven situational judgment test: scoringssleutel 56
Bijlage 4. Planning: oplijsting en aflijning fasen 65
Bijlage 5. Planning: logboek ontwikkeling videogebaseerde SJT 68
Bijlage 6. Selectie uit het script 70
Bijlage 7. Lijst rekwisieten/locaties/acteurs 78
Bijlage 8. Inleidende instructies 80
Bijlage 9. Voorbeeldscript 81
Bijlage 10. Instructies voor de website 83
Videobased Situational Judgment Test
46
Bijlage 1: Geschreven Situational Jugdment Test: Opdrachtbeschrijving
Instructies
Lees alle instructies zorgvuldig voor je begint met antwoorden.
Deze vragenlijst bevat 23 beschrijvingen van probleemsituaties. Lees elke situatie zorgvuldig.
Elke probleemsituatie heeft 4 mogelijke acties die ondernomen kunnen worden om met het
probleem om te gaan. Je moet voor elk probleem een beoordeling maken: beslis welk
alternatief je het meest waarschijnlijk zou kiezen als antwoord op de probleemsituatie.
Beantwoord de volgende vragen zo eerlijk mogelijk. We vragen niet hoe je zou antwoorden
om jezelf in zo’n positief mogelijk daglicht te stellen, maar wel hoe je daadwerkelijk zou
handelen.
Maak geen aantekeningen op het testboekje, maar noteer je antwoorden op het optisch
formulier.
Voorbeeld
Je bent aan het winkelen en plots zie een man die aan het stelen is. Wat zou je doen?
a. niets, en je wil met deze zaak niets te maken hebben.
b. de dief zelf proberen te vatten.
c. de man volgen en de politie bellen van zodra de man ergens op één plaats blijft.
d. de winkel zo snel mogelijk verlaten en de politie bellen.
Als je denkt dat je daadwerkelijk “niets zou doen en met deze zaak niets te maken zou willen
hebben”, dan maak je op het antwoordblad het vakje onder A als volgt zwart:
Kruis slechts één mogelijkheid aan bij elke probleemsituatie. Beantwoord alle items.
Videobased Situational Judgment Test
47
Bijlage 2: Geschreven Situational Judgment Test: Items
1) Tijdens het studeren voor een examen, vind je dan dat je de beste resultaten behaalt
wanneer:
a. je op voorhand begint te plannen en tijd ervoor vrijmaakt.
b. je werkt in een nette en ordelijke omgeving, zelfs wanneer dit betekent
dat je daardoor wat tijd verliest bij het studeren.
c. je wacht tot je echt gemotiveerd bent vooraleer je je bezig houdt met de
belangrijkste studietaken.
d. je tot de laatste dagen wacht om te studeren, omdat je dan beseft dat
je het nu MOET gedaan krijgen.
2) Een professor kondigt tijdens de les aan dat er studenten nodig zijn om als proefpersoon
deel te nemen aan zijn aanstaand onderzoek. Hoewel je geen enkele formele vorm van
extra studiepunten zou krijgen, waardeert de professor wel dat men zich als vrijwilliger
opgeeft. Wat zou je doen?
a. je lessenrooster nakijken en je zo veel uren als je kan aanbieden als vrijwilliger.
b. je lessenrooster nakijken en je voor een enkele uren per week aanbieden als
vrijwilliger wanneer het je persoonlijk goed schikt.
c. beseffen dat je wat van je vrije tijd zou moeten opofferen en beslissen om je niet als
vrijwilliger aan te bieden.
d. je aanbieden om enkel als proefpersoon deel te nemen wanneer je betaald wordt.
3) Tijdens het studeren voor een examen dat zowel lesnota’s als opgegeven hoofdstukken
uit een handboek omvat, vind je dan dat je de beste resultaten behaalt wanneer:
a. je het studeren in onderdelen opdeelt en jezelf test terwijl je
de leerstof doorneemt.
b. je al de leerstof doorneemt en dan jezelf test.
c. je eerst al je lesnota’s en daarna je aantekeningen vanuit het handboek doorneemt.
d. je de hoofdstukken in de loop van het semester leest, maar je
concentreert op de lesnota’s voor het examen.
4) Je bent lid van een groep die een opdracht heeft voltooid. De professor heeft ook reeds de
punten en de feedback gegeven. In zijn bemerkingen valt de professor gericht de groep
Videobased Situational Judgment Test
48
aan voor plagiaat en daardoor werden enkele punten afgetrokken. Je weet dat je als
student moreel verplicht bent om om het even wie plagiaat heeft gepleegd, aan te geven.
Het plagiëren had echter geen betrekking op het deel van het project waar jij persoonlijk
verantwoordelijk voor was. Wat zou je doen?
a. de professor vertellen wie verantwoordelijk was voor het plagiaat.
b. aan de persoon die verantwoordelijk is voor het plagiaat vertellen dat hij/zij contact
zou moeten opnemen met de groepsleider.
c. de situatie bespreken met de groep om samen tot een beslissing te komen over wat
te doen.
d. de punten aanvaarden, leren vanuit de ervaring en jezelf beloven het nooit meer
te laten gebeuren.
5) Je hebt zoveel taken af te maken en zoveel te studeren, dat je het gevoel hebt dat je er
nooit toe zult komen iets af te werken. Je bent echt helemaal bedolven onder het werk.
Wat zou je doen?
a. prioriteiten stellen wat betreft je activiteiten, de stappen die verwezenlijkt moeten
worden voor elke activiteit één voor één opsommen en op systematische wijze door
je werk gaan.
b. beslissen wat je redelijkerwijze kan afwerken en je richten op het afmaken van dat
werk, en de rest van het werk onafgewerkt laten.
c. praten met de professor in kwestie, je situatie uitleggen en uitstel vragen op de
inleveringsdatum.
d. een paar dagen vrijaf nemen samen met je vrienden; daarna terug hard aan het werk
gaan.
6) Wat zou je doen tijdens het studeren voor een examen dat zal handelen over zowel
opgegeven hoofdstukken uit een handboek als lesnota’s?
a. je leest het handboek ten minste éénmaal en je leest je lesnota’s door.
b. je woont de lessen bij en je leest het handboek, daarna besteed je de avond voor het
examen tijd aan het hernemen van de volledige leerstof.
c. je maakt nota’s tijdens de lessen en vanuit je handboek en je herneemt enkel deze
nota’s voor het examen.
d. je integreert de nota’s die je genomen hebt tijdens de lessen en die vanuit het
handboek in een samenvatting waaruit je zal studeren.
Videobased Situational Judgment Test
49
7) Wat zou je doen wanneer je een multiple-choice examen aflegt (nadat je reeds alle vragen
hebt gelezen)?
a. je begint eerst te werken aan de gemakkelijke vragen en je komt daarna terug op de
meer moeilijke vragen.
b. je begint te werken aan de eerste vraag en je werkt verder aan de vragen in de
opgegeven volgorde.
c. je werkt de vragen op willekeurige wijze af, totdat alle vragen zijn beantwoord.
d. je begint eerst te werken aan de moeilijke vragen en je komt daarna terug op de
gemakkelijke vragen.
8) Je bent aan het werken aan een taak en realiseert je dat die taak meer tijd vereist dan je
hebt voorzien. Je hebt uitstel gevraagd, maar de professor in kwestie heeft dit geweigerd.
Je beseft dat deze taak een groot deel van je punten bepaalt. Wat zou je doen?
a. andere methoden bepalen om de taak te maken die minder tijd vereisen, zelfs
wanneer dit betekent dat je wat van de kwaliteit van de taak moet opofferen.
b. raad vragen aan anderen die gelijkaardige problemen hebben ervaren i.v.m. de beste
manier om de zaken aan te pakken.
c. met de professor het volgende bespreken: het belang van de taak en de vooruitgang
die je hebt gemaakt, waarom je precies meer tijd nodig hebt, en hoe het gebrek aan
tijd invloed zal hebben op je werk. Proberen om de professor te overtuigen om je te
geven wat je nodig hebt.
d. de benodigde extra uren eraan besteden, zodat de taak is afgewerkt, zelfs wanneer
dit betekent dat je slaap of vrije tijd moet opofferen.
9) Wat zou je doen wanneer je een examen met open vragen aflegt?
a. je schrijft een kladversie en daarna een definitieve versie voor elke vraag.
b. je schrijft een uitgebreid samenvattend overzicht voor elke vraag in klad vooraleer je
het uitschrijft in een netversie.
c. je schrijft eerst de kernwoorden neer in klad vooraleer je het antwoord uitschrijft.
d. je begint de antwoorden uit te schrijven in een definitieve versie, wetende dat je
indien nodig terug kan gaan om je antwoorden te herwerken.
Videobased Situational Judgment Test
50
10) Je bent een student in een les. Een andere student komt naar je toe en vraagt om je
lesnota’s te lenen, vermits hij niet naar de les kon komen. Je geeft hem de nota’s. Later
die maand gebeurt hetzelfde en opnieuw geef je je nota’s aan de student. Deze situatie
blijft voortduren en uiteindelijk geraak je geërgerd, vermits je klasgenoot zijn eigen werk
zou moeten doen en naar de les zou moeten komen, en niet op jou vertrouwen om voor
hem nota’s te nemen. Hoe ga je te werk?
a. je legt aan de student uit dat je niet begrijpt wat het probleem is om naar de les te
komen, maar dat je zoveel mogelijk hebt geholpen als je kan.
b. je blijft je lesnota’s aan hem uitlenen.
c. je deelt de student mee dat je je lesnota’s nog één maal aan hem zal geven, maar
waarschuwt hem dat het de laatste keer zal zijn.
d. je praat met de student en achterhaalt waarom hij niet naar de les komt, zodat je de
beste manier kan uitzoeken om vanaf nu met de situatie om te gaan.
11) Wat zou je doen wanneer je op de feedbackdag je examen mag inkijken?
a. je kijkt naar de punten die je gekregen hebt en geeft
daarna het examen terug aan de professor.
b. je bekijkt vluchtig het examen om te zien welke vragen je fout
hebt beantwoord.
c. je bekijkt je examen en je probeert uit te zoeken waarom je de vraag fout hebt
beantwoord.
d. je kijkt niet naar het examen.
12) Je werkt met een zeer goede student die onlangs enkele persoonlijke moeilijkheden bij
een groepswerk heeft ervaren. Hij heeft deze problemen enkel aan jou toevertrouwd. Je
hebt een toegenomen werkbelasting omwille van zijn problemen. Je hebt met hem
gepraat over je bezorgdheden en hem op empatische wijze verzocht om zo snel mogelijk
zijn volledige taken te hernemen. Een maand gaat voorbij en je doet nog steeds te veel
van zijn werk. Je ziet in dat zijn werk het merendeel van je vrije tijd in beslag neemt. Wat
zou je doen?
a. je deelt je medestudent mee dat je zijn problemen begrijpt, maar dat je niet langer
in staat bent om zijn werk te verrichten.
b. je vraagt je medestudent of hij liever heeft dat jij iemand anders zou zoeken om
mee samen te werken.
Videobased Situational Judgment Test
51
c. je blijft je medestudent inlichten over je bezorgdheden, totdat hij zijn volledige
taken herneemt.
d. je praat met de professor in kwestie over de situatie.
13) Je krijgt een taak die ingeleverd moet worden op dezelfde dag dat je een zeer moeilijk
examen van een andere vak dient te maken. Wat zou je doen?
a. je overlegt met de professor die de taak gaf en vraagt om uitstel.
b. je aanvaardt dat je de taak te laat zult indienen en dat er daardoor punten zullen
worden afgetrokken.
c. je maakt de taak de avond voordien af, waardoor je wat van de kwaliteit moet
opofferen, maar toch op tijd indient.
d. je maakt de taak op voorhand af, zodat je de avond voordien de tijd kan besteden
aan studeren voor je examen.
14) Je hebt problemen met één van je vakken. Het examen nadert snel en je wil hierop goede
punten halen, vooral omwille van je lage punten op een ander vak waarvan je reeds
examen hebt afgelegd. Je hebt tot nu toe hard gewerkt om een goed totaal gemiddelde
(over al je vakken samen) en een hoge graad te behouden en je wil die graad niet in
gevaar brengen. Wat zou je doen?
a. je blijft studeren en geeft niet op, zelfs wanneer je geconfronteerd wordt met
moeilijke gedeelten.
b. je maakt een afspraak en raadpleegt de professor om jou te helpen bij het studeren
en bij het doornemen van de leerstof.
c. je maakt meer tijd vrij om te studeren voor dit vak dan dat je hebt gedaan voor het
andere vak.
d. je aanvaardt dat je niet altijd uitstekende punten kunt halen en concentreert je op
andere vakken waarop je het zeker goed zult doen.
15) Op de eerste lesdag geeft een professor te kennen dat de les drie maal per week zal
plaatsvinden. De lesvorm zal bestaan uit een uiteenzetting tijdens de eerste helft, gevolgd
door een discussie en het beantwoorden van vragen op de onderwerpen tijdens de tweede
helft. Voor elke uiteenzetting is er ook een opgegeven overeenkomstig hoofdstuk in een
handboek. Wat zou je doen?
Videobased Situational Judgment Test
52
a. je woont de uiteenzettingen bij en leest dan vóór de examens de opgegeven
hoofdstukken uit het handboek.
b. je leest het opgegeven hoofdstuk vóór elke les.
c. je leest het opgegeven hoofdstuk na elke les.
d. je leest de hoofdstukken uit het handboek niet.
16) Je hebt een vijftal vakken dit semester en voor al deze vakken zijn er examens en enkele
taken. Wat zou je doen in de loop van het semester?
a. je wacht tot de dag voordat iets moet ingeleverd worden en werkt er dan aan tot het
af is.
b. je besteedt iedere dag wat tijd aan studeren, zodat het werk zich niet opstapelt.
c. een paar dagen voordat een taak moet ingeleverd worden begin je er elke dag een
beetje aan te werken.
d. je maakt je er geen zorgen over en je bekijkt de zaken van dag tot dag.
17) Je bent aan het werken aan een taak waarvoor je wat opzoekwerk moet doen en veel moet
lezen samen met een andere student. Je neemt een pauze en als je teruggekomt ontdek je
dat op je bureau de wetenschappelijke artikels door elkaar liggen. Je medestudent
“reorganiseerde” blijkbaar alles op je bureau en nu kan je niet meer zeggen wat je al
gelezen hebt en wat je nog moet lezen. Je bent kwaad. Wat zou je doen?
a. een paar minuten afkoelen en daarna aan de student vragen om je te vertellen hoe
zij je bureau heeft “gereorganiseerd”.
b. beseffen dat het jouw schuld is, omdat je de papieren achteloos op je bureau
achterliet.
c. de student meedelen dat je het niet op prijs stelt en haar zeggen dat je in de
toekomst wil dat zij van je bureau afblijft.
d. ervan uitgaan dat de student geen slechte bedoelingen had en zelf proberen om de
wetenschappelijke artikels te hersorteren.
18) Je kotgenoot heeft problemen om te studeren voor een examen voor een vak waarin jij
goed bent. Je hebt je taken voor die avond afgewerkt en je was van plan om samen met
een aantal vrienden uit eten te gaan. Je beseft echter dat je kotgenoot je voordien heeft
geholpen met enkele van jouw taken. Je kotgenoot vraagt je om hulp bij het studeren voor
het examen. Wat zou je doen?
Videobased Situational Judgment Test
53
a. je legt uit dat je reeds plannen hebt gemaakt, maar dat je samen met hem de leerstof
nog eens zal hernemen wanneer je thuiskomt na het eten.
b. je belt je vrienden op en je zegt het etentje af. In de plaats daarvan blijf je thuis om
je kotgenoot te helpen en om samen met hem te eten.
c. je stelt je plannen om te gaan eten uit en besteedt de nodige tijd aan het helpen van
je kotgenoot. Daarna ga je uit eten.
d. je legt uit dat je hem graag zou hebben geholpen, maar dat je reeds plannen hebt die
je niet kan afzeggen.
19) Je krijgt een laatste en beslissende taak opgegeven die op het einde van het semester moet
binnengebracht worden. De professor beveelt je een planning aan om doorheen het
semester te volgen, met regelmatige tussentijdse herzieningen door de professor van
verschillende onderdelen van de taak. Toch is de uiteindelijke versie van de taak het
enige waarop je punten zal krijgen. Wat zou je doen?
a. je wacht tot het einde van het semester om de taak te schrijven.
b. je blijft bij de planning die de professor heeft voorgesteld.
c. je werkt in de loop van het semester regelmatig aan de taak, maar volgt niet
noodzakelijk de planning van de professor.
d. je schrijft de taak tijdens de eerste maand van het semester, zodat het afgewerkt is
en je je geen zorgen meer hoeft te maken.
20) Je krijgt de opdracht een rapport te schrijven over een onderzoek dat werd uitgevoerd
tijdens de les. Je weet niet hoe je bepaalde delen van het rapport moet voorbereiden. Wat
zou je doen als eerste stap om dit te achterhalen?
a. je vraagt het aan de professor in kwestie.
b. je schrijft het rapport zo goed als je kan zelf uit.
c. je zoekt relevante documentatie en vroegere voorbeeldrapporten op om te bepalen
hoe je het jouwe gaat schrijven.
d. je gaat na of studenten, die dit vak reeds hebben gehad, ook een rapport hebben
moeten schrijven en je vraagt hen hoe je het aanpakt.
21) Tijdens de eerste les overloopt de professor de hoofdstukken van de cursus en vermeldt
dat er een examen zal zijn over zijn vak. De professor bespreekt tijdens de les wat dit
Videobased Situational Judgment Test
54
examen zal omvatten en deelt mee dat het examen in de eerste plaats over de lesnota’s zal
gaan. Wat zou je doen?
a. je neemt elk hoofdstuk van de cursus in de loop van het semester vlug door, maar
studeert uitsluitend vanuit je lesnota’s.
b. je leest en herneemt elk hoofdstuk van de cursus en studeert tevens vanuit je
lesnota’s voor je examen.
c. je gebruikt enkel de lesnota’s bij het studeren voor het examen.
d. je richt je op de hoofdstukken van de cursus, erop vertrouwend dat de professor het
boek gebruikt als basis voor de uiteenzettingen.
22) Je dient met drie andere mensen aan een groepsopdracht te werken. Het is de avond
voordat de opdracht moet ingeleverd worden en er moeten nog een aantal kleinigheden
worden afgewerkt. Jullie zijn humeurig en moe aan het worden, maar er is nog steeds een
volledig uur werk nodig voordat de opdracht is afgewerkt. Daarenboven realiseren jullie
je dat de punten op deze opdracht voor jullie het verschil kunnen maken tussen een A en
een B op dit vak. Wat zou je doen?
a. de groep erop wijzen dat iedereen moe is en voorstellen om het project zo snel
mogelijk af te krijgen.
b. kalm blijven en je richten op de nog af te werken taken, terwijl je de anderen laat
ruzie maken als ze dat willen.
c. aanbieden om de laatste taken op jou te nemen, zodat de anderen naar huis kunnen
gaan.
d. besluiten dat de punten op deze opdracht niet zo belangrijk zijn en beslissen om
naar huis te gaan.
23) In het begin van het semester vraagt een professor een vrijwilliger om na elke les de
lesnota’s uit te typen voor een dove student. De taak zou inhouden dat je de lesnota’s
uittypt en ze vóór de volgende les via email doorstuurt naar de student. Je wordt er niet
voor betaald. Wat zou je doen?
a. je als vrijwilliger aanbieden om je nota’s te typen.
b. je in het begin van het semester aanbieden als vrijwilliger, maar halverwege het
semester beseffen dat je het niet meer wil doen en ermee stoppen.
Videobased Situational Judgment Test
55
c. beseffen dat het te veel tijd in beslag zal nemen, waardoor je je niet als vrijwilliger
aanbiedt.
d. je als vrijwilliger aanbieden om de helft van de nota’s te typen als de professor
iemand kan vinden om de taak met je te delen.
Videobased Situational Judgment Test
56
Bijlage 3: Geschreven Situational Judgment Test: Scoringssleutel
1) Tijdens het studeren voor een examen, vind je dan dat je de beste resultaten behaalt
wanneer:
a. je op voorhand begint te plannen en tijd ervoor vrijmaakt. (+1)
b. je werkt in een nette en ordelijke omgeving, zelfs wanneer dit betekent
dat je daardoor wat tijd verliest bij het studeren. (0)
c. je wacht tot je echt gemotiveerd bent vooraleer je je bezig houdt met de
belangrijkste studietaken. (0)
d. je tot de laatste dagen wacht om te studeren, omdat je dan beseft dat
je het nu MOET gedaan krijgen. (-1)
2) Een professor kondigt tijdens de les aan dat er studenten nodig zijn om als proefpersoon
deel te nemen aan zijn aanstaand onderzoek. Hoewel je geen enkele formele vorm van
extra studiepunten zou krijgen, waardeert de professor wel dat men zich als vrijwilliger
opgeeft. Wat zou je doen?
a. je lessenrooster nakijken en je zo veel uren als je kan aanbieden als vrijwilliger. (0)
b. je lessenrooster nakijken en je voor een enkele uren per week aanbieden als
vrijwilliger wanneer het je persoonlijk goed schikt. (+1)
c. beseffen dat je wat van je vrije tijd zou moeten opofferen en beslissen om je niet als
vrijwilliger aan te bieden. (-1)
d. je aanbieden om enkel als proefpersoon deel te nemen wanneer je betaald wordt. (0)
3) Tijdens het studeren voor een examen dat zowel lesnota’s als opgegeven hoofdstukken
uit een handboek omvat, vind je dan dat je de beste resultaten behaalt wanneer:
a; je het studeren in onderdelen opdeelt en jezelf test terwijl je
de leerstof doorneemt. (+1)
b. je al de leerstof doorneemt en dan jezelf test. (0)
c. je eerst al je lesnota’s en daarna je aantekeningen vanuit het handboek doorneemt.
(0)
d. je de hoofdstukken in de loop van het semester leest, maar je
concentreert op de lesnota’s voor het examen. (-1)
Videobased Situational Judgment Test
57
4) Je bent lid van een groep die een opdracht heeft voltooid. De professor heeft ook reeds de
punten en de feedback gegeven. In zijn bemerkingen valt de professor gericht de groep
aan voor plagiaat en daardoor werden enkele punten afgetrokken. Je weet dat je als
student moreel verplicht bent om om het even wie plagiaat heeft gepleegd, aan te geven.
Het plagiëren had echter geen betrekking op het deel van het project waar jij persoonlijk
verantwoordelijk voor was. Wat zou je doen?
a. de professor vertellen wie verantwoordelijk was voor het plagiaat. (-1)
b. aan de persoon die verantwoordelijk is voor het plagiaat vertellen dat hij/zij contact
zou moeten opnemen met de groepsleider. (0)
c. de situatie bespreken met de groep om samen tot een beslissing te komen over wat
te doen.(+1)
d. de punten aanvaarden, leren vanuit de ervaring en jezelf beloven het nooit meer te
laten gebeuren. (0)
5) Je hebt zoveel taken af te maken en zoveel te studeren, dat je het gevoel hebt dat je er
nooit toe zult komen iets af te werken. Je bent echt helemaal bedolven onder het werk.
Wat zou je doen?
a. prioriteiten stellen wat betreft je activiteiten, de stappen die verwezenlijkt moeten
worden voor elke activiteit één voor één opsommen en op systematische wijze door
je werk gaan. (+1)
b. beslissen wat je redelijkerwijze kan afwerken en je richten op het afmaken van dat
werk, en de rest van het werk onafgewerkt laten.(0)
c. praten met de professor in kwestie, je situatie uitleggen en uitstel vragen op de
inleveringsdatum. (0)
d. een paar dagen vrijaf nemen samen met je vrienden; daarna terug hard aan het werk
gaan.(-1)
6) Wat zou je doen tijdens het studeren voor een examen dat zal handelen over zowel
opgegeven hoofdstukken uit een handboek als lesnota’s?
a. je leest het handboek ten minste éénmaal en je leest je lesnota’s door. (-1)
b. je woont de lessen bij en je leest het handboek, daarna besteed je de avond voor het
examen tijd aan het hernemen van de volledige leerstof. (0)
c. je maakt nota’s tijdens de lessen en vanuit je handboek en je herneemt enkel deze
nota’s voor het examen. (0)
Videobased Situational Judgment Test
58
d. je integreert de nota’s die je genomen hebt tijdens de lessen en die vanuit het
handboek in een samenvatting waaruit je zal studeren. (+1)
7) Wat zou je doen wanneer je een multiple-choice examen aflegt (nadat je reeds alle vragen
hebt gelezen)?
a. je begint eerst te werken aan de gemakkelijke vragen en je komt daarna terug op de
meer moeilijke vragen. (+1)
b. je begint te werken aan de eerste vraag en je werkt verder aan de vragen in de
opgegeven volgorde. (0)
c. je werkt de vragen op willekeurige wijze af, totdat alle vragen zijn beantwoord. (0)
d. je begint eerst te werken aan de moeilijke vragen en je komt daarna terug op de
gemakkelijke vragen. (-1)
8) Je bent aan het werken aan een taak en realiseert je dat die taak meer tijd vereist dan je
hebt voorzien. Je hebt uitstel gevraagd, maar de professor in kwestie heeft dit geweigerd.
Je beseft dat deze taak een groot deel van je punten bepaalt. Wat zou je doen?
a. andere methoden bepalen om de taak te maken die minder tijd vereisen, zelfs
wanneer dit betekent dat je wat van de kwaliteit van de taak moet opofferen. (0)
b. raad vragen aan anderen die gelijkaardige problemen hebben ervaren i.v.m. de beste
manier om de zaken aan te pakken. (0)
c. met de professor het volgende bespreken: het belang van de taak en de vooruitgang
die je hebt gemaakt, waarom je precies meer tijd nodig hebt, en hoe het gebrek aan
tijd invloed zal hebben op je werk. Proberen om de professor te overtuigen om je te
geven wat je nodig hebt. (-1)
d. de benodigde extra uren eraan besteden, zodat de taak is afgewerkt, zelfs wanneer
dit betekent dat je slaap of vrije tijd moet opofferen. (+1)
9) Wat zou je doen wanneer je een examen met open vragen aflegt?
a. je schrijft een kladversie en daarna een definitieve versie voor elke vraag. (-1)
b. je schrijft een uitgebreid samenvattend overzicht voor elke vraag in klad vooraleer
je het uitschrijft in een netversie. (0)
c. je schrijft eerst de kernwoorden neer in klad vooraleer je het antwoord uitschrijft.
(+1)
Videobased Situational Judgment Test
59
d. je begint de antwoorden uit te schrijven in een definitieve versie, wetende dat je
indien nodig terug kan gaan om je antwoorden te herwerken. (0)
10) Je bent een student in een les. Een andere student komt naar je toe en vraagt om je
lesnota’s te lenen, vermits hij niet naar de les kon komen. Je geeft hem de nota’s. Later
die maand gebeurt hetzelfde en opnieuw geef je je nota’s aan de student. Deze situatie
blijft voortduren en uiteindelijk geraak je geërgerd, vermits je klasgenoot zijn eigen werk
zou moeten doen en naar de les zou moeten komen, en niet op jou vertrouwen om voor
hem nota’s te nemen. Hoe ga je te werk?
a. je legt aan de student uit dat je niet begrijpt wat het probleem is om naar de les te
komen, maar dat je zoveel mogelijk hebt geholpen als je kan.(0)
b. je blijft je lesnota’s aan hem uitlenen. (-1)
c. je deelt de student mee dat je je lesnota’s nog één maal aan hem zal geven, maar
waarschuwt hem dat het de laatste keer zal zijn. (0)
d. je praat met de student en achterhaalt waarom hij niet naar de les komt, zodat je de
beste manier kan uitzoeken om vanaf nu met de situatie om te gaan. (+1)
11) Wat zou je doen wanneer je op de feedbackdag je examen mag inkijken?
a. je kijkt naar de punten die je gekregen hebt en geeft
daarna het examen terug aan de professor. (0)
b. je bekijkt vluchtig het examen om te zien welke vragen je fout
hebt beantwoord. (0)
c. e bekijkt je examen en je probeert uit te zoeken waarom je de vraag fout hebt
beantwoord. (+1)
d. je kijkt niet naar het examen. (-1)
12) Je werkt met een zeer goede student die onlangs enkele persoonlijke moeilijkheden bij
een groepswerk heeft ervaren. Hij heeft deze problemen enkel aan jou toevertrouwd. Je
hebt een toegenomen werkbelasting omwille van zijn problemen. Je hebt met hem
gepraat over je bezorgdheden en hem op empatische wijze verzocht om zo snel mogelijk
zijn volledige taken te hernemen. Een maand gaat voorbij en je doet nog steeds te veel
van zijn werk. Je ziet in dat zijn werk het merendeel van je vrije tijd in beslag neemt. Wat
zou je doen?
Videobased Situational Judgment Test
60
a. je deelt je medestudent mee dat je zijn problemen begrijpt, maar dat je niet langer in
staat bent om zijn werk te verrichten. (+1)
b. je vraagt je medestudent of hij liever heeft dat jij iemand anders zou zoeken om
mee samen te werken. (-1)
c. je blijft je medestudent inlichten over je bezorgdheden, totdat hij zijn volledige
taken herneemt. (0)
d. je praat met de professor in kwestie over de situatie. (0)
13) Je krijgt een taak die ingeleverd moet worden op dezelfde dag dat je een zeer moeilijk
examen van een andere vak dient te maken. Wat zou je doen?
a. je overlegt met de professor die de taak gaf en vraagt om uitstel. (0)
b. je aanvaardt dat je de taak te laat zult indienen en dat er daardoor punten zullen
worden afgetrokken. (-1)
c. je maakt de taak de avond voordien af, waardoor je wat van de kwaliteit moet
opofferen, maar toch op tijd indient. (0)
d. je maakt de taak op voorhand af, zodat je de avond voordien de tijd kan besteden
aan studeren voor je examen. (+1)
14) Je hebt problemen met één van je vakken. Het examen nadert snel en je wil hierop goede
punten halen, vooral omwille van je lage punten op een ander vak waarvan je reeds
examen hebt afgelegd. Je hebt tot nu toe hard gewerkt om een goed totaal gemiddelde
(over al je vakken samen) en een hoge graad te behouden en je wil die graad niet in
gevaar brengen. Wat zou je doen?
a. je blijft studeren en geeft niet op, zelfs wanneer je geconfronteerd wordt met
moeilijke gedeelten. (+1)
b. je maakt een afspraak en raadpleegt de professor om jou te helpen bij het studeren
en bij het doornemen van de leerstof. (0)
c. je maakt meer tijd vrij om te studeren voor dit vak dan dat je hebt gedaan voor het
andere vak. (0)
d. je aanvaardt dat je niet altijd uitstekende punten kunt halen en concentreert je op
andere vakken waarop je het zeker goed zult doen. (-1)
15) Op de eerste lesdag geeft een professor te kennen dat de les drie maal per week zal
plaatsvinden. De lesvorm zal bestaan uit een uiteenzetting tijdens de eerste helft, gevolgd
Videobased Situational Judgment Test
61
door een discussie en het beantwoorden van vragen op de onderwerpen tijdens de tweede
helft. Voor elke uiteenzetting is er ook een opgegeven overeenkomstig hoofdstuk in een
handboek. Wat zou je doen?
a. je woont de uiteenzettingen bij en leest dan vóór de examens de opgegeven
hoofdstukken uit het handboek. (0)
b. je leest het opgegeven hoofdstuk vóór elke les. (+1)
c. je leest het opgegeven hoofdstuk na elke les. (0)
d. je leest de hoofdstukken uit het handboek niet. (-1)
16) Je hebt een vijftal vakken dit semester en voor al deze vakken zijn er examens en enkele
taken. Wat zou je doen in de loop van het semester?
a. je wacht tot de dag voordat iets moet ingeleverd worden en werkt er dan aan tot het
af is. (0)
b. je besteedt iedere dag wat tijd aan studeren, zodat het werk zich niet opstapelt. (+1)
c. een paar dagen voordat een taak moet ingeleverd worden begin je er elke dag een
beetje aan te werken. (0)
d. je maakt je er geen zorgen over en je bekijkt de zaken van dag tot dag. (-1)
17) Je bent aan het werken aan een taak waarvoor je wat opzoekwerk moet doen en veel moet
lezen samen met een andere student. Je neemt een pauze en als je teruggekomt ontdek je
dat op je bureau de wetenschappelijke artikels door elkaar liggen. Je medestudent
“reorganiseerde” blijkbaar alles op je bureau en nu kan je niet meer zeggen wat je al
gelezen hebt en wat je nog moet lezen. Je bent kwaad. Wat zou je doen?
a. een paar minuten afkoelen en daarna aan de student vragen om je te vertellen hoe zij
je bureau heeft “gereorganiseerd”. (+1)
b. beseffen dat het jouw schuld is, omdat je de papieren achteloos op je bureau
achterliet. (-1)
c. de student meedelen dat je het niet op prijs stelt en haar zeggen dat je in de
toekomst wil dat zij van je bureau afblijft. (0)
d. ervan uitgaan dat de student geen slechte bedoelingen had en zelf proberen om de
wetenschappelijke artikels te hersorteren. (0)
18) Je kotgenoot heeft problemen om te studeren voor een examen voor een vak waarin jij
goed bent. Je hebt je taken voor die avond afgewerkt en je was van plan om samen met
Videobased Situational Judgment Test
62
een aantal vrienden uit eten te gaan. Je beseft echter dat je kotgenoot je voordien heeft
geholpen met enkele van jouw taken. Je kotgenoot vraagt je om hulp bij het studeren voor
het examen. Wat zou je doen?
a. je legt uit dat je reeds plannen hebt gemaakt, maar dat je samen met hem de leerstof
nog eens zal hernemen wanneer je thuiskomt na het eten. (0)
b. je belt je vrienden op en je zegt het etentje af. In de plaats daarvan blijf je thuis om
je kotgenoot te helpen en om samen met hem te eten. (0)
c. je stelt je plannen om te gaan eten uit en besteedt de nodige tijd aan het helpen van
je kotgenoot. Daarna ga je uit eten. (+1)
d. je legt uit dat je hem graag zou hebben geholpen, maar dat je reeds plannen hebt die
je niet kan afzeggen. (-1)
19) Je krijgt een laatste en beslissende taak opgegeven die op het einde van het semester moet
binnengebracht worden. De professor beveelt je een planning aan om doorheen het
semester te volgen, met regelmatige tussentijdse herzieningen door de professor van
verschillende onderdelen van de taak. Toch is de uiteindelijke versie van de taak het
enige waarop je punten zal krijgen. Wat zou je doen?
a. je wacht tot het einde van het semester om de taak te schrijven. (-1)
b. je blijft bij de planning die de professor heeft voorgesteld. (+1)
c. je werkt in de loop van het semester regelmatig aan de taak, maar volgt niet
noodzakelijk de planning van de professor. (0)
d. je schrijft de taak tijdens de eerste maand van het semester, zodat het afgewerkt is
en je je geen zorgen meer hoeft te maken. (0)
20) Je krijgt de opdracht een rapport te schrijven over een onderzoek dat werd uitgevoerd
tijdens de les. Je weet niet hoe je bepaalde delen van het rapport moet voorbereiden. Wat
zou je doen als eerste stap om dit te achterhalen?
a. je vraagt het aan de professor in kwestie. (0)
b. je schrijft het rapport zo goed als je kan zelf uit. (-1)
c. je zoekt relevante documentatie en vroegere voorbeeldrapporten op om te bepalen
hoe je het jouwe gaat schrijven. (+1)
d. je gaat na of studenten, die dit vak reeds hebben gehad, ook een rapport hebben
moeten schrijven en je vraagt hen hoe je het aanpakt. (0)
Videobased Situational Judgment Test
63
21) Tijdens de eerste les overloopt de professor de hoofdstukken van de cursus en vermeldt
dat er een examen zal zijn over zijn vak. De professor bespreekt tijdens de les wat dit
examen zal omvatten en deelt mee dat het examen in de eerste plaats over de lesnota’s zal
gaan. Wat zou je doen?
a. je neemt elk hoofdstuk van de cursus in de loop van het semester vlug door, maar
studeert uitsluitend vanuit je lesnota’s. (0)
b. je leest en herneemt elk hoofdstuk van de cursus en studeert tevens vanuit je
lesnota’s voor je examen. (+1)
c. je gebruikt enkel de lesnota’s bij het studeren voor het examen. (0)
d. je richt je op de hoofdstukken van de cursus, erop vertrouwend dat de professor het
boek gebruikt als basis voor de uiteenzettingen. (-1)
22) Je dient met drie andere mensen aan een groepsopdracht te werken. Het is de avond
voordat de opdracht moet ingeleverd worden en er moeten nog een aantal kleinigheden
worden afgewerkt. Jullie zijn humeurig en moe aan het worden, maar er is nog steeds een
volledig uur werk nodig voordat de opdracht is afgewerkt. Daarenboven realiseren jullie
je dat de punten op deze opdracht voor jullie het verschil kunnen maken tussen een A en
een B op dit vak. Wat zou je doen?
a. de groep erop wijzen dat iedereen moe is en voorstellen om het project zo snel
mogelijk af te krijgen. (+1)
b. kalm blijven en je richten op de nog af te werken taken, terwijl je de anderen laat
ruzie maken als ze dat willen. (0)
c. aanbieden om de laatste taken op jou te nemen, zodat de anderen naar huis kunnen
gaan. (0)
d. besluiten dat de punten op deze opdracht niet zo belangrijk zijn en beslissen om
naar huis te gaan. (-1)
23) In het begin van het semester vraagt een professor een vrijwilliger om na elke les de
lesnota’s uit te typen voor een dove student. De taak zou inhouden dat je de lesnota’s
uittypt en ze vóór de volgende les via email doorstuurt naar de student. Je wordt er niet
voor betaald. Wat zou je doen?
a. je als vrijwilliger aanbieden om je nota’s te typen. (0)
Videobased Situational Judgment Test
64
b. je in het begin van het semester aanbieden als vrijwilliger, maar halverwege het
semester beseffen dat je het niet meer wil doen en ermee stoppen. (-1)
c. beseffen dat het te veel tijd in beslag zal nemen, waardoor je je niet als vrijwilliger
aanbiedt. (0)
d. je als vrijwilliger aanbieden om de helft van de nota’s te typen als de professor
iemand kan vinden om de taak met je te delen. (+1)
Videobased Situational Judgment Test
65
Bijlage 4: Planning: Oplijsting en Aflijning Fasen
Planning
- Duidelijke planning met alle ontwikkelingsfasen opstellen. In deze planning kan best
een tijdslijn worden geïntegreerd.
- Bepaling budget: ontwikkeling, onverwachtse kosten, eenmalige implementatiekosten
- Ontwikkelingsstrategie: waar? wie? interne ontwikkeling, uitbesteden van
ontwikkeling, combinatie?
Ontwerp van Scripts
- Omzetting itemstammen en –opties
• Testontwikkelaar: doel en inhoud
• Schrijver: giet doelen in scripts
• Producer: zorgt dat gefilmd kan worden
• Domeinexpert: script realistisch en overeenstemming functie
- Wat is een goed script?
• Visuele elementen: omschrijven welke acties en wat te zien
• Geluidselementen: dialogen
• Locatie
• Opzet: waar acteurs en attributen, welke bewegingen acteurs
• Realistisch script: welke attributen en achtergrondinfo nodig
• Twee vragen: 1) Wat maken deelnemers mee/wat zien ze?
2) Komt dit overeen met de doelen van de SJT?
- Twee soorten scripts:
• Split screen-formaat: linkerkolom visuele elementen,
rechterkolom geluidselementen
• Standaardformaat: filmscript dat visuele en geluidselementen
combineert
- Review script – twee mogelijkheden:
• Domeinexperten onafhankelijke van elkaar, dan
groepsvergadering (voorlezen script en verduidelijkihng positie
acteurs -> helpt experten script te visualiseren)
Videobased Situational Judgment Test
66
• Storyboard: opeenvolging beelden die locatie, dialoog en
beweging tonen -> hulp voor producer tijdens het filmen
=> Verandering script op grond van finale veranderingen en
suggesties van domeinexperten
- Testveiligheid
Preproductie: Selecteren van een Goede Locatie
- Locatie: studio, andere plaatsen
- Locatieverantwoordelijke en producer doorlopen scripts, bekijken opnamelocaties en –
opties, gaan mogelijke hindernissen na (geluidshonder, …), en vragen toestemming
filmen indien nodig.
- Logistieke aspecten: kleedkamers voor acteurs, opslagruimte voor rekwisieten,
vergaderruimte, voldoende stroomtoevoer voor camera’s en belichting
Preproductie: Selecteren van Acteurs
- Professionele acteurs:
• Castingbureaus of toneelgezelschappen
• Specialisatie acteurs in overeenstemming met script
• Waakzaam voor overacting
• Kosten: 30-45% van volledige productiebudget
- Niet-professionele acteurs:
• Personen die geen acteercarrière beogen, weinig/geen ervaring
• Bijv huidige medewerkers aan het script of vrijwilligers
- Aandachtspunten:
• Audities houden
• Demografische balans: verschillende demografische groepen
wisselen positieve en negatieve eigenschappen af
• Vermijdt het gebruik van stereotypen
Preproductie: Rekwisieten en Kleding
- Scripts grondig doorlichten
- Beroep op domeinexperten om realistische en functiespecifieke rekwisieten te vinden
- Waar rekwisieten te verkrijgen: bijv tweedehandswinkel, …
Videobased Situational Judgment Test
67
- Geschikte kleding kiezen voor de acteurs
Preproductie: Ontwikkeling van het Opnameschema
- Moet gedetailleerd zijn en tot in de puntjes uitgewerkt
Video-opnamen
- Verschillende functies
- Accuraat logboek: begin- en eindpunt scènes, opnamenummers en opnamekwaliteit
- Opnamen op geregelde tijdstippen bekijken om zeker te zijn dat filmmateriaal goed is
- Domeinexpert aanwezig om accuraatheid en realisme van de opnamen te controleren
Postproductie
- Gebeurt in de montagekamer
- Stemmen-buiten-beeld: testinstructies, presentator, verteller
- Illustraties: ondertiteling scènes, timer met klokje
- Intro’s, afsluiters en overgangen nodig
- Montage van ruw-filmmateriaal in vier fasen:
• Digitaliseren van relevant ruw filmmateriaal o.b.v. logboek
• Digitaliseren minder belangrijk filmmateriaal (‘B-roll’)
• Montage ruw filmmateriaal om beste opnamen samen te stellen
• Toevoegen van vertellers, effecten, figuren enz. om de
voorlopige versie van de scène te maken
Lievens, F., & Schollaert, E. (2008). Naar een nieuwe generatie assessments: Een open boek
voor situationele tests
Videobased Situational Judgment Test
68
Bijlage 5: Planning: Logboek Ontwikkeling Videogebaseerde Situational Judgment Test
Logboek
2007-2008: Literatuurstudie
2008-2009: Ontwikkeling video-SJT
september – november: planning: ontwikkeling tijdschema
december – februari: ontwerpen van scripts: brainstormen over scripts
scripts voorleggen aan SME’s
groepsbijeenkomst
aanpassingen verrichten
maart – april: preproductie: opleiding cameravoering
opleiding montageprogramma
opleiding inspreken voice-overs
zoektocht naar rekwisieten, locaties en
acteurs
april – mei: video-opnamen (zie hieronder voor opnameschema)
Opnameschema
Opdeling
te filmen 1,3, 5,7, 9, 11, ( Liesbeth)
te filmen 6 ( David)
te filmen 10,17,18 ( David, Liesbeth)
te filmen 2, 12(d), 20, ( David, Marnix) te filmen 13, 15, 19,21, 23 ( Liesbeth, Marnix)
te filmen 4 ( Marnix, David, Liesbeth, en figurant)
te filmen 22 ( David, Liesbeth, 2 figuranten)
te filmen 8, 12,(a,b,c), 14, 16 ( David)
Videobased Situational Judgment Test
69
te filmen 1, 5, 11, 17 ( Liesbeth, Liesbeth en David studeerkamer)
Afgesproken Data
7 april – 10 april: Voorbereidingen filmen op locatie studeerkamers en kot
Vrijdag 10 april: Script 1,5,11 ( Liesbeth, studeerkamer)
Zaterdag 11 april: Script 17 ( Liesbeth versus David)
Maandag 13 april: Script 3 en 6 en 18 ( Liesbeth, David , kot)
Dinsdag 14 april: Script 8, 12 ( a, b, c), 14, 16 ( David, studeerkamer)
14 april – 18 april: Voorbereidingen filmen op locatie gesimuleerd auditorium
Zaterdag 18 april: Scriptt 2, 12(d), 15, 19, 20, 21, 23 ( Marnix, Liesbeth, David,
auditorium, bureau prof)
Zondag 19 april: Script 4, 7,9, 10,13, 22 ( Marnix, Liesbeth, David ,auditorium)
Inhaalweekend 25-26 april
mei – juni: postproductie: montage 1
tekstversie 1
inspreken voice-overs
grondige analyse, knelpunten detecteren
juli – augustus : oplossen problemen
montage 2, definitieve versie
tekstversie 2
ontwikkeling website
Videobased Situational Judgment Test
70
Bijlage 6: Selectie uit de Scripts
1) Tijdens het studeren voor een examen, vind je dan dat je de beste resultaten behaalt
wanneer:
a. je op voorhand begint te plannen en tijd ervoor vrijmaakt.
b. je werkt in een nette en ordelijke omgeving, zelfs wanneer dit betekent
dat je daardoor wat tijd verliest bij het studeren.
c. je wacht tot je echt gemotiveerd bent vooraleer je je bezig houdt met de
belangrijkste studietaken.
d. je tot de laatste dagen wacht om te studeren, omdat je dan beseft dat
je het nu MOET gedaan krijgen.
St: Elise
De scene stelt een studeerkamer voor. De examenperiode kondigt zich aan. Elise vraagt zich
af hoe ze de beste resultaten kan behalen.
a) Elise zit aan haar bureau en bladert door haar agenda.
St: Zij denkt het volgende: Ik ga voor het examen op voorhand beginnen plannen
zodat ik tijd ervoor kan vrijmaken.
b) Elise zit aan haar bureau.
St: Zij denkt het volgende: Ik ga eerst alles opruimen. Ik kan niet tegen wanorde. Het
is niet erg dat ik hierdoor wat tijd verlies.
Ze neemt boeken van haar bureau en plaatst ze in de kast.
c) Elise zit aan haar bureau.
St: Zij denkt het volgende: Ik ga wachten met studeren tot ik meer motivatie heb.
Videobased Situational Judgment Test
71
Ze legt haar mappen opzij. Ze neemt een tijdschrift om te lezen.
d) Elise zit aan haar bureau.
St: Zij denkt het volgende: Ik ga nog niet studeren. Ik ervaar nog geen enkele druk.
Het examen is nog niet voor de eerste dagen.
Ze legt haar mappen opzij. Ze neemt een tijdschrift om te lezen.
2) Een professor kondigt tijdens de les aan dat er studenten nodig zijn om als
proefpersoon deel te nemen aan zijn aanstaand onderzoek. Hoewel je geen enkele
formele vorm van extra studiepunten zou krijgen, waardeert de professor wel dat
men zich als vrijwilliger opgeeft. Wat zou je doen?
a. je lessenrooster nakijken en je zo veel uren als je kan aanbieden als
vrijwilliger.
b. je lessenrooster nakijken en je voor een enkele uren per week aanbieden als
vrijwilliger wanneer het je persoonlijk goed schikt.
c. beseffen dat je wat van je vrije tijd zou moeten opofferen en beslissen om je
niet als vrijwilliger aan te bieden.
d. je aanbieden om enkel als proefpersoon deel te nemen wanneer je betaald
wordt.
Pr: Professor
St: Dirk
De prof staat vooraan in het auditorium of leslokaal. Je ziet enkel de prof. Er wordt geen shot
getoond van het volledige leslokaal of auditorium.
Pr: Beste studenten. Vooraleer de les te starten, wil ik eerst even een huishoudelijke
mededeling meegeven. Ik ga tijdens ons kwartiertje pauze een lijst laten doorgaan.
(toont een lege lijst). Daarop kunnen jullie je naam noteren indien jullie zich willen
opgeven als vrijwilliger voor een onderzoek waar ik zou mee willen starten. Let wel:
Er zijn geen extra punten te verdienen. Ik zou het wel waarderen als jullie hier met zo
Videobased Situational Judgment Test
72
veel mogelijk mensen aan zouden willen deelnemen. Op de lijst gaan jullie zien dat er
verschillende tijdstippen zijn in de week wanneer de afnames zullen doorgaan.
a) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.
Hij kijkt even in zijn boekentas en haalt er zijn agenda bij.
St: Hij denkt het volgende: Ik bied me zo veel mogelijk aan als vrijwilliger.
Dirk vult op verschillende tijdstippen zijn naam in op de lijst.
b) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.
Hij kijkt even in zijn boekentas en haalt er zijn agenda bij.
St: Hij denkt het volgende: Ik ga me zoveel uren aanbieden als het mij uitkomt.
Wanneer zou het me passen?
Dirk vult op een passend tijdstip zijn naam in op de lijst.
c) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.
St: Hij denkt het volgende: Die onderzoeken duren toch redelijk lang. Ik heb geen zin
om mijn vrije tijd voor zo iets op te offeren.
Dirk geeft zonder zijn naam in te vullen de lijst door aan een medestudent.
d) Het is pauze. Dirk (langs beide kanten zit ook een student) krijgt de lijst in zijn handen.
St: Hij denkt het volgende : Ik ga voorlopig de lijst niet invullen. Straks na de les ga ik
eerst even vragen of er geen vergoeding tegenover staat.
Dirk geeft zonder zijn naam in te vullen de lijst door aan een medestudent.
Videobased Situational Judgment Test
73
3) Tijdens het studeren voor een examen dat zowel lesnota’s als opgegeven
hoofdstukken uit een handboek omvat, vind je dan dat je de beste resultaten behaalt
wanneer:
a. je het studeren in onderdelen opdeelt en jezelf test terwijl je
de leerstof doorneemt.
b. je al de leerstof doorneemt en dan jezelf test.
c. je eerst al je lesnota’s en daarna je aantekeningen vanuit het handboek
doorneemt.
d. je de hoofdstukken in de loop van het semester leest, maar je
concentreert op de lesnota’s voor het examen.
St: Elise
De scène speelt zich af op een kot. Elise wil beginnen aan haar vak want zij heeft binnenkort
examen. De te kennen leerstof omvat handboek en de lesnota’s van het vak. Zij is aan het
studeren. Ze vraagt zich af hoe de beste resultaten te behalen.
a) St: Zij denkt het volgende: Ik zal eerst en vooral beginnen met de leerstof in
verschillende onderdelen op te delen. Zo kan ik tijdens het leren mijzelf testen.
Ze neemt een blad en noteert de verschillende onderdelen en wanneer ze zichzelf zal
testen.
b) St: : Elise denkt het volgende: Ik ga eerst alle leerstof doornemen en daarna ga ik dan
mezelf testen.
Ze neemt een blad en noteert alle hoofdstukken en wanneer ze zichzelf zal testen.
c) St: Zij denkt het volgende: Ik ga eerst de lesnota’s doornemen en daarna neem ik de
aantekeningen vanuit het handboek door.
Ze neemt een blad en wijst aan wat ze nog moet leren en vervolgens duidt ze op een t
weede blad aan met wat ze zal beginnen.
Videobased Situational Judgment Test
74
d) St: Zij denkt het volgende: Voor het examen moet ik nu nog enkel de lesnota’s leren.
De hoofdstukken uit het boek heb ik reeds in het semester gelezen. Daar moet ik me
niet meer op concentreren.
Ze neemt een blad en doorkruist wat ze reeds heeft geleerd en vervolgens duidt ze op
een tweede blad aan wat ze nu gaat studeren.
4) Je bent lid van een groep die een opdracht heeft voltooid. De professor heeft ook
reeds de punten en de feedback gegeven. In zijn bemerkingen valt de professor
gericht de groep aan voor plagiaat en daardoor werden enkele punten afgetrokken.
Je weet dat je als student moreel verplicht bent om om het even wie plagiaat heeft
gepleegd, aan te geven. Het plagiëren had echter geen betrekking op het deel van het
project waar jij persoonlijk verantwoordelijk voor was. Wat zou je doen?
a. de professor vertellen wie verantwoordelijk was voor het plagiaat.
b. aan de persoon die verantwoordelijk is voor het plagiaat vertellen dat hij/zij
contact zou moeten opnemen met de groepsleider.
c. de situatie bespreken met de groep om samen tot een beslissing te komen over
wat te doen.
d. de punten aanvaarden, leren vanuit de ervaring en jezelf beloven het nooit
meer te laten gebeuren.
St: Dirk
Pr: Professor
Mst: Elise
Groepsleden: Eddy en Geert
De prof staat vooraan in het auditorium of leslokaal. Je ziet enkel de prof. Er wordt geen shot
getoond van het volledige leslokaal of auditorium.
Tijdens de les worden de verschillende groepswerken die door de studenten gepresenteerd
werden besproken. De professor richt zich tot de laatste groep die nog feedback dient te
krijgen.
Videobased Situational Judgment Test
75
Pr: Als laatste groep hebben we de groep bestaande uit Dirk, Elise, Eddy en Geert. Ik
geef jullie een score van 11/20. Dit had meer kunnen zijn. Ware het niet dat ik gemerkt
heb dat stukken in het eerste deel van de paper letterlijk waren overgenomen uit enkele
wetenschappelijke artikels zonder ook maar één referentie. Dit noemen we plagiaat
mensen. Niettegenstaande dit onvergeeflijke feit zat de presentatie wel goed in elkaar.
We zien Dirk, één van de studenten van het laatst geëvalueerde werkstuk. Hij is niet
verantwoordelijk voor het plagiaat dat gebeurd is.
a) Dirk blijft achter in het klaslokaal. Hij stapt naar de professor toe en gaat in dialoog met
hem.
St: Professor?
Pr: Ja Dirk.
St: Ik vind dat ik onrechtvaardig ben behandeld. Ik ben namelijk niet verantwoordelijk
voor het plagiaat dat gebeurd is.
Pr: Wie dan wel als ik vragen mag.
St: Elise heeft volledig op eigen houtje gehandeld.
b) De les is afgelopen. De prof verdwijnt uit het leslokaal. Twee studenten blijven achter.
Dirk, één van de studenten van het laatst geëvalueerde werkstuk gaat in dialoog met Elise
die verantwoordelijk is voor het plagiaat.
St: Hey Elise. Zou ik je even kunnen spreken?
Mst: Het is over het groepswerk zeker.
St: Inderdaad. Ik sta echt versteld van wat je gedaan hebt. Ik wil niet voor jouw
misstap boeten. Ik zou graag hebben dat je contact opneemt met onze groepsleider.
Mst: ( kijkt eerder boos)
c) De les is afgelopen. De prof verdwijnt uit het leslokaal. De vier studenten
verantwoordelijk voor het laatst geëvalueerde groepswerk blijven achter. Dirk spreekt
zijn collega’s van het groepswerk aan.
Videobased Situational Judgment Test
76
St: Ik vind het een triestige zaak dat we zo weinig punten hebben gekregen. Kunnen
we dit deze middag tijdens de lunchpauze even samen bespreken? Dan kunnen we
beslissen wat we gaan doen.
De groep knikt instemmend.
d) De les is afgelopen. De prof verdwijnt uit het leslokaal. Dirk , één van de studenten van
het laatst geëvalueerde groepswerk blijft achter.
St: Dirk denkt het volgende: (de schouders ophalend) Er is nu toch niks meer aan te
veranderen. 11/20 is nog steeds een voldoende. In mijn volgend groepswerk zal ik er
op toezien dat mij dit niet nogmaals overkomt.
5) Je hebt zoveel taken af te maken en zoveel te studeren, dat je het gevoel hebt dat je
er nooit toe zult komen iets af te werken. Je bent echt helemaal bedolven onder het
werk. Wat zou je doen?
a. prioriteiten stellen wat betreft je activiteiten, de stappen die verwezenlijkt
moeten worden voor elke activiteit één voor één opsommen en op
systematische wijze door je werk gaan.
b. beslissen wat je redelijkerwijze kan afwerken en je richten op het afmaken van
dat werk, en de rest van het werk onafgewerkt laten.
c. praten met de professor in kwestie, je situatie uitleggen en uitstel vragen op de
inleveringsdatum.
d. een paar dagen vrijaf nemen samen met je vrienden; daarna terug hard aan
het werk gaan.
St: Elise
Pr: Professor
De scene speelt zich af in een studeerkamer. Elise zucht. Zij ziet het niet meer goed zitten.
Videobased Situational Judgment Test
77
St: Zij denkt het volgende: Nog zoveel opdrachten en dan vergeten we nog het
‘studeren’. Waar moet ik in godsnaam de tijd hiervoor vinden?
a) We zien Elise aan haar bureau.
St: Zij denkt het volgende: Ik ga prioriteiten stellen aan de volgens mij belangrijkste
activiteiten en zien welk stappen nog moeten uitgevoerd worden voor die activiteiten.
Op die manier kan ik systematisch te werk gaan.
b) We zien Elise aan haar bureau.
St: Zij denkt het volgende: Het is onmogelijk om alles nog te kunnen doen. Ik zal eens
zien wat ik nog redelijkerwijze kan afwerken en mij dan enkel op die zaken richten.
De rest laat ik dan wel onafgewerkt.
c) We zien Elise. Zij klopt aan op de deur van de bureau van een professor.
Pr: Ja. Kom maar binnen.
St: Dag professor. Ik zou graag met u over iets willen praten.
Pr: Vertel maar.
St: Ik heb zoveel taken te doen en ik weet niet meer wanneer ik deze allemaal moet
afwerken. Zou het mogelijk zijn om voor jouw vak uitstel te krijgen?
d) We zien Elise in haar studeerkamer.
St: Zij denkt het volgende: Ik ga een paar dagen vrijaf nemen en enkele vrienden
opbellen. Ik moet eventjes de batterijen opladen. Daarna kan ik terug hard aan het
werk gaan.
Ze neemt de GSM bij de hand.
Volledig script te raadplegen bij één van de auteurs. Contactadressen:
Videobased Situational Judgment Test
78
Bijlage 7: Lijst Rekwisieten/Locaties/Acteurs
Rekwisieten/Benodigdheden
1. agenda
2. boeken
3. mappen
4. boekje
5. leesboek
6. lege lijst waar je je naam kan op plaatsen naast dagen bvb. ma/wo/vr
7. boekentas
8. lessenrooster
9. handboek
10. oefenboek
11. blad waarop hoofdstukken worden genoteerd en geschrapt
12. blad waarop lesnota’s/handboek staat genoteerd en geschrapt wordt
13. lesnota’s
14. aantekeningen handboek
15. uurwerk
16. To Do lijst
17. Samenvatting
18. Multiple choice examen formulier/rode formulier
19. Computer
20. Opgestelde mail. : weigering uitstel taak door professor
21. Examen open vragen + kladpapier examen.
22. Notitieblok om lesnota’s te nemen
23. Schema met vakken met bijkomende taken en data van deadlines
24. Stapels wetenschappelijke artikels of wat daarvoor moet doorgaan
25. Gsm
26. Horloge
27. flipchart met in het groot tekst van de acteurs
Locaties
1. studeerkamer met bureau en opbergkast
Videobased Situational Judgment Test
79
2. leslokaal
3. kot
Acteurs
1. mannelijke student
2. vrouwelijke student
3. professor
4. medestudenten
Videobased Situational Judgment Test
80
Bijlage 8: Inleidende Instructies
Inleidende instructies.
Zo meteen gaat u beginnen met de videogebaseerde versie van de situationele
beoordelingstest zoals deze werd ontwikkeld door Bess & Mullins. In het Nederlands vertaald
door Peeters & Lievens.
Deze test gaat na hoe goed u inzicht is in probleemsituaties betreffende verschillende
studentgerelateerde thema’s.
De test laat u 23 scènes zien van probleemsituaties. Elke probleemsituatie heeft 4 mogelijke
acties die door studenten kunnen worden ondernomen om met het probleem om te gaan.
Je moet voor elk probleem een beoordeling maken. Beslis welk alternatief je het meest
waarschijnlijk zou kiezen als antwoord op de probleemsituatie. Antwoord zo eerlijk mogelijk!
We vragen niet hoe je zou antwoorden om jezelf in een positief daglicht te stellen, maar wel
hoe je daadwerkelijk zou handelen.
Videobased Situational Judgment Test
81
Bijlage 9: Voorbeeldscript
Tijdens het studeren voor een examen heb je honger. Je wil echter zo weinig mogelijk tijd
verliezen. Wat zou je doen?
a) zelf koken 0
b) take-away aan huis laten komen +1
c) op restaurant gaan -1
d) niks eten 0
St: Dirk
PT: persoon die take-away levert.
De scène stelt een studeerkamer voor. We zien Dirk. Het volgende examen kondigt zich aan.
Tijdens het studeren, krijgt hij honger. Hij wil zo weinig mogelijk tijd verliezen.
a) Dirk is aan het koken. We zien hem verschillend stappen in het kookproces uitvoeren
b) Er wordt aangebeld. Dirk opent de deur en gaat in dialoog met de persoon die hem zijn
bestelde take-away komt brengen.
Pt: Is het bij De Jaeger?
St: Ja
Pt: Ik ben hier met de Pizza
St: Bedankt
Pt: Dat is dan 9 euro
St: 9 euro (haalt geld tevoorschijn)
Pt: 10
St: Hou de rest maar
Pt: Dank u! Smakelijk!
St: Tot ziens
c) We zien een restaurant. Dirk kom aan met de fiets en gaat het restaurant binnen.
Videobased Situational Judgment Test
82
d) Dirk is aan het studeren.
Hij denkt het volgende: Mijn honger zal wel over gaan.
Hij studeert verder.
Videobased Situational Judgment Test
83
Bijlage 10: instructies voor de website
Eerst krijgt U nu de nodige instructies.
Elke scène begint telkens met een inleidend stuk die de situatie voorstelt. U kan deze
achtergrondinformatie bekijken door situatie aan te klikken met de muis. Vervolgens ziet U
vier mogelijke reacties op deze situatie. U kunt elke reactie één voor één afspelen door deze
aant te klikken.
Na het afspelen van de vier reacties ten slotte beslist U hoe u in dergelijke situatie zou
reageren. Dit doe je door respectievelijke reactie aan te vinken met de muis.
U kan de situatie nogmaals afspelen als u dit wenst. U kan ook steeds uw keuze wijzigen.
Als U tevreden bent met de keuze die u gemaakt hebt, gaat u naar volgende situatie door
rechts onderaan op volgende situatie te klikken.
Let wel éénmaal U naar volgende situatie gaat, kan U niet meer terugkeren naar de vorige.
Vooraleer de test te starten, krijgt u om te oefenen een voorbeeld te zien. Probeer hierbij ook
een situatie opnieuw af te spelen en een keuze te wijzigen. Als U tevreden bent met de
gemaakte keuze en alles begrijpt , klikt U op volgende situatie om te starten met de echte test.
Website is te vinden op www.testproject.be
Top Related