Een kennistoets kan bestaan uit verschillende vormen vragen: Waar-onwaar (true-false, binary choice) Meerkeuze (mc, stam + alternatieven) Standaardvorm Stellingvorm Combinatie (matching) Schijnbaar open vraag (in- of aanvullen) Reproductievraag (noem x … van y) Korte essayvraag Lange essayvraag.

De kwaliteit van de toetsen, en daardoor de waarde die je aan de resultaten kunt hechten, hangt af van een aantal factoren: De toets moet valide zijn. Anders gezegd: meet je met deze vragen wat je wilt meten? De vraag moet vraagzuiver zijn. De vraag moet gemiddeld moeilijk zijn. De vraag moet doelmatig zijn. De vragen moeten uiteindelijk een onderscheid kunnen maken tussen wel en niet-

beheersers (discriminatie-index).

Op welk niveau kun je deze test gebruiken?

De kennistoets kun je inzetten op het niveau van ‘Potential’. De kennis van de deelnemers wordt getest. Je kunt de kennistoets inzetten tijdens de nulmeting, maar ook na de training om te kijken of de kennis van deelnemers is toegenomen.

Voordelen

Een kennistoets staat bekend om zijn hoge betrouwbaarheid. Het is een relatief eenvoudige manier om na te gaan of de deelnemer over de gevraagde

kennis beschikt (Maes & Sels, 1999).

Nadelen

Kennistoetsen kennen een lage representativiteit van het kennisdomein. Dit houdt dat het maar enkele onderdelen van de geleerde kennis omvat.

Bij een aantal vormen van vragen, zoals de meerkeuze en de waar-onwaar vragen, is er een gokfactor aanwezig.

Bij kennistoetsen zie je vaak het verschijnsel ‘Teaching to the test’ (Gipps, 1994). De deelnemer richt zich voornamelijk op de toets en het reproduceren van kennis. Of hij daadwerkelijk de kennis kan toepassen op de werkplek of tijdens het maken van een opdracht, blijft de vraag.

KENNISTOETSEN

Tips Je kunt zelf een kennistoets ontwikkelen, maar je kan ook gebruik maken van de kennistoetsen die al ontwikkeld zijn. Zo zijn er vele toetsen die door erkende examenbureaus worden afgenomen.

Hoe kan een opdracht eruit zien?

Een kennistoets kan op verschillende wijzen worden afgenomen. Groepsgewijs of individueel Op papier of digitaal Vaste tijd of eigen keuze tijdstip Open of ‘gesloten’ boek. Bij een open boek gaat het vaak om toepassingsvragen en

reproductievragen.

Voorbeeld

Dit is een voorbeeld van een kennistoets, waarbij als vorm meerkeuzevragen zijn opgenomen.

WFT PE BASIS Tentamen/ examen

Vraag 1

Er komt een klant bij u die graag een hypothecaire financiering wil. Hij is niet bereid om

een overlijdensrisicoverzekering te sluiten, maar wil wel de zekerheid dat hij aan het

eind van de looptijd voldoende kapitaal heeft vergaard om zijn lening te hebben ingelost.

Welke hypotheek aflosvorm is voor hem het meest geschikt?

A. sew

B. bew

C. kew

Vraag 2

Kan er op enig moment meer dan 210 % zijn gespaard in de levensloopregeling?

A. ja, door rente of rendement bijschrijving

B. nee, 210 % is het maximum

C. ja, door rente of rendement bijschrijving en door storting

Vraag 3

Wat is juist?

A. Levensloop staat open voor de dga en spaarloon niet.

B. Spaarloon en levensloop kunnen naast elkaar in hetzelfde jaar gesloten worden.

C. Bij levensloop mag een premie van de werkgever worden ontvangen.

D. Spaarloon is een wettelijk recht net zoals levensloop.

Vraag 4

Tot welk bedrag geldt de Nederlandse depositogarantieregeling?

A. 100.000 euro per rekening

B. 100.000 euro per rekeninghouder en per bank

C. 38.000 euro per rekening

D. Over de eerste 20.000 euro 100% en over het restant 90% per persoon.

Bronnen: Gipps, C.V. (1994). Beyond testing. Towards a theory of educational assessment. London and New York:

Routledge Falmer. Gulikers, J., Bastiaens, T., & Kirschner, P. (2004). A five-dimensional framework for authentic assessment.

Educational Technology Research and Development, 52 (3), 67-85. Maes, J. & Sels, L. (1999). De Evaluatie van Opleidingseffecten: een Vergelijking van Evaluatiemethoden. K.U.

Leuven - DTEW Research Report 9919.

De deelnemers krijgen een opdracht die zoveel mogelijk gerelateerd wordt aan de kennis en kunde die tijdens de opleidingsinterventie is aangeleerd. De deelnemers worden beoordeeld op de manier waarop zij de opdracht uitvoeren. Hierbij kan er gekeken worden naar het proces, het product, maar ook naar de wijze waarop je hier als deelnemers kan reflecteren.

Op welk niveau kun je deze test gebruiken?

Opdrachten kunnen worden ingezet om de effecten op ‘Potential’-niveau te meten. Je kunt aan de hand van de opdrachten zeggen of de deelnemers van de opleidingsinterventie het kennen en het kunnen. Je kunt het richten op tussendoelen en/of de gehele doelstelling van de training/ opleidingsinterventie.

Voordelen

Het is een goede manier om competenties mee te meten, aangezien kennis en vaardigheden als één onderdeel worden gezien.

Nadelen

Het is lastig om een voor- en een nameting te houden. Hierdoor is het moeilijk om aan te geven wat de bijdrage is van de training op het resultaat van de opdracht. Je kunt hiervan wel een inschatting laten maken door de deelnemer zelf.

Niet iedere deelnemer is in staat zichzelf te beoordelen aan de hand van een checklist. Je kan ervoor kiezen om de deelnemers elkaar feedback te laten geven

Tips

Richt de opdracht zoveel mogelijk op de werkpraktijk en voer deze direct na of tijdens de training uit.

Link de doelstelling van de training direct aan de opdracht. Gebruik de test zoveel mogelijk als ontwikkelingsinstrument en niet als beoordeling. Bij een training op het gebied van ‘learning on the team’ kun je gebruik maken van een

groepsopdracht waarbij de deelnemers samen een praktijkopdracht maken.

OPDRACHTEN GEKOPPELD AAN DE PRAKTIJK

Hoe kan een opdracht eruit zien?

Voorbeeld 1: De marktopdracht bij de training ‘Passie en Resultaten in Sales’ (Randstad) is een voorbeeld van een opdracht. De intercedenten, de deelnemers aan de training, hebben daarbij de opdracht een marktplan uit te werken, waaraan zowel kwalitatieve en kwantitatieve eisen worden gesteld. Kwalitatief in de zin van ‘goed’ contact met de klant. En kwantitatief in de zin van omzet. De opdracht is direct gelinkt aan de uitvoerende werkpraktijk en loopt door de gehele training. Als afsluiting van de trainingen presenteren de intercedenten hun marktplan en uitwerkingen. Ze geven aan wat ze door de training ‘kennen’ en ‘kunnen’.

Bronnen: Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag:

Academic service. Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf

Publishing Company.

Tijdens een rollenspel schets je een situatie waarin de lerende te maken krijgt met de werkelijke situatie en het geleerde kan uitvoeren (Jansen & de Jongh, 1997). Dit kan met behulp van acteurs, maar ook met behulp van collega’s die de rol van bijvoorbeeld een klant nabootsen. De assessoren of diegene die beoordeelt, heeft een checklist of ‘rating scales’, gekoppeld aan de doelstelling van de opleidingsinterventie. Met een checklist bedoelen we een lijst die je bij effectmeting kan gebruiken om te kijken of de deelnemer de afgesproken procedures wel of niet uitvoert.

Op welk niveau kun je deze test gebruiken?

Het rollenspel wordt uitgevoerd op ‘Potential’-niveau. De deelnemer heeft nieuwe vaardigheden en kennis opgedaan tijdens de training. Deze worden getoetst met een rollenspel.

Voordelen

Rollenspellen sluiten direct aan bij datgene wat de deelnemer heeft geleerd. Een goede manier om vaardigheden te toetsen, bijvoorbeeld ‘het voeren van

salesgesprekken’.

Nadelen

Standaardisatie, het is lastig om de vergelijking te kunnen maken tussen de verschillende deelnemers.

Een rollenspel is vooral een ontwikkelinstrument (formatieve evaluatie) en geen beoordelingsinstrument (summatieve evaluatie).

Tips

Gebruik de test zoveel mogelijk als ontwikkelinstrument en niet als beoordelingsinstrument. Voor het uitvoeren van een rollenspel heb je de volgende zaken nodig:

- de opdracht voor een cursist/ deelnemer gekoppeld aan de doelstelling van de opleidingsinterventie;

- een script voor de acteur, waarin de gesimuleerde situatie is omschreven en rol van de acteur hierin;

- eventueel aanvullend gebruik van videoregistratie; - een beoordelingsvoorschrift of checklist.

ROLLENSPEL

Hoe kan een rollenspel eruit zien?

Voorbeeld rollenspel Aan de hand van de volgende checklist wordt een rollenspel beoordeeld. De acteur of de klant heeft vooraf een script gekregen waarin het verloop en de rolomschrijving van de te spelen klant staan omschreven.

Voorbeeld checklist die gebruikt kan worden bij een rollenspel

Naam: Datum:

Planning Had een duidelijk doel Beschikte over alle benodigde informatie voor het

gesprek

ja / nee

Opening Identificeerde zichzelf met de organisatie Bereikte de juiste persoon Maakte een opmerking om interesse te wekken

ja / nee

Vragen naar wensen klant Gebruikte open vragen Gebruikte gesloten vragen Luisterde zorgvuldig (pauzes/ stilte) Trok conclusie en vatte behoefte van de klant samen

ja / nee

Geven van een oplossing Presenteerde de voordelen van het product Probeerde het gesprek af te ronde

ja / nee

Omgaan met tegenwerpingen Vroeg om opheldering bij tegenwerping (indien nodig) Gebruikte het script om te antwoorden op een heldere

tegenwerping

ja / nee

Afsluiten Vatte de voordelen nog eens samen Stelde een geschikte slotvraag

ja / nee

Stemkwaliteit Sprak helder en duidelijk Gaf gesprek een vloeiend verloop Kwam professioneel over Kwam beleefd over

ja / nee

Samenvatting van het gesprek Positieve punten: Punten voor verbetering: Aanbevelingen:

…………………………………………………………………………………………………………………………………………………………………………

Bronnen: Jansen, P.G.W., Jongh, de, F.D. (1997). Assessment centers. Een open boek. Baarn: Het Spectrum B.V. Straetmans, G.J.J.M. (1994). Effectevaluatie: elementaire ontwerprichtlijnen. In: Schramade e.a. (red.): Handboek

Effectief Opleiden. sectie 9.1-1, p 1-14. ’s-Gravenhage: Delwel Uitgeverij B.V. Voerman, J.I.A. (1994). Effectmeting en -waarborging door evaluatie. Het ‘Evaluation Tracking System’. In:

Schramade e.a. (red.): Handboek Effectief Opleiden. sectie 9.8-1, p 37-50. ’s-Gravenhage: Delwel Uitgeverij B.V.

Een ‘work on sample’ test is een methode van toetsen waarbij je iemand een voorbeeld of een gedeelte van een werkproces geeft en de uitvoering ervan evalueert. Je kunt door middel van een observatie aangeven in hoeverre iemand de taak beheerst.

Kenmerken Hoge representativiteit van de werkelijke taakomgeving Reële arbeidssituatie is het uitgangpunt Beoordeling van gedrag, proces en product

Op welk niveau kun je deze test gebruiken?

Een ’work on sample’ test kan zowel op niveau van ‘potential’ als op het niveau van ‘performance’ worden ingezet. Bij ‘potential’ gaat het vooral om het feit dat iemand het ‘kent’ en het ‘kan’. Bij ‘performance’ gaat het erom dat het aangeleerde gedrag daadwerkelijk wordt toegepast in de praktijk. Het is hierbij belangrijk dat je niet direct na de opleiding maar na een aantal maanden de meting uitvoert. Het is namelijk vaak het geval dat deelnemers wel het geleerde proberen uit te voeren, maar uiteindelijk weer terugvallen in het oude gedrag (Brinkerhoff, 2006).

Voordelen

Een persoon voert onder normale omstandigheden handelingen uit. Een groot aantal deelnemers vindt het inspirerend (Arets & Heijnen, 2008). Een ‘work on sample’ test heeft een hoge betrouwbaarheid. Het is in een goede uitvoering een valide instrument. Dit houdt in dat je daadwerkelijk meet wat je wilt meten.

Nadelen

De deelnemer is vooraf op de hoogte en kan zich anders gaan gedragen op de werkplek. Het is te gebruiken als taken afgerond kunnen worden in een korte periode. Deze testen

hebben minder het vermogen om te kunnen voorspellen of een taak die langer duurt voldoende wordt uitgevoerd.

Bij een ‘work on sample’ test zijn er vaak maar weinig mogelijkheden om invloed uit te oefenen op het te vertonen gedrag. Wanneer de opdracht eenmaal in uitvoering genomen is, loopt die voor een groot deel autonoom. Bij het rijexamen, bijvoorbeeld, kunnen noodsituaties niet afgedwongen worden, evenmin is het mogelijk om de verkeersintensiteit of de weersgesteldheid te beïnvloeden.

Tips

Gebruik het instrument als een ontwikkelinstrument en niet als een beoordeling. Spreek vooraf de criteria waarop iemand wordt beoordeeld goed af. Maak gebruik van heldere gedragsindicatoren en criteria. Deze kunnen worden opgesteld

in samenspraak met een inhoudelijk expert of de beste presteerder binnen de organisatie. Voor een betrouwbare meeting kun je het beste met zijn tweeën beoordelen.

WORK ON SAMPLE TESTEN (ARBEIDSPROEF)

Hoe kan een ‘work on sample’ test eruit zien?

Een ‘work on sample’ test kan er als volgt uitzien:

Voorbeeld 1: Dit is een voorbeeld van een ’work on sample’ uit het eerste half jaar van de opleiding tot politiemedewerker. De opdracht is ‘toezicht houden in publiek domein’.

Voorbeeld Work on Sample bij de Politie Door het afleggen van deze ’work on sample’ toon je aan dat je preventief en repressief toezicht kunt houden op wetshandhaving en veiligheid en corrigerend kunt optreden bij geconstateerde feiten. Voorbereiding 1. Verzamel van te voren de informatie die nodig is voor het uitvoeren van deze opdracht in het

geselecteerde gebied. Zorg dat je precies te weten komt wat er gaande is en welke projecten er spelen. Denk hierbij aan de voorkomende (strafbare) feiten en het gevoerde beleid, maar ook aan aanspreekpunten in het gebied.

2. Je doet dienst in uniform. Zorg ervoor dat je uitrusting volledig is om toezicht te kunnen houden en de opdrachten uit te kunnen voeren.

3. Als agent moet je je richten op zowel preventieve als representatieve werkzaamheden die in relatie staan tot de voor het gebied aangegeven actualiteiten en bijzonderheden.

Uitvoering 4. Tijdens het toezicht wordt er van je verwacht dat je in ieder geval contact hebt met:

Twee personen die je informatie geeft (preventief); Twee personen die een overtreding plegen (repressief); Een belanghebbende (winkelier, bewoner, marktmeester) bij wie je informatie inwint.

Tijdens de dienst heb je een portofoon bij je. Deze gebruik je conform de richtlijnen van het korps. Mocht de situatie zich voordoen dan kun je via de portofoon één of meerdere opdrachten krijgen.

5. Onmiddellijk na afloop van het gehouden toezicht maak je in het bureau een mutatie van deze dienst in het bedrijfsprocessensysteem conform de richtlijnen van het korps.

Beoordeling

Je gaat op voetsurveillance en je neemt zelf alle initiatieven. Een praktijkcoach is in de omgeving aanwezig. Hij is er voor jouw veiligheid en die van de burger en is portofonisch op te roepen.

Tijdens je dienst word je beoordeeld door een assessor. Hij zal zich steeds in je onmiddellijke omgeving bevinden.

Als de assessor zich geen goede beeld heeft kunnen vormen van één of meer te beoordelen onderdelen, dan kan hij daar vragen over stellen of je een gerichte aanvullende opdracht geven om zijn beeld te kunnen completeren.

Bij dit document zijn een beoordelingslijst plus toelichting gevoegd waarop je kunt zien wat er tijdens de dienst van je verwacht wordt en waarop je beoordeeld wordt.

Tijdsduur

Deze opdracht duurt in totaal maximaal twee uur. Deze tijd is voor het houden van toezicht en het maken van een mutatie in een bedrijfsprocessensysteem.

Fig. 1. Voorbeeld van een ‘work on sample’ test of arbeidsproef (Grotendorst, 2002)

Aanwijzing voor assessor De lerende moet zelfstandig toezicht houden in een aangewezen gebied. In dit gebied moeten zich situaties voordoen waarbij zowel preventief als repressief optreden mogelijk is. In dit stadium van de opleiding bestaat het repressief optreden uit een waarschuwend/ corrigerend gesprek en niet uit verbaliseren. De lerende moet wel in staat zijn om in te schatten wat hij zelf kan en wanneer hij hulp nodig heeft. Een combinatie van ‘preventief’ en ‘repressief’ gebied is mogelijk. Surveillancegebieden kunnen zijn: Een markt met een diversiteit aan mogelijkheden:

- Preventief optreden: zakkenrollers, fietsdiefstallen - Repressief optreden: fout geparkeerde auto’s, fietsers op de markt, vervuiling

Een winkelcentrum met een diversiteit aan mogelijkheden: - Preventief optreden: zakkenrollers, fietsdiefstallen, winkeldiefstal, uitgestalde goederen - Repressief optreden: fout geparkeerde auto’s, fietsers in het voetgangersgebied, vervuiling

Een wijk met vervuiling of waar woning- en/of auto-inbraken plaatsvinden Een wijk met overlast door jeugd veroorzaakt Gebied met overlast door zwervers veroorzaakt Parkeerplaatsen en bouwterreinen waar vuil gedumpt wordt

Fig. 2. Voorbeeld van een ‘work on sample’ test of arbeidsproef (Grotendorst, 2002) Bronnen: Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag:

Academic service. Brinkerhoff, R.O. (2006). Telling training’s story. San Francisco: Berrett-Koehler. Grotendorst, A. (2002). Non scholae, sed vitae discimus. Een competentie gerichte curriculumbenadering.

Gevonden op 8 januari 2010, op: http://www.kessels-smit.com/files/Artikel_2002_Grotendorst_-_Non_scholae_sed_vitae_discimus.pdf

Korte, M. (2002). Proeven van bekwaamheid: De ontwikkeling van competentiegerichte examens voor het vernieuwde politieonderwijs. Enschede: Universiteit Twente/ Apeldoorn: LSOP Politie Onderwijs- en Kenniscentrum.

In de praktijk zie je verschillende vormen van de proeve van bekwaamheid. Zo zijn er proeven waarin een deel van de handelingsprocedure wordt uitgevoerd, maar ook proeven waarin de deelnemers verschillende ‘toetsonderdelen’ moeten afleggen. Hier wordt echter onder de proeve van bekwaamheid het volgende verstaan: het uitvoeren van de proeve van bekwaamheid komt overeen met de volledige handelingsprocedure. Hieronder wordt verstaan dat de deelnemer voorbereidingen treft, de activiteit uitvoert en evalueert. De omgeving waarin de toets plaatsvindt, kan de organisatie zijn waarin de deelnemer werkt. Je kunt de proeve van bekwaamheid direct of indirect laten beoordelen. Indirect houdt in dat diegene wordt opgenomen met behulp van geluidsapparatuur of videoapparatuur. Direct houdt in dat er een observator kijkt hoe de deelnemer de taak uitvoert.

Op welk niveau kun je deze test gebruiken?

Deze test kan zowel op het niveau van ‘Potential’ als op ‘Performance’-niveau worden ingezet. Door de test na een aantal maanden uit te voeren kun je zien of de aangeleerde kennis en vaardigheden daadwerkelijk onderdeel zijn geworden van het werkgedrag. Het is hierdoor een effect op het gebied van performance; ‘Ze doen het!‘ Ook kun je het effect direct na de training meten, je spreekt dan echter wel van een meting op ‘Potential’-niveau, aangezien je niet weet in hoeverre de deelnemer het geleerde blijft toepassen.

Voordelen

Een persoon voert onder normale omstandigheden handelingen uit. Een groot aantal deelnemers vindt het inspirerend (Arets & Heijnen, 2008). Door aan de proeve van bekwaamheid een nabespreking toe te voegen, heeft het een

formatief (proces) karakter.

Nadelen

Bij een eenmalige meting van een zeer beperkte omvang is het lastig om vast te stellen of iemand daadwerkelijk vaardig is om de taak uit te voeren. De betrouwbaarheid van de toets kan dan in twijfel worden getrokken. Door meerdere keren te meten kan je een betere inschatting maken of iemand wel of niet in staat is de geleerde taak uit te voeren. Dit heeft echter als nadeel dat het duurder en minder praktisch is.

Moeilijk te realiseren Gedragsindicatoren moeten helder zijn omschreven en gekoppeld zijn aan datgene wat

iemand geleerd heeft.

PROEVE VAN BEKWAAMHEID

Tips

Binnen de proeve van bekwaamheid wordt veelal ook geobserveerd. Het is belangrijk dat de observatie kwalitatief goed wordt uitgevoerd. De effectiviteit van observeren kan worden vergroot door: Een goede voorbereiding van de observator. Waarbij hij goed moet zijn geïnformeerd over

de benodigde vaardigheden om de taak uit te voeren en over de aangeleerde vaardigheden tijdens de training.

Een systematische uitvoering van de observatie. Het toevoegen van aanwijzingen op het scoringsformulier.

Hoe kan een proeve van bekwaamheid eruit zien?

Voorbeeld 1:

Voorbeeld ‘De docent als coach’ Na een training waarin docenten leren om leerlingen te coachen, kan deze proeve van bekwaamheid af worden genomen. Deze proeve wordt beoordeeld aan de hand van de volgende criteria: De voorbereiding: De coachende docent heeft van te voren de materialen voorbereid.

De coach kan tijdens de coachsessie: contact maken met de gecoachte; open vragen stellen; de gecoachte laat reflecteren op zijn/haar functioneren; coachmethodieken als GROW of de leercyclus van Kolb hanteren; de zelfsturing van de gecoachte stimuleren.

Reflectie: De coachende docent reflecteert op het geleerde uit de training. De coachende docent is in staan om aan te geven waar verbeterpunten liggen.

Bronnen: Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag:

Academic service. Govaerts, M. J. B., Van der Vleuten, C. P. M., Schuwirth, L. W. T., & Muijtjens, A. M. M. (2005). The use of

observational diaries in in-training evaluation: student perceptions. Advances in Health Sciences Education, 10, 171-188.

Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.

Een vragenlijst bestaat uit een aantal gerichte vragen over de opleidingsinterventie en in hoeverre deze bijdraagt aan de kennis en vaardigheden van de deelnemer. Een vragenlijst kan uit verschillende typen vragen bestaan: Open vragen, waarbij de deelnemer vrij is in de wijze van beantwoorden. Het nadeel van dit type vragen is dat het veel verwerkingstijd kost en de vraag in sommige gevallen verkeerd wordt geïnterpreteerd of beantwoord. Door hem half-open te maken geef je richting aan de beantwoording. Voorbeeld open vragen: Wat vindt u van de inhoud van de cursus? Wat vindt u van het tempo van de cursus?

Het half-open maken van een vraag kun je doen door diverse zinnen te formuleren die de deelnemer of respondent moet afmaken.

Voorbeeld half-open vragen:

Ik heb geleerd dat ... Ik heb geleerd hoe ...

Checklist vragen, waarbij de deelnemer kiest uit een aantal items waarbij hij/ zij aangeeft

welke het best past bij een situatie.

Gesloten vragen of ‘two way questions’, vragen waarbij de deelnemer ja of nee als antwoordkeuze heeft. Voorbeeld gesloten vragen: ‘Ik ken de didactische principes voor het geven van een training.’ Ja / Nee ‘Ik kan de didactische principes verwerken in opdrachten.’ Ja/ Nee

Multiple choice vragen, variërend in antwoordmogelijkheid. Je kunt ervoor kiezen om hierbij nog een toelichting van de keuze te vragen. Rangorde vragen, waarbij aan de deelnemer gevraagd wordt om een aantal kenmerken of uitspraken in volgorde van voorkeur of belangrijkheid te plaatsen (nummer 1 = het belangrijkst, 2 = iets minder belangrijk ... tot 5 = het minst belangrijk).

VRAGENLIJSTEN

Op welk niveau kun je deze methode gebruiken?

De vragenlijst kan op diverse niveaus worden ingezet. Het niveau waarop je de vragenlijst kunt uitvoeren is afhankelijk van: Bij wie neem je de vragenlijst af? Wat vraag je? Wanneer neem je de vragenlijst af? Een termijn van drie maanden na een training wordt

bijvoorbeeld veel gebruikt om inzicht te krijgen in hoeverre het geleerde wordt toegepast (‘performance’).

Voordelen

Groot bereik van de deelnemers Betrouwbare methoden Makkelijk te digitaliseren Snelle uitwerking mogelijk

Nadelen

Vaak een laag respons, doordat de deelnemers niet achter de doelstelling van de vragenlijst staan of door de vrijblijvendheid van het invullen van de lijst. Door deelnemers eraan te herinneren of door een brief van het management toe te voegen, kun je dit verhinderen.

Het is niet eenvoudig goede vragen te formuleren. Slecht geformuleerde vragen leiden tot invalide resultaten.

Als je de deelnemer zichzelf laat beoordelen, bestaat de neiging tot overschatting of onderschatting.

Voor- en nadelen van schriftelijke vragenlijsten versus mondelinge interviews:

Mondeling Schriftelijk

Minder voorbereiding Veel voorbereiding

Geschikt voor open vragen Geen emotionele opvang

Emotionele vragen Niet te veel vragen

Goede controle invulling Geen controle op de invulling

Weinig onvolledige lijsten Veel non-respons

Moeilijker realiseerbaar Makkelijk realiseerbaar

Niet anoniem Anoniem

Gevoelig voor sociale wenselijkheid Minder gevoelig voor sociale wenselijkheid

Tips

Bij de formulering van vragen moet je op de volgende punten letten: Vraag slechts één ding tegelijk. De vragen mogen niet voor meer dan één uitleg vatbaar zijn. De vragen moeten grammaticaal niet ingewikkeld zijn. Het taalgebruik moet begrijpelijk zijn. De vragen mogen niet suggestief zijn. De vragen moeten geen kennis of feiten veronderstellen die niet vermeld staan. Zorg voor een duidelijk lay-out van de vragen. Dit zorgt ervoor dat ze betrouwbaarder

worden ingevuld. Maak gebruik van heldere gedragscriteria. Controleer dit bij collega’s of bij de klant. De vragen moeten de doelstelling van de training of opleidingsinterventies dekken. Phillips

(1997) raadt daarom ook aan eerst de doelstellingen op te stellen, en vervolgens de vragen te formuleren.

Je kunt een pretest en een posttest hanteren. De vragen moeten echter overeenkomen om te kunnen vergelijken.

Stel de belangrijkste vraag aan het begin van de vragenlijst. Bij lastige begrippen of gedragsindicatoren is het goed om vooraf te vermelden wat je onder

het begrip verstaat.

Voorbeeld Omschrijving gedragsvaardigheden – Onderdeel van een invulinstructie

Prestatiemotivatie De mate waarin betrokkene door zijn gedrag laat blijken over voldoende inzet, enthousiasme, teamgeest, alsmede betrokkenheid bij de gang van zaken in zijn bedrijfsonderdeel te beschikken.

Initiatief/ besluitvaardigheid Uit zichzelf reageren op kansen en niet passief afwachten. Beslissingen nemen door middel van het ondernemen van acties of zichzelf vastleggen door middel van het uitspreken van meningen.

Hoe kunnen diverse vragenlijsten eruit zien?

De invulling van een vragenlijst kan veel vormen aannemen. Qua antwoordmogelijkheden en soorten vragen. Ook kun je gebruikmaken van een mix aan antwoordmogelijkheden.

Voorbeeld 1

Voorbeeld schriftelijke vragenlijst – Potential-niveau

Inzicht in jezelf en de omgeving (doelstelling cursus) 1. Ik heb inzicht in mijn eigen stressniveau 2. Ik heb inzicht in de stressbronnen op de

werkplek 3. Ik herken stresssignalen bij mezelf 4. Ik herken stresssignalen bij collega’s 5. Ik kan stresssituaties bij collega’s

bespreekbaar maken

1 2 3 4 5 6 7 8 9 10

Inzicht in mogelijke oplossingen (doelstelling cursus) 1. Ik heb inzicht in de mogelijke oplossingen

voor omgaan met werkdruk 2. Ik heb inzicht in de mogelijke oplossingen

voor omgaan met ingrijpende gebeurtenissen

1 2 3 4 5 6 7 8 9 10

Voorbeeld 2

Voorbeeld schriftelijke vragenlijst - Performance

Zwak Matig Goed Sterk Zeer sterk

N.v.t.

Klantgerichtheid

Oplossingsgericht denken

Plannen en organiseren

Voortgangscontrole

Voorbeeld 3 In het onderstaande voorbeeld is de vragenlijst te gebruiken bij zowel de individuele deelnemer als bij de gehele afdeling. Voorafgaand aan het hieronder afgebeelde voorbeeld stond een instructie voor de wijze van invulling waarin duidelijk werd gesteld wat de doelstelling van de vragenlijst was en wat ‘het AC niveau’ inhoudt.

Voorbeeld schriftelijke vragenlijst - Performance Terrein klantenbehandeling

Op dit moment scoor ik op dit punt:

Activiteit In mijn omgang met klanten los ik problemen zelfstandig en volgens de gestelde regels en procedures op.

1 2 3 4 5 6 7 8 9 10

Resultaat Al mijn medewerkers zijn op de hoogte van het credo klantenbehandeling en houden er rekening mee in hun werk.

1 2 3 4 5 6 7 8 9 10

De klanten zijn tevreden over de manier waarop zij vinden door mijn afdeling behandeld te worden.

1 2 3 4 5 6 7 8 9 10

Antwoordmogelijkheden: 1 = Duidelijk onder AC niveau 2 = Onder AC niveau 3 = Op AC niveau 4 = Ruim voldoende op AC niveau 5 = Goed op AC niveau 6 = Niet van toepassing

Bronnen: Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag:

Academic service. Baarda, D.B., & de Goede, M.P.M. (2006). Basisboek Methoden en Technieken. Groningen: Stenfert Kroese. Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf

Publishing Company. Sandick, A.S., & Schaap-Neuteboom, A.M. (1993). Rendement van een bedrijfsopleiding. Een instrument voor het

bepalen van het financiële rendement van trainingen. Zaandam: Albert Heijn opleidingen. Stokking, K.M. (1998). Bouwstenen voor onderzoek in onderwijs en opleiding. Utrecht: Capaciteitsgroep

Onderwijskunde.

Dit is een feedbackmethode waarbij we personen uit de werkomgeving van de te beoordelen persoon vragen die persoon feedback te geven op zijn of haar functioneren. In sommige gevallen wordt ook klanten gevraagd feedback te geven. Vaak wordt feedback gegeven door middel van een vragenlijst. Dit kan zowel digitaal als schriftelijk worden afgenomen. Op het internet zijn diverse aanbieders voor deze methode te vinden. Je kunt ervoor kiezen om de feedbackgever anoniem de gegeven feedback terug te sturen.

Op welk niveau kun je de 360-graden feedbackmethode gebruiken?

Deze test kun je gebruiken op ‘performance’-niveau.

Voordelen

De kracht van het instrument zit vooral in het feit dat de medewerker/ manager een helder beeld krijgt van de manier waarop hij of zij bij collega’s, managers en/of klanten overkomt in de werkomgeving.

De deelnemer van de opleidingsinterventie wordt door verschillende personen met verschillende belangen beoordeeld.

Het draagt bij aan een open cultuur, in de zin van het open staan voor feedback en verbeteringen.

Nadelen

In eerste instantie is een 360-graden feedbackmethode bedoeld als formatieve toetsing, dus gericht op ontwikkeling en dus niet gericht op beoordeling. Door het als beoordelingsinstrument te gebruiken wordt het instrument minder betrouwbaar, want anders ingevuld.

Niet in alle bedrijfsculturen wordt het geven van feedback gewaardeerd.

360 -GRADEN FEEDBACK

Tips

Er moet een open en eerlijke communicatie heersen bij de organisatie. Wordt de methode al ingezet bij een organisatie? Gebruik dan deze methode en haal de

stellingen eruit waar de opleidingsinterventie effect op heeft. Zorg voor duidelijke regels waaraan de feedback moet voldoen. Houd het simpel en maak de vragenlijst niet te lang, dit belemmert het invullen. Koppel nooit 360-graden feedback aan een beloningsstructuur of beoordelingsmethode.

Hoe kan een 360-graden feedbackmethode eruit zien?

Voorbeeld 1:

Feedbackmethode voorbeeld De collega, de medewerker zelf en de manager vullen allemaal dezelfde vragenlijst in. In de vragenlijst zijn diverse stellingen opgenomen, waarbij de getallen de volgende waarden kunnen hebben: 1 = niet/nauwelijks ontwikkeld 2 = onvoldoende ontwikkeld 3 = voldoende ontwikkeld 4 = zeer goed ontwikkeld Het onderstaande voorbeeld is de beoordeling van een leidinggevende

Leiding geven 1. Voelt zich verantwoordelijk voor het

eindresultaat

2. Geeft duidelijke instructies aan

medewerkers

3. Hakt knopen door

4. Overtuigt medewerkers

5. Overziet de activiteiten die op de afdeling

spelen

6. Past stijl van leidinggeven aan

1 2 3 4 5 6 7 8 9 10

Groepsgericht leiding geven 1. Benadrukt het gemeenschappelijke doel

van de afdeling

2. Maakt een duidelijke taakverdeling

3. Benadrukt het belang van samenwerken

in een afdeling

4. Vraagt een actieve inbreng van de

teamleden

1 2 3 4 5 6 7 8 9 10

Plannen & organiseren 1. Plant werkzaamheden in

2. Maakt een plan van aanpak voor een

project

3. Zorgt voor de nodige hulpmiddelen

1 2 3 4 5 6 7 8 9 10

Voortgangsbewaking 1. Controleert of doelen op tijd worden

gehaald

2. Stelt meetbare doelen

1 2 3 4 5 6 7 8 9 10

Bronnen: Breman, P., & Bruinsma, J. (2006). Leidt competentie tot prestatie? Tijdschrift voor HRM, 2, 61- 72. Tillema, H.H. (red.) (1996). Development centers. Ontwikkelen van competenties. Deventer: Kluwer

bedrijfswetenschappen.

Dit is een onderzoeksmethode waarbij een organisatie of instelling bezocht wordt door een persoon die zich voordoet als klant, zonder dat het personeel van het bedrijf of de instelling op de hoogte is van het onderzoek. De mystery shopper let op een aantal aspecten en maakt hiervan een verslag. Ook kan dit aan de hand van een scorelijst. Onderdelen van dienstverlening die zich prima lenen voor dit type onderzoek zijn bijvoorbeeld: klachtgerichtheid; productkennis evalueren; uiterlijk van het filiaal (aanwezigheid promotiemateriaal, uiterlijk van de winkel); correctheid en volledigheid van aanwezige informatie.

Naast ‘mystery shopping’ kan ook worden gedacht aan ‘mystery calling’ en ‘mystery mailing’. Bij ‘mystery calling’ wordt telefonisch contact gezocht met de deelnemer om te kijken in hoeverre hij over de aangeleerde vaardigheden beschikt. Bij ‘mystery mailing’ wordt dit gedaan met e-mail.

Op welk niveau kun je de ‘mystery shopping’ methode gebruiken?

Met behulp van de ‘mystery shopping’ methode kun je beoordelen of de deelnemer daadwerkelijk het geleerde kan toepassen op de werkplek.

Voordelen

De context van de deelnemer is direct duidelijk bij deze methode. Onzichtbare beslismomenten worden zichtbaar en kunnen direct benoemd worden. Deze methoden wordt in een aantal organisaties al gehanteerd om zicht te krijgen op de

prestaties van de werknemers. De ‘mystery shopper’ kan zowel letten op kwantitatieve als kwalitatieve aspecten binnen de

bedrijfsvoering.

Nadelen

Werknemers worden geobserveerd zonder dat zij hiervan op de hoogte zijn. Ze kunnen zich hierdoor niet verdedigen tegen eventuele slechte uitkomsten.

Sommige werknemers zien deze methode als een motie van wantrouwen van het management.

MYSTERY SHOPPING

Tips Zorg ervoor dat de werknemers/ deelnemers weten op welke criteria zij beoordeeld worden. Houd met deze methode rekening met de privacywetgeving. Link de doelstelling van de ‘mystery shopper’ aan de doelstelling van de training. De volgende stappen kun je ondernemen bij het hanteren van de ‘mystery shopping’

methode: - Stel servicerichtlijnen of -criteria vast. Op deze wijze is het voor alle betrokkenen

duidelijk waar zij op beoordeeld worden of moeten beoordelen. - Werk het script voor de mystery shopper uit. - Informeer alle betrokkenen. Het is belangrijk dat de werknemers of deelnemers weten

dat zij geobserveerd kunnen worden in een bepaalde periode. - Laat de observatie uitvoeren door de ‘mystery shopper’ aan de hand van een script en

een evaluatieformulier. - Verwerk de resultaten van de observatie. - Rapporteer de resultaten naar de deelnemers en het management. - Bepaal maatregelen op de tekortkomingen. - Voer nogmaals een observatie uit.

Hoe kan deze methode eruit zien?

Voorbeeld 1: Hieronder een voorbeeld van een checklist die gebruikt kan worden bij een ‘mystery shopping’ bezoek. De criteria zijn vastgesteld aan de hand van de training ‘klantenservice’.

Voorbeeld Checklist – Mystery shopping - Klantenservice

Organisatie:

Datum:

Tijdstip:

Geholpen door:

Duur van het gesprek: … min

Aantal minuten voordat je geholpen wordt:

Onvoldoende Voldoende Zeer

vaardig vaardig vaardig

1 2 3 4 5

Maakt een positieve eerste indruk door

zichzelf goed te presenteren

Heeft inzicht in de voordelen en

eigenschappen van de eigen producten en

diensten en kan deze toelichten.

Heeft inzicht in de voordelen en

eigenschappen van producten en diensten

van andere afdelingen en kan deze

toelichten.

Toont interesse voor de klant door daarop

in te spelen (bijvoorbeeld: ‘Ik zie dat u

haast heeft’).

Bron: Reijmes, J. (2008). Onderzoek naar klanttevredenheid en ‘waarde voor de klant’. Toepassingen en nieuwe

evoluties. Gevonden op 5 februari 2010, op http://uhdspace.uhasselt.be/dspace/handle/1942/8605

Een interview is een gesprek met het doel kennis te vergaren, over de persoon (respondent) die wordt bevraagd, zijn ervaring, zijn kijk op bepaalde zaken, zijn attitudes, zijn gedrag, etc. Interviews kunnen verschillend zijn in structuren en wijze/ vormen van afname:

Structuur van het interview Een interview kan de volgende structuren hebben: open, halfgestructureerd of (volledig) gestructureerd. Bij een open interview gaat het om een gesprek over een bepaald onderwerp en beschikt

de interviewer ten hoogste over een aantal aandachtspunten. Het heeft vaak een meer kwalitatief onderzoekskarakter.

Bij een halfgestructureerd interview is vooraf een aantal (open) vragen geformuleerd, die in principe in de voorbereide volgorde en formulering worden gesteld.

Bij een gestructureerd interview is sprake van voorgestructureerde antwoorden (en/of vragen).

Wijze van afname Een interview kan op verschillende wijze worden afgenomen: individueel, groepsgewijs, individueel, telefonisch of via de webcam. Afhankelijk van het niveau waar je zicht op wilt krijgen, maak je een keuze voor je gesprekspartner(s). Voor bijvoorbeeld het zicht krijgen op de resultaten op ‘Productivity’- en ‘Performance’-niveau wordt het in gesprek gaan met de managers aangeraden. Zien zij de resultaten van de training terug in de bedrijfsresultaten?

Op welk niveau kun je deze methode gebruiken?

Het interview kan informatie geven over verschillende evaluatieniveaus: ‘Potential’, ‘Performance’ en ‘Productivity’. Het hangt van de vraag af welk niveau je daadwerkelijk toetst.

Tips

Bij een mondeling interview dat via de telefoon wordt afgenomen, kan de interviewer direct de gegevens invoeren in de computer. Je kunt er ook voor kiezen om tijdens het interview aantekeningen te maken op je laptop.

Het interview kun je opnemen met geluidsapparatuur. Het taalgebruik van de vragen moet aangepast zijn aan de geïnterviewde, niet te moeilijk. De vragen mogen niet suggestief zijn. De vragen mogen naar niet meer dan één ding tegelijk vragen. De vragen moeten geen kennis of feiten veronderstellen die niet vermeld zijn. Bij een open interview is het goed gebruik te maken van een interviewschema.

INTERVIEWS

Voor- en nadelen van vragenlijsten en mondelinge interviews

Hieronder is in de tabel weergegeven wat de voor- en nadelen zijn van het afnemen van een vragenlijst, mondeling versus schriftelijk.

Mondeling Schriftelijk

Minder voorbereiding Veel voorbereiding

Geschikt voor open en ingewikkelde vragen Geen emotionele opvang

Emotionele vragen Niet te veel vragen

Goede controle invulling Geen controle op de invulling

Weinig onvolledige lijsten Veel non-respons

Moeilijker realiseerbaar Makkelijk realiseerbaar

Niet anoniem Anoniem

Erg gevoelig voor sociale wenselijkheid Minder gevoelig voor sociale wenselijkheid

Naast het afnemen van een ‘gewoon’ interview kun je er ook voor kiezen om het interview groepsgewijs of telefonisch af te nemen. Hieronder vind je de voor- en nadelen tegen elkaar afgewogen:

Voordelen Nadelen

Ongestructureerd groepsgesprek

Minder tijd Meer mensen Groep lokt reactie uit

Groep kan ook de reactie van mensen remmen

Groepsgewijze afname vragenlijst

Meer en snellere respons Kost minder tijd van de interviewer Betere controle

Kost iets meer tijd van de deelnemers

Telefonisch interview

Kost minder tijd Makkelijk te organiseren Snelle verwerking mogelijk Invloed sociaal wenselijkheid

Ongeschikt bij lange of ingewikkelde vragenlijsten

Hoe kunnen de diverse vormen van interviews eruit zien? Een stappenplan voor een interview kan zijn: Ontwikkel de vragen die je wilt stellen en zorg dat ze zo worden opgesteld dat ze het niveau

van één van de vijf P’s toetsen: ‘Pleasure’, ‘Potential’, ‘Performance’, ‘Productivity’ & ‘Profitability’.

Probeer het interview eerst uit en stel desnoods zaken bij. Geef bij de deelnemer aan het interview duidelijk aan wat de doelstellingen van het

interview zijn en wat er met de gegevens wordt gedaan. Maak een hand-out voor de interviewer; hoe lang duurt het interview, plaats, etc.

Voorbeeld 1

Voorbeeld open interview – Performance-niveau Je neemt bij een aantal verschillende werknemers en afdelingshoofden een aantal vragen af: In hoeverre is de situatie op de afdeling veranderd? Waaraan ziet u dit? Wat merkt u aan de deelnemers van de training? Zijn er ook mensen op de afdeling die niet hebben deelgenomen? Zo ja, welk verschil is

merkbaar in gedrag? De antwoorden op de vragen worden in een rapport uitgewerkt.

Voorbeeld follow-up interview – Performance – Potential-niveau Na een periode van minstens drie maanden kan er een follow-up interview georganiseerd worden. Dit heeft twee doelstellingen. Ten eerste kun je de vooruitgang in kennis en vaardigheden evalueren door de vragenlijst die vooraf is ingevuld te bespreken. Op die manier worden deelnemers zich opnieuw bewust van bijvoorbeeld hun communicatie en kunnen ze de toepassing naar de praktijk beter maken. Ten tweede is het doel te signaleren waarin medewerkers belemmeringen en hindernissen ervaren bij de toepassing van het geleerde in de praktijk, als zowel de opdrachtgever als de deelnemers laten blijken dat de trainingsdoelen nog niet volledig zijn bereikt. Op manier kan er samen naar oplossingen worden gezocht om het geleerde uit te kunnen voeren in de praktijk. Het resultaat kan zich uiten in een rapport met een analyse van de persoonlijke kwaliteiten en de leerbehoeften van de deelnemers.

Bronnen: Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag:

Academic service. Baarda, D.B., & de Goede, M.P.M. (2006). Basisboek Methoden en Technieken. Groningen: Stenfert Kroese. Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf

Publishing Company. Stokking, K.M. (1998). Bouwstenen voor onderzoek in onderwijs en opleiding. Utrecht: Capaciteitsgroep

Onderwijskunde.

Om het effect van een opleidingsinterventie vast te stellen gebruik je idealiter een controlegroep. In de praktijk is dit vaak niet haalbaar en realistisch. Om toch het effect van een opleidingsinterventie te kunnen vaststellen, kun je gebruik maken van een focusgroep binnen een organisatie (Stoel, 2003). Dit is een groep mensen die door hun ervaring weten welke factoren het succes van de organisatie beïnvloeden. Zij kunnen op basis van hun ervaring een inschatting maken van de factoren die van invloed zijn op bijvoorbeeld de omzet, verkoopcijfers of klachten.

Op welk niveau kun je deze methode gebruiken?

Dit is een methode die je kunt gebruiken op het niveau van ‘Productivity’. Het doel van deze methode is dat je een schatting maakt van de bijdrage van de training aan de productiviteit binnen de organisatie, door de focusgroep in te zetten samen met het meetinstrument.

Voordelen

Je hebt geen controlegroep meer nodig. De factoren die invloed hebben op het resultaat worden besproken en ingezet op waarde.

Nadelen

Voor deelnemers kan het lastig zijn om aan te geven in percentages wat de bijdrage is van de gevolgde training.

Er kan sprake zijn van sociaal wenselijke antwoorden Het blijven schattingen.

Tips

Overtuig het management of de leidinggevende van de voordelen van het werken met een focusgroep, dit zorgt ervoor dat zij de uiteindelijke informatie als geloofwaardiger ervaren.

De specifieke onderwerpen, vragen en kwesties moeten goed worden gepland. Maak de focusgroep niet te groot. Een range van 6 tot 12 deelnemers wordt aanbevolen. Zorg ervoor dat de focusgroep uit een representatieve groep van werknemers bestaat. Dring er bij de klant op aan dat het gaat om experts.

FOCUSGROEPEN

Hoe kan de uitvoering van het werken met een focusgroep eruit zien?

Voorbeeld 1: Het doel van de onderstaande training was:

Meer orders uit gesprekken waarin een prijsbezwaar op tafel komt. Naast de focusgroep is er

ook gebruik gemaakt van de verkoopcijfers.

De opbouw van de focusgroep ziet er in dit geval als het volgt uit:

De focusgroep krijgt de verkoopcijfers te zien (met een omzetstijging van 45% in de maand juli).

Zet de factoren op een rij waarvan aannemelijk is dat ze bepalend zijn geweest voor de omzetstijging (bijvoorbeeld de financieringsregeling en de training).

Laat elk groepslid schatten hoe groot de invloed van de factoren is geweest op de omzetstijging.

Druk de onderlinge verhoudingen van de invloedsfactoren uit in percentages. Laat iedereen aangeven hoe zeker zij zijn van hun oordeel. Dit is van groot belang: als

mensen twijfelen is de schatting minder betrouwbaar.

Figuur 1. Voorbeeld uitwerking focusgroep (Stoel, 2003) Bronnen: Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf

Publishing Company. Stoel, D. (2003). Het rendement van een training. Sales Management, 10, 32- 34.

BRONNENSTUDIE

Een bronnenstudie houdt het bestuderen in van documenten die binnen de organisatie aanwezig zijn. Het betreft bronnen die in de betreffende organisatie zelf worden gemaakt en gebruikt. Vaak vervullen dergelijke bronnen slechts een rol in aanvulling op bevraging van betrokkenen. Onder de betrokkenen worden onder andere de deelnemers aan de training en de managers verstaan. Hoe belangrijker de rol van de bronnen, des te meer aandacht moet worden besteed aan de volledigheid van de verzamelde bronnen (dan wel het maken van een zorgvuldige, representatieve selectie) en de wijze van gebruik.

Op welk niveau kun je deze methode inzetten?

Deze methode kun je inzetten op het ‘Productivity’-niveau. Je krijgt door het uitvoeren van een bronnenstudie zicht op wat de training oplevert op organisatie- en/of teamniveau.

Voordelen

Het sluit aan bij de meetinstrumenten die in de organisatie aanwezig zijn. Het voordeel hiervan is dat er geen nieuwe meetinstrumenten ontwikkeld hoeven te worden.

In de bronnen zijn objectieve data te vinden. Door je goed in te lezen en effectief in te lezen in de diverse bronnen ervaart de

opdrachtgever dat je zijn context en situatie begrijpt. Je spreekt de taal van de interne of externe klant!

Nadelen

Sommige stukken zijn niet openbaar voor HR-afdeling of externen (bijvoorbeeld EMC). Niet alle documenten zijn actueel. Sommige maatstaven worden immers één per jaar

getoetst. Er spelen meerdere factoren een rol bij bepaalde kengetallen van een organisatie. Het

werken met een controlegroep of focusgroep wordt daarom aangeraden.

Tips

Data uit indirecte bronnen (zoals management rapportages) zijn uitstekend geschikt om te combineren met data uit directe bronnen (zoals gesprekken, observaties). Je kunt bijvoorbeeld vragen stellen na het lezen en analyseren van een management rapportage tijdens een interview.

Combineer de bronnenstudie met een focusgroep. Op die manier kun je een inschatting maken in hoeverre de training een bijdrage heeft geleverd. Zie voor meer informatie ‘Focusgroep’.

Waar kun je op letten bij een bronnenstudie?

Het meten van prestaties die zichtbaar worden in de ‘productie’ van de organisatie

Belangrijke maatstaven

voor organisaties

Zaken die meestal worden gebruikt

om prestaties in de organisaties te

meten

Maateenheden:

Wat kan worden geteld en

gewogen?

Waar kun je naar kijken om de

gegevens te verzamelen?

Klanttevredenheid

Percepties en meningen in de

vorm van een tevredenheids-

onderzoek (schriftelijk of

mondeling)

Klachten en retourzendingen

Doorverwijzingen

Waarderingscijfers

Aantal ongevallen

Kosten om problemen op te

lossen

Waarderingcijfers op enquête

Focusgroepen

Cijfers klantenservice

Tevredenheid van

medewerkers

Moreel

Klachten

Omzet

Personeelsverloop

Gemiddelde scores in enquête

Ziekteverzuim

Recruteringskosten

Medewerkerstevredenheids-

onderzoeken

Enquêtes

Gesprekken met

vertrekkende medewerkers

Marktaandeel

De werkelijke marktwaarde

vergelijken met de potentiële of

met de concurrentie

Omzet (in euro’s)

Percentages van verkoop

Aantal verkochte eenheden

Wat zijn de kosten voor het

verbeteren van de service?

Afgezet tegen het effect.

Marktonderzoek

Bedrijfsindexen

Productprestatie Kosten

Terugzendingen

Afwijkingen in het product

Meningen van klanten over het

product

Ongeplande service

Hoeveelheid afval

Euro’s per eenheid

Standaarddeviaties

Waarderingscijfers

Percentages of ratio’s

Directe en indirecte afvalkosten

Financiën

Statistische gegevens

Procescontrole

Focusgroepen

Servicegesprekken

Prestatie werknemers Wat is het rendement van de

werknemer?

Hoeveel tijd is besteed aan de

taak?

In hoeverre bereiken ze de

organisatiedoelstellingen?

Wat zijn de kosten voor de

supervisie?

Verbetering productiefouten

Ratio en percentage

Percentage van tijd

Percentage van presentatie

Verhoudingen werknemers en

managers

Streefbedrag directe en

indirecte kosten

SPC-gegevens (statistische

procescontrole)

Tijdstaten/ weekstaten

Planningen

Budgetten

Omzet per werknemer /

targets

Vastgestelde KPI’s (kritieke

prestatie-indicatoren)

Prestatiecontracten met

individuele werknemers

Belangrijke maatstaven

voor organisaties

Zaken die meestal worden gebruikt

om prestaties in de organisaties te

meten

Maateenheden

Wat kan worden geteld en

gewogen?

Waar kun je naar kijken om de

gegevens te verzamelen?

Financiële prestatie Wat zijn de vaste kosten?

Variabele kosten

Groeisnelheid

Verkoopkosten

Servicekosten

Ratio

Percentage van de kosten

Dagelijkse rapporten

Werkelijke euro’s versus

begrote euro’s

Verkoopanalyse

Management surveys

Naleving Formele claims

Aantal gevallen van niet-naleven

Verplichte verslaglegging

Kwantitatieve gegevens

Waarde in euro’s

Hoeveelheid per 100 uur

Aantal gevallen van niet-

naleven

Kwaliteitscontrole rapporten

Telefoongesprekken met

klanten die een klacht

hebben ingediend

Dagvaardingen

Groei Training

Planningen

Aantal getrainde werknemers

en aantal niet-getrainde

werknemers

Geïnvesteerde euro’s per

werknemer

In hoeverre komt het tegemoet

aan de persoonlijke

ontwikkelingsplannen?

Personeelsverloop

Werkelijk versus budget

Veranderingen in de

database

Bronnen: Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag: Academic service. Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.