Studiegebied

handelswetenschappen en bedrijfskunde

Campus Kortrijk

Onderzoek en ontwikkelen van methodes om (commercieel) gedrag te verbeteren/veranderen

bij mensen in leersituaties

Project

betoelaagd vanuit het Vives-Onderzoeksfonds

Geert Delobelle

2011-2014

“Hij die weet, maar denkt dat hij het niet weet, is wijs.

Hij die niet weet, maar denkt dat hij het weet, is ziek”

Lao Tse, Chinese filosoof (604 v.Chr. - 507 v.Chr.)

INHOUDSTAFEL

I. KERNGEGEVENS .................................................................................................................................... 5

II. SITUERING VAN HET PROJECT ............................................................................................................... 9

A. PROJECTDOELSTELLINGEN ............................................................................................................................ 12 1. De onderzoeksvragen: ..................................................................................................................... 12 2. De projectdoelen: ............................................................................................................................ 12

B. WERKPLAN............................................................................................................................................... 13 C. ROL VAN DE STUURGROEP ........................................................................................................................... 15

1. De stuurgroep heeft volgende functies: .......................................................................................... 15 2. Leden (sommigen onder voorbehoud van voorlegging details project): ......................................... 15

D. DISSEMINATIE VAN PROJECTRESULTATEN EN KENNISTRANSITIE (ZIE WERKPLAN) ...................................................... 15

III. VERKENNINGSFASE, WETENSCHAPPELIJKE LEERONDERZOEKEN EN EXPERTENONDERZOEK ALS BASIS VOOR DE OPMAAK VAN HET ONDERZOEKS- EN OPLEIDINGSDESIGN- .................................16

A. THEORETISCHE LEEREVALUATIEMODELLEN ...................................................................................................... 16 1. De evaluatieniveaus van Kirkpatrick ............................................................................................... 16

B. KESSELS EN SMIT ACHTVELDENMODEL ........................................................................................................... 17 C. HET V-MODEL .......................................................................................................................................... 19 D. KRACHTIGE LEEROMGEVINGEN ..................................................................................................................... 19

IV. RETURN ON INVESTMENT VAN OPLEIDINGEN ......................................................................................22

V. ANDERE INITIATIEVEN OP VLAK VAN METEN VAN LEEREFFECTEN .......................................................23

A. EVALUATIETRAJECTEN ................................................................................................................................. 24 1. Evaluatietraject 1: Wat zijn de doelstellingen van de leeractie? .................................................... 24 2. Evaluatietraject 2: Wat is de toepasbaarheid van de geplande leeractie? ..................................... 24 3. Evaluatietraject 3: Wat is de tevredenheid van de deelnemers over de leeractie? ........................ 24 4. Evaluatietraject 4: Wat is de aanwezige VAK (vaardigheden-kennis-attitude)? ............................ 25 5. Evaluatietraject 5: Welke verandering in VAK stellen we vast? ...................................................... 25 6. Evaluatietraject 6: Wat is de kans tot toepassing van het geleerde? ............................................. 25 7. Evaluatietraject 7: Welke verandering in toepassing wordt verwacht? ......................................... 25 8. Evaluatietraject 8: Wat is de toepassing van de leerdoelen? ......................................................... 26 9. Evaluatietraject 9: Welke verandering in toepassing stellen we vast? ........................................... 26 10. Evaluatietraject 10: In welke mate zijn de organisatiedoelen of persoonlijke doelen bereikt? ...... 26 11. Evaluatietraject 11: In welke mate heeft de leeractie een effect gehad op organisatiedoelen of

persoonlijke doelen? ....................................................................................................................... 26 B. EVALUATIEMOMENT .................................................................................................................................. 26

1. Een pre-evaluatie ............................................................................................................................ 26 2. Een warme evaluatie....................................................................................................................... 27 3. Een koude evaluatie ........................................................................................................................ 27

VI. UITVOERINGSFASE: OPLEIDING “TELEFONISCH BEMIDDELEN” .............................................................27

A. OPMAAK WORKSHOPFORMULE .................................................................................................................... 27 1. Doelgroep ........................................................................................................................................ 27 2. Doelstellingen (inhoudelijk) ............................................................................................................. 28

a) “Voornaamste doelstellingen en inhouden” ..............................................................................................28 b) De eindcompetenties van de cursisten na de opleiding: ...........................................................................28

2

c) Specifieke inhoudelijke leerdoelen: ...........................................................................................................29 (1) Doel/probleem:..........................................................................................................................................30 (2) Werksituatie: .............................................................................................................................................30 (3) Vaardigheden: ............................................................................................................................................31

3. Checklist van de te meten vaardigheden: ....................................................................................... 32 (1) Leersituaties: ..............................................................................................................................................33 (2) Specifieke inhoudelijke leersituaties:.........................................................................................................33 (3) Didactische aanpak: ...................................................................................................................................34

4. Lesschema’s (leerproces) ................................................................................................................ 35 a) Lesdag 1 .....................................................................................................................................................35 b) Lesdag 2 .....................................................................................................................................................36 c) Lesdag 3 .....................................................................................................................................................37 d) Bijlage opdrachten (uittreksel opleidingen “Telefonisch bemiddelen 2 + 1” i.s.m. Spoor 21) ...................38

VII. EXPLORATIEF ONDERZOEK: METEN VAN HET LEEREFFECT VAN EEN COMMERCIËLE TRAINING, CASUS OPLEIDING “TELEFONISCH BEMIDDELEN VOOR VDAB-MEDEWERKERS” ...................................39

A. SITUERING VAN HET ONDERZOEK .................................................................................................................. 39 B. STRAMIEN VAN HET ONDERZOEK ................................................................................................................... 40 C. OBSERVATIECHECKLIST................................................................................................................................ 45 D. ONDERZOEKSMETHODIEK: EXPLORATIEF VERSUS KWANTITATIEF MARKTONDERZOEK. ............................................... 45 E. AANTAL PROEFPERSONEN VOOR HET EXPERIMENT/ONDERZOEK .......................................................................... 48 F. MOGELIJKE VERTEKENINGEN VAN HET ONDERZOEK EN ERMEE GEPAARD GAANDE AANPASSINGEN

IN ONDERZOEKSMETHODIEK ......................................................................................................................... 49 1. Voorbeeld ingevulde observatiechecklist ........................................................................................ 50

G. STRAMIEN VERWERKING ONDERZOEKSRESULTATEN .......................................................................................... 53 H. RESULTATEN ONDERZOEK ............................................................................................................................ 53

1. Scoretabel: ...................................................................................................................................... 54 2. Samenvattende resultatentabel: .................................................................................................... 54 3. Commentaar: .................................................................................................................................. 58

a) De opleidingsgroep kent meer verbeterde items en minder aantal lagere scores dan de controlegroep.58 b) Opmerkelijke verschillen per gedragsindicator (item) onderling, onafhankelijk van

opleidings- of controlegroep ......................................................................................................................58 c) Natuurlijk adequaat gedrag .......................................................................................................................58 d) De opleidingsgroep en de controlegroep scoren ongeveer gelijk voor de pre-test ...................................59 e) De controlegroep scoort beter bij de tweede test (posttest): “zelflerend meeteffect”?...........................59 f) De opleidingsgroep haalt een globaal hogere score en een sterkere stijging van de score

na de opleiding dan de controlegroep zonder opleiding ...........................................................................60 g) Het meten op zich leidt blijkbaar tot hogere scores ..................................................................................60 h) De opleidingsgroep scoort op bepaalde items lager na de opleiding ........................................................60 i) De opleidingsgroep scoort op bepaalde items opmerkelijk beter terwijl de controlegroep opmerkelijk

lager scoort bij de posttest. .......................................................................................................................61 j) De opleidingsgroep haalt voor bepaalde items opmerkelijk hogere scores na de opleiding dan

............................................................. de controlegroep die op die items ongeveer dezelfde scores haalt. ...................................................................................................................................................................61

4. Grafische samenvatting: ................................................................................................................. 62 I. AANVULLEND ONDERZOEK: .......................................................................................................................... 66

1. Onderzoek effect van leerinterventies bij Spoor 21 – het ontwerp van een evaluatiesysteem bij formeel leren – Els Devos – juni 2014 ............................................................................................. 66 a) De resultaten .............................................................................................................................................67

3

VIII. AANBEVELINGEN OP BASIS VAN HET ONDERZOEK BIJ HET GEVEN VAN COMMERCIËLE OPLEIDINGEN 70

IX. BIJLAGES ..............................................................................................................................................74

A. MEDEDELING AAN DE MEDIA EN ANDERE MEDIATOREN ..................................................................................... 74 a) Uittreksel uit het onderzoek: .....................................................................................................................75 b) De opleidingsgroep haalt een globaal hogere score en een sterkere stijging van de score

na de opleiding dan de controlegroep zonder opleiding ...........................................................................75 c) De belangrijkste resultaten van het onderzoek .........................................................................................75 d) De aanbevelingen ......................................................................................................................................76

B. VOORBEELDVERSLAG VERGADERING ADVIESGROEP ........................................................................................... 78

X. DANKWOORD ......................................................................................................................................81

XI. BRONNEN ............................................................................................................................................82

4

I. Kerngegevens

Onderzoek en ontwikkelen van methodes om (commercieel) gedrag te verbeteren/veranderen bij mensen in leersituaties

Acroniem: leercommercieel

Project gelinkt aan het EC:

Studiegebied(en) Handelswetenschappen en bedrijfskunde

Trefwoorden (max. 5) Training meten leereffect commercieel

Looptijd 3

Jaarlijkse omkadering (in VTE) 20

Contactpersoon Ron Beirens-Geert Delobelle

Onderzoeker(s) Geert Delobelle

Samenstelling stuurgroep (minstens 1 extern lid)

Steven Martens (zaakvoerder management en sales advies bvba), Els Devos en Geert Vanden Daele (VDAB Spoor 21), Pol Toye, docent Hantal

Korte beschrijving:

Door observatie (experimenteel onderzoek) en assessmenttechnieken (simulatiegesprekken) meten we het leereffect van een workshop commerciële vaardigheden met name “Telefonisch bemidde-len”. We meten de vaardigheden voor en na de opleiding aan de hand van realiteitsvolle simulatiege-sprekken en vergelijken die met de vaardigheden van een controlegroep die de opleiding niet ge-volgd heeft (split-run met pre- en posttest). De case wordt uitgevoerd in samenwerking met de VDAB, Spoor 21 (opleidingscel). Het commerciële opleidingsthema is: “telefonisch bemiddelen”.

Stappenplan:

1. Onderzoek naar bestaande methodieken om commerciële trainingen te evalueren en het leeref-fect te meten

2. Samenstelling van de stuurgroep 3. Op zoek gaan naar medewerking uit het werkveld (aantal gesprekken uit het eigen netwerk) 4. Opmaak van het voorlopig onderzoeksdesign (afbakening onderwerp, methodiek, praktische or-

ganisatie) 5. Gesprekken bij management van VDAB naar bereidheid tot samenwerking (Fons Leroy) 6. Vier stuurgroepvergaderingen 7. Opmaak van de trainingsmodule: telefonisch bemiddelen met werkgevers en werkzoekenden met

als doel te sturen naar werk 8. Pilootsessies. 2 groepen van telkens een 14-tal personen.(periode voorjaar 2012) 9. Evaluatievergadering van de pilootsessies met feedback van deelnemers aan de hand van evalua-

tieformulieren en een debriefing na de opleiding van de observatoren van de training (door leden stuurgroep: mevrouw Devos, de heren Martens en Vanden Daele)

10. Opmaak van een nieuw (aangepast) onderzoeksdesign op basis van feedback van de training, praktische haalbaarheid en objectiviteit en voorspelbare validiteit.

5

11. Afspraken op vlak van data 12. Verdere opmaak observatiechecklists en onderzoeksdesign 13. Uitvoering van het onderzoek

Kwalitatief verklarend observatieonderzoek

Opleidingsgroep: n1.1=12 pre-tests face-to-face, posttest face-to-face n1.2 = 12 Controlegroep: n2.1 = 12 pre-tests face-to-face, posttest face-to-face n2.2 = 12 d.i. 46 interviews, one-to-one simulatiegesprekken met opname telefoongesprekken en registratie via observatiechecklist en opmaak scores Stramien

1. VDAB bezorgt ons de lijst van de deelnemers per groep (cursisten) met naam, voornaam, ge-slacht, emailadres en telefoonnummer.

2. VDAB en de leidinggevende informeert over het concept en telefoontje van de onderzoekers dat ze mogen verwachten.

3. De onderzoekers bellen hen op voor een afspraak. 4. De onderzoekers leggen de case pre-test* uit aan de cursist op een rustige afzonderlijke plaats. 5. De cursist mag zich gedurende een kwartiertje voorbereiden op het gesprek. 6. Het gesprek wordt gevoerd. Onderzoeker 1 vervult de rol van “klant” volgens de case. Onderzoe-

ker 2 observeert en neemt het gesprek op. 7. De cursist wordt gevraagd naar feedback over zijn eigen gesprek naar zowel sterke als minder

sterke punten: bewust (on)bekwaam? De onderzoekers geven zelf geen feedback! 8. De onderzoekers en de cursist maken een nieuwe afspraak kort na de opleiding (tussen 2de en

3de week na de cursus). 9. De onderzoekers bezorgen de ingevulde “pre-test” checklist en rapportering aan de “onderzoe-

ker” (Geert D.). 10. De cursist volgt de cursus “beter bemiddelen”. 11. De onderzoekers bezoeken opnieuw de cursist. 12. De onderzoekers nemen opnieuw een case posttest* en vervullen de rol van klant en observeren

opnieuw. 13. De cursist geeft opnieuw zelfevaluatie-feedback over sterke punten en verbeterpunten: bewust

(on)bekwaam. 14. De onderzoekers sturen feedbackrapport naar de cursist en de onderzoeker (Geert D.) 15. De cursist krijgt een onderzoeksevaluatiechecklist en stuurt deze ingevuld terug aan de onderzoe-

ker (Geert D) *Case (fictief) pre-test: de VDAB-medewerker belt zelf een bedrijf (dat op zoek is naar een …. – de cur-sist mag zelf de “vacature” invullen bijv. werkzoekende, kandidaat IBO-opleiding, stagiair,… ) op en stelt deze voor aan de bedrijfsleider. De gedragsdoelstelling is om de bedrijfsleider bereid te vinden de sollicitant te ontvangen voor een gesprek (een afspraak bekomen voor de sollicitant). De bedrijfsleider heeft wel een bezwaar: “hij heeft geen al te beste ervaringen met sollicitanten van de VDAB”. Extra info: De VDAB-medewerker heeft meteen de juiste contactpersoon aan de lijn. De case mag aan de cursist voor het gesprek uitgelegd worden met uitzondering van het bezwaar van de bedrijfsleider. *Case posttest: idem als pre-test met uitzondering van het bezwaar dat hier anders moet zijn om ver-gelijking mogelijk te maken. Het bewaar is hier: “ik werk al met “collega’s van u” (selectiekantoor, in-terimkantoor, anderen kanalen (school,…) en we zijn daar heel tevreden over”.

6

Verwerking onderzoeksresultaten, opmaak onderzoeksrapport en dissiminatie resultaten en aanbeve-lingen:

I. Verwerking onderzoeksresultaten

Alle gegevens in telkens 3 aspecten beschrijven: tabel grafische voorstelling conclusies in tekstcommentaar

A. Individuele input in Exceldoc observatiechecklist pre- en posttest + commentaren + wie + wanneer ( dus alle info op sheet + notities in digitale Exceltabel)

B. Individuele vergelijking (d.i. score per item-20 items) tussen elke pre- en posttest: verschillen in Excel 2 kolommen pre- en post + commentaren

C. Conclusies individuele vergelijking A en B D. Optelling van resultaten: hieronder verwerking/analyse met telkens grafische voorstelling en

tekstconclusies: 1. Optelling pre-test opleidingsgroep per item en totaal score op 60 2. Optelling posttest opleidingsgroep per item en totaal score op 60 3. Vergelijking resultaten pre- posttest opleidingsgroep per item en totaal score op 60 4. Conclusies 4. 5. Optelling pre-test controlegroep per item en totaal score op 60 6. Optelling posttest controlegroep per item en totaal score op 60 7. Vergelijking pre-post controle groep 8. Conclusies 8. 9. Vergelijking resultaten 3. En 7. 10. Conclusies 10 11. Vergelijking pre-testresultaten per item en totaalscore opleiding – controle 12. Conclusies 11 13. Vergelijking posttestresultaten per item en totaalscore opleiding – controle 14. Conclusies 13 15. Algemene conclusies II. Opmaak onderzoeksrapport (resultaten en aanbevelingen): (dec-aug 2014) III. Disseminatie resultaten en aanbevelingen: opmaak mediaplan, boodschap en doelgroepen en uit-

voering communicatie.(sept-dec 2014) inhoudelijk rapport (nov 2014) presentatie rapport aan stuurgroep (nov 2014) bekendmaken van leereffectonderzoek bij circa 35.000 Vlaamse ondernemers door middel van

een mailing.(2014-2015) bekendmaken bij een aantal bekende zakelijke netwerken (LinkedIn publicatie bij circa 1800 1ste

connecties voorstelling van resultaten op Platosessies voor ondernemers, Workshopsessies commerciële

trainingen: dit zijn enkele honderden cursisten per jaar (doorlopend komende jaren) aanbevelingen worden meegenomen bij alle opleidingsopdrachten voor bedrijven en organisa-

ties (doorlopend komende jaren)

7

Bekendmaking en bespreking met alle Voka-verantwoordelijken menselijk kapitaal en opleidin-gen West- en Oost-Vlaanderen, Vilvoorde, Brussel en Leuven (2014-2015)

VOV, vereniging voor opleidings- en ontwikkelingsverantwoordelijken d.m.v. direct marketing communicatie (2014-2015)

Dm Institute, organisatie voor commerciële opleidingen (2014-2015) bekendmaking aan leden Persbericht aan alle zakenbladen (Trends, De Tijd, zakenbladen van de Voka, Unizo,…) Alle opleidingsorganisaties die dienstverlener zijn in het kader van de KMO-portefeuille, pijler op-

leidingen en coaching (2014-2015) Bekendmaking op volgende HR Expo beurs (2015) Publicatie van de studie op het intern netwerk van VDAB, alle medewerkers (nog verder af te

stemmen wanneer, in welke vorm – executive summary) Bibliotheken waaronder VIVES e.a. (nog verder af te stemmen) IV. Aanpassen didactische leermaterialen (inhoud, vorm, tools) vanaf september 2014.

De doelstellingen werden dus gerealiseerd.

"Training activity that doesn’t produce business value is primarily wasted." (Marc J. Rosenberg)

"A course is not the solution to every problem" (Jane Hart)

"I'm not terribly interested in learning, but I'm passionate about performance." (Charles Jennings)

8

II. Situering van het project

Commercieel gedrag veranderen vraagt een geduldige en intensieve aanpak. Studies (zie beknopte literatuurlijst hieronder) wijzen uit dat mensen na een leermoment snel hervallen in hun voorheen vertoond gedrag.

“Je kan op verschillende manieren werk maken van jouw ontwikkeling. Wanneer je voor jezelf op zoek gaat naar de meest geschikte leeractiviteiten, is het goed onderstaande in het achterhoofd te houden. Het is bewezen dat mensen het meest leren van ervaringen die ze opdoen. Filip Peeters (in-spiration manager, Nike) verwoordt dit zeer goed: “you can’t learn how to swim by reading a book, so get wet!”

Een korte toelichting: Er bestaan formele (georganiseerde) en informele (niet georganiseerde) ma-nieren van leren en ontwikkelen. Bij formele leervormen denken we in eerste instantie aan opleiding, maar ook intervisie (“Intervisie is een professionele uitwisseling tussen medewerkers die werkzaam zijn in hetzelfde vakgebied”: Intervisie.nl) is hier een voorbeeld van. Als we het hebben over infor-mele leervormen, spreken we over leren door ervaring, niet intentioneel leren. Bijvoorbeeld leren op de werkvloer, observeren, vragen stellen, bepaalde vormen van zelfstudie, lezen… Onderzoek heeft uitgewezen dat we slechts 10% van de zaken die we leren, leren via formele trainingen. 20% leren we via andere, formele leervormen. En 70% leren we door ervaring. Het is dus erg belangrijk dat je op zoek gaat naar beide vormen van leren. Daarom biedt de Vlaamse overheid een divers aanbod van ontwikkelmogelijkheden.” Bron: Ago, Vlaamse Overheid.

Leren van leidinggevenden en collega’s

20 %

Formele training

10 %

Ervaringen 70 %

9

Ook een loutere kennisoverdracht via formele training is niet voldoende. Leren gebeurt in verschil-lende fases die allen dienen doorlopen te worden en achteraf verder dienen geborgd te worden. Wanneer iemand leert autorijden, valschermspringen of gesprekken met klanten voeren, telkens gaat het om automatismen die voor een groot gedeelte spontaan en gedeeltelijk onbewust dienen te gebeuren willen deze succesvol zijn. Stel dat een commerciële medewerker best ander gedrag ver-toont, dan zal die minimum vier stappen dienen te doorlopen om dat te bewerkstelligen (zie schema hieronder). 1. Hij zal zich eerst dienen bewust te worden van zijn “niet-commerciële reflex” en overtuigd te

worden dat zijn huidig gedrag niet oké is. (van onbewust onbekwaam naar bewust onbekwaam) 2. Vervolgens zal hij kennis nemen van wat wel het juiste commerciële gedrag is en overtuigd wor-

den van het nut voor zijn verkoopresultaat/bedrijf, hemzelf en voor zijn klant. (bewust compe-tent)

3. Hij zal dus vanaf nu – in trainingsituatie of tijdens het zogenaamde “werkplekleren” speciaal let-ten op beter aangepast gedrag (bewust competent)

4. Wil hij echter blijvend juist gedrag vertonen, dan zal dat juist gedrag vele keren dienen herhaald te worden (inslijten) om een nieuwe commerciële reflex te worden. Indien dit niet gebeurt, zal de trainee terugvallen op zijn vorige reflexen want commercieel gedrag bestaat uit honderden stimuli (in een verkoopgesprek van een half uur worden honderden signalen gestuurd naar de klant) wat maakt dat een verkoper onmogelijk op alles kan letten. Leren dient dus ook stimulus per stimulus te worden aangeleerd tot dit een automatisme wordt. (onbewust competent)

Bewust niet commercieel

Onbewust niet commercieel

Onbewust commercieel

Bewust commercieel

2

bewust onbewust

Niet de juiste commerciële

reflex

De juiste commerciële

reflex

Anderzijds kosten intensieve verkooptraining en -begeleiding handenvol geld en is het - zoals bijvoor-beeld bij zwematleten – onmogelijk om voortdurend een trainer of coach “bij de hand” te hebben om nieuwe onbewust bekwame reflexen aan te leren. Kunnen technieken in sporttraining, gedrags-therapie in non-profit toegepast worden?

Het studiegebied Handelswetenschappen en bedrijfskunde geeft reeds sinds de jaren 70 van de vo-rige eeuw verkooptraining aan intussen duizenden studenten met een steeds terugkerend vast stra-mien van “leren verkopen”: een gedeelte theorie die gedoceerd wordt met voorbeelden en een sylla-

10

bus, een boek, voorbeelden van verkoopgesprekken aan de hand van videomateriaal en korte oefe-ningen in kleine groepjes (leren telefonisch prospecteren, een gesprek opstarten, een verkoopmap gebruiken, leren demonstreren, ... ) De student wordt gevraagd zelf een gesprek voor te bereiden en dit één maal te voeren voor de klasgroep (een zogenaamd “proefgesprek” met eventueel beeld- en geluidsopname) waarna hij van de docent en de klasgroep o.a. aan de hand van een checklist een feedback krijgt zodat hij weet waar hij dient op te letten voor het uiteindelijke examengesprek. De observatieoefeningen door de collega-studenten van de klas is dan weer een extra leervorm voor de observatoren zelf.

In al die jaren is echter nooit onderzoek gedaan of deze methodiek de beste is, of er andere effectie-vere methodes bestaan en hoe er op basis van wetenschappelijke inzichten naar de toekomst toe (nog) beter kan gewerkt worden. Nieuwe leermethodes zoals Persuasive Technologies en TE(techno-logy enhanced)-learning zijn weinig gebruikt op vandaag. Wat is hun waarde en hoe kunnen ze voor commerciële training ingezet worden?

De projectleider, Geert Delobelle, geeft sinds 1986 verkooptraining aan studenten marketing, busi-ness management & entrepreneurship en sinds kort ook automotive management en stelt zich als sales trainer sinds 1991 ten dienste voor beroepsorganisaties (o.a. Voka) en bedrijven. Meerdere col-lega’s doceren ook verkooptraining en beschikken dus ook over heel wat expertise om deze voorge-stelde thematiek te kunnen behandelen. De wetenschappelijke fundamenten om keuzes te maken naar meest effectieve leermethodieken voor salesgedrag zijn ons momenteel nog onbekend. Van-daar dit onderzoek.

Enkele relevante contacten en gegevens intussen:

Stanford University Persuasive technology Lab: using technology to change what we think en do. International Conference on Persuasive Technology (past: Ohio, juin 2011) Wilfred Rubens:technology enhanced learning P3transfer.nl Etten Leur ref. Annit Knevels PhD Candidate Bernd Carette Doctoraat “werkplekleren” R.U. Gent. Calibris, kenniscentrum voor leren in de praktijk. Cedeo.nl certificeert Nederlandse opleidingsinstituten Qfor, certificeert Belgische opleidingsinstituten www.maninfo.be PROfessionalisering Katho (o.a. nieuwe media inzetten in je les, alternatieve werkvormen, acti-

verende werkcolleges) Leren en ontwikkelen binnen de Vlaamse overheid (AgO) Krachtige leeromgevingen Prof. Dr. P.R.J. Simons www.carrièretijger.nl/ho/portfolio https://www.kuleuven.be/icto/bv/bvbank/steekkaart.php?stid=16 http://www.mv-united.be/extra/tw/TK_4.pdf http://www.mv-united.be/extra/portfolio/Portfolio.pdf http://www.my-digital-me.be/ http://pointcarre.vub.ac.be/CMS/ http://www2.vlaanderen.be/werk/documenten/Diversiteit_PORTFOLIOwerkboek_uitgewerkt-

voorbeeld.doc http://www.123test.nl/leerstijl http://www.impulscentrum.be/kolb/onder.asp http://www.thesis.nl/kolb Return on investment van opleidingen, Universiteit Antwerpen, Prof. Dr. David Gijbels, mei 2008

11

A. Projectdoelstellingen

1. De onderzoeksvragen:

• Welke workshop* formule (mix) voor het aanleren van succesvolle telefonische prospectietech-nieken is volgens bestaand onderzoek en kennis meest succesvol?

• Verbetert deze workshopformule effectief het commercieel telefonisch bemiddelingsgedrag, en in welke mate?

2. De projectdoelen:

1. Interview van commerciële trainers, VTO verantwoordelijken en cursisten naar “gewenste” work-shopformules en “gekende” en “gemeten” effecten.

2. Onderzoek naar bestaande onderzoeken over effecten van een commerciële trainingworkshop. 3. Opmaak van een “ideale” workshopformule in functie van 1. en 2. Hierboven. 4. Toetsen van het effect van de workshopformule op het verbeterd commercieel gedrag aan de

hand van observatiechecklists en vragenlijst voor en na de training: methodes: vragenlijsten en assessmentmethode.

5. Conclusies van het onderzoek en aanbevelingen formuleren. 6. Bekendmaken van de conclusies en aanbevelingen: valorisatie naar de stakeholders** (doelgroe-

pen) toe.

Workshop*: één “kleine” groep cursisten (spam of control max. 12 personen) werkt samen concreet aan duidelijk afgebakende te verbeteren inzicht- en gedragscompetenties op een gemeenschappe-lijke locatie gedurende een bepaalde vooraf vastgestelde tijdsduur (bijv. één dag).

Stakeholders**: studenten bachelors, junior en senior commerciële medewerkers en kandidaat me-dewerkers, docenten en bedrijfsopleiders commerciële skills, managers, onderwijsinstellingen, oplei-dingsinstituten, overkoepelende bedrijfsorganisatie, verantwoordelijken VTO.

12

B. Werkplan

Werkplan PWO project Leercommercieel:

Onderzoek naar leermethodieken om commercieel inzicht en gedrag te verbeteren

Titel werkpakket Tijd (maanden)*

Doelstelling werkpakket Methodiek voor bereiken doel**

A Verkenningsfase

A1 Wetenschappelijke leer-onderzoeken

3

Begrijpen op basis van studie van relevante en recente we-tenschappelijke onderzoeken hoe mensen “conditioneren, le-ren, informatie verwerven en oproepen”

1

A2 Bevraging van het werk-veld

6

Interview van commerciële trai-ners, VTO-verantwoordelijken en cursisten naar “gewenste” workshopformules en “ge-kende” en “gemeten” effecten.

2-12

B Uitvoeringsfase

B1 Opmaak workshopfor-mule

3 Opmaak van een “ideale” work-shopformule in functie van A1. en A2. Hierboven.

13

B2

Proefopzet workshopfor-mule opgemaakt volgens leer-hypothese B1

8

Toetsen van het effect van de workshopformule op het verbe-terd commercieel gedrag aan de hand van observatiechecklists en vragenlijst voor en na de trai-ning. Methodes: gestructu-reerde vragenlijsten en as-sessmentmethode.

14

B3 Beschrijving van de vast-stellingen

4 Conclusies en aanbevelingen formuleren voor de commerci-ële workshopformule.

15

C Disseminatie/valorisatie-fase

C1 Communicatie van vast-stellingen bij stakeholders

6 Bekendmaken van de conclusies en aanbevelingen: valorisatie naar de stakeholders toe.

16-18

C2 Fullfilment 6 Verdere nazorg van vragen en feedback stakeholders, media, website actueel houden

19

13

Na elke werkpakket fase wordt de stuurgroep geïnformeerd & geconsulteerd.

**Overzicht onderzoeksmethodieken

1. Studie van bestaande onderzoek op vlak van conditionering leren, informatie verwerven en op-roepen gesprekken met VTO-verantwoordelijken.

2. Gesprekken met VTO-verantwoordelijken 3. Gesprekken met doctoraatsstudenten in binnen- en buitenland 4. Gesprekken met experts blended learning en Technology Enhanced learning in binnen- en bui-

tenland 5. Gesprekken met universiteiten en hogescholen in binnen- en buitenland 6. Gesprekken met opleidingsorganisaties (type V.O.V., Voka, Management Information)

Gesprekken met bedrijfsleiders, open bevraging 7. Vragenlijst 8. Gesprekken met commercieel directeurs, Sm, CCC, Customer Care Coördinators, open vragenlijst

Gesprekken met commerciële medewerkers, open bevraging 9. Vragenlijst 10. Gesprekken met studenten, open vragenlijst 11. Gesprekken met klanten, open vragenlijst 12. Deelname aan conferenties/workshops over leermethodieken en verkooptrainingstechnieken in

binnen- en buitenland 13. Creatie van workshopformule

Proefopzettraining vanuit de blended learning visie: combinatie van didactische strategieën ge-baseerd op A1 en A2

Methodiek: combinatie van meetinstrumenten, experiment, gespreksopname, vragenlijsten, observatoren, voor- en nametingen; in hoofdzaak kwalitatief onderzoek en waar mogelijk gekwantificeerd, we kiezen hier dus voor een eerder holistische (leerconcept als geheel) en contextuele (op basis van een casestudy, leerconcept heeft bijvoorbeeld als leerdoelstelling “succesvol telefonisch prospecteren”, dus case als onderdeel van het verkoopproces) vanuit participerende interveniërende en observerende rollen.

14. Redactie van bevindingen 15. Opmaak bevindingen op website 16. Redactie van publicatie i.s.m. uitgever 17. Presentatie op belangrijke conferentie/meeting/workshop

website, e-mails, telefoon, debatten 18. Gesprekken

14

VerkenningsfaseWetenschappelijke leeronderzoekenBevraging van het werkveld UitvoeringsfaseOpmaak workshopformuleProefopzet workshopformule opgemaakt volgens leerhypothese B1Beschrijving van de vaststellingenDisseminatie/valorisatiefaseCommunicatie van vaststellingen bij stakeholdersFullfillment

2011 2012 2013 2014

C. Rol van de stuurgroep

1. De stuurgroep heeft volgende functies: o Meedenken en suggesties doen zowel naar inhoud als naar methodiek van het onderzoeksproject. o Na elke fase in het project wordt de groep geïnformeerd over de voorbije activiteiten en de ge-

plande activiteiten met de bedoeling daarover feedback en advies te geven en bij te sturen o Voorstellen formuleren binnen hun eigen werkveld voor samenwerking en/of inhoudelijke input.

2. Leden (sommigen onder voorbehoud van voorlegging details project):

o Els Devos, expert training vorming en opleiding VDAB o Geert Vanden Daele, expert training vorming en opleiding VDAB o Steven Martens, zaakvoerder Management en Advies, docent Artevelde Hogeschool o Pol Toye, coördinator automotivemanagement en docent VIVES, studiegebied Handelsweten-

schappen en bedrijfskunde

D. Disseminatie van projectresultaten en kennistransitie (zie III.Disseminatie p.7 en 8))

15

III. Verkenningsfase, wetenschappelijke leeronderzoeken en experten-onderzoek als basis voor de opmaak van het onderzoeks- en oplei-dingsdesign-

In deze verkenningsfase zijn we op zoek gegaan naar enerzijds bestaande onderzoeken mbt het me-ten van het leereffect om zo ons eigen onderzoeksdesign samen te stellen en anderzijds de relevante theoretische leermodellen op basis waarvan we ons opleidingstraject zo optimaal zullen uitwerken.

A. Theoretische leerevaluatiemodellen

Kristoff Vandermeersch (publiceert regelmatig bijdragen met betrekking tot “return on investment” van opleidingen, promotor van Stimulearning en bedrijfsopleidingen.be) ziet drie belangrijke Lear-ning&Development-activiteiten die organisaties moeten ondernemen “om tot een relevante, effec-tieve en waardetoevoegende leer- en ontwikkelingsstrategie te komen”:

1. Definieer formele leer- en ontwikkelingsdoelen (relevantie – wat wil ik bereiken?) 2. Formuleer specifieke kenmerken van elk leertraject (efficiëncy – hoe wil men dat bereiken?) 3. Evalueer leeracties en verbeter je L&D (waarde toevoegend karakter – wat heeft men bereikt?)

We zullen in de ontwikkeling van ons onderzoeksdesign en de opmaak van ons opleidingstraject de drie activiteiten grondig uitwerken.

Er bestaan tientallen leermodellen. We hebben deze geselecteerd die ons het meest toepasbaar le-ken op ons onderzoek en opleidingstraject. We leggen telkens de link tussen het model en ons eigen uitgewerkt onderzoek.

1. De evaluatieniveaus van Kirkpatrick

De evaluatieniveaus van Kirkpatrick (1994) geven ons de theoretische basis voor ons onderzoeksmo-del. Het onderscheidt vier evaluatieniveaus van opleidingsprogramma’s.

• Op het eerste niveau, het 'reactieniveau' wordt de subjectieve tevredenheid van de deelnemers aan de vorming geëvalueerd. De 'happy sheets' die we vaak moeten invullen na het volgen van een opleiding zijn hier een mooi voorbeeld van. Op dit niveau is er van een echte productevalua-tie nog geen sprake. De deelnemers aan de vorming worden vooral bevraagd naar hun mening over hoe ze de vorming beleefd hebben (lokaal, spreker/trainer, infrastructuur,...)

In de praktijk van elke dag baseren we ons vaak op de resultaten van deze vorm van evaluatie. Dit is goed, maar we dienen ons wel te realiseren wat we hier dan eigenlijk wel en wat niet mee meten.

• Op het tweede niveau, het 'leerniveau', wordt gekeken/gemeten of de deelnemers aan de vor-ming de aangeleerde kennis, vaardigheden of attitudes verworven hebben. Er wordt op dit niveau nog niet nagegaan of dit ook wordt toegepast in de werksituatie. Er wordt bijvoorbeeld gevraagd aan de deelnemer om een artikel te schrijven over de inhoud van de opleiding in het personeels-krantje, of om te rapporteren aan zijn/haar direct leidinggevende over de inhoud van de vorming, of om aan de collega's de inhoud van de gevolgde opleiding kort toe te lichten, bv. tijdens een overleg.

16

• Bij het derde niveau, het 'werkgedragniveau ' wordt er geëvalueerd of de deelnemer het geleerde ook kan toepassen in zijn/haar werksituatie. Dit is echter niet eenvoudig om na te gaan. Een ma-nier om dit te doen zou kunnen zijn door de medewerkers te observeren of aan de hand van in-terviews. Een bijkomende moeilijkheid hierbij houdt verband met het feit dat het niet duidelijk is of de eventuele gedragsverandering ook werkelijk toe te schrijven is aan de gevolgde opleiding.

• Evalueren op het vierde niveau, het organisatieniveau, wil zeggen dat men nagaat of de vor-ming/opleiding ook een bijdrage heeft geleverd tot de realisatie van de doelstellingen van de or-ganisatie. Dit is evenmin evident om in de praktijk waar te maken.

In de realiteit van de meeste organisaties vindt vooral evaluatie plaats op niveau 1 en 2. Dit is goed en belangrijk, maar we dienen ons wel bewust te zijn van datgene wat we effectief meten of evalueren. En van datgene wat de op die manier niet meten of evalueren. Uit: www.mentor.be

Het derde niveau is cruciaal om het rendement van opleiden voor de organisatie (niveau 4) in kaart te brengen. Op dit niveau vindt de transfer van kennis plaats, ofwel het vertalen/toepassen van het geleerde in de werkpraktijk.

Vandaar dat we in dit onderzoekstraject ons vooral gefocust hebben op dit derde niveau: het obser-veren van het gedrag na de opleiding. We zijn op zoek gegaan bij opleidingsinstituten, bedrijven en literatuur welke evaluaties op het werkgedragniveau zijn uitgevoerd en het blijkt dat dit zo goed als onbestaande is. We hebben geen weet van een gelijkaardige studie zoals wij deze organiseren.

De theorie van de Kirkpatricks is immens populair, ook in Vlaanderen en Nederland.

B. Kessels en Smit achtveldenmodel

Zo hebben Kessels en Smit de theorie in hun achtveldenmodel gebruikt.

“Ze vatten als volgt hun 8-velden model samen: bij opleiden en leren in organisaties gaat het om het realiseren van leertrajecten die adequate oplossingen bieden voor een bepaald probleem in een or-ganisatie. Met het acht velden kader willen ze een handvat bieden voor het beantwoorden van de vragen: 'Wat wil je bereiken?' en 'Wanneer ben je tevreden?' Ze pleiten er voor de vraag 'Wanneer ben je tevreden?' niet pas achteraf te beantwoorden, maar vooraf. Een scherper beeld van de evalu-atiecriteria maakt een gerichtere invulling van leertrajecten mogelijk.” Bron: www.bedrijfsopleidin-gen.be

Vandaar dat we in ons opleidingstraject de vraag “wanneer ben je tevreden?” goed vooraf zullen de-finiëren zodat we:

1. een congruentie hebben tussen de pre- en posttest door vooraf te bepalen wat we willen meten vooraf, idem aan de meting na de opleiding.

2. een relevante meting doen: “wanneer ben je tevreden?”

17

Bron: het achtvelden instrument: analyse kader voor opleidingseffecten, The Learning Company, Kes-sels & Smit.

1. Doel/probleem: leertrajecten zijn geen doel op zich. We spreken van “doel” voor een gewenste situatie en van “probleem” in de zin van een verschil tussen de huidige en gewenste situatie

2. Werksituatie: hoe dient de werksituatie eruit te zien als het beoogde doel bereikt is. Welke zijn de gewenste veranderingen?

3. Vaardigheden: welke vaardigheden van de deelnemers kunnen die gewenste veranderingen te-weeg brengen?

4. Leersituaties die gepland worden, moeten de gelegenheid bieden die vaardigheden te verwerven, waarmee ze de gewenste veranderingen kunnen realiseren, opdat het initiële doel gerealiseerd wordt en het probleem dat daaraan ten grondslag ligt, opgelost is.

5. Proces: zijn de ontworpen leersituaties geschikt om de beoogde doelen te bereiken? O.a. vol-doende oefenmogelijkheden om vaardigheden eigen te maken, voldoende informatie over betref-fende vaardigheden, voldoende terugkoppelmomenten, voldoende veiligheid om met het nieuwe gedrag te experimenteren? Dit informatie over het leerproces kan door observatie, mondelinge of schriftelijke bevraging verzameld worden.

6. Leerresultaten: beheersen de deelnemers de beoogde vaardigheden? 7. Functioneren: worden de vaardigheden toegepast in de werksituatie en zijn mede hierdoor de be-

oogde veranderingen in de werksituatie opgetreden? Of de deelnemer het kan en het doet? 8. Impact: hebben de veranderingen in de werksituatie geleid tot oplossing van het oorspronkelijke

probleem in de organisatie?

18

C. Het V-model

De vier niveaus van Kirkpatrick vormen ook de kern van het V-model. Net als het achtveldenmodel van Kessels en Smit legt ook het V-model een heel duidelijke link leggen tussen de leerprocessen enerzijds en de bedrijfsprocessen anderzijds.

Op die manier bieden beide modellen een houvast voor hoe je met evalueren moet beginnen: eerst moet je op elk niveau vastleggen wat je verwachtingen, je ‘expectations’ zijn. Je begint daarvoor bij het einde: je legt de verwachtingen op organisatieniveau vast, om die dan te vertalen naar de ver-wachtingen op het vlak van te ontwikkelen competenties en dus de verwachtingen naar de leerinter-ventie toe. Als je dit eenmaal hebt vastgelegd, kan je per niveau gaan evalueren of de verwachtingen werden ingevuld.

D. Krachtige leeromgevingen

Op basis van input van de heer Geert Vanden Daele, pedagoog en expert training, vorming en oplei-ding VDAB naar aanleiding van verschillende bijeenkomsten en ontvangst van eigen studiewerk, heb-ben wij “Krachtige leeromgevingen” van Prof. dr. P.R.J. Simons weerhouden voor de verdere opbouw van ons opleidingstraject “telefonisch bemiddelen”:

Prof dr. P.R.J. Simons:

“Onder leeromgevingen kunnen we het samenspel van alle maatregelen, materialen en begeleidings-vormen verstaan die erop gericht zijn het leren van mensen te faciliteren.”

19

Lodewijks (1993) legt de nadruk op de eigen inbreng van de lerende zelf. Krachtige leeromgevingen zijn gericht op en sluiten aan bij de intuïtieve kennis en vaardigheden die leerlingen “van huis uit” meebrengen. Lodewijks beschrijft vijf kenmerken van krachtige leeromgevingen:

Ze moeten compleet en rijk zijn. Hiermee bedoelt hij vooral dat ze uitdrukkelijk gericht zijn op begrij-pen en voldoende afwisseling bieden.

1. Ze moeten uitnodigen tot activiteit. 2. Ze moeten realistisch zijn of tenminste ergens naar verwijzen. 3. Ze moeten modellen bevatten en voorzien in coaching. 4. Ze moeten de navigatie langzamerhand overlaten aan de lerende. 5. Ze moeten systematisch het besef van eigen bekwaamheid bij de leerling ontwikkelen.

Het uitgewerkt opleidingstraject (zie verder) zal rekening houden met de vijf kenmerken.

Prof dr. Simons vermeldt verder dat er drie vormen van leren bestaan:

1. Formeel leren georganiseerd door een buitenstaander (via docent, computer, klassikaal) 2. Actieleren (ook zelfgestuurd leren genoemd) betreft het leren dat mensen in het kader van hun

werk of hobby doen zonder dat er al te veel sprake is van externe sturing 3. Ervaringsleren (al doende leert men, de lerende ervaart dit niet altijd als leren)

Het opleidingstraject focust vooral dus op het formeel leren en het actieleren. Doordat de werksitua-tie van de cursisten sowieso zal leiden tot ervaring in het telefonisch bemiddelen aangezien dit es-sentieel deel uitmaakt van zijn taken, gaan we ervan uit dat dit aspect spontaan aan bod zal komen.

“Leren gericht op duurzame gedragsverandering is pas mogelijk als mensen eigenaar zijn van het ei-gen leren (Uit: tijdschrift Opleiding & Ontwikkeling. 16, nr. 5 (2003)”

Een uittreksel uit volgend artikel waar geciteerd wordt uit het werk van Argyris (Argyris & Schön, 1978; Argyris, 1996). Daarin beschrijft hij waarom mensen het zo moeilijk hebben met leren en ba-seert zich op onderzoek bij 600 respondenten in verschillende culturen. Volgens Argyris vindt leren niet plaats wanneer mensen nadenken over een probleem of een oplossing voor een probleem be-denken. Leren kan alleen plaatsvinden wanneer mensen handelen en ideeën gaan toepassen. Uit dat handelen zal blijken of de effecten van het handelen al dan niet overeenstemmen met de verwachte effecten.

Ons opleidingstraject zal haar didactische aanpak daarop enten. Het onderzoek naar het leereffect zal dus inderdaad meten of het handelen (lees: “telefonisch bemiddelen”) al dan niet overeenstemt met de verwachte effecten (zoals tijdens de opleiding aangeleerd).

“Eigenaar zijn van het eigen leren vraagt naar een creatieve spanning, taakspanning en leerspanning” (Dewulf (2002), Motiveren van medewerkers voor leren, veranderen en werken. Opleiding & Ontwik-keling, 15, nr. 5 (mei), pp. 17-21)

Creatieve spanning: een spanning die ontstaat vanuit het besef van de kloof tussen gewenste en hui-dige realiteit. Deze spanning genereert energie om die kloof te dichten. Vooral bij de start van de op-leiding verwijzen we naar de gewenste realiteit mbt tot hun persoonlijk functioneren (o.a. aan de hand van het filmpje “Iedereen bemiddelaar”) en de bevraging van de cursist naar zijn huidige gedrag

20

= taakspanning in de hoop dat er een leerspanning ontstaat: een spanning die ontstaat vanuit het be-sef van de kloof tussen te verwerven en reeds ontwikkelde competenties. De lesgever toont een ge-drag voor. Een collega-cursist voert een bemiddelingsgesprek en krijgt feedback over verworven en te verwerven competenties; de collega beseft dat hij/zij nog niet zo ver staat enz.

Mensen met “flow” (Csikzentmihalyi, 1999) hebben meestal een uitdagende visie die hen sterk aan-trekt (creatieve spanning), van daaruit de wil om alles te doen om die visie te realiseren (taakspan-ning) en de behoefte om datgene te leren wat nodig is om dat alles te doen (leerspanning).

We dienen er dus in dit opleidingstraject naar te streven de cursisten te inspireren met creatieve en taakspanning als we een leerspanning wensen teweeg te brengen. We starten de opleiding dus met het sensibiliseren van het belang. Het bevragen van hun visie op hun job en het verband met “telefo-nisch bemiddelen” zodat er een creatieve en taakspanning optreedt die hopelijk resulteert in een leerspanning. De organisatie VDAB doet zelf ook heel wat inspanningen om de creatieve en taak-spanning te bevorderen o.a. door de campagne “Iedereen bemiddelaar” want hoe hoger de match tussen de individuele leerspanning en de leerspanning voor de organisatie, hoe waarschijnlijker dat leren zal plaatsvinden.

Dit is een printscreen van een sensibiliseringsfilmpje voor interne medewerkers.

Deze werd ook ingezet als “sensibilisering” (creatieve inspanning en taakspanning) bij de start van een nieuwe groep/opleiding.

Bij gebrek aan match tussen individuele leerspanning en de leerspanning van de organisatie zullen regulerende activiteiten door anderen moeten worden overgenomen: de kans dat leren gericht op duurzame gedragsverandering dan plaatsvindt is ontzettend klein (Bolhuis en Simons, 1999).

“Het voor iemand anders bepalen van leerdoelen zal misschien wel tot leren leiden van vaak terugko-mende en procedurele activiteiten zoals het halen van een eenvoudige deadline, het op tijd komen…, maar zeker niet tot inzichten die te maken hebben met niet-programmeerbare en complexe proble-men. Het zijn net dit soort problemen die eigen zijn aan kenniswerk en die de basis vormen van ken-nisproductiviteit (zie o.a. Kessels, 1996 en Drucker, 1999).

Het management en de opleiding heeft dus maar één keuze: het zoeken naar mogelijkheden om de match te verhogen tussen de doelen van het werk en de doelen die iemand heeft als individu.

21

IV. Return on investment van opleidingen

“De Kirkpatricks, Kessels en Smit, het V-model (zie supra) zijn bekend bij de Belgische L&D-managers en iedereen lijkt overtuigd te zijn van de verdiensten van deze modellen. Maar in de vertaling van de theoretische inzichten naar de praktijk blijkt toch één en ander mis te lopen. Uit onderzoek van Sti-mulearning blijkt dat de meeste bedrijven niet verder gaan dan meten op tevredenheidsniveau; het meten van effect van training op het ROI-niveau (Philips) is zelfs onbestaande.”

Bron: bedrijfsopleidingen.be

Ook onderzoek van de Universiteit Antwerpen en de Universiteit Gent concludeert dat er nood is aan instrumenten die bedrijven een houvast kunnen bieden om de bestaande evaluatie- en effectmetin-gen te verbreden en te verdiepen. Een door studenten van het Instituut voor Onderwijs- en Oplei-dingswetenschappen (Universiteit Antwerpen) gevoerd onderzoek over ‘Return on Investment van Opleidingen’ (2008) concludeert dat “de meeste bedrijven een sterke nood ervaren aan een goed ori-ënteringsinstrument om de bestaande evaluatie- en effectmetingen te verbreden en te verdiepen”. In 2011 besluit Merel Quekel in haar Masterproef aan de Universiteit Gent: “Er is nog veel onderzoek nodig naar good practices van evaluaties, die als leidraad en ondersteuning kunnen dienen voor mensen die in praktijk bezig zijn met evaluaties van vormingen en trainingen.”

Een onderzoek van de Universiteit Antwerpen in opdracht van een mediair op het gebied van bedrijfs-opleidingen toont aan dat bedrijven opleidingen vooral evalueren op reactie- en leerniveau en spora-disch op gedragsniveau. Dezelfde bedrijven kijken uit naar een instrument dat de resultaten van oplei-ding nagaat op het gebied van organisatie en ‘return on investment’.

Deze schijnbare paradox verklaren de onderzoekers (studenten van de opleiding Opleidings- en On-derwijswetenschappen van de Universiteit Antwerpen onder begeleiding van professor David Gijbels)

22

vanuit de hypothese dat bedrijven voor zichzelf concluderen dat ze momenteel over voldoende ex-pertise beschikken op de verschillende niveaus van effectenevaluatie. Ze vinden tevens dat ze in de toekomst vooral meer expertise willen ontwikkelen op die niveaus die ze nu nog weinig of onvol-doende evalueren. Impliciet hebben bedrijven kenbaar gemaakt dat ze nood hebben aan een instru-ment dat hen oriënteert binnen de verschillende evaluatiemogelijkheden en bestaande modellen in plaats van een nieuw instrument om het rendement van opleidingen te meten.

Het onderzoek zocht een antwoord op twee vragen:

Hoe meten bedrijven momenteel de effecten/het rendement van opleidingen?

Uit de literatuurstudie, interviews met opleidingsaanbieders en -inkopers en het kwantitatief onder-zoek (een online-enquête waaraan 339 HRD-verantwoordelijken deelnamen) blijkt dat er een grote diversiteit bestaat tussen de bedrijven op het vlak van opleidingsevaluaties. Zo investeren opleidings-inkopers momenteel ruim in opleidingen, maar de effecten van die opleidingen evalueren ze slechts op reactie- en leerniveau. Een belangrijke oorzaak zou kunnen zijn dat bedrijven vooraf onvoldoende de opleidingsdoelen expliciteren of opleidingen onvoldoende afstemmen op de noden van het be-drijf. Opleidingsaanbieders bezitten blijkbaar wel al meer traditie in het organiseren van effectevalu-aties en zetten bedrijven dan ook aan om hun opleidingen te evalueren op gedrags- en organisatieni-veau. Ze reiken bedrijven daarbij verschillende instrumenten aan.

Wat verwachten bedrijven van een toekomstig instrument dat de effecten van opleidingen meet?

Uit het explorerend kwantitatieve onderzoek komt naar voren dat bedrijven geïnteresseerd zijn in specifieke evaluatie-instrumenten die de effecten van opleidingen weergeven op organisatieniveau, maar ook dat deze instrumenten de ROI kunnen bepalen voor harde (zoals verkoopcijfers) en vooral zachte data (zoals mentaliteitswijziging).

De grote diversiteit in effect- en evaluatiecultuur van bedrijven maakt het vrijwel onmogelijk om een universeel instrument te ontwikkelen dat beantwoordt aan de vraag vanuit de bedrijfswereld. Het projectteam concludeert dat de ontwikkeling van een goed oriënteringsinstrument een belangrijke wegwijzer kan aanreiken aan bedrijven in hun zoektocht naar de meting van effecten van opleidin-gen. Vanuit de verschillende invalshoeken presenteren ze dan ook als resultaat van hun studie een conceptueel referentiekader en oriënteringsmodel dat daarbij inspirerend kan zijn.

V. Andere initiatieven op vlak van meten van leereffecten

ROEM staat voor Return on Expectation Measurement en is een toekomstige onlineapplicatie die het effect van leer- en opleidingsinspanningen meet.

Naast de online tool voorziet de website www.roem.be ook een aantal diagnosetools en achter-grondinfo om effectmeting van training te faciliteren en/of de impact ervan te vergroten.

ROEM is een initiatief van Bedrijfsopleidingen.be, dat hiervoor op subsidiëring van het Europees Soci-aal Fonds (ESF) en het Vlaams Cofinancieringsfonds kan rekenen.

23

ROEM wordt uitgebouwd door 6 partners, die ondersteund worden door een breed forum van L&D-verantwoordelijken en talentmanagers die delen en leren in een Community of Practice.

De tool wordt medio 2015 gepresenteerd. We volgen dit initiatief verder op de voet op.

We schetsen even de te ontwikkelen tools van ROEM voor evaluatie van opleidingen.

A. Evaluatietrajecten

Vanuit de methodiek van ROEM kunnen 11 evaluatietrajecten gevolgd worden. Ons onderzoek con-centreerde zich op evaluatietrajecten 1-2-4-5-6-9.

1. Evaluatietraject 1: Wat zijn de doelstellingen van de leeractie?

In dit traject gaan we na waar de trainingsnoden zitten, in vakjargon Training needs analysis ge-naamd. We zoeken in dit traject uit waaraan in de leeracties moet worden gewerkt. Deze peiling kan zowel bottom-up als top-down gebeuren, uitgaand van de noden van de organisatie (organisatiedoelen) versus de ontwikkelingsnoden van de werknemers (POP-doelen). Afhankelijk van die invalshoek bevragen we of de lerende en/of de direct leidinggevende en/of het management. Ook deze bevraging gebeurt voorafgaand aan de leeractie.

2. Evaluatietraject 2: Wat is de toepasbaarheid van de geplande leeractie?

We gaan in dit traject na wat de elementen zijn die ervoor zullen zorgen dat het geleerde na de oplei-ding toegepast zal worden. ROEM ziet 3 factoren die van invloed zijn op deze toepasbaarheid.

Contextfactoren zoals beschikbaar materiaal en tijd, maar ook de ondersteuning (goodwill) door de direct leidinggevende om het geleerde toe te laten passen...

Gegevens eigen aan de lerende, zoals motivatie of verborgen motivatie, leerstijl, voorkennis, intel-ligentie, ...

Gegevens eigen aan de trainer zoals ervaring met doelgroep en sector, het gebruik van de juiste (toepasbare) voorbeelden...

We bevragen de lerende en/of direct leidinggevende en/of het management. Mogelijks kunnen ook potentiële trainers worden bevraagd. Deze bevraging gebeurt steeds voorafgaand aan de leeractie, en is wat wij een pre-meting noemen.

3. Evaluatietraject 3: Wat is de tevredenheid van de deelnemers over de leeractie?

We vragen aan de lerenden hoe tevreden ze zijn over een leeractie. Deze meting wordt tijdens of di-rect na een leeractie uitgevoerd, i.c. warm. Het effect van de training is uit te drukken in termen als plezier en good feeling bij de deelnemers. Er wordt gepolst naar tevredenheid over de locatie, handboeken, tempo, inhoud... In de literatuur wordt deze bevraging als een happy sheet omschreven. Er wordt vaak erg smalend gedaan over deze niveaumeting, maar ze kan relevant zijn op het gebied van teambuilding, binden en boeien, enthousiasmeren, openstaan voor verandering. Vaak zijn het intangible profits.

24

4. Evaluatietraject 4: wat is de aanwezige VAK (vaardigheden-kennis-attitude)?

We peilen naar de aanwezige VAK op het moment van de bevraging. Het effect van de leeractie is aan te tonen als verworven kennis, attitude, vaardigheden en inzicht. We gooien deze vier niet op één hoop, want kennis en vaardigheden zijn makkelijker te meten dan inzicht en attitude. Deze meting kan zowel voor de training, net na (warm) of een eind na (koud) de leeractie doorgaan. We bevragen de lerende en/of zijn direct leidinggevende. Mogelijks kan er ook een teambevraging worden gedaan (360° feedback). Qua methodieken gebruiken we zelfevaluatie-vragenlijsten, observatielijsten, of assessments waar-van de resultaten in de ROEM-applicatie kunnen worden ingegeven.

5. Evaluatietraject 5: Welke verandering in VAK stellen we vast?

Als je een verandering wil meten, dan moet je op twee momenten dezelfde meting uitvoeren en deze twee resultaten vergelijken. Als je een verandering in VAK (in vaardigheden, attitude of kennis) wil meten, moet je twee keer de VAK meten (zie ook evaluatietraject 4), en deze twee resultaten ver-gelijken. ROEM opteert ervoor om de vergelijking tussen twee Evaluatietrajecten 4 als een nieuw traject voor te stellen, nl. 'Verandering in VAK'.

6. Evaluatietraject 6: Wat is de kans tot toepassing van het geleerde?

We bevragen in dit traject de elementen die ervoor zullen zorgen dat het geleerde zal worden toege-past. We denken aan

Contextfactoren zoals tijd, kansen en mogelijkheden om het geleerde toe te passen Factoren eigen aan de lerende, zoals vertrouwen om het geleerde toe te passen en de bereidheid

om dit te doen, i.c. de toepassingsintentie. Factoren eigen aan de leeractie die onmiddellijk bruikbaarheid in de praktijk bevorderen.

We bevragen de lerende en/of de direct leidinggevende en/of het management aan de hand van een vragenlijst. Deze bevraging gebeurt warm, dus kort na de leeractie.

De aandachtige lezer merkt het minimale verschil op met Evaluatietraject 2 'Wat is de toepasbaar-heid van de geplande leeractie?' waarin voorafgaand aan de leeractie wordt gemeten, met de bedoe-ling een voorspelling over de toepassing te kunnen doen, en dit nog voordat een leeractie wordt uit-gevoerd. Evaluatietraject 6 voorspelt ook, maar dan na de leeractie, m.a.w. als het mogelijks 'te laat' is. Het hanteren van Evaluatietraject 2 is om die reden een economisch interessante keuze. In Evaluatietraject 6 wordt bovendien veel meer de nadruk gelegd op elementen die eigen zijn aan de lerende, zoals 'vertrouwen om toe te passen' terwijl in Traject 2 de nadruk wordt gelegd op con-textfactoren, zoals bvb. beschikbaar materiaal.

7. Evaluatietraject 7: Welke verandering in toepassing wordt verwacht?

In dit traject worden 'Toepassing van de leerdoelen' (Evaluatietraject 8, gemeten voor de leeractie) en 'Kans tot toepassing' (Evaluatietraject 6) vergeleken met elkaar. Deze vergelijking toont vooral aan of na de leeractie te verwachten valt dat de leerdoelen beter zul-len worden toegepast .

25

8. Evaluatietraject 8: Wat is de toepassing van de leerdoelen?

In dit evaluatietraject wordt nagegaan of de deelnemers het geleerde werkelijk toepassen op de werkvloer. We bevragen de lerende en/of de direct leidinggevende of een team(lid). Deze doelgroepen maken hiertoe gebruik van self-assesments of ze worden indirect bevraagd door anderen via observatielijsten. Andere methodieken zoals 360°, mystery client, bronnenstudie (bv. be-kijken logboek, ...), het werken met controlegroepen, ... worden eveneens gebruikt om gegevens te genereren die in de tool kunnen worden ingegeven. Deze meting kan zowel voor de training, net na (warm) of een eind na (koud) de leeractie doorgaan.

9. Evaluatietraject 9: Welke verandering in toepassing stellen we vast?

In dit traject gaan we op twee momenten de toepassing meten en deze resultaten vergelijken, in de hoop groei vast te stellen. Meestal wordt een meting voorafgaand aan de leeractie vergeleken met een koude meting na de leeractie. Maar ook het vergelijken van twee meetresultaten na de leeractie is mogelijk om vb. retentie te meten.

10. Evaluatietraject 10: In welke mate zijn de organisatiedoelen of persoonlijke doelen be-reikt?

Dit evaluatietraject kan zowel door de individuele werknemer als door de organisatie gebruikt wor-den. Via dit traject kan een organisatie of werknemer op elk moment nagaan in welke mate organisa-tiedoelen of persoonlijke doelen op een bepaald moment bereikt zijn. Of het bereiken van deze doe-len een gevolg is van een leeractie, wordt via traject 11 nagegaan.

11. Evaluatietraject 11: In welke mate heeft de leeractie een effect gehad op organisatiedoe-len of persoonlijke doelen?

Dit evaluatietraject kan zowel door de individuele werknemer als door de organisatie gebruikt wor-den. Een individu ziet leren als een middel om bij te dragen tot een POP(-doel), een organisatie ziet leren als bijdrage tot een organisatiedoel. Vandaar ook de dubbele focus in de trajecttitel. Dit traject is bijzonder waardevol als impactmeting van leeracties omdat ROEM de mogelijkheid biedt om leerdoelen te linken aan hogere POP- of organisatiedoelen. Zonder deze koppeling kan er nooit 'bewezen' worden dat leren een invloed heeft op vb. het bedrijfsresultaat. Veranderingen in leerdoe-len kunnen om die reden geïnterpreteerd worden als veranderingen op POP- of organisatieniveau. Aan de hand van smartsheets en dashboards worden leerdoelen gevisualiseerd als 'bij(ge)dragen' tot die persoonlijke POP- of brede organisatiedoelen.

B. Evaluatiemoment

1. Een pre-evaluatie

Deze evaluatie voorafgaand aan een leeractie zorgt ervoor dat de ontwikkeling van de leer

actie beter afgestemd is op de verwachtingen van de belanghebbenden. Om die reden zal

zo'n pre-meting het resultaat van de leeractie altijd positief beïnvloeden.

26

2. Een warme evaluatie

Een warme evaluatie tijdens, op het einde of kort na een leeractie wordt soms een happy sheet ge-noemd omdat die enkel naar de tevredenheid van de deelnemers peilt. Ervaring leert dat deze evalu-atie zeker ook waardevol is en ook kan peilen naar toepassingsintenties, peilt naar wat effectief ge-leerd werd, tips voor verbetering, etc.

3. Een koude evaluatie

Koude evaluaties worden idealiter 3 tot 6 maand na een leeractie uitgevoerd. Koude evaluaties wor-den graag vergeleken met warme evaluaties; belangrijk hierbij is na te gaan in welke mate het ge-leerde in die tussentijd niet gewijzigd of achterhaald is. In vaktermen spreekt men over de delta van het geleerde.

Ons onderzoek spitst zich toe op het eerste (pre-test) en het derde evaluatiemoment (posttest).

VI. Uitvoeringsfase: opleiding “telefonisch bemiddelen”

Voor deze studie naar leereffect van een commerciële training kunnen we dus beroep doen op de medewerking van de opleidingscel van de VDAB. Samen met hen hebben we een opleidingstraject uitgewerkt waarvan we veronderstellen dat deze maximaal de leerdoelstellingen zullen realiseren.

“VDAB investeert sterk in de opleiding van het eigen personeel: uit het jaarverslag van VDAB van 2013 blijkt dat 75% van het personeelsbestand een opleiding volgde, er werden 13 393 opleidingsdagen genoteerd. In totaal ging in 2012 3,56 % van de loonmassa van VDAB naar opleidingen. (Ter vergelij-king: opleidingsinvestering van bedrijven in België in 2006 = 1,04 %.)”. Els Devos, expert vorming, trai-ning en opleiding VDAB. De uitwerking van de opleiding is dus gebeurd op basis van de ervaringen en expertise van volgende personen: o Els Devos, expert training vorming en opleiding VDAB o Geert Vanden Daele, expert training vorming en opleiding VDAB o Steven Martens, zaakvoerder Management en Advies, docent Artevelde Hogeschool o Geert Delobelle, docent VIVES en zelfstandig trainer “commerciële opleidingen”

A. Opmaak workshopformule

1. Doelgroep

“Diverse medewerkers van de VDAB, o.a.

• Instructeurs: vakinstructeurs moeten naast het verstrekken van opleiding m.b.t. hun vak ook een bemiddelingsopdracht opnemen zoals het zoeken van stageplaatsen, begeleiden van het sollicitatieproces, vacatures opsporen, de arbeidsmarkt in kaart brengen,…

• Consulenten: consulenten moeten naast het informeren en begeleiden van de werkzoe-kende ook werkgevers contacteren, feedback vragen na sollicitatie, vacatures bespre-ken,…”(dixit opleidingsaanvraag VDAB)

27

2. Doelstellingen (inhoudelijk)

a) “Voornaamste doelstellingen en inhouden”

• Medewerkers leren hoe ze de arbeidsmarkt beter kunnen benaderen o.a. door diverse informa-tiekanalen te raadplegen (inclusief het interne netwerk & VDAB-partners) en daardoor het eigen werkgeversnetwerk efficiënter en pro-actiever uit te bouwen (bv. kennis van bedrijven in eigen regio, vacatures opsporen, stageplaats vinden,…).

• De verschillende fasen van een professioneel en effectief telefoongesprek beheersen. • De meerwaarde van de dienstverlening van de VDAB op een aantrekkelijke en gerichte manier

kunnen voorstellen en kunnen inzetten om beter te kunnen bemiddelen. • De eigen weerstanden om contact op te nemen, begrijpen en deze overwinnen. • Hoe bij de juiste contactpersoon geraken? • Op enthousiaste en gepaste wijze cursisten/stagiairs/werkzoekenden presenteren aan de werkge-

ver. • Het opvragen van feedback bij de werkgever na een sollicitatie/stage/… • Tactvol en constructief op negatieve boodschappen reageren door zich beter te kunnen inleven

in de situatie van de klant met als doel een oorspronkelijk bezwaar te kunnen ombuigen tot een positieve samenwerking.

• Het evenwicht kunnen bewaken tussen het ondersteunen, begeleiden van werkzoekenden en het bevorderen van zelfsturing.

• De eigen werkpunten m.b.t. de bemiddelingsopdracht kennen en omzetten in een concreet ac-tieplan.” (dixit opleidingsaanvraag VDAB Spoor 21)

b) De eindcompetenties van de cursisten na de opleiding:

Als bemiddelaar beter sturen op werk.

Beter de informatiekanalen (intern en extern) kennen via dewelke hij zijn kansen vergroot op suc-cesvol bemiddelen.

Minder weerstand ondervinden om contact op te nemen dankzij beter begrip van die weerstan-den en beter leren omgaan daarmee.

Zal beter kennis hebben van de werkgeversmarkt (belangen bedrijven, beslisstructuren en –pro-cedures,..), veel betere voeling hebben met de bedrijfswereld zodat de match sterker zal zijn tus-sen aanbod (werkzoekenden) en vraag (werkgevers).

Dankzij aangeleerde technieken gemakkelijker en sneller bij de juiste contactpersoon terecht ko-men.

Sterktes van de werkzoekenden enthousiast kunnen brengen, niettegenstaande de soms moei-lijke inzetbaarheid van de sollicitant.

De werkzoekende, zeker uit kansengroepen, zelfredzaam leren zijn door ook een coachende rol te leren opnemen: coach-the-coach: de telefonische bemiddelingstechnieken ook zelf kunnen over-brengen aan de werkzoekenden om zo het gedeelte zelfredzaamheid te bevorderen.

De cursist zal de meerwaarde van de dienstverlening en samenwerking met de VDAB goed kun-nen duiden om zo nog vlotter de bemiddelingsopdracht tot een goed einde te brengen.

Zal dankzij een aangeleerde telefoongespreksstructuur, spontaan op de juiste wijze in verschil-lende stappen naar een resultaat kunnen toe werken.

28

De cursist zal voorbereid zijn op alle typische bezwaren, zeker bij aanbieden van kansengroepen aan werkgevers en zal daar een gepast antwoord kunnen op geven die de kansen op tewerkstel-ling vergroten.

Dankzij professionele telecommunicatie (hoofdzaak telefonisch, aanvullend email met aanzet tot face-to-face contacten) werkzoekenden en werkgevers elkaar helpen “vinden”.

De cursist zal praktijkgerichte basiscompetenties hebben die hij verder zal inoefenen en monito-ren na de opleiding dankzij beschikbare tools, ook na de opleiding.

De cursisten zullen meer gemotiveerd/bereid zijn om meer contacten te leggen.

De cursisten zullen hun aandachtpunten (werkpunten) kennen na de cursus en kunnen omzetten in een concreet actieplan.

De cursisten zullen zelfstandig (zelfsturing) en samen met hun leidinggevenden hun kwaliteit en kwantiteit van telefonische contacten kunnen plannen en monitoren.

c) Specifieke inhoudelijke leerdoelen:

Zelf kunnen detecteren welke werkgevers en werkzoekende best gecontacteerd worden: kennis van de contactbronnen en tools (database, intern en extern netwerken, media,…) en deze effici-ënt kunnen gebruiken tijdens telefonische contacten.

Aanleidingen (aanknopingspunten - match) om contact te nemen leren ontdekken en formuleren. De cursist zal begrijpen welke weerstanden om contact te nemen bij zichzelf aanwezig zijn en ma-

nieren kunnen gebruiken om deze te overwinnen. De cursist zal sterke “binnenkomers” leren ontdekken en deze ook commercieel professioneel

kunnen formuleren aan de telefoon (wat overtuigt werkgever/werkzoekende om elkaar te zien). De cursist zal in staat zijn om tijdens telefoongesprekken figuurlijk de afstand te verkleinen met

zijn gesprekspartner. De cursist zal de visuele handicap kunnen overbruggen dankzij non-verbale communicatietech-

nieken. De cursist zal vlotter bij zijn juiste contactpersoon geraken (al dan niet via de zogenaamde “gate-

keepers”). Hoe topmensen vlot aan de lijn krijgen? De cursist zal vlotter een afspraak en andere doelstellingen (initiatief van de contactpersoon, een

stap dichter richting VDAB, werk, de werkgever, de werkzoekende) bekomen aan de telefoon. De cursist zal de verschillende fases (begroeting, zich voorstellen, de aanleiding van de telefoon,

de vraagstelling (behoefteontdekking), de argumentatie (behoefteopwekking), de weerstan-den/negatieve boodschappen beantwoorden, concluderen, actie uitlokken) van een professioneel en effectief gesprek beheersen.

De cursist zal op enthousiaste en gepaste wijze cursisten/stagiairs/werkzoekenden presenteren aan de werkgever.

De cursisten zullen op gepaste wijze negatieve boodschappen beantwoorden. De cursist zal zich kunnen aanpassen aan verschillende soorten contactpersoon en zal beter kun-

nen “meeveren” met de klant. We gebruiken voor de uitwerking van de leerdoelen het achtveldeninstrument: analysekader voor opleidingseffecten, The Learning Company, Kessels & Smit.

29

(1) Doel/probleem:

leertrajecten zijn geen doel op zich. We spreken van “doel” voor een gewenste situatie en van “pro-bleem” in de zin van een verschil tussen de huidige en gewenste situatie.

Het aantal werkzoekenden stijgt in Vlaanderen. De VDAB stelt als grootste beleidslijn “Iedereen be-middelaar” voorop. Alle medewerkers dienen in al hun taken te focussen op sturen naar werk. Deze training helpt om telefonisch contacten te leggen en te bemiddelen tussen werkgevers en werkzoe-kenden met de bedoeling dat zij vlotter de weg vinden naar elkaar. De opleiding past in de sterke fo-cus van de VDAB op sturen naar werk, snelle matching en outputgericht werken.

Binnen deze prioritaire doelstelling besteedt de VDAB bijzondere aandacht aan het op maat bemid-delen van werkzoekenden uit de kansengroepen.

Om deze opdracht te kunnen vervullen dient elke medewerker van de VDAB aan deze bemiddelings-taak een bijdrage te leveren.

In het verleden was er een scheiding tussen 2 afdelingen: de werkzoekendenlijn enerzijds en de werkgeverslijn anderzijds. Dit zorgt ervoor dat een aantal medewerkers minder vertrouwd zijn met het benaderen van werkgevers.

Voor diverse medewerkers van de VDAB, o.a. :

- instructeurs: vakinstructeurs moeten naast het verstrekken van opleiding m.b.t. hun vak ook een bemiddelingsopdracht opnemen zoals het zoeken van stageplaatsen, begeleiden van het sollicitatieproces, vacatures opsporen, de arbeidsmarkt in kaart brengen,…

- consulenten: consulenten moeten naast het informeren en begeleiden van de werkzoe-kende ook werkgevers contacteren, feedback vragen na sollicitatie, vacatures bespre-ken,…”(dixit offerteaanvraag VDAB)

We zullen aan de hand van een checklist “telefonisch bemiddelingsgesprek (zie infra) meten hoe de huidige situatie is (voor de opleiding) en een score toekennen. Dit is de zogenaamde pre-test.

(2) Werksituatie:

Hoe dient de werksituatie eruit te zien als het beoogde doel bereikt is? Welke zijn de gewenste ver-anderingen?

• Medewerkers leren hoe ze de arbeidsmarkt beter kunnen benaderen o.a. door diverse informa-tiekanalen te raadplegen (inclusief het interne netwerk & VDAB-partners) en daardoor het eigen werkgeversnetwerk efficiënter en pro-actiever uit te bouwen (bv. kennis van bedrijven in eigen regio, vacatures opsporen, stageplaats vinden,…).

• De verschillende fasen van een professioneel en effectief telefoongesprek beheersen. • De meerwaarde van de dienstverlening van de VDAB op een aantrekkelijke en gerichte manier

kunnen voorstellen en kunnen inzetten om beter te kunnen bemiddelen. • De eigen weerstanden om contact op te nemen, begrijpen en deze overwinnen. • Hoe bij de juiste contactpersoon geraken? • Op enthousiaste en gepaste wijze cursisten/stagiairs/werkzoekenden presenteren aan de werkge-

ver. • Het opvragen van feedback bij de werkgever na een sollicitatie/stage/…

30

• Tactvol en constructief op negatieve boodschappen reageren door zich beter te kunnen inleven in de situatie van de klant met als doel een oorspronkelijk bezwaar te kunnen ombuigen tot een positieve samenwerking.

• Het evenwicht kunnen bewaken tussen het ondersteunen, begeleiden van werkzoekenden en het bevorderen van zelfsturing.

• De eigen werkpunten m.b.t. de bemiddelingsopdracht kennen en omzetten in een concreet ac-tieplan.” (dixit offerteaanvraag VDAB Spoor 21)

(3) Vaardigheden:

welke vaardigheden van de deelnemers kunnen die gewenste veranderingen teweeg brengen?

De eindcompetenties van de cursisten na de opleiding:

Als bemiddelaar beter sturen op werk.

Beter de informatiekanalen (intern en extern) kennen via dewelke hij zijn kansen vergroot op suc-cesvol bemiddelen.

Minder weerstand ondervinden om contact op te nemen dankzij beter begrip van die weerstan-den en beter leren omgaan daarmee.

Zal beter kennis hebben van de werkgeversmarkt (belangen bedrijven, beslisstructuren en –pro-cedures,..), veel betere voeling hebben met de bedrijfswereld zodat de match sterker zal zijn tus-sen aanbod (werkzoekenden) en vraag (werkgevers).

Dankzij aangeleerde technieken gemakkelijker en sneller bij de juiste contactpersoon terecht ko-men.

Sterktes van de werkzoekenden enthousiast kunnen brengen, niettegenstaande de soms moei-lijke inzetbaarheid van de sollicitant.

De werkzoekende, zeker uit kansengroepen, zelfredzaam leren zijn door ook een coachende rol te leren opnemen: coach-the-coach: de telefonische bemiddelingstechnieken ook zelf kunnen over-brengen aan de werkzoekenden om zo het gedeelte zelfredzaamheid te bevorderen.

De cursist zal de meerwaarde van de dienstverlening en samenwerking met de VDAB goed kun-nen duiden om zo nog vlotter de bemiddelingsopdracht tot een goed einde te brengen.

Zal dankzij een aangeleerde telefoongespreksstructuur spontaan op de juiste wijze in verschil-lende stappen naar een resultaat kunnen toe werken.

De cursist zal voorbereid zijn op alle typische bezwaren, zeker bij aanbieden van kansengroepen aan werkgevers en zal daar een gepast antwoord kunnen op geven die de kansen op tewerkstel-ling vergroten.

Dankzij professionele telecommunicatie (hoofdzaak telefonisch, aanvullend email met aanzet tot face-to-face contacten) werkzoekenden en werkgevers elkaar helpen “vinden”.

De cursist zal praktijkgerichte basiscompetenties hebben die hij verder zal inoefenen en monito-ren na de opleiding dankzij beschikbare tools, ook na de opleiding.

De cursisten zullen meer gemotiveerd/bereid zijn om meer contacten te leggen.

De cursisten zullen hun aandachtpunten (werkpunten) kennen na de cursus en kunnen omzetten in een concreet actieplan.

De cursisten zullen zelfstandig (zelfsturing) en samen met hun leidinggevenden hun kwaliteit en kwantiteit van telefonische contacten kunnen plannen en monitoren.

31

3. Checklist van de te meten vaardigheden:

Hieronder vindt u een opsomming van de te meten vaardigheden:

U** begroet uw gesprekspartner op enthousiaste wijze en begroet door zijn/haar naam te noemen in vra-gende vorm.

U zegt duidelijk wie u bent (uw voornaam, familienaam en naam van uw organisatie).

U zegt waarvoor u belt.

U noemt een aanleiding (kapstok, aanknopingspunt) waarvoor u belt die te maken heeft met de situatie of de belangen van uw gesprekspartner en wat u figuurlijk bindt. U brengt uw voorstel (kandidaat) op een overtuigende manier, gekoppeld aan de verwachtingen/vereisten van de werkgever.

U doet zelf een concreet voorstel voor "volgende stap".

U toont een sterke interesse en geeft aandacht voor uw gesprekspartner.

U zoekt qua gespreksstijl "rapport" met uw gesprekspartner (spreekstijl, tempo, taal,…) zodat de afstand fi-guurlijk verkleind wordt.

U bent duidelijk in uw boodschap (uw boodschap is goed begrepen en niet voor misverstanden vatbaar).

U vraagt voldoende door zodat u een volledig beeld hebt van de situatie en belangen van uw gesprekspart-ner. U stelt vragen die de gesprekspartner bewust maken van de nood aan een oplossing (sturen naar werk door uw vragen): bijv. "ik veronderstel dat het redelijk dringend is?" U toont begrip en reageert voldoende positief (<-> defensief) voor de opmerkingen/weerstanden van uw ge-sprekspartner (u herhaalt, vat de bezorgdheid nog eens samen: "dus als ik het goed begrijpt, vreest u dat,….). U herkadert een (te) negatief beeld van uw gesprekspartner door de positieve aspecten van een (de) eigen-schap(pen) van uw kandidaat te belichten. U betrekt uw gesprekspartner voldoende in het zoeken naar een oplossing voor nadelen in het profiel van uw kandidaat: "hoe ziet u dat, wat stelt u voor, …?).

U kunt voldoende sterke "tegenargumenten" geven bij weerstanden van uw gesprekspartner

U checkt af of uw gesprekspartner instemt met uw antwoord op zijn bezwaren.

Bij twijfel over uw kandidaat gaat u samen met de werkgever op zoek naar een oplossing/alternatief: u geeft zich niet snel gewonnen.

U vat duidelijk samen wat afgesproken is en vraagt instemming van uw gesprekspartner.

U gebruikt positieve taal die de gesprekspartner stuurt naar een "ja".

U neemt op een positieve wijze afscheid van uw gesprekspartner.

32

(1) Leersituaties:

Leersituaties die gepland worden, moeten de gelegenheid bieden die vaardigheden te verwerven, waarmee ze de gewenste veranderingen kunnen realiseren, opdat het initiële doel gerealiseerd wordt en het probleem dat daaraan ten grondslag ligt, opgelost is.

(2) Specifieke inhoudelijke leersituaties:

Zelf kunnen detecteren welke werkgevers en werkzoekenden best gecontacteerd worden: kennis van de contactbronnen en tools (database, intern en extern netwerken, media,…) en deze effici-ënt kunnen gebruiken tijdens telefonische contacten.

Aanleidingen (aanknopingspunten - match) om contact te nemen leren ontdekken en formuleren. De cursist zal begrijpen welke weerstanden om contact te nemen bij zichzelf aanwezig zijn en ma-

nieren kunnen gebruiken om deze te overwinnen. De cursist zal sterke “binnenkomers” leren ontdekken en deze ook commercieel professioneel

kunnen formuleren aan de telefoon (wat overtuigt werkgever/werkzoekende om elkaar te zien). De cursist zal in staat zijn om tijdens telefoongesprekken figuurlijk de afstand te verkleinen met

zijn gesprekspartner. De cursist zal de visuele handicap kunnen overbruggen dankzij non-verbale communicatietech-

nieken. De cursist zal vlotter bij zijn juiste contactpersoon geraken (al dan niet via de zogenaamde “gate-

keepers”). Hoe topmensen vlot aan de lijn krijgen? De cursist zal vlotter een afspraak en andere doelstellingen (initiatief van de contactpersoon, een

stap dichter richting VDAB, werk, de werkgever, de werkzoekende) bekomen aan de telefoon. De cursist zal de verschillende fases (begroeting, zich voorstellen, de aanleiding van de telefoon,

de vraagstelling (behoefteontdekking), de argumentatie (behoefteopwekking), de weerstan-den/negatieve boodschappen beantwoorden, concluderen, actie uitlokken) van een professioneel en effectief gesprek beheersen.

De cursist zal op enthousiaste en gepaste wijze cursisten/stagiairs/werkzoekenden presenteren aan de werkgever

De cursisten zullen op gepaste wijze negatieve boodschappen beantwoorden. De cursist zal zich kunnen aanpassen aan verschillende soorten contactpersoon en zal beter kun-

nen “meeveren” met de klant.

Proces: zijn de ontworpen leersituaties geschikt om de beoogde doelen te bereiken? O.a. vol-doende oefenmogelijkheden om vaardigheden eigen te maken, voldoende informatie over betref-fende vaardigheden, voldoende terugkoppelmomenten, voldoende veiligheid om met het nieuwe gedrag te experimenteren? Dit informatie over het leerproces kan door observatie, mondelinge of schriftelijke bevraging verzameld worden.

33

(3) Didactische aanpak:

We stellen volgende didactische aanpak voor (zie voor chronologie en details de lesschema’s hier verder onder):

Opleiding (3 dagen met tijdsinterval van circa 1 maand telkens):

1. Het accent ligt op volgende sterk afwisselende (appellerend aan de verschillende leerstijlen van de gemengde groepen) en motiverende leervormen: de directieve (instructie van structuur en basisprincipes) en begeleid ondervinden en exploratief leren (cases, oefeningen individueel en in groepjes, rollenspelen).

2. Dit is een “training” en dus gericht op nieuwe en verbeterde gedragscompetenties: dankzij het aanleren van nieuwe reflexen die de oude definitief vervangen. Veelvuldige simulatie gesprekken zijn noodzakelijk om aangeleerde reflexen te verankeren. Gebruik van de observatiechecklists + dictafoons en live telefoneren (zie lesschema’s). De opleiding zorgt ervoor dat de basiscompeten-ties op lange termijn sterk verankerd worden. Vandaar het accent op het bijbrengen van “proce-dure” kennis (mijn communicatie met werkgevers en werkzoekenden en hoe reageren in con-crete situaties) dan op declaratieve kennisoverdracht (ken ik alle communicatietechnieken)?

3. het realiteitsgehalte zal zeer hoog zijn: er zal enkel geoefend worden met cases met veel reali-teitszin.

4. De cursisten krijgen een werkopdracht tussen dag 1, dag 2 en dag 3 met in hoofdzaak 3 doelstel-lingen:

i. Inoefenen van het aangeleerde ii. Detectie van extra problemen (bijv. soort negatieve boodschappen krijgen of brengen en/of

contact- of inhoudelijke weerstanden bij cursist, werkgevers en werkzoekenden waarvoor in dag twee oplossingen gezocht worden en ingeoefend worden).

iii. De realiteit toetsen aan de praktijk.

5. De cursisten krijgen een gestructureerde (bevestigende of corrigerende) feedback (zie observa-tiechecklist) tijdens veelvuldige oefeningen.

6. Elke cursist zal in staat zijn een persoonlijk actieplan op te stellen voor verbetering dat in het na-traject verder zal getoetst worden.

7. De volgende 6 cognitieve strategieën (methodes die mensen helpen om te leren) zullen gebruikt worden: clustering (structureren), taken vooraf, visueel verankerend, vertrekkend (vergelijkend met) van bekende, herhaling (oefenen tijdens/tussen sessies met opname met dictafoon) en ge-heugensteuntjes (memo-technische middelen en hands-on cursusmateriaal – memokaartjes bij de telefoon).

8. De cursist krijgt didactische hulpmiddelen aangeboden om zichzelf in zijn job blijvend te sturen op werk.

9. E-coaching: de cursist krijgt binnen de 48 uur antwoord op zijn vragen. 10. Webcoaching: alle cursusmateriaal, handleidingen, checklists en vragenlijsten staan beschikbaar

voor de deelnemers; de cursist krijgt daartoe specifieke toegangsrechten. 11. De cursisten krijgen gedurende 6 maanden ondersteuning van de trainer voor vragen en worden

aangezet vragen te stellen.

34

4. Lesschema’s (leerproces)

a) Lesdag 1

Inhoudelijke stappen Lesvorm Extra didactisch materiaal, commentaar

Doelstelling

Presentatie programma van de 3 dagen

Lesgeven Videoreportage opleiding “Ieder-een bemiddelaar” gerealiseerd door VDAB: http://www.youtube.com/watch?v=fqYkpXCaEwk&fea-ture=youtu.be

Weten waar naartoe zal ge-werkt worden; structuur aan-brengen waarnaar steeds kan gerefereerd worden.

Beschikbaar stellen van alle didactisch materiaal

Instructies, vragen be-antwoorden

Toegang tot e-coaching tools op www.geertdelobelle.be: toeken-ning login en paswoord

Zelfsturing en continue oefe-ning bevorderen

Kennismakingsoefening: “uw persoonlijke elevator pitch” en uw rol in het be-middelen

Voorbeeld door lesge-ver, presentatie door de cursist

Naamkaartjes van cursisten, deze oefening is cruciaal tijdens telefo-nisch bemiddelen zelf: zich kort en gevat kunnen voorstellen aan de telefoon

Zichzelf leren voorstellen aan telefoon; elkaars rol leren kennen, intern netwerk uit-breiden

Het profiel van een professionele bemiddelaar

Tekening figuur “bemiddelaar” R = D = M³ x K³

Inzicht in de vele aspecten van telefonisch bemiddelen

Wat belet mij contact op te nemen?

Interactief Oplijsten op flipchart en oplossin-gen ernaast plaatsen

Weerstanden leren herken-nen en leren mee omgaan

De fases op weg naar een succesvolle bemiddelings-opdracht

Presentatie van een overzichtelijk schema

De dubbel bemiddelingstrechter, grafisch voorgesteld

Houvast en overzicht krijgen op de bemiddelingsopdracht

Welke aanleidingen heb ik om contact te nemen en waar/hoe kan ik kans op werk detecteren

Oefening in subgroe-pen en presentatie in plenum

Werkblad in te vullen en te pre-senteren, zoekopdracht op inter-net.

Bredere kijk op waar er te-werkstellingskansen zijn, die leren detecteren en zoveel mogelijk kanalen leren bena-deren.

De 10 stappen van een suc-cesvol bemiddelingsgesprek

Instructie, oefenen en feedback door lesgever en cursisten

PowerPoint en instructieblad in-clusief verkorte checklist; elke deelnemer mag vanuit eigen case werken; opdracht: werkgever op-bellen. Dictafoons ter beschik-king. In groepjes van drie, lesge-ver luistert mee. Achteraf feed-back in plenum op basis van op-genomen gesprekken.

De basisvaardigheden voor telefonisch bemiddelen ken-nen en kunnen.

Opdracht 1 tussen dag 1 en dag 2

Instructie Opdracht: A. 10 bemiddelingsgesprekken

voeren met werkgevers en twee zaken noteren: observatiechecklist invullen

per bemiddelingsgesprek en conclusies trekken: wat werkt, wat werkt niet? Waar dien ik zelf nog meer op te letten? Noteren welke weerstan-

den er aan bod komen. B. Oplijsten van de veel voorko-

mende weerstanden/bezwa-ren (minimum 5)

De weerstanden om te bellen overwinnen en vertrouwen krijgen om te bellen naar werkgevers.

35

Inhoudelijke stappen Lesvorm Extra didactisch materiaal, commentaar

Doelstelling

Stageopdracht Instructie en vragen beantwoorden. Moge-lijke stageplaatsen aanbieden/suggereren aan de cursist

Observatiestage bedrijf (zie leid-raad in bijlage)

Een stageplaats kunnen voor-stellen tegen dag 2

Schriftelijke opdrachtfor-mulering

e-mail Opdracht en doelstellingen voor dag 2 worden nog eens schrifte-lijk geformuleerd.

Duidelijke communicatie en motivatie tot uitvoering van de tussentijdse opdracht

b) Lesdag 2

Inhoudelijke stappen Lesvorm Extra didactisch materiaal Commentaar Feedbackoefening opdr. 1 Feedback door cursist Eigen checklists en opname Leren van elkaars tips en De meerwaarde van de dienstverlening van VDAB commercieel inzetten

Gezamenlijke oefening + instructie. Individueel voorberei-den van de methodie-ken (zie hiernaast)

Volgende methodieken toege-past: BBB, Voscin, ABC, Sell-o-gram

Sterke argumenten en troeven kunnen brengen om tot sa-menwerking te komen

Specifieke bemiddelingsoe-feningen

Voorbeelden door les-gever en individuele gesprekken

Enkele voorbeelden: het op-vragen van feedback bij de werkgever n.a.v. sollicitatie, stage,…; een specifieke dienst-verlening (tewerkstellings-maatregelen, IBO, Nederlands op de werkvloer,..) overtui-gend presenteren; een werk-zoekende motiveren/onder-steunen om contact te nemen met werkgever, enz…

Hoe omgaan met negatieve boodschappen

Voorbeeld de lesgever hoe het wel en niet moet + filmpje

Film + checklist Leren tactvol en constructief reageren op negatieve bood-schappen

Welke zijn de veel voorko-mende weerstanden/nega-tieve boodschappen*

Alle cursisten noteren hun weerstanden op + groeperen en sorteren

Eigen werkdocumenten, notie-blokjes en flipchart

Zo realistisch mogelijk beeld en voeling krijgen met wat leeft bij vooral werkgevers

10 tips om weerstanden te overwinnen bij telefonisch bemiddelen

Instructie en voorbeel-den door de lesgever

Document van twee pagina’s De technieken kennen om ne-gatieve boodschappen om te buigen naar samenwerking

Toepassen van 10 tips bij de veel voorkomende weer-standen*

In subgroepjes oplos-sen en voorbeelden in plenum brengen voor de groep in een gesi-muleerd gesprek.

Groepsdiscussie en simulatie van bemiddelingsgesprekken

Kunnen antwoorden op nega-tieve boodschappen en deze ombuigen in positief resultaat

Stageopdracht: de cursist vertelt welke stage van één dag hij/zij voor ogen heeft: deze vindt plaats tussen dag 2 en dag 3

Luisteren naar elke cur-sist en eventueel bijsturen

De cursist maakt een stagerap-port (zie leidraad): 1 A4 met leer-punten en kopieert deze voor de collega-cursisten.

Borgen van een leerzame sta-geomgeving.

Opdracht tussen dag 2 en dag 3: voorbereiding “Live telefonisch bemiddelen”

Instructie De cursist bereidt een 10 tal reële contacten voor en brengt alle no-dige gegevens mee naar lesdag 3.

Schriftelijke opdrachtfor-mulering

e-mail Opdracht en doelstellingen voor dag 2 worden nog eens schrifte-lijk geformuleerd

Duidelijke communicatie en motivatie tot uitvoering van de tussentijdse opdracht

36

c) Lesdag 3

Inhoudelijke stappen Lesvorm Extra didactisch materiaal Commentaar Stage ervaringen delen: de cursist vertelt welke erva-ringen hij/zij heeft opge-daan

Interactief, luisteren naar elke cursist en link leggen met cursus door de lesgever en cursis-ten

De stagerapporten van elke cur-sist.

De stage ervaring uit de reali-teit meebrengen in de les en daaruit extra leerelementen halen.

Herhaling van stramien be-middelingsgesprek (10 stap-pen) en technieken om weerstanden te overwin-nen

Interactief, samen met de groep samenvatten

Flipchart, notities Memoriseren en herhalen van wat reeds aangeleerd is

Live telefoneren, de cursis-ten zullen nu echte ge-sprekken voeren

Per groepje van twee wordt gebeld naar werkgevers.

Observatiechecklist + dictafoons, lesgever komt mee luisteren

Eigen weerstanden overwin-nen, Automatismen aanleren en de praktijk zo dicht moge-lijk benaderen

Feedback op Live telefone-ren: ervaringen delen

Cursisten geven feed-back, lesgever duidt en geeft oplossingen sa-men met medecursis-ten

Dictafoon, mondeling voor de groep en checklist

Leren van elkaar en moeilijke situaties herkennen en oplos-singen aanbrengen

Extra technieken: de gehei-men van het overtuigen, vraagtechnieken

Instructies en voorbeel-den door lesgever

Een rode draad doorheen de op-leiding bij observatie en feedback (“Soften” houding – “de zes ge-heimen” – Rapport zoeken – disc profiling klant)

Empathie vermogen verhogen aan de telefoon om zo de match beter te krijgen naar een positieve samenwerking.

Opmaak van persoonlijk ac-tieplan

Instructie + rondvraag bij elke cursist

Invulblad actieplan Borgen van blijvend streven naar actieve telefonische be-middeling

Feedback aan Spoor 21 Wanneer nodig geeft lesgever feedback over eventuele disfuncties, aandachtpunten, …

Eventuele bijsturing door Spoor 21.

37

d) Bijlage opdrachten (uittreksel opleidingen “Telefonisch bemiddelen 2 + 1” i.s.m. Spoor 21)

Leidraad voor de cursisten bij de opdracht en de stage gekoppeld aan de opleiding Telefonisch Be-middelen 2 + 1

OPDRACHT

• Uit te voeren tussen dag 1 en dag 2 en tussen dag 2 en dag 3.

• Doelstelling: het inoefenen van kennis en vaardigheden verworven tijdens de opleidingsdagen.

• Inhoud van de opdracht: uitvoeren van 10 telefonische bemiddelingsgesprekken met werkgevers en/of werkzoekenden. Bij 5 van die gesprekken moet het gaan om eerste contactnames.

• Methodiek: de opdracht wordt voorbereid tijdens dag 1 van de opleiding TB. Hierbij wordt ge-bruik gemaakt van de observatiefiches die door de trainer ter beschikking worden gesteld. Op de ingevulde fiches wordt tijdens dag 2 en dag 3 feedback gegeven door de trainer. Het is sterk aan-geraden om een collega te zoeken die je kan ondersteunen en feedback geven.

OBSERVATIESTAGE BIJ BEDRIJF

• Uit te voeren tussen dag 2 en dag 3; duur minimaal 1 dag.

• Doel: gericht en systematisch observeren en bespreken van telefonische vaardigheden bij ervaren mensen uit de bedrijfswereld; netwerk uitbouwen; arbeidsmarktkennis verruimen; de verworven kennis delen met collega’s.

• Inhoud van de stage: wordt in overleg met de trainer vastgelegd tijdens dag 2 en is gericht op persoonlijke aandachtspunten, b.v. nieuwe contacten leggen; voorbij de “gatekeeper” geraken; professioneel reageren op weerstand; afsluiten van een gesprek, etc…

• Methodiek: uitvoeren van het geïndividualiseerde actieplan en op dag 3 over de ervaringen rap-porteren. Mogelijke stageplaatsen: callcenter, interimkantoor, HR afdeling van bedrijf, verkoop-dienst, customer service,… Ook hier is het aangeraden om intern een klankbord/ mentor te zoe-ken waarmee je de stage kan voorbereiden en na afloop bespreken.

Praktisch:

overleg met de leidinggevende: datum stage, welk bedrijf kiezen, welk intern netwerk inschakelen,….

Doorgeven aan de eigen personeelsdienst met vermelding van de code 5541 (kennis-makingsstage). Voor de prestaties tijdens de stage geldt de regeling "opdracht”.

Na afloop van de stage voorbereiden van een korte presentatie over de ervaringen.

Leerresultaten: beheersen de deelnemers de beoogde vaardigheden?

We meten het leerresultaat aan de hand van een observatieoefening met de evaluatiechecklist “telefonisch bemiddelingsgesprek” (zie infra) op het einde van de opleiding.

38

Functioneren: worden de vaardigheden toegepast in de werksituatie en zijn mede hierdoor de be-oogde veranderingen in de werksituatie opgetreden? Of de deelnemer het kan en het doet?

We meten aan de hand van een posttest minimum een maand na de opleiding de verwor-ven vaardigheden aan de hand van de observatiechecklist “telefonisch bemiddelingsge-sprek” aan de hand van een case, identiek aan de pre-test (zie punt 1. Probleem/doel.

Impact: hebben de veranderingen in de werksituatie geleid tot oplossing van het oorspronkelijke pro-bleem in de organisatie?

Een onderzoek van Els Devos naar het effect van leerinterventies van o.a. onze opleiding “Telefonisch bemiddelen” werd in juni 2014 voorgedragen in kader van een opleiding “Ontwikkelen van Effectieve Leerintenties”. Dit onderzoek was bedoeld om de blijvende impact te meten van de opleiding, ook na minimum drie maanden. Door een bevraging van de deelnemers (respons 42%) en leidinggevenden via vragenlijsten en interviews op zowel leerresultaten als werkgedragniveau werd gemeten wat de impact was op de uit-eindelijke oplossing van het probleem: meer sturen naar werk dankzij veelvuldige en suc-cesvolle telefonische bemiddelingsgesprekken. (zie resultaten supra).

VII. Exploratief onderzoek: meten van het leereffect van een commerci-ele training, casus opleiding “telefonisch bemiddelen voor VDAB-medewerkers”

A. Situering van het onderzoek

Het experimenteel onderzoek vond plaats in 2013 gespreid over een periode van circa 8 maanden. De casus betrof een opleiding “Telefonisch bemiddelen” met als doelgroep de VDAB-medewerkers waarbij we onderzoeken wat het eventuele leereffect was van de cursisten. Daartoe wordt een test gedaan bij de opleidingsgroep vooraleer deze de opleiding gevolgd hebben. Ze krijgen een case voor-gelegd waarbij ze dienen te bellen naar een werkgever naar aanleiding van een vacature “catering-medewerker” (zie vacature verder)die verschenen is op de VDAB-site. De VDAB-medewerker heeft een mogelijke kandidaat (zie cv Piet Debel – fictief) en belt naar de werkgever om deze te motiveren een afspraak te maken met Piet. De assessor van het onderzoek speelt werkgever en heeft als op-dracht wat weerstand te vertonen tegen de afspraak met Piet.

1. “Volgens mij heeft uw kandidaat niet voldoende ervaring in catering”

2. “Kunt u mij garanderen dat hij voldoende gemotiveerd is?” Aan de hand van een observatiechecklist (zie hieronder) en de opname van het gesprek wordt nage-gaan door beide assessoren (één voert het gesprek als fictieve werkgever, één observeert het ge-sprek) in welke mate het gesprek beantwoordt aan de regels voor een goed telefonisch bemidde-lingsgesprek.

Deze oefening (simulatie) gebeurt dus zowel voor als na de opleiding (pre- en posttest) zodat beide gesprekken in het telefonisch bemiddelingsgesprek kunnen vergeleken worden. Aangezien we ervan uitgaan dat het louter opnieuw doen van dezelfde oefening op zich al invloed kan hebben op de re-sultaten doorlopen we dezelfde procedure voor een controlegroep die niet de opleiding tussen de

39

pre- en posttest gevolgd heeft. Door de resultaten tussen de opleidingsgroep en de controlegroep te vergelijken kunnen we constateren of de verschillen tussen de pre- en posttest bij de opleidingsgroep groter zijn dan deze bij de controlegroep.

Verder in het rapport vindt u de resultaten van het onderzoek bij zowel de opleidingsgroep als de controlegroep die dus beide zowel de pre-test (voor de opleiding voor de controlegroep of eerste maal voor de controlegroep) als de posttest (na de opleiding voor de opleidingsgroep of tweede maal voor de controlegroep) werden afgenomen. De controlegroep had dus tussen de pre- en posttest geen opleiding gevolgd, de opleidingsgroep wel.

In 2013 werden in totaal 46 individuele pre- en posttesten uitgevoerd, 12 personen per opleidings-groep en 11 personen per controlegroep (de pre- en posttest van één proefpersoon werd om onder-zoekstechnische redenen geëlimineerd) die telkens op twee verschillende tijdstippen met dezelfde tijdsinterval voor zowel de opleidingsgroep als de controlegroep een pre-test en een posttest afgeno-men werden. Voor elk van de 46 experimenten werd er scrupuleus op volgende zaken gelet:

1. De proefpersoon wordt via een leidinggevende op de hoogte gebracht van de doelstelling van het onderzoek

2. De proefpersoon is vrij daarop in te gaan 3. De proefpersoon krijgt een telefoon van de onderzoekers (assessoren) met de uitleg en een voor-

stel voor afspraak voor het experiment 4. De proefpersoon krijgt bezoek van twee observatoren: één persoon communiceert en speelt de

rol van klant, één observator registreert (alles wordt genoteerd in een checklist en het as-sessment (rollenspel met klant) wordt opgenomen met dictafoon.

5. De proefpersoon ziet de observatiechecklist niet, ook niet na de pre-test 6. De proefpersoon krijgt geen feedback na zijn/haar gesprek. De proefpersoon krijgt wel na de

posttest de mogelijkheid om feedback te vragen. De onderzoekers (assessoren) geven geen posi-tief of negatief oordeel over het gevoerde rollenspel.

7. De assessee behoedt zich zoveel mogelijk voor het subjectief beïnvloeden van de resultaten. Hij is zich bewust van het interview- en onderzoeksbias en waakt erover deze zoveel mogelijk te neutraliseren.

8. Na elk assessment zitten de assessoren samen en herbeluisteren de opname en vormen zich sa-men een consensus over de te geven score op elk van de 20 items alsook op de extra commenta-ren. Door met verschillende benaderingswijzen te werken voor het toekennen van scores (invul-len checklist tijdens observatie, beluisteren opname achteraf, gemeenschappelijke consensus bij toekennen scores) streven we naar een hogere neutraliteit.

9. Alle experimenten gebeuren ongeveer binnen eenzelfde tijdspanne tussen de pre- en posttest voor zowel de opleidingsgroep en de controlegroep.

10. We werkten met 8 tal assessorenteams onafhankelijk van elkaar en zonder medeweten van el-kaars scores/observaties zodat er geen onderlinge beïnvloeding kon ontstaan. De methodiek was echter heel strikt dezelfde.

B. Stramien van het onderzoek

Hieronder vindt u het stramien en richtlijnen voor de onderzoekers (assessoren):

Stramien: PWO Meten van leereffect van commerciële training

1) U krijgt naam, adres en telefoonnummer van VDAB bemiddelaar (zie lijst)

40

2) VDAB en de leidinggevende informeert over het concept en telefoontje van de onderzoekers dat ze mogen verwachten

3) De assessoren bellen hen op voor een afspraak 4) De assessoren leggen de case pre-test* uit aan de cursist op een rustige afzonderlijke plaats 5) De cursist mag zich gedurende een kwartiertje voorbereiden op het gesprek 6) Het gesprek wordt gevoerd. Assessor 1 vervult de rol van “werkgever” volgens de case. (zie de cv

van de heer Debel en de vacature voor “catering medewerker”). Assessor 2 observeert en neemt het gesprek op.

7) De klant (Assessor) gebruikt letterlijk volgende twee bezwaren gedurende het gesprek: a. “Volgens mij heeft uw kandidaat niet voldoende ervaring in catering” b. “Kunt u mij garanderen dat hij voldoende gemotiveerd is?” 8) De ondervraagde wordt gevraagd naar feedback over zijn eigen gesprek naar zowel sterke als

minder sterke punten: bewust (on)bekwaam? Deze worden genoteerd op het observatieblad. De assessoren geven zelf geen feedback!

9) De assessoren beluisteren samen het gesprek opnieuw en vullen de definitieve observatiecheck-list in. Assessoren sturen de ingevulde checklist en het geluidsbestand naar geert.delobelle@vi-ves.be

10) De posttest. De assessoren en de cursist maken meteen een nieuwe afspraak voor kort na de op-leiding (tussen 2de en 3de week na de cursus) voor de cursisten “telefonisch bemiddelen”. Met de niet-cursisten (controlegroep) wordt ook meteen een nieuwe afspraak gemaakt en dit binnen de limiet van twee maanden na de pre-test en ten vroegste één maand na de eerste afspraak (pre-test)

11) De assessor maakt een tekstuele en cijfermatige (telling vergelijken) vergelijking tussen pre- en posttest en stuurt deze naar geert.delobelle@vives.be

*Case (fictief) pre-test: de VDAB-medewerker belt zelf op en stelt de kandidaat de heer Debel voor aan de bedrijfslei-der. De gedragsdoelstelling is om de bedrijfsleider bereid te vinden de sollicitant te ontvangen voor een gesprek (een afspraak bekomen voor de sollicitant). De VDAB-medewerker heeft met-een de juiste contactpersoon aan de lijn. De case mag aan de cursist voor het gesprek uitgelegd worden met uitzondering van de bezwaren van de bedrijfsleider.(zie punt 8 hierboven)

*Case posttest: idem als pre-test

12) Welke sterke punten en verbeterpunten heeft de proefpersoon zelf vermeld nadat u ernaar vraagt? sterke punten: verbeterpunten: *naam proefpersoon wordt louter in het kader van het onderzoek gevraagd om link te kunnen

maken met de posttest. **u/uw staat hier voor de VDAB bemiddelaar/proefpersoon.

13) Extra aandachtpunten en commentaar vanwege de onderzoekers: pre-test of posttest (omcirkel wat past) Datum observatie: Namen Observatoren: Functie proefpersoon: Naam proefpersoon:*

Cursist opleiding "telefonisch bemidde-len" ja/nee (omcirkel wat past)

41

plaats afname pre-test: plaats afname posttest:

aantal gereden km pre-test: aantal gereden km posttest:

U vindt de vacature hieronder waarvoor gebeld moet worden naar de werkgever (de heer Dewit) voor de heer Debel.

Dringend gevraagd:

Catering medewerker (M/V) (GENT)

Je werkt mee in een team dat logistieke ondersteuning biedt bij catering op events. Dit omvat enerzijds opbouw, afbouw en ondersteuning gedurende events op locatie en anderzijds laden, lossen, klaarzetten en onderhoud in het centraal magazijn.

Je werkt mee aan de bediening tijdens events en de afwerking van food en drinks.

Je werkt precies en kan prioriteiten stellen, na je opleiding kan je zelfstandig werken. Je rapporteert rechtstreeks aan de Logistiek Verantwoordelijke.

Verwacht:

Je bent bij voorkeur in het bezit van een rijbewijs C. Werken in een flexibel uurrooster met weekend- en nachtwerk vormt voor jou geen probleem. Fysiek werk vormt geen probleem

Technische kennis van elektriciteit is een pluspunt alsook ervaring in een cateringbedrijf.

Vereiste studies: » Geen specifieke studievereisten

Talenkennis: NEDERLANDS (zeer goed), Frans (goed)

Werkervaring: catering

Biedt:

'vast werk' Tijdregeling: Voltijds Dienstregeling: Dagwerk Afwisselend werk in aangename werksfeer

Plaats tewerkstelling

9000 GENT

Contactpersoon: de heer Dewit.

Hieronder vindt u het curriculum vitae van de heer Piet Debel (fictief) waarvoor gebeld wordt door de proefpersoon naar de werkgever naar aanleiding van zijn vacature voor catering medewerker.

42

C U R R I C U L U M V I T A E

PERSOONLIJKE GEGEVENS

Naam en voornaam Debel, Piet Adres Knobbelstraat 3, 8500 KORTRIJK Telefoon +32 499 11 11 11 e-mail piet.debel@mail.be Geboortedatum en –plaats 23 juli 1959 te Kortrijk ( * ) Nationaliteit Belg

(*) ik kom in aanmerking voor diverse tewerkstellingsprogramma’s

STUDIES

Hoger secundair onderwijs V. T. I., Kortrijk Afdeling plastische kunsten

RECENTE WERKERVARING

2011 – 2012

Mercantieltrading, Moen functie: logistiek medewerker Takenpakket: receptie goederen, lossen containers zonder loskade, voorbereiding & klaarzet-

ten zendingen

2005 – 2010

Furniture & Globay, Ichtegem functie: logistiek medewerker Takenpakket: receptie goederen, lossen containers met en zonder loskade, gebouwen- en afval-

beheer, logistieke bijstand bij beurzen, inrichten toonzaal, foto opnames ifv folders en catalogi

1992 – 2005

Buro Modern, Waregem Joie, Harelbeke Meerwaf , Kortrijk functie: chauffeur – monteur Takenpakket: dag- en meerdaagse ritten binnen Benelux en Frankrijk, meubelmontage, leveren

en opstellen binnen de showroom

43

SPECIFIEKE ERVARING

Projectverbouwing & wooninrichting, werfuitvoering Standbouwer systeembouw, ontwerp, opbouw & decoratie Prepress offsetdrukkerij Zelfstandig grafische ontwerper Assistent fotolabo & fotograaf

TALENKENNIS

Nederlands: moedertaal Frans: zeer goede kennis Engels: basiskennis

PC-KENNIS

Word goede kennis Internet / Mac goede kennis

VAARDIGHEDEN

Ik werk zeer nauwkeurig en verzorgd Ik ben klantgericht - sociaal - flexibel - discreet - betrouwbaar Kan zowel zelfstandig als in team werken Ben in het bezit van rijbewijs C Steeds bereid tot bijscholing Heftruckervaring

VARIA

Kom in aanmerking voor tewerkstellingsmaatregelen voor 50 plussers. 5 jaar groepsleiding Scoutsgroep Gulden Vlies Kortrijk Sinds 25 jaar medewerker Vredeseilanden-comité:

44

C. Observatiechecklist

Op pagina 50-51 vindt u de observatiechecklist voor zowel de pre- als de posttest

D. Onderzoeksmethodiek: exploratief versus kwantitatief marktonderzoek.

Dit onderzoek behoort tot het kwalitatief verklarend onderzoek waarbij we ons de vraag stellen of er effectief gedragsverandering optreedt na het volgen van een gedragsopleiding, meer dan bij mensen die de opleiding niet gevolgd hebben. We wensen dit te verklaren door effectief dit gedrag te obser-veren via een zogenaamd “communicatieonderzoek” aan de hand van een “split-run”: de proefperso-nen worden gesplitst in twee groepen: de onderzoeksgroep (die onderworpen wordt aan een extra “communicatie, namelijk een opleiding”, de opleidingsgroep genaamd) en de controlegroep (die geen communicatie/opleiding krijgt over commercieel gedrag). Er wordt gebruikt gemaakt van “een opstelling”, een rollenspel om een gedrag te meten.

Hieronder vindt u het kwadrant van registratie-instrumenten waarbij we ons dus situeren bij het indi-rect, ongestructureerd registratie-instrument, het rollenspel.

Bron: Slideshare, Marktonderzoek in rechte lijn. Marc De Laet, Pol Toye. Uitgeverij De Boeck Hoger en universitair onderwijs, 14-jan.-2014 - 332 pagina's

45

De volgende stappen in het onderzoeksproces werden genomen:

Stappenplan: 1. Onderzoek naar bestaande methodieken om commerciële trainingen te evalueren en het leereffect te me-

ten 2. Samenstelling van de stuurgroep 3. Op zoek gaan naar medewerking uit het werkveld (aantal gesprekken uit het eigen netwerk) 4. Opmaak van het voorlopig onderzoeksdesign (afbakening onderwerp, methodiek, praktische organisatie) 5. Gesprekken bij management van VDAB naar bereidheid tot samenwerking (Fons Leroy) 6. Vier stuurgroepvergaderingen 7. Opmaak van de trainingsmodule: telefonisch bemiddelen met werkgevers en werkzoekenden met als doel

te sturen naar werk 8. Pilootsessies. 2 groepen van telkens een 14-tal personen.(periode voorjaar 2012) 9. Evaluatievergadering van de pilootsessies met feedback van deelnemers aan de hand van evaluatieformu-

lieren en een debriefing na de opleiding van de observatoren van de training (door leden stuurgroep: me-vrouw Devos, de heren Martens en Vanden Daele)

10. Opmaak van een nieuw (aangepast) onderzoeksdesign op basis van feedback van de training, praktische haalbaarheid en objectiviteit en voorspelbare validiteit.

11. Afspraken op vlak van data 12. Verdere opmaak observatiechecklists en onderzoeksdesign. 13. Uitvoering van het onderzoek Kwalitatief verklarend observatieonderzoek Opleidingsgroep: n1.1=12 pre-tests face-to-face, posttest face-to-face n1.2 = 12 Controlegroep: n2.1 = 11 pre-tests face-to-face, posttest face-to-face n2.2 = 11 d.i. 46 interviews, one-to-one simulatiegesprekken met opname telefoongesprekken en registratie via observatiechecklist en opmaak scores.

46

Stramien

1. VDAB bezorgt ons de lijst van de deelnemers per groep (cursisten) met naam, voornaam, geslacht, email-adres en telefoonnummer

2. VDAB en de leidinggevende informeert over het concept en telefoontje van de onderzoekers dat ze mogen verwachten.

3. De onderzoekers bellen hen op voor een afspraak 4. De onderzoekers leggen de case pre-test* uit aan de cursist op een rustige afzonderlijke plaats 5. De cursist mag zich gedurende een kwartiertje voorbereiden op het gesprek 6. Het gesprek wordt gevoerd. Onderzoeker 1 vervult de rol van “klant” volgens de case.

Onderzoeker 2 observeert en neemt het gesprek op. 7. De cursist wordt gevraagd naar feedback over zijn eigen gesprek naar zowel sterke als minder sterke pun-

ten: bewust (on)bekwaam? De onderzoekers geven zelf geen feedback! 8. De onderzoekers en de cursist maken een nieuwe afspraak kort na de opleiding (tussen 2de en 3de week na

de cursus) 9. De onderzoekers bezorgen de ingevulde “pre-testchecklist” en rapportering aan de “onderzoeker”

(Geert D.) 10. De cursist volgt de cursus “beter bemiddelen” 11. De onderzoekers bezoeken opnieuw de cursist 12. De onderzoekers nemen opnieuw een case posttest* en vervullen de rol van klant en observeren opnieuw 13. De cursist geeft opnieuw zelfevaluatie-feedback over sterke punten en verbeterpunten: bewust (on)be-

kwaam 14. De onderzoekers sturen feedback rapport naar de cursist en de onderzoeker (Geert D.) 15. De cursist krijgt een onderzoeksevaluatie-checklist en stuurt deze ingevuld terug aan de onderzoeker

(Geert D) *Case (fictief) pre-test: de VDAB-medewerker belt zelf een bedrijf (die op zoek is naar een …. – de cursist mag zelf de “vacature” invullen bijv. werkzoekende, kandidaat IBO opleiding, stagiair,… ) op en stelt deze voor aan de bedrijfsleider. De gedragsdoelstelling is om de bedrijfsleider bereid te vinden de sollicitant te ontvangen voor een gesprek (een afspraak bekomen voor de sollicitant) . De bedrijfsleider heeft wel een bezwaar: “hij heeft geen al te beste ervaringen met sollicitanten van de VDAB”. Extra info: De VDAB-medewerker heeft meteen de juiste contactpersoon aan de lijn. De case mag aan de cursist voor het gesprek uitgelegd worden met uitzonde-ring van het bezwaar van de bedrijfsleider. *Case posttest: idem als pre-test met uitzondering van het bezwaar dat hier anders moet zijn om vergelijking mogelijk te maken. Het bewaar is hier: “ik werk al met “collega’s van u” (selectiekantoor, interimkantoor, ande-ren kanalen (school,…) en we zijn daar heel tevreden over”. Verwerking onderzoeksresultaten, opmaak onderzoeksrapport en dissiminatie resultaten en aanbevelingen: I. Verwerking onderzoeksresultaten Alle gegevens in telkens 3 aspecten beschrijven: - tabel - grafische voorstelling - conclusies in tekstcommentaar A. Individuele input in Exceldoc observatiechecklist pre en posttest + commentaren + wie + wanneer ( dus alle info op sheet + notities in digitale Exceltabel) B. Individuele vergelijking (d.i. score per item-20 items) tussen elke pre- en posttest: verschillen in Excel 2 kolommen pre- en post + commentaren C. Conclusies individuele vergelijking A en B D. Optelling van resultaten: hieronder verwerking/analyse met telkens grafische voorstelling en tekstconclusies:

47

1. Optelling pre-test opleidingsgroep per item en totaal score op 60 2. Optelling posttest opleidingsgroep per item en totaal score op 60 3. Vergelijking resultaten pre posttest opleidingsgroep per item en totaal score op 60 4. Conclusies 4. 5. Optelling pre-test controlegroep per item en totaal score op 60 6. Optelling posttest controlegroep per item en totaal score op 60 7. Vergelijking pre-post controle groep 8. Conclusies 8. 9. Vergelijking resultaten 3. En 7. 10. Conclusies 10 11. Vergelijking pre-testresultaten per item en totaalscore opleiding – controle 12. Conclusies 11 13. Vergelijking posttest resultaten per item en totaalscore opleiding – controle 14. Conclusies 13 15. Algemene conclusies II. Opmaak onderzoeksrapport (resultaten en aanbevelingen): (aug-dec 2014) III . Dissiminatie resultaten en aanbevelingen: opmaak mediaplan, boodschap en doelgroepen en uitvoering

communicatie.(sept-dec 2014) IV. Aanpassen didactische leermaterialen (inhoud, vorm, tools) vanaf september 2014.

E. Aantal proefpersonen voor het experiment/onderzoek

Dit kwalitatief onderzoek, in de categorie experiment, is kleinschalig van aard en wenst geen exacte voorspelling te doen voor de populatie. Dit exploratief onderzoek stelt meer de “hoe?” waarom?” dan de vraag “hoeveel?”. Volgens o.a. de heer Toye, docent marktonderzoek en medeauteur van het boek “Marktonderzoek in rechte lijn” is het minimum te observeren cursisten n1 = 12 en controle-groep n2 = 12. Met een totaal van 20-30 proefpersonen om zo te kunnen werken met een “normaal-verdeling” en “betrouwbaarheidsgrenzen”: zie uitleg van de heer Toye hieronder:

“Bij een kwalitatief onderzoek is het uiteraard niet de bedoeling een representatief staal te nemen. Toch kan het handig zijn een niet al te kleine groep te nemen. Vanaf een totale steekproefgrootte van 30 geldt in de statistiek immers het centrale limiettheorema, wat inhoudt dat als de steekproef-grootte voldoende is, men de trekkingsverdeling (sampling distribution) van de gemiddeldes kan be-naderen met de normaalverdeling. In gewoon Nederlands wil dit zeggen dat je de normaalverdeling kunt gebruiken om de steekproefgegevens te vertalen naar de populatie en je dus bvb betrouwbaar-heidsgrenzen kunt berekenen. Onder dit aantal heeft het onderzoek enkel de waarde van een casus (wat ook niet te verwaarlozen is; op een symposium over kwalitatief onderzoek vorig jaar had één van de sprekers het over de kracht van n = 1, waarmee hij wilde zeggen dat één goed uitgewerkte casus ook belangrijke informatie kan opleveren).

Wat is echter ‘voldoende groot’. Statistici gaan ervan uit dat dit reeds het geval is vanaf 30. (cfr Basic business statistics van M. Berenson & D. Levine, Prentice Hall, p. 237-238. Zorg er dus voor dat de te onderzoeken groep en de controlegroep samen ee

n 30-tal personen omvatten.

48

De pre- en posttest samen omvatten dus 46 onderzoeken. Dit betekent niet dat we voldoende statis-tisch verantwoorde conclusies kunnen trekken. Daarom zijn we ook niet overgegaan tot het uitvoe-ren van statistische testen en vermelden we hier ook geen betrouwbaarheids-/waarschijnlijkheids-graden en/of steekproeffout. De cijfermatige conclusies geven dus geen aanleiding tot conclusies voor de gehele populatie.

F. Mogelijke vertekeningen van het onderzoek en ermee gepaard gaande aanpassingen in onderzoeksmethodiek

We wensen verder ook te wijzen op het onderzoeksbias (vertekening door het onderzoeksdesign en tijdens de uitvoering van het onderzoek). Deze vaststellingen zijn op zich belangrijk ook voor oplei-dingsverantwoordelijken en leidinggevenden wanneer ze zich afvragen wat de opleiding nu opgele-verd heeft. Voorzichtigheid in overschatting of verkeerde inschatting van leereffect is dus geboden:

3. Een “niet-toevalssteekproef” (convenience, judgment sample). De selectie van de deelnemers ge-beurde niet op toevallige wijze (leidinggevenden kiezen wie ze vragen om deel te nemen) en deel-name aan het onderzoek gebeurde op vrijwillige basis: dit zorgt misschien voor een niet represen-tatief staal van “voorgefilterde” proefpersonen. Quotasteekproef. Aangezien we evenveel men-sen uit de controlegroep wensten, heeft het extra moeite gekost om mensen voor de controle-groep (die dus géén opleiding volgden) bereid te vinden deel te nemen. Dit kan een invloed gehad hebben op de resultaten. Meten we competenties of meten we motivatie? Zal een proefpersoon die na de pre-test de opleiding zal volgen spontaan ook meer zijn best doen dan de controlegroep die niet de opleiding volgt?

4. Interviewbias: de assessor dient eigenlijk een neutraal “medium” (tussenelement) te zijn bij het onderzoek. De aard van het onderzoek, een experiment/case waarbij de assessor “klant” is beïn-vloed misschien het gedrag van de respondent (assessee). We hebben dit maximaal proberen te vermijden door met meerdere teams assessoren te werken zodat die invloeden elkaar misschien onderling opheffen.

5. Registratiebias: aangezien de assessment “gedrag” dient te observeren en evalueren/scoren is dit voor interpretatie vatbaar. We hebben in de checklist zoveel mogelijk het gedrag eenduidig pro-beren te benoemen. De score echter is gedeeltelijk subjectief. Dit op zich hoeft niet noodzakelijk verkeerd te zijn aangezien we inderdaad “perceptie” meten in de ogen en de oren van de klant. En aangezien die klant in dit geval de assessor is en deze bestaat uit een aantal verschillende per-sonen kunnen we gewagen van een echte perceptie van dit gedrag: “hoe de klant het gedrag of verandering van dit gedrag ervaart”.

6. Sponsorshipbias: de interviewer/assessor kent het doel van het onderzoek: “het meten van het leereffect” en zal misschien onbewust “beter scoren”. De assessor is daarom ook op deze moge-lijke vertekening vooraf gewezen om zo bewust om te gaan met eigen interpretatie maar de on-bewuste invloed dat dit op hem/haar uitoefent is niet controleerbaar. De onderzoeker kan ook de neiging hebben om “positiever” te scoren bij de posttest om zo de hypothese van “leereffect” ge-negen te zijn.

7. Semantiekbias: de betekenis van het commercieel gedrag zoals beschreven in de checklist mag niet voor interpretatie vatbaar zijn; bv “u heeft aandacht voor uw gesprekspartner” kunt u op ver-schillende manieren en in verschillende graden van intensiteit en tijd tonen. Dit vormt een beper-king van het onderzoek. Anderzijds is het onmogelijk om alle vormen van aandacht te benoemen en deze dan aan te duiden of deze al dan niet voorkomen. Vandaar dat we gewerkt hebben met een zogenaamde Stapel-schaal: een score van 0 tot 3 naargelang een bepaald gedrag in meer of mindere mate voorkwam.( zie voorbeeld hieronder)

49

8. Klein aantal respondenten: er kunnen dus geen conclusies getrokken worden voor de volledige populatie gezien het kleine aantal respondenten. Er worden dus ook geen statistische analyses uitgevoerd aangezien deze telkens verwijzen naar de significantie, waarschijnlijkheid en voorspel-bare waarde. We willen hier dus terecht geen uitspraken doen voor alle vormen van opleidingen en alle cursisten.

1. Voorbeeld ingevulde observatiechecklist

Hieronder vindt u een voorbeeld van dergelijk ingevuld observatieformulier en opname van een tele-fonisch bemiddelingsgesprek met een werkgever:

PWO project Meten leereffect commerciële training

Pre-test of posttest (omcirkel wat past) Namen observatoren: ………………………… ……………………… ………………………

Datum observatie: ../../…. Functie proefpersoon: ……………………………………

Naam proefpersoon: ……………………………………...

Cursist opleiding “telefonisch bemiddelen”

Ja/nee (omcirkel wat past)

Observatiechecklist voor bemiddelingsgesprekken, verkorte versie

Uw naam: ………………………………………… Datum: ../../….

OK?

COMMENTAAR

1 U** begroet uw gesprekspartner op enthousiaste wijze en begroet door zijn/haar naam te noemen in vragende vorm 2 Niet op vragende manier

2 U zegt duidelijk wie u bent (uw voornaam, familienaam en naam van uw organisatie) 3 Duidelijke voorstelling

3 U zegt waar u voor belt. 2 Geen volledige beschrij-ving

4 U noemt een aanleiding (kapstok, aanknopingspunt) waarvoor u belt die te maken heeft met de situatie of de belangen van uw ge-sprekspartner en wat u figuurlijk bindt.

3

5 U brengt uw voorstel (kandidaat) op een overtuigende manier, ge-koppeld aan de verwachtingen/vereisten van de werkgever 3

6 U doet zelf een concreet voorstel voor “volgende stap”. 1 Is afwachtend

7 U toont een sterke interesse en geeft aandacht voor uw gespreks-partner. 2

Hij somt alle vaardighe-den op en geeft niet al-tijd aandacht aan de ge-

sprekspartner

8 U zoekt qua gespreksstijl “rapport” met uw gesprekspartner (spreekstijl, tempo, taal, …) zodat de afstand figuurlijk verkleind wordt.

2 Spreekt trager, probeert wel AN te spreken

9 U bent duidelijk in uw boodschap (uw boodschap is goed begrepen en niet voor misverstanden vatbaar). 2

10 U vraagt voldoende door zodat u een volledig b eeld hebt van de situatie en belangen van uw gesprekspartner 2

Meneer XXX vroeg bij-voorbeeld met hoeveel man we werken in het

bedrijf, wat we juist doen.

11 U stelt vragen die de gesprekspartner bewust maken van de moed aan een oplossing (sturen naar werk door uw vragen), bijv. “Ik ver-onderstel dat het redelijk dringend is”.

1

50

PWO project Meten leereffect commerciële training

Pre-test of posttest (omcirkel wat past) Namen observatoren: ………………………… ……………………… ………………………

Datum observatie: ../../…. Functie proefpersoon: ……………………………………

Naam proefpersoon: ……………………………………...

Cursist opleiding “telefonisch bemiddelen”

Ja/nee (omcirkel wat past)

Observatiechecklist voor bemiddelingsgesprekken, verkorte versie

Uw naam: ………………………………………… Datum: ../../….

OK?

COMMENTAAR

12

U toont begrip en reageert voldoende positief ( defensief) op de opmerkingen/weerstanden van uw gesprekspartner (U herhaalt, vat de bezorgdheid nog een samen: “dus als ik het goed begrijp, vreest u dat …”)

2

13 U herkadert een (te) negatief beeld van uw gesprekspartner door de positieve aspecten van een (de) eigenschap(pen) van uw kandi-daat te belichten.

2

14 U betrekt uw gesprekspartner voldoende in het zoeken naar een oplossing voor nadelen in het profiel van uw kandidaat. “Hoe ziet u dat, wat stelt u voor, …?)

2 Voorstel om eerst stage te lopen

15 U kunt voldoende sterke “tegenargumenten” geven bij weerstan-den van uw gesprekspartner 3

Geeft goede argumenten i.v.m. motivatie van de sollicitant, overtuigend

16 U checkt of uw gesprekspartner instemt met uw antwoord op zijn bezwaren 2

Gesprekspartner moet vooral volgende stap ne-

men

17 Bij twijfel over uw kandidaat gaat u samen met de werkgever op zoek naar een oplossing/alternatief. U geeft zich niet snel gewon-nen.

3

18 U vat duidelijk samen wat afgesproken is en vraagt toestemming van uw gesprekspartner 2

19 U gebruikt positieve taal die de gesprekspartner stuurt naar een “ja”. 2

20 U neemt op een positieve wijze afscheid van uw gesprekspartner 3 TOTAAL …./60 …./44

SCORE

3 Het gedrag komt perfect tot bijna perfect overeen met de beschrijving.

2 De beschrijving werd toegepast maar kan nog ietsje beter.

1 Dit aspect kwam niet voldoende aan bod.

0 Dit aspect kwam niet aan bod of werd verkeerd aangepakt.

51

Hieronder vindt u een voorbeeld van extra commentaar van de observatoren na afname van de pre- en posttest:

Vergelijking mevr…

Er is een duidelijk verschil tussen de pre-test en de posttest van Mevr…. Tijdens het eerste gesprek besteedde ze niet veel aandacht aan de structuur en het verloop ervan. Dit was dan ook haar voor-naamste aandachtspunt. Bij de tweede test, na het volgen van de cursus was dit wel in orde. Ze zorgde ervoor dat ze tijdens het gesprek zelf de touwtjes vooral in handen had en het zo in de goede richting kon sturen. Ook de inhoud hield ze veel beknopter en to the point, alle overbodige en niet relevante informatie die ze tijdens het eerste gesprek vertelde vermeldde Cindy niet meer in de post-test. Tijdens het eerste gesprek was de voorstelling van de kandidaat te lang en besteedde ze aan-dacht aan kleine details terwijl het belangrijker is om de grote lijnen te vertellen. Dit deed ze wel goed in het tweede gesprek, en ze ging ook veel meer op zoek naar oplossingen om zo tot een con-creter voorstel te komen.

Achteraf vertelde ze ons ook dat deze cursus haar vooral had geholpen om overtuigender over te ko-men en beter te beslissen welke informatie relevant is en welke overbodig.

Vergelijking Mr….

Om praktische redenen heeft Mr…. de cursus ‘Telefonisch Bemiddelen’ niet kunnen volgen. Toch merkten we een positieve evolutie in zijn telefoonvaardigheden. Hij zei ons dat hij na ons eerste ge-sprek (de pre-test) niet zo tevreden was over zichzelf en na dit gesprek verder had nagedacht over hoe hij dit in het vervolg beter kan aanpakken. Dus in de posttest besteedde hij extra aandacht aan zijn verbeterpunten en de opbouw van het gesprek was zo veel beter. Hij gaf ook meer aandacht aan zijn gesprekspartner en luisterde meer naar de behoeftes van de ‘klant’.

52

G. Stramien verwerking onderzoeksresultaten

Alle gegevens in telkens 3 aspecten beschrijven:

- tabel; - grafische voorstelling; - conclusies in tekstcommentaar.

A. Individuele input in Exceldoc observatiechecklist pre en posttest + commentaren + wie + wanneer (dus alle info op sheet + notities in digitale Excel tabel)

B. Individuele vergelijking (d.i. score per item-20 items) tussen elke pre- en posttest: verschillen in Excel 2 kolommen pre- en post + commentaren

C. Conclusies individuele vergelijking A en B D. Optelling van resultaten: hieronder verwerking/analyse met telkens grafische voorstelling en

tekstconclusies:

1. Optelling pre-test opleidingsgroep per item en totaal score op 60 2. Optelling posttest opleidingsgroep per item en totaal score op 60 3. Vergelijking resultaten pre posttest opleidingsgroep per item en totaal score op 60 4. Conclusies 4 5. Optelling pre-test controlegroep per item en totaal score op 60 6. Optelling posttest controlegroep per item en totaal score op 60 7. Vergelijking pre-post controlegroep 8. Conclusies 8 9. Vergelijking resultaten 3 en 7 10. Conclusies 10 11. Vergelijking pre-test resultaten per item en totaalscore opleiding – controle 12. Conclusies 11 13. Vergelijking posttest resultaten per item en totaalscore opleiding – controle 14. Conclusies 13 15. Algemene conclusies

U"Not everything that can be counted, counts" (Albert Einstein)U

H. Resultaten onderzoek

Hieronder vindt u de samenvattende resultatentabel en de scoretabel van zowel de opleidingsgroep (A. Observatiechecklist) als van de controlegroep (B. Observatiechecklist). Zowel tijdens de pre-test als tijdens de posttest en voor de opleidingsgroep en de controlegroep werd identiek dezelfde ge-spreksimulatie gebruikt.

De items/gedragsindicatoren werden opgebouwd op basis van voorafgaand onderzoek (zie supra) en na testing in pilootgroepen voor de opleiding “telefonisch bemiddelen”. Ze worden beschouwd als gedragsindicatoren voor een succesvol bemiddelingsgesprek.

53

1. Scoretabel:

SCORE

3 Het gedrag komt perfect tot bijna perfect overeen met de beschrijving.

2 De beschrijving werd toegepast maar kan nog ietsje beter.

1 Dit aspect kwam niet voldoende aan bod.

0 Dit aspect kwam niet aan bod of werd verkeerd aangepakt.

2. Samenvattende resultatentabel:

Gem. score pre-test (1) en posttest (2):dit is alle scores van 0 tot 3 per item 1 t.e.m. 20 gedeeld door het aantal n (proefpersonen)

Procentuele verandering (3): d.i. optelling scores per item posttest (5)/optelling scores per item pre-test (4) – 1 (formulering percentage). Merk op: we werken dus voor de procentuele verandering bin-nen de opleidingsgroep en binnen de controlegroep met de absolute scores en niet met de vergelij-king tussen de gemiddelden. Er kon enkel gescoord worden met gehele getallen 0,1,2 of 3. Vandaar ook het werken met optelling/absolute cijfers en niet met gemiddelde.

A. Observatiechecklist vergelijking pre-test -posttest

OPLEIDINGSGROEP n 1.1. = 12 n 1.2. = 12

Gedragsindicator/item Gem. score pré-test (1)

Gem. score posttest (2)

Procentuele verandering (3)

Som pré-test, opleidingsgroep per item (4)

Som posttest, opleidingsgroep per item (5)

1. U begroet uw gespreks-partner op enthousiaste wijze en begroet door zijn/haar naam te noemen in vragende vorm 2,33 2,50 7,14 % 28 30

2. U zegt duidelijk wie u bent (uw voornaam, familie-naam en naam van uw or-ganisatie) 2,67 2,83 6,25 % 32 34

3. U zegt waarvoor u belt 2,83 2,83 0,00 % 34 34 4. U noemt een aanleiding

(kapstok, aanknopings-punt) waarvoor u belt die te maken heeft met de si-tuatie of de belangen van uw gesprekspartner en wat u figuurlijk bindt 2,17 2,58 19,2 % 26 31

5. U brengt uw voorstel (kandidaat) op een over-tuigende manier, gekop-peld aan de verwachtin-gen/vereisten van de werkgever 2,25 2,25 0,00 % 27 27

54

6. U doet zelf een concreet voorstel voor "volgende stap" 1,50 1,92 27,78 % 18 23

7. U toont een sterke inte-resse en geeft aandacht voor uw gesprekspartner 2,00 2,08 4,17 % 24 25

8. U zoekt qua gespreksstijl "rapport" met uw ge-sprekspartner (spreekstijl, tempo, taal,…) zodat de afstand figuurlijk verkleind wordt 1,92 2,17 13,04 % 23 26

9. U bent duidelijk in uw boodschap (uw boodschap is goed begrepen en niet voor misverstanden vat-baar) 2,50 2,75 10,00 % 30 33

10. U vraagt voldoende door zodat u een volledig beeld hebt van de situatie en be-langen van uw gespreks-partner 1,83 1,67 -9,09 % 22 20

11. U stelt vragen die de ge-sprekspartner bewust ma-ken van de nood aan een oplossing (sturen naar werk door uw vragen): bijv. "ik veronderstel dat het redelijk dringend is?" 1,25 1,92 53,33 % 15 23

12. U toont begrip en reageert voldoende positief (<-> defensief) voor de opmer-kingen/weerstanden van uw gesprekspartner (u herhaalt, vat de bezorgd-heid nog eens samen: "dus als ik het goed be-grijpt, vreest u dat,….) 2,25 2,17 -3,70 % 27 26

13. U herkadert een (te) nega-tief beeld van uw ge-sprekspartner door de po-sitieve aspecten van een (de) eigenschap(pen) van uw kandidaat te belichten 2,33 2,50 7,14 % 28 30

14. U betrekt uw gespreks-partner voldoende in het zoeken naar een oplossing voor nadelen in het profiel van uw kandidaat: "hoe ziet u dat, wat stelt u voor, …?) 1,50 1,92 27,78 % 18 23

15. U kunt voldoende sterke "tegenargumenten" geven bij weerstanden van uw gesprekspartner 2,42 2,50 3,45 % 29 30

16. U checkt af of uw ge-sprekspartner instemt met 1,67 2,25 35,00 % 20 27

55

uw antwoord op zijn be-zwaren

17. Bij twijfel over uw kandi-daat gaat u samen met de werkgever op zoek naar een oplossing/alternatief: u geeft zich niet snel ge-wonnen 2,08 2,25 8,00 % 25 27

18. U vat duidelijk samen wat afgesproken is en vraagt instemming van uw ge-sprekspartner 1,08 2,17 100,00 % 13 26

19. U gebruikt positieve taal die de gesprekspartner stuurt naar een "ja" 2,00 2,33 16,67 % 24 28

20. U neemt op een positieve wijze afscheid van uw ge-sprekspartner 2,17 2,83 30,77 % 26 34

Totaal op 60 40,75 46,42 13,91 % 489 557

B. Observatiechecklist vergelijking pre-test -posttest

CONTROLEGROEP n 2.1. = 11 n 2.2. = 11

Gedragsindicator/item Gem. score pré-test (1)

Gem. score posttest (2)

Procentuele verandering (3)

Som pré-test, opleidinggroep per item (4)

Som posttest, opleidinggroep per item (5)

1. U begroet uw gespreks-partner op enthousiaste wijze en begroet door zijn/haar naam te noemen in vragende vorm 2,00 2,18 9,09 % 22 24

2. U zegt duidelijk wie u bent (uw voornaam, familie-naam en naam van uw or-ganisatie) 2,18 2,18 0,00 % 24 24

3.U zegt waarvoor u belt 2,91 2,91 0,00 % 32 32 4. U noemt een aanleiding

(kapstok, aanknopings-punt) waarvoor u belt die te maken heeft met de si-tuatie of de belangen van uw gesprekspartner en wat u figuurlijk bindt 2,18 2,82 29,17 % 24 31

5. U brengt uw voorstel (kandidaat) op een over-tuigende manier, gekop-peld aan de verwachtin-gen/vereisten van de werkgever 2,45 2,82 14,81 % 27 31

6. U doet zelf een concreet voorstel voor "volgende stap" 1,64 1,64 0,00 % 18 18

56

7. U toont een sterke inte-resse en geeft aandacht voor uw gesprekspartner 2,36 2,73 15,38 % 26 30

8. U zoekt qua gespreksstijl "rapport" met uw ge-sprekspartner (spreekstijl, tempo, taal,…) zodat de afstand figuurlijk verkleind wordt 2,36 2,55 7,69 % 26 28

9.U bent duidelijk in uw bood-schap (uw boodschap is goed begrepen en niet voor misverstanden vat-baar) 2,64 2,55 -3,45 % 29 28

10. U vraagt voldoende door zodat u een volledig beeld hebt van de situatie en belangen van uw ge-sprekspartner 1,36 1,27 -6,67 % 15 14

11. U stelt vragen die de ge-sprekspartner bewust ma-ken van de nood aan een oplossing (sturen naar werk door uw vragen): bijv. "ik veronderstel dat het redelijk dringend is?" 0,91 0,91 0,00 % 10 10

12. U toont begrip en rea-geert voldoende positief (<-> defensief) voor de opmerkingen/weerstan-den van uw gesprekspart-ner (u herhaalt, vat de be-zorgdheid nog eens sa-men: "dus als ik het goed begrijpt, vreest u dat,….) 1,73 2,18 26,32 % 19 24

13. U herkadert een (te) nega-tief beeld van uw ge-sprekspartner door de po-sitieve aspecten van een (de) eigenschap(pen) van uw kandidaat te belichten 2,73 2,64 -3,33 % 30 29

14. U betrekt uw gespreks-partner voldoende in het zoeken naar een oplossing voor nadelen in het profiel van uw kandidaat: "hoe ziet u dat, wat stelt u voor, …?) 1,18 1,64 38,46 % 13 18

15. U kunt voldoende sterke "tegenargumenten" geven bij weerstanden van uw gesprekspartner 2,64 2,64 0,00 % 29 29

16. U checkt af of uw ge-sprekspartner instemt met uw antwoord op zijn bezwaren 1,55 1,91 23,53 % 17 21

57

17. Bij twijfel over uw kandi-daat gaat u samen met de werkgever op zoek naar een oplossing/alternatief: u geeft zich niet snel ge-wonnen 2,09 2,36 13,04 % 23 26

18. U vat duidelijk samen wat afgesproken is en vraagt instemming van uw ge-sprekspartner 1,64 1,18 -27,78 % 18 13

19.U gebruikt positieve taal die de gesprekspartner stuurt naar een "ja" 2,00 2,45 22,73 % 22 27

20.U neemt op een positieve wijze afscheid van uw ge-sprekspartner 2,09 2,55 21,74 % 23 28

Totaal op 60 40,64 44,09 8,50 % 447 485

3. Commentaar:

a) De opleidingsgroep kent meer verbeterde items en minder aantal lagere scores dan de controlegroep.

Voor 17 van de 20 items treedt er bij de opleidingsgroep een verbetering van de score van de post-test t.o.v. de pre-test op. De gedragsindicatoren voor succesvol “telefonisch bemiddelen” wijzen dus hoofdzakelijk op een verbetering. Eén item blijft status quo en twee items kennen een minieme da-ling in score.

Voor 11 van de 20 items kent de controlegroep een verbetering van de score van de posttest ten op-zichte van de pre-test. Vijf items scoren status quo en 4 items scoren lager dan bij de pre-test.

b) Opmerkelijke verschillen per gedragsindicator (item) onderling, onafhankelijk van oplei-dings- of controlegroep

Wanneer we de horizontale vergelijking maken per item constateren we merkelijke verschillen in score per item zowel voor de opleidingsgroep als de controlegroep. Dit suggereert dat cursisten so-wieso een meer adequaat gedrag vertonen voor bepaalde gedragen en minder voor andere gedra-gingen op vlak van succesvol telefonisch bemiddelen. Zo is de score op item 11.“U stelt vragen die de gesprekspartner bewust maken van de nood aan een oplossing” en item 18. “U vat duidelijk samen wat afgesproken is en vraagt instemming van uw gesprekspartner” sowieso laag tot zeer laag voor beide onderzoeksgroepen. Ook item 14. “U betrekt uw gesprekspartner voldoende in het zoeken naar een oplos-sing voor nadelen in het profiel van uw kandidaat: "hoe ziet u dat, wat stelt u voor, …?” scoort globaal laag.

c) Natuurlijk adequaat gedrag

Op een aantal items scoort men sowieso hoog zoals bijvoorbeeld item 3. “U zegt waarvoor u belt”. Spontaan zal dus een cursist voor een deel op natuurlijke wijze adequaat gedrag vertonen, met of zonder opleiding.

58

d) De opleidingsgroep en de controlegroep scoren ongeveer gelijk voor de pre-test

Wanneer we de scores bekijken van de pre-test, dus voor de opleiding en deze vergelijken tussen de opleidingsgroep en de controlegroep constateren we dat de opleidingsgroep ongeveer een gelijke score haalt als de controlegroep. Dit doet vermoeden dat de beide groepen vergelijkbaar zijn met el-kaar voor de opleiding zodat volgende bias (vertekening) wellicht vermeden is:

1. De opleidingsgroep is qua steekproef niet dezelfde als de controlegroep: ze hebben a priori meer competent gedrag

2. De opleidingsgroep heeft vrijwillig gekozen om de opleiding te volgen. Sommige bronnen poneren dat mensen opleidingen prefereren en dus meer aangetrokken zijn waar ze al goed in zijn en (on)bewust opleidingen vermijden waar ze van nature niet zo competent in zijn. De controle-groep heeft er niet voor gekozen om er opleiding in te volgen.

3. De opleidingsgroep is gezien ze de opleiding volgen meer gemotiveerd om hun best te doen voor de test terwijl de controlegroep minder gemotiveerd is. Het fenomeen van “self fulfilling pro-phecy” of “self destroying prophecy” zou hier kunnen een verklaring voor zijn. Dit geeft hier geen indicaties voor.

4. We hebben er op toegezien dat beide groepen een zelfde types functies vervullen. Het is echter niet onderzocht in welke mate bepaalde deelnemers van de opleidingsgroep toch meer ervaring en situaties hebben in hun functie “telefonische bemiddelen” dan de controlegroep en daarom ook beter scoren. Doordat de opleidingsgroep en de controlegroep ongeveer gelijke scores beha-len lijkt dit ook geen probleem.

e) De controlegroep scoort beter bij de tweede test (posttest): “zelflerend meeteffect”?

Niettegenstaande de controlegroep geen opleiding heeft gevolgd, scoort deze toch beter (44.09/60 voor de posttest versus 40.64 voor de pre-test) wanneer dezelfde simulatie-oefening een tweede maal wordt afgenomen, niettegenstaande de interval (min. 6 weken) tussen de pre-test en de post-test. Dit zou op volgende kunnen wijzen:

de afname alleen al van een simulatie-oefening zorgt voor een leereffect zonder dat er een opleiding is geweest of er feedback geweest is na de pre-test. Dit kan erop wijzen dat simulatieoefeningen zelfs zonder theoretische richtlijnen een zelfsturend effect heeft. De assessee denkt na over het eigen ge-drag en probeert bij te sturen wanneer hij weet dat er geobserveerd wordt en de bedoeling kent van het onderzoek. Dit kan dus wijzen op een mate van zelflerend effect. Het meten op zich kan dus een effect hebben op de performantie. Vandaar het introduceren van het begrip “zelflerend meeteffect”.

Dit pleit natuurlijk voor een vorm van leren waarbij de medewerker weet dat zijn gedrag gemeten wordt en dat de evolutie van zijn gedrag gemeten wordt. Denken we maar aan het “zelfsturend leer-effect” van opname van gesprekken van call center medewerkers. Het onderzoek zou er kunnen op wijzen dat medewerkers autoregulerend optreden bij het meten van de evolutie van hun gedragin-gen. We kunnen dus veronderstellen dat alleen al het meten van performantie een leereffect kan hebben, zonder opleiding. Key Performance Indicatoren (sleutelperformantieindicatoren - KPI’s) zou-den dus een leereffect kunnen hebben.

59

f) De opleidingsgroep haalt een globaal hogere score en een sterkere stijging van de score na de opleiding dan de controlegroep zonder opleiding

Wat we als hypothese gesteld hadden, wordt hier min of meer bevestigd: de opleidingsgroep is meer verbeterd dan de controlegroep op het globaal van de scores. De opleidingsgroep heeft een stijging van haar score met 13.91% terwijl de controlegroep 8.50% stijging kent van haar scores. Als we die twee stijgingen van scores ten opzichte van elkaar stellen (13.91/8.5) kunnen we stellen dat de oplei-dingsgroep een scorestijging heeft die 64% hoger is dan de stijging van de controlegroep. In absolute cijfers uitgedrukt haalt de opleidingsgroep na de opleiding een score van 46.42 op 60 (40.75 op 60 voor de opleiding) of 15.47 op 20 en de controlegroep haalt 44.09 op 60 (40.64 op 60 voor de oplei-ding) of 14.69 op 20. Het verschil in globale score is relatief en wijst dus met deze “academische cij-fers” op 20 dat het verschil in “punten op 20” dan weer niet zo opmerkelijk groot is. We meten hier communicatief gedrag en zoals al eerder aangehaald is al heel wat (adequaat) gedrag verworven doorheen de opvoeding, vorming en ervaring. Het gaat hier om een gedragsopleiding waarbij veran-deren niet evident is gezien de reeds jaren ingesleten gewoontes.

Dit is geen kennistest maar een gedragstest vandaar ook de moeilijkheid om het leereffect te meten van een commerciële gedragsopleiding. Vandaar wellicht ook de relatief geringe verschillen tussen de mensen die opgeleid zijn en de mensen die geen opleiding gevolgd hebben.

g) Het meten op zich leidt blijkbaar tot hogere scores

Er is blijkbaar ook een verandering opgetreden tussen de eerste test en de tweede test voor de proefpersonen die de opleiding niet gevolgd hebben. Het leereffect van de test op zich valt dus niet te onderschatten. Het testen/meten op zich mits de geteste persoon op de hoogte is dat dit gebeurd, en op regelmatige basis is wellicht ook een goede manier om evolutie in adequaat gedrag te beko-men.

Bovendien willen toch even opnieuw verwijzen naar het “sponsorshipeffect” en selffullfilling effect” van het onderzoek. Aangezien enerzijds de proefpersonen en anderzijds de onderzoekers het opzet van het onderzoek kennen, zijn ze zelf ook misschien geneigd om te sturen/scoren in de richting van een hogere score, en meer bepaald voor de opleidingsgroep. Om dit te vermijden waren de onder-zoeksteams niet altijd dezelfde voor de opleidings- als voor de controlegroep zodat de onderzoekers geen redenen hadden om hogere posttestscores toe te kennen aan proefpersonen uit de opleidings-groep dan aan mensen uit de controlegroep vanuit de wetenschap dat deze wel/niet de opleiding hadden gevolgd.

Dit is een exploratief onderzoek en er kunnen geen statistische conclusies getrokken worden voor de populatie. Wel kunnen we stellen dat de opleidingsgroep dus een hogere score heeft behaald dan de controlegroep en dat de stijging van de score na de opleiding 64% hoger is dan de stijging van de score bij de controlegroep.

h) De opleidingsgroep scoort op bepaalde items lager na de opleiding

Voor bepaalde items scoort de opleidingsgroep contradictorisch genoeg lager op de posttest (na de opleiding) dan voor de opleiding (voor de pre-test); Item 10. “U vraagt voldoende door zodat u een volledig beeld hebt van de situatie en belangen van uw gesprekspartner” scoort gemiddeld laag (1.83) maar scoort nog lager na de opleiding (1.67). Dit kan verschillende verklaringen hebben:

60

A. De cursist heeft geleerd om snel op het doel af te gaan – het maken van een afspraak met de werkgever – zodat er geen tijd meer is voor bepaalde andere adequate gedragingen zoals bijvoor-beeld “een volledig beeld van de situatie en de belangen van de gesprekspartner”. Dit wijst erop dat bepaalde gedragsindicatoren elkaar tegenwerken in plaats van versterken. Het ideale gedrag bestaat dus wellicht niet.

B. Een zekere vorm van verveling optreedt bij de afname van de test zodat bijv. item 10. “U vraagt voldoende door zodat u een volledig beeld hebt van de situatie en belangen van uw gesprekspart-ner” aan belang moet inboeten. “Het is toch fictief. Dit wijst erop dat de reële situatie en niet de fictieve situatie van een simulatiegesprek wellicht een meer waarheidsgetrouw beeld geeft van de werkelijkheid. En dus het belang van het relativeren van dergelijk onderzoek.

i) De opleidingsgroep scoort op bepaalde items opmerkelijk beter terwijl de controlegroep opmerkelijk lager scoort bij de posttest.

Voor item 18. “U vat duidelijk samen wat afgesproken is en vraagt instemming van uw gesprekspart-ner” scoort de opleidingsgroep tijdens de posttest 100 % beter terwijl de controlegroep 28 % lager scoort.

j) De opleidingsgroep haalt voor bepaalde items opmerkelijk hogere scores na de opleiding dan de controlegroep die op die items ongeveer dezelfde scores haalt.

Bijvoorbeeld voor item 11. “U stelt vragen die de gesprekspartner bewust maken van de nood aan een oplossing (sturen naar werk door uw vragen): bijv. "ik veronderstel dat het redelijk dringend is?" is voor de opleidingsgroep de score 53% verbeterd, terwijl deze voor de controlegroep exact gelijk gebleven is. Een zelfde voorbeeld is item 6. U doet zelf een concreet voorstel voor "volgende stap" waar de pre-testscore bij beide groepen quasi gelijk is maar waar de opleidingsgroep na de opleiding een veel hogere score haalt; idem voor item 18. “U vat duidelijk samen wat afgesproken is en vraagt instemming van uw gesprekspartner” waar de score van de opleidingsgroep met 100% verbetert ter-wijl deze van de controlegroep met 28% vermindert.

Als we dit kaderen binnen de opleiding weten we dat dit item sterk aan bod is gekomen en ingeoe-fend geweest is. Dit item vormt dus een duidelijk verschil tussen opleidings- en controlegroep wat wijst op leereffect. Het is echter niet zo dat dit op alle items zo duidelijk waarneembaar is. Daar kun-nen volgende verklaringen voor zijn:

A. De aandacht, tijd en intensiteit waarmee bepaalde topics onderwezen worden, maken een groot verschil in effect ten opzichte van andere items die minder aandacht en tijd gekregen hebben tij-dens de opleiding

B. Cursisten kunnen wellicht slechts een beperkt aantal gedragingen aanpassen. In de studie hier blijkt dat er bij de opleidingsgroep een heel duidelijke sterkere verbetering optreedt bij een drie-tal items. We hebben bewust ook de posttest niet meteen na de opleiding willen afnemen. Zo meet men gedrag dat hopelijk op langere termijn blijft.

61

4. Grafische samenvatting:

Commentaar:

Voor 17 van de 20 items treedt er bij de opleidingsgroep een verbetering van de score van de post-test t.o.v. de pre-test op.

De gedragsindicatoren voor succesvol “telefonisch bemiddelen” wijzen dus hoofdzakelijk op een ver-betering. Eén item blijft status quo en twee items kennen een minieme daling in score.

0,00

0,50

1,00

1,50

2,00

2,50

3,00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Gemiddelde score opleidingsgroep

Items

Vergelijking Pre-test-Posttest Opleidingsgroep gemiddelde score per item

Pretest

Posttest

62

Commentaar:

Voor 11 van de 20 items kent de controlegroep een verbetering van de score van de posttest ten op-zichte van de pre-test. Vijf items scoren status quo en 4 items scoren lager dan bij de pre-test.

0,00

0,50

1,00

1,50

2,00

2,50

3,00

3,50

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Gemiddelde score

controlegroep

Items

Vergelijking Pre-test/Posttest controlegroep gemiddelde score per item

Pretest

Posttest

63

Commentaar:

Wat de pre-test betreft, scoort de opleidingsgroep voor 8 items beter, voor 3 items gelijk en voor 9 items minder dan de controlegroep.

64

Commentaar:

Wat de posttest betreft scoort de opleidingsgroep voor 10 items beter, voor 1 item gelijk en voor 9 items minder.

65

Commentaar:

De score voor de pre-test was vergelijkbaar voor de opleidingsgroep en de controlegroep. De score voor de posttest voor de opleidingsgroep is beter (46.42/60) dan de score voor de controlegroep (44,09/60).

I. Aanvullend onderzoek:

Hieronder vindt u de meest relevante gegevens van een onderzoek naar het effect van leerinterven-ties van o.a. onze opleiding “Telefonisch bemiddelen”. Deze studie werd in juni 2014 voorgedragen in kader van een opleiding “Ontwikkelen van Effectieve Leerintenties”. Deze studie is bijzonder inte-ressant omdat deze studie net onze opleiding “Telefonische bemiddelen” als voorwerp heeft en ook een bevraging heeft georganiseerd naar het “werkgedragniveau”: in welke mate past de cursist het aangeleerde toe in de werksituatie? Net wat wij met ons observatieonderzoek ook wensen te meten.

1. Onderzoek effect van leerinterventies bij Spoor 21 – het ontwerp van een evaluatiesys-teem bij formeel leren – Els Devos – juni 2014

Mevrouw Devos, expert training, vorming en opleiding aan VDAB en tevens stuurgroeplid voor ons project deed in het kader van haar OEL-leergang (“Ontwikkelen van Effectieve Leerintenties”) een onderzoek bij alle deelnemers die het opleidingstraject “Telefonisch Bemiddelen” en het intern net-werk (H)echt.er! tussen de 3 en de 6 maanden geleden gevolgd hadden. Ze koos die twee trajecten “omdat bij beide veel inspanningen gedaan zijn om de kans op leertransfer te verhogen o.m. doordat de leeromgeving al dicht aansloot bij de werkomgeving. Ik wilde vooral vanuit een positieve benade-ring vertrekken: waar gaat het goed en wat kunnen we daaruit leren?”

37,00

38,00

39,00

40,00

41,00

42,00

43,00

44,00

45,00

46,00

47,00

gemiddelde totaalscore

Opleidingsgroep controlegroep

Vergelijking gemiddelde totaalscore pre-test/posttest tussen opleidingsgroep en

controlegroep

pretest

posttest

66

Mevrouw Devos heeft gekozen voor de kwalitatieve aanpak en werkte met een combinatie van vra-genlijsten en interviews. Met de vragenlijsten bevroeg ze de 3 laatste van de 4 evaluatieniveaus van Kirckpatrick, nl. leerresultatenniveau (learning), het werkgedragniveau (behavior) en het organisatie-niveau (result). In totaal stuurde mevrouw Devos een vragenlijst naar 96 mensen en kreeg 50 reac-ties, globaal dus een respons van 52 % (respons (H)echt.er! deelnemers 90 %, “Telefonisch bemidde-len” deelnemers 42 %).

a) De resultaten

1. Het leerresultatenniveau

Bij beide trajecten gaven een groot aantal respondenten aan dat ze tijdens de opleiding een aantal vaardigheden bijgeleerd hadden. Enkele voorbeelden voor het traject “Telefonisch bemiddelen”:

67

2. Het werkgedragniveau

Els Devos: bij telefonisch bemiddelen is de transfer naar de werkvloer zeer hoog. Intrigerend: bij twee van de vijf competenties schatten een aantal respondenten zich 6 maanden na de opleiding vaardiger in dan onmiddellijk na de training. Ik bevroeg telefonisch enkele medewerkers die voor het verwerven van een of meer vaardigheden bij het leerresultatenniveau “neen” hadden geantwoord en bij het orga-nisatieniveau “ja”. Ik vroeg hen wat maakte dat ze na de opleiding blijven groeien waren. Ze gaven o.m. volgende factoren aan:

• de werksituatie is veranderd (sectoraal gaan werken dus meer contacten met werkgevers). • Ik word assertiever naarmate ik meer de kans krijg om met werkgevers te telefoneren. • Ik luister naar mijn collega hoe zij telefonisch bemiddelt en we bespreken ook vooraf of nadien: “

hoe zou jij dat aanpakken?”,… • Mijn teamleider volgt dit en steunt ons daarin • Ik heb minder angst, de drempel wordt lager om contact te leggen met werkgevers en bedrijven. • Je doet het meer dus je groeit daarin. • Het werkklimaat: iedereen spreekt over bemiddelen, we krijgen veel informatie, ik voel me verant-

woordelijk en ben me er bewust van dat ik het moet doen”.

Leerresultaten

Werkgedrag

68

Leerresultaten

Werkgedrag

3. Het organisatieniveau

Een aantal deelnemers ziet wel degelijk een link met de strategische doelstellingen, vooral met het activeren van werkzoekenden.

Een voorbeeld:

69

4. Bijkomende vragen:

We citeren graag mevrouw Els Devos opnieuw:

Op de vraag “Welke andere dan de hierboven genoemde vaardigheden (dus buiten de vooropgestelde opleidingsdoelen) heb je verworven tijdens de opleiding?” kwamen verrassend veel antwoorden. Dit vind ik heel interessant, het gaat volgens mij om de impliciete kennis, de ongrijpbare of moeilijk onder woorden te brengen kennis die van grote waarde is voor de organisatie.

Het gaat onder meer om: • inzicht in eigen talenten en talenten van anderen; • Zelfvertrouwen, DURF; • Motivatie; • Goed kunnen samenwerken; • Besef dat je je eigen toekomst in handen moet nemen”. We beamen volmondig deze “ongeziene” resultaten. Tijdens ons onderzoek hebben we ons gecon-centreerd op het waarneembare gedrag. Het spreekt voor zich dat bovenstaande waarden essentieel zijn voor het verder ontwikkelen van een medewerker. Ze vormen de motor van hun gedrag. Deze extra informatie dankzij de bevraging van mevrouw Devos geeft ons dan ook voldoende voeding om opleiding vooral ook te concentreren op inzichten, bewustmaking, overtuigingen en motivatie. Die aspecten zijn niet gemeten tijdens ons onderzoek. De studie van mevrouw Devos vormt dus een dankbare aanvulling.

VIII. Aanbevelingen, op basis van het onderzoek, bij het geven van com-merciële opleidingen

1. Aangezien gebleken is dat gedragsverandering maar met mondjesmaat en na intensieve training bewerkstelligd kan worden adviseren we om de echt relevante gedragingen diepgaand in te oe-fenen, beter dan vele verschillende gedragingen theoretisch te kaderen en dus ook de training te versnipperen naar teveel info/gedragsindicatoren.

2. Doseer het aantal opleidingsitems. 3. Er is gebleken dat het effectief meten van gedrag in de werksituatie ook leereffect heeft, onge-

acht of er een opleiding plaatsvindt of niet. Daarom raden we aan om sowieso gedrag te meten, of er nu opleiding gevolgd wordt of niet maar deze meting wel te communiceren. Meet niet te-veel en zeg wat je zult meten en welk gedrag je verwacht; zonder training krijg je wellicht al ge-wijzigd/verbeterd gedrag.

4. Om het effect te meten van een opleiding raden we aan om bij het organiseren van een oplei-dingstraject een voor- en nameeting te doen zowel bij de opleidingsgroep als de controlegroep. Dit gebeurt op vandaag veel te weinig terwijl er ettelijke 100den miljoenen gespendeerd wordt aan opleidingen zonder de effectiviteit te meten.

5. Beter dan enkel evaluatieformulieren in te vullen, raden we aan om gewijzigd gedrag te meten en dat ook te laten weten aan de werknemer. Vermoedelijk heeft dit een versterkend leereffect.

6. Betrek de leidinggevende in de opmaak van de doelstellingen van de opleiding door te vragen welk gewijzigd gedrag hij wenst. Dus vertalen van de competenties in gedragsindicatoren.

7. Bepaal een volgorde van belangrijkheid in het te veranderen gedrag, aangezien het aantal ge-dragsveranderingen die na een opleiding realiseerbaar zijn, beperkt zijn.

70

8. Meet vooraf wat het huidige gedrag is, bepaal het gewenste gedrag en meet achteraf of dit ge-wenste gedrag gerealiseerd wordt.

9. Doe sowieso een pre-meting want die zal wellicht de leeractie bevorderen. Zelfs bij de “geme-ten” controlegroep die geen opleiding heeft gevolgd merkten we een groei in scores.

10. Doe niet enkel evaluatie meteen na de opleiding maar wel een gedragsmeeting een tijdje na de opleiding.

11. Vraag engagement van het opleidingsinstituut op vlak van gedragsverandering. Resultaatverbin-tenis is moeilijker om reden van vele factoren. ( vele mogelijke afhankelijke variabelen naast op-leiding).

12. Maak gedragsoefeningen die zo dicht mogelijk bij de werkelijkheid aansluiten. 13. Aangezien er slechts enkele gedragsveranderingen mogelijk zijn na een opleiding is een individu-

ele opleiding in bepaalde gevallen aan te bevelen aangezien de aandachtpunten/leerpunten voor iedereen verschillend kunnen zijn en een groep dus mogelijks 10 tallen verschillende leerpunten kan hebben wat dan weer voor versnippering zorgt.

14. Anderzijds is een interne groepsopleiding (inhouse opleiding) zeer efficiënt op voorwaarde dat je mensen samenbrengt die dezelfde werkproblematiek hebben en dus associatief kunnen leren. Uit de studie van mevrouw Els Devos (Onderzoek effect van leerinterventies bij Spoor 21 – het ontwerp van een evaluatiesysteem bij formeel leren – Els Devos – juni 2014) is dit ook gebleken:

“Wat vooral aangegeven werd als factoren die een rol spelen bij het leerresultatenniveau: • Samenwerken/ groepswerk • DOEN/ opdrachten/ praktische oefeningen/ rollenspellen • Netwerken • Groepsdynamica in leersituatie • Zelfsturing: opdrachten; je moet het zelf doen • Gestimuleerd worden om te DURVEN! Vertrouwen krijgen • Combinatie met andere leervormen: stage, loopbaanbegeleiding”

15. Zorg indien het groepsopleiding betreft voor de mogelijkheid van individuele oefeningen tijdens en tussen de opleiding in met feedback van de collega’s en/of de trainer. In het opleidingstraject “telefonisch bemiddelen” is een stageopdracht ingevoegd tussen dag 2 en dag 3. Iedereen maakt een verslag van de opgedane ervaring en deelt die mee aan de groep op dag 3. Feedback over de opleiding maakt duidelijk dat die oefening in de perceptie van de cursisten een hoge toege-voegde waarde geeft aan de opleiding.

16. Voorzie in spreiding van de opleiding in de tijd zodat essentiële gedragsveranderingen on-the-job kunnen ingeoefend worden en in volgende sessies kunnen afgetoetst/herhaald worden.

17. Voorzie “huiswerk” tussen de opleidingssessies in. 18. Durf een soort “examen, eindevaluatie van de cursist, kwaliteitslabel, certificaat” op basis van

verworven kennis/gedrag in te bouwen in plaats van veelal enkel een evaluatie van de oplei-ding/lesgever. Dit zal de cursist aanzetten om zich beter in te spannen en verbeterd gedrag te vertonen.

19. Zet de cursist aan het werk met zelfevaluatiechecklists aangezien gebleken is dat een meting op zich gedragsverandering teweegbrengt. Dit zal het leereffect bevorderen.

20. Nieuwe inzichten, bewustwordingen, motivatie zijn niet gemeten in deze studie (zie daarvoor studie mevrouw Devos “Onderzoek effect van leerinterventies bij Spoor 21 – het ontwerp van een evaluatiesysteem bij formeel leren – Els Devos – juni 2014). We mogen er redelijkerwijs van-uit gaan dat dit aspect ook iets teweeg zal gebracht hebben aangezien daar in de opleiding ook

71

veel aandacht aan besteed is. De weerstanden wegnemen bij de cursisten om bemiddelingscon-tacten te leggen met werkgevers bleek een eerste te nemen hindernis zonder dewelke gedrag ook niet tot wasdom kwam. De motivatie om contacten te leggen, de frequentie om meer con-tacten te leggen, de eigen weerstanden om contact te nemen is niet gemeten maar is een heel belangrijk aspect in het leereffect op gedrags- en organisatieniveau. Een blijvend groeien kan slecht als de interne overtuiging en motivatie goed zit. Enkel werken op gedrag heeft geen zin en is enkel kortstondig. Overtuigd zijn van de zin en het nut van adequaat gedrag heeft impact op lange termijn. Daarom bevelen we aan om uw cursist vooral de betekenis en waarde van zijn handelen te leren inzien en commitment te verkrijgen om het “zich eigen” te maken. Iemand die zich niet kan identificeren in de “gewenste rol” zal snel terug op voorgaand natuurlijk gedrag te-rugschakelen.

21. Er is gebleken uit de studie dat het meeste leereffect bekomen wordt wanneer de cursist eigen concrete problematieken mag/kan voorleggen en daar concrete duidelijke antwoorden op krijgt. Werk dus meer vanuit de werksituatie om daaraan de modellen/technieken/inzichten aan te koppelen eerder dan eerst een theoretisch gedeelte te brengen om vervolgens in casework te gaan. Naar rendement toe werkt het eerste beter, met sneller zichtbaar en motiverend effect.

22. De leidinggevende speelt een cruciale rol in het effect van het aangeleerde: we vermelden hier nogmaals uit het onderzoek van mevrouw Devos:

“Tenslotte de vraag welke rol de leidinggevende speelde bij het toepassen van het geleerde in de werksituatie.

Een aantal mensen antwoordden niet op deze vraag, een aantal zegden dat de leidinggevende weinig interesse toonde. Een 6-tal respondenten geeft aan dat hun leidinggevende hen steunt en motiveert om te leren.” We merkten ook tijdens de gesprekken met de cursisten tijdens de opleidingen het belang van de aandacht voor de opleiding door de leidinggevenden en de follow-up na de opleiding door hen. Daarom bevelen we aan om voor elk opleidingstraject alle leidinggevenden te betrekken bij:

• het formuleren van de doelstellingen. • Het motiveren van de cursisten voor deelname aan de opleiding en de zin kaderen naar hun job

toe. • De eigen rol als “coach” kennen met betrekking tot de opleiding. • Basiskennis en –principes verwerven die aan bod komen in de opleiding zodat een gemeen-

schappelijke taal gesproken wordt. • Het aanwezig zijn bij de start van de opleiding (kickoff) en daardoor belang tonen. • De medewerker tijdens en na het opleidingstraject coachen. • Doelstellingen afspreken en meten die gekoppeld zijn aan de opleiding. • Dezelfde taal spreken als deze gehanteerd tijdens de opleiding.

Hieronder vindt u de – volgens onderzoek van mevrouw Devos – voornaamste factoren die door de leidinggevenden werden aangegeven als belangrijk voor het leerproces van hun medewer-kers.

• Mijn medewerkers zien de link tussen wat ze leren en de resultaten. • Er is ruimte om fouten te maken, ik maak zelf ook fouten - walk the talk. • Informele en formele kennisdeling lopen hier door elkaar. • Iedereen voelt zich betrokken bij het resultaat. • Mensen gaan hier nooit alleen naar een opleiding, er wordt altijd minstens in een duo geleerd.

72

• Als je mensen opleiding laat volgen krijg je vroeg of laat iets terug. • Leren is een teamgebeuren. • Als een medewerker naar een opleiding gaat spring ik desnoods zelf in aan het onthaal. • We maken mensen mee verantwoordelijk voor beslissingen. • We zijn bij de scouts geweest en vinden altijd wel een creatieve manier om met ons team aan

de slag te gaan. • Strategische doelstellingen leven niet bij de mensen, je moet dat vertalen. • Leren begint al bij het sollicitatiegesprek: sterktes en zwaktes. • Ik motiveer door in te spelen op talenten. • De rondgang van de provinciale directeur maakte dat iedereen doordrongen was van het be-

lang van het project “Iedereen Bemiddelaar”. De timing was perfect en er was een groot draag-vlak voor het opleidingstraject “Telefonisch Bemiddelen”.

• Ik merk als leidinggevende duidelijk het verschil op de werkvloer: er wordt actiever bemiddeld tussen werkgevers en werkzoekenden.

23. Ook omgekeerd heeft de cursist een cruciale verantwoordelijkheid. Hij/zij zal meer leren als hij het aangeleerde deelt met collega’s en leidinggevenden. We bevelen daarom sterk aan om in het navolgingstraject de cursist het aangeleerde door te geven en bijv. zelf te onderwijzen aan de collega’s.

24. We bevelen de cursist aan om – samen met de leidinggevende – afspraken te laten maken “met zichzelf”; wat wens ik (meer) te bereiken na de opleiding? Welk gedrag zal ik (anders) vertonen. Smart geformuleerde doelstellingen formuleren en deze aan anderen – leidinggevenden, col-lega’s – communiceren geeft een hogere garantie op effectief gewijzigd werkgedrag.

25. We bevelen aan om opleidingsdoelstellingen nog “scherper, concreter en resultaatgerichter te formuleren” – dixit Els Devos, zodat deze nog meer gelinkt zijn aan werkelijk gedrag: “wat zou iemand die jou ziet werken nu anders zien?”.

26. We zijn er in het opzet van de opleiding automatisch vanuit gegaan dat de cursisten – eens terug in de werksituatie – zullen “ervaringsleren”. We hebben echter gemerkt dat bij een aantal cursis-ten “telefonisch bemiddelen” niet noodzakelijk een hoofdtaak in hun job vormde. Terug in het werkveld bleek dat sommigen het aangeleerde niet hadden toegepast omdat daar geen tijd voor was of andere zaken prioritair waren. We bevelen daarom volgende aan: A. Meer tijdens en na de opleiding situaties creëren waarin ze het aangeleerde kunnen toetsen. B. Extra doelstellingen formuleren op vlak van “telefonische bemiddelingsopdracht” zodat het

aangeleerde meer intensief kan toegepast worden en “verankerd” worden als “nieuw aange-leerd natuurlijk gedrag”.

C. Een relatief beperkte tussentijdse opdracht is meestal niet voldoende om het aangeleerde in te slijten. Een systematische routine om een belangrijk deel van de werktijd het aangeleerde te kunnen inoefenen is essentieel voor het welslagen van het leereffect. Kunnen daarrond doelstellingen geformuleerd worden samen met de leidinggevenden om bijvoorbeeld tijdelijk de aangeleerde activiteiten meer tijd en aandacht te geven?

27. We pleiten ervoor om tijdens het opleidingstraject nog meer te verwijzen (o.a. aan de hand van handige beknopte checklists bv.) naar het verwachte gedrag en de oefeningen, cases daar meer op te betrekken, meer dan “rond problemen en oplossingen praten”.

28. We pleiten ervoor om in de mate van het mogelijke alle stakeholders nog meer te betrekken bij de opbouw van een opleidingstraject: de lerende, de algemene bedrijfsleiding, de trainer, de di-rect leidinggevende, de belanghebbenden (bv de klant van de cursist, wat verwacht hij),…zie ook www.roem.be (Return On Expectation Measurement).

73

IX. Bijlages

A. Mededeling aan de media en andere belanghebbenden

Het leereffect van een bedrijfsopleiding: veel minder dan verwacht Gedragsonderzoek naar het leereffect van een commerciële opleiding

Geert Delobelle i.s.m. VIVES Hogeschool en VDAB - december 2014

Veel opleidingen stellen hun leerdoelen veel te hoog of poneren dikwijls leereffecten die totaal onre-alistisch zijn. Gevolg is dat cursisten, leidinggevenden en werkgevers ontgoocheld zijn over de ge-ringe verbetering van aangeleerd, maar veel te weinig toegepast, gedrag. En dit niettegenstaande zogenaamde tevredenheid (de z.g. happy sheets of warme evaluatie) over de opleiding bij alle par-tijen.

Uit vergelijkend gedragsonderzoek (uitgevoerd door Geert Delobelle, docent aan de hogeschool Vi-VES i.s.m. de opleidingscel van de VDAB in de periode 2012-2014) blijkt namelijk dat mensen die een intensieve commerciële opleiding gevolgd hebben (de opleidingsgroep), zoveel mogelijk gegeven vol-gens de regels van de leskunst (o.a. kleine groepen, veel realistische oefeningen, door vakmensen gegeven,…) in bescheiden mate (score 15.47 op 20) beter scoren na de opleiding dan de controle groep (mensen die geen opleiding gevolgd hebben scoren 14.69 op 20). Evaluatieformulieren, inge-vuld door de cursisten zelf meteen na de opleiding (zogenaamde “happy sheets”), geven geen goede weergave van het werkelijke leereffect. Dit onderzoek werpt een geheel nieuw licht op het leeref-fect: hier werd gekeken naar het werkelijke gedrag, voor en na de opleiding en vergeleken met de scores van een controlegroep (volgden geen opleiding) die ook twee maal werden getest met een simulatieoefening “Telefonisch bemiddelen”. De controlegroep scoorden soms zelfs beter dan de op-leidingsgroep op sommige commerciële vaardigheden.

We bevelen dan ook sterk aan om heel kritisch te staan tegenover de beloofde leerresultaten. Een klassieke opleiding met een lesgever en een groep cursisten gedurende een korte periode samen-brengen om nieuwe gedragingen of attitudes aan te leren geeft veelal een zeer beperkt effect. Denk dus goed na over wat u wenst te bereiken (teveel ineens lukt niet) en kies de meest effectieve leer-methode, die dikwijls niet de schoolse “seminarie” (overbrengen van info, ex cathedra) vorm is. Hier-onder vindt u een beknopte weergave van de onderzoeksbevindingen en –aanbevelingen voor een meer succesvolle commerciële opleiding.

74

Voor meer informatie, het opvragen van het onderzoek of een gesprek, graag ter beschikking: Geert.delobelle@vives.be

Uittreksel uit het onderzoek “meten van het leereffect van een commerciële opleiding”:

“De opleidingsgroep haalt een bescheiden hogere score en ook een sterkere stijging van de score na de opleiding dan de controlegroep zonder opleiding”

Wat we als hypothese gesteld hadden, wordt hier min of meer bevestigd: de opleidingsgroep is meer verbeterd dan de controlegroep op het globaal van de scores. De opleidingsgroep heeft een stijging van haar score met 13.91% terwijl ook de controlegroep 8.50% stijging kent van haar scores. Als we die twee stijgingen van scores ten opzichte van elkaar stellen (13.91/8.5) kunnen we stellen dat de opleidingsgroep een scorestijging heeft die 64% hoger is dan de stijging van de controlegroep. In ab-solute cijfers uitgedrukt haalt de opleidingsgroep na de opleiding een score van 46.42 op 60 (40.75 op 60 voor de opleiding) of 15.47 op 20 en de controlegroep haalt 44.09 op 60 (40.64 op 60 voor de opleiding) of 14.69 op 20. Het verschil in globale score is relatief en wijst dus met deze “academische cijfers” op 20 dat het verschil in “punten op 20” dan weer niet zo opmerkelijk groot is. We meten hier communicatief gedrag en zoals al eerder aangehaald is al heel wat (adequaat) gedrag verworven doorheen de opvoeding, vorming en ervaring. Het gaat hier om een gedragsopleiding waarbij veran-deren niet evident is gezien de reeds jaren ingesleten gewoontes. “

a) De belangrijkste resultaten van het onderzoek

1. De opleidingsgroep kent meer verbeterde items en minder aantal lagere scores dan de controlegroep (niet opgeleide groep).

2. Opmerkelijke verschillen per gedragsindicator (item) onderling, onafhankelijk van opleidings- of controle-groep.

3. Natuurlijk adequaat gedrag: vele gedragingen zijn van nature ok en scoren dus zowel voor als na de oplei-ding goed. Dus veel commercieel gedrag hoeft niet aangeleerd te worden maar is bij de meeste verwor-ven. Aanbeveling is dus om te focussen op wat de meeste niet doen.

4. De opleidingsgroep en de controlegroep scoren ongeveer gelijk voor de pre-test 5. De controlegroep scoort beter bij de tweede test (posttest): “zelflerend meeteffect”? 6. De opleidingsgroep haalt een globaal hogere score en een sterkere stijging van de score na de opleiding

dan de controlegroep zonder opleiding. 7. Het meten op zich leidt blijkbaar tot hogere scores. 8. De opleidingsgroep scoort op bepaalde items lager na de opleiding. 9. De opleidingsgroep scoort op bepaalde items opmerkelijk beter terwijl de controlegroep opmerkelijk lager

scoort bij de posttest. 10. De opleidingsgroep haalt voor bepaalde items opmerkelijk hogere scores na de opleiding dan de controle-

groep die op die items ongeveer dezelfde scores haalt. 11. De opleidingsgroepen percipiëren het eigen leereffect positiever in dan de metingen van het gedrag doen

vermoeden (vergelijking observatie versus bevraging).

75

b) De aanbevelingen

Op basis van de onderzoeksbevindingen (vooronderzoek, opmaak en uitvoeren, workshopformule en observa-tieonderzoek) en de aanbevelingen vatten we hier kort samen:

1. Aangezien gebleken is dat gedragsverandering maar met mondjesmaat en na intensieve training bewerk-stelligd kan worden adviseren we om de echt relevante gedragingen diepgaand in te oefenen, beter dan vele verschillende gedragingen theoretisch te kaderen en dus ook de training te versnipperen naar teveel info/gedragsindicatoren.

2. Doseer het aantal opleidingsitems. 3. Er is gebleken dat het effectief meten van gedrag in de werksituatie ook leereffect heeft, ongeacht of er

een opleiding plaatsvindt of niet. Daarom raden we aan om bij het organiseren van een opleidingstraject een voor- en na-meeting te doen.

4. Beter dan enkel evaluatieformulieren in te vullen, raden we aan om gewijzigd gedrag te meten en dat ook te laten weten aan de werknemer. Vermoedelijk heeft dit een versterkend leereffect.

5. Betrek de leidinggevende in de opmaak van de doelstellingen van de opleiding door te vragen welk gewij-zigd gedrag hij wenst. Dus vertalen van de competenties in gedragsindicatoren.

6. Bepaal een volgorde van belangrijkheid in het te veranderen gedrag, aangezien het aantal gedragsverande-ringen die na een opleiding realiseerbaar zijn, beperkt zijn.

7. Meet vooraf wat het huidige gedrag is, bepaal het gewenste gedrag en meet achteraf of dit gewenste ge-drag gerealiseerd wordt.

8. Doe sowieso een pre-meting want die zal wellicht de leeractie bevorderen. Zelfs bij de “gemeten” contro-legroep die geen opleiding heeft gevolgd merkten we een groei in scores.

9. Doe niet enkel evaluatie meteen na de opleiding maar wel een gedragsmeeting een tijdje na de opleiding. 10. Vraag engagement van het opleidingsinstituut op vlak van gedragsverandering. Resultaatverbintenis is ech-

ter moeilijk om reden van vele factoren. (vele mogelijke afhankelijke variabelen naast opleiding). 11. Maak gedragsoefeningen die zo dicht mogelijk bij de werkelijkheid aansluiten. 12. Aangezien er slechts enkele gedragsveranderingen mogelijk zijn na een opleiding is een individuele oplei-

ding aan te bevelen aangezien de aandachtpunten/leerpunten voor iedereen verschillend kunnen zijn en een groep dus mogelijks tientallen verschillende leerpunten kan hebben wat dan weer voor versnippering zorgt.

13. Anderzijds is een interne groepsopleiding (inhouse opleiding) zeer efficiënt op voorwaarde dat je mensen samenbrengt die dezelfde werkproblematiek hebben en dus associatief kunnen leren.

14. Zorg indien het groepsopleiding betreft voor de mogelijkheid van individuele oefeningen tijdens en tussen de opleiding in met feedback van de collega’s en/of de trainer.

15. Voorzie in spreiding van de opleiding in de tijd zodat essentiële gedragsveranderingen on-the-job kunnen ingeoefend worden en in volgende sessies kunnen afgetoetst/herhaald worden.

16. Voorzie “huiswerk” tussen de opleidingssessies in. 17. Zet de cursist aan het werk met zelfevaluatiechecklists aangezien gebleken is dat een meting op zich ge-

dragsverandering teweegbrengt. Dit zal het leereffect bevorderen. 18. Er is gebleken uit de studie dat het meeste leereffect bekomen wordt wanneer de cursist eigen concrete

problematieken mag/kan voorleggen en daar concrete duidelijke antwoorden op krijgt. Werk dus meer vanuit de werksituatie om daaraan de modellen/technieken/inzichten aan te koppelen eerder dan eerst een theoretisch gedeelte te brengen om vervolgens in casework te gaan. Naar rendement toe werkt het eerste beter, met sneller zichtbaar en motiverend effect.

20. De leidinggevende speelt een cruciale rol in het effect van het aangeleerde. 21. Ook omgekeerd heeft de cursist een cruciale verantwoordelijkheid. Hij/zij zal meer leren als hij het aange-

leerde deelt met collega’s en leidinggevenden. We bevelen daarom sterk aan om in het navolgingstraject de cursist het aangeleerde bijv. zelf te onderwijzen aan de collega’s.

22. We bevelen de cursist aan om – samen met de leidinggevende – afspraken te laten maken “met zichzelf”; wat wens ik (meer) te bereiken na de opleiding? Welk gedrag zal ik (anders) vertonen? 23. We bevelen aan om opleidingsdoelstellingen nog “scherper, concreter en resultaatgerichter te formuleren”.

76

24. We zijn er in het opzet van de opleiding automatisch vanuit gegaan dat de cursisten – eens terug in de werksituatie – zullen “ervaringsleren”. We hebben echter gemerkt dat bij een aantal cursisten “telefonisch bemiddelen” niet noodzakelijk een hoofdtaak in hun job vormde. Terug in het werkveld bleek dat sommi-gen het aangeleerde niet hadden toegepast omdat daar geen tijd voor was of andere zaken prioritair wa-ren. We bevelen daarom volgende aan:

A. Meer tijdens en na de opleiding situaties creëren waarin ze het aangeleerde kunnen toetsen. B. Extra doelstellingen formuleren op vlak van “telefonische bemiddelingsopdracht” zodat het aange-

leerde meer intensief kan toegepast worden en “verankerd” worden als “nieuw aangeleerd natuurlijk gedrag”.

C. Een relatief beperkte tussentijdse opdracht is meestal niet voldoende om het aangeleerde in te slijten. Een systematische routine om een belangrijk deel van de werktijd het aangeleerde te kunnen inoefe-nen is essentieel voor het welslagen van het leereffect. Kunnen daarrond doelstellingen geformuleerd worden samen met de leidinggevenden om bijvoorbeeld tijdelijk de aangeleerde activiteiten meer tijd en aandacht te geven?

25. We pleiten ervoor om tijdens het opleidingstraject nog meer te verwijzen (o.a. aan de hand van han-dige beknopte checklists bv.) naar het verwachte gedrag en de oefeningen, cases daar meer op te betrekken, meer dan “rond problemen en oplossingen praten”. 26. We pleiten ervoor om in de mate van het mogelijke alle stakeholders nog meer te betrekken bij de op-bouw van een opleidingstraject: de lerende, de algemene bedrijfsleiding, de trainer, de direct leidinggevende, de belanghebbenden (bv de klant van de cursist, wat verwacht hij),…

77

B. Voorbeeldverslag vergadering adviesgroep

Hieronder vindt u een voorbeeld van een verslag van een vergadering van de adviesgroep:

PWO Onderzoek naar het leereffect van een commerciële training. Casus een VDAB opleidingstraject: Iedereen bemiddelaar? Telefonisch bemiddelen

Stuurgroep meeting verslag 24 januari 2012

Aanwezig: Els Devos, Geert Vanden Daele, Pol Toye Verontschuldigd: Steven Martens.

Voorstellen Detail Timing, afspraken, wie? Grondig definiëren van de begrippen in het onderzoek: duidelijkheid over wat men wenst te onderzoeken

Leereffect, commercieel, bemid-delen?

Opnemen in beschrijving onderzoek

Vervangen van het begrip “automatis-men” in begrip “integraal leren”

Zie hiervoor Vormingskubus, ge-dragsniveaus Inleiding tot de al-gemene didactiek Prof. Dr. Deblock & Heene

Opnemen in methodiek

Maak gebruik van de z.g. “Peer Pres-sure”, bouw “publieke bekentenis” in als vorm van groepscoaching om het leereffect te verhogen (commitment learning)

VOV Greet Pipijn www.emotione-leintelligentie.be

Contact nemen, onder-zoeken van methode;

Meet niet alleen als onderzoeker en trainer. Werk met intersubjectiviteit (percepties/observaties door meerdere waarnemers laten gebeuren).

Meerdere assessoren: trainer, me-decursisten, zelfevaluatie, interne mentor.

Werk met een nulmeting en een opvol-gingstraject met de medewerking van mentoren/buddy die in principe geen “hiërarchische overste” is (leren, niet evalueren)

Mentorship door collega’s-ac-countmanagers

Els en Geert bekijken intern wat kan samen met Carine Daene (dir A.I. arbeids-marktbeheer Oostende), Arne Theylaert 1(VDAB op-leidingscentrum Wondel-gem) en Marc Verhaeghe (CC Roeselare).

De onderzoeksvraag is niet: welke mix van didactische strategieën is het meest effectief.

Er wordt wel gezocht naar een type opleidingstraject geconstru-eerd samen met alle belangheb-benden dat volgens ons het meeste kans op leereffect heeft binnen het kader van de beschik-bare middelen.

Input via provinciale afde-lingen: cases, resultaatindi-catoren en mogelijkheid te werken met mentoren (ac-count managers die de lang lopende opleiding Prospec-tie loont! gevolgd hebben)

Streef naar het meten van het blijvend leereffect

De nameting spreiden over lan-gere periode na de opleiding

Bereidheid van de leiding-gevenden wordt intern af-getoetst.

Bouw de Kernkwadrantentheorie van Daniel Ofman voor zelfinzicht tijdens te-lefonisch bemiddelen.

Kernkwaliteit, valkuil, uitdaging, allergie en onderlinge samenhang in telefonisch bemiddelen.

Gebruik het Disc model voor aspecten van emotionele intelligentie tijdens te-lefonisch bemiddelen: wie is mijn ge-sprekspartner, wie ben ik en hoe krijg ik een betere match.

Zie ook zelfbewust, zelfbeheerst, zelfgemotiveerd en empathisch

Gebruik van de disc-grafie-ken en zelfinzichtrapport “commerciële binnen-dienstaudit”? of te toets-ten met Els en Geert V

Gebruik mobile learning technologie (LinkedIn groep, web- en emailonder-steuning, ..) als hulpmiddel maar do-seer. Groepstraining en persoonlijke coaching (voor- en natraject mentor-ship) staan voorop.

LinkedIn: kort tonen einde eerste dag wat ze met profiel kunnen doen in kader van telefonisch be-middelen en elkaar vragen kunnen stellen

Els heeft een lespakket dat gedeeltelijk bruikbaar is?

78

PWO Onderzoek naar het leereffect van een commerciële training. Casus een VDAB opleidingstraject: Iedereen bemiddelaar? Telefonisch bemiddelen

Stuurgroep meeting verslag 24 januari 2012

Aanwezig: Els Devos, Geert Vanden Daele, Pol Toye Verontschuldigd: Steven Martens.

Voorstellen Detail Timing, afspraken, wie? Onderzoek de leereffecten per functie-groep op hun leerevolutie (vandaar be-lang van “nulmeting”) en niet zozeer op hun niveau.

3 functiegroepen: instructeurs, werkzoekendenconsulenten en vacatureconsulenten: steeds meer vloeien deze functies in elkaar over: Iedereen bemiddelaar.

Bekijk hoe tijdens de opleiding “lesge-ven aan elkaar” kan ingebouwd worden

Door observatieoefeningen in kleine groepjes kan feedback ge-geven worden door medecursis-ten. Ook de mentoren hebben daar een rol in te vervullen

Meet vooral het leereffect door het me-ten van de resultaatindicatoren

Bijv. hoeveel proactieve contacten meer gelegd dan voor de oplei-ding, hoeveel meer afspraken dan voorheen, dus proportionele stij-gingen meten

Resultaatindicatoren wor-den afgesproken met de provinciale diensten.

Nulmeting en nameting van resultaat-indicatoren door leidinggevenden sa-men met cursist. Nulmeting en name-ting van de gedragsindicatoren nog niet bepaald door wie.

Checklist vooraf sturen aan cursist? Betrekken van mentor voor opleiding? Be-kijken intern en in voorbe-reidende meeting

Meten van de gedragsindicatoren tij-dens de opleiding (op het einde van het groepsleren) en resultaatmeting door de mentoren/cursisten zelf. Achteraf kan een correlatie onderzocht worden tussen gedragsindicatoren en resultaat-indicatoren.

Methodiek hier verder te bekijken: wat is haalbaar intern: wie doet wat?

Akkoord om het onderzoek te laten groeien vanuit de ervaringen van 2 pi-lootsessies en verder

Zo zullen relevante gedrags- en re-sultaatindicatoren kunnen gefi-netuned worden. Start in piloot-sessies met z.g. “Beta-versie” checklists.

Opmaak en voorleggen van Beta-versie door Geert

Kwalitatief onderzoek kan met 20-tal, Kwantitatief vanaf n = 90

Chefs voldoende betrokkenheid vragen in traject. Hoe?

Zie ook Vlerick-onderzoek

Voorbereidende meeting opleiding

Aanwezig: Els, Geert V, Steven en Geert D.

1 maart 10 u Mechelen

79

PWO Meten van het leereffect van een commerciële training, case telefonisch bemiddelen.

Stuurgroepadvies vergadering dd. 31 mei 2012

Uitgenodigd: Els Devos, Geert Vanden Daele, Steven Martens, Pol Toye

Aandachtpunten, voorstellen:

1. Alles hangt af van het verder verloop en concept van “Iedereen bemiddelaar? Telefonisch bemid-delen” voor de verdere uitwerking PWO.

2. Nul meting nog haalbaar intern? Relevantie van het onderzoek zonder nulmeting; alternatief is een controlegroep bij meten na de opleiding.

3. Methodiek van het observatieonderzoek, twee voorstellen:

a. Meten leereffect na de opleiding in de praktijk; Account managers betrekken als “mentor”(die-gene die “Prospectie loont” gevolgd hebben) en als evaluator. Integreren is stageopdracht? Praktische organisatie? Objectiviteit, uniformiteit, controle van variabelen? Elke gesprek is an-ders, controle op vergelijkbaarheid, hoe bovenstaande borgen?

b. Meting/observatie laten gebeuren door studenten bij start opleiding dag 1 en op het einde van de tweede dag adhv een integratieoefening en de checklist? Voordeel van objectiviteit, verge-lijkbaarheid. Nadeel dat dit niet na verloop van tijd wordt gemeten in de reële situatie. Op-name van gesprekken voor onderzoek achteraf. (8 dictafoons beschikbaar) Merk op: beschikbare opnames extra toegevoegde waarde voor VDAB? Gebruik als best

practices in volgende opleidingen? Montage nuttig als audiovisueel medium. E-learning ontwikkelen achteraf met opnames?

4. Concreet

a. Timing? Locaties? b. Opleiding studenten? Vaardigheden ok bij bijvoorbeeld 2de jaars Business management vanaf

februari 2013. c. Overwegen om de AM’s VDAB te laten observeren in de cursus (begin en einde, beschikbaar-

heid realistisch?) d. Aantal groepen? Aantal metingen? Is experimenteel kwalitatief onderzoek en dus minder ge-

bonden aan representativiteit/steekproeffout en waarschijnlijkheid. e. Okay voor VDAB naar interne privacy richtlijnen? Met of zonder opname? Anonimiteit gewaar-

borgd. f. Plan van aanpak:

5. Andere aandachtpunten:

80

X. Dankwoord

Een oprechte blijk van dank gaat uit naar volgende mensen. Ze hebben mij op vele verschillende vlak-ken en op hun manier bijgestaan in het realiseren van dit werk. De directie van het Studiegebied Handelswetenschappen en bedrijfskunde, de directie en medewerkers van VDAB, de projectbegelei-der, de collega’s van de stuurgroep, experten training, vorming en opleiding, studenten en collega’s.

Deze lijst is niet exhaustief, met mijn excuses als bepaalde mensen niet vermeld staan.

Pascale Bauwens

Ron Beirens

Philip Bernard

Yasmine Briers

Marie Buyck

Elien Cools

Iris Cracco

Johan De Langhe

Mieke De Meester

Gregory De Munster

Stefanie Declercq

Patrick Decolvenaer

Henri Decruy

Matthias Dedeurwaerder

Sandra Degroote

Alexandra Demeulemeester

Veerle Detollenaere

Daphne Devolder

Els Devos

Jonas Festjens

Gregory Lagaisse

Alexander Lecot

Fons Leroy Manoe Liefooghe

Steven Martens

Céline Peeters

Benoit Piccavet

Mathilde Pierloot

Robin Raes

Pol Toye

Pieter-Jan Van Uytven

Annelies Vandaele

Geert Vanden Daele

Dries Vandenabeele

Kristoff Vandermeersch

Charlotte Vanhoonacker

Ewout Vanmassenhove

Simon Ver Elst

Lien Verhelst

Aaron Verledens

Louis Vermassen

Erik Vermeersch

Jan Verplancke

Sébastien Vlieghe

Met dank,

Geert Delobelle, 2014.

81

XI. Bronnen

- Stanford University Persuasive technology Lab: using technology to change what we think en do. - International Conference on Persuasive Technology (past: Ohio, juin 2011) - Wilfred Rubens:technology enhanced learning - P3transfer.nl Etten Leur ref. Annit Knevels - PhD Candidate Bernd Carette Doctoraat “werkplekleren” R.U. Gent. - Calibris, kenniscentrum voor leren in de praktijk. - Cedeo.nl certificeert Nederlandse opleidingsinstituten - Qfor, certificeert Belgische opleidingsinstituten www.maninfo.be - PROfessionalisering Katho (o.a. nieuwe media inzetten in je les, alternatieve werkvormen, active-

rende werkcolleges) - Leren en ontwikkelen binnen de Vlaamse overheid (AgO) - Prof. Dr. P.R.J. Simons (1998). Paradoxes of learning and teaching. Invited address at the confé-

rence of the Britisch Psychological Society. Brighton, March - Lodewijks, J.G.L.C. (1993). De kick van het kunnen: over arrangement en engagement bij het le-

ren, Inaugurele rede Katholieke Universiteit Brabant. Tilburg: mesoConsult - Tijdschrift Opleiding & Ontwikkeling. 16, nr. 5 (2003) - Argyris,C.(1996). Leren in en door organisaties. Schiedam, Scriptum Books - Argyris,C. & Schön, D. (1978). Organizational Learning. Reading, Massachusetts, Addison-Wesley. - Dewulf (2002), Motiveren van medewerkers voor leren, veranderen en werken. Opleiding & Ont-

wikkeling, 15, nr. 5 (mei), pp. 17-21. - Csikzentmihalyi, M. (1999) de weg naar flow. Amsterdam, Uitgeverij Boom. - Bolhuis, S.M. & Simons, P.R.J. (199). Leren en werken. Deventer, Kluwer. - Kessels, J.W?M. (1996). Het corporate curriculum. Oratie. Leiden: Rijksuniversiteit Leiden - Drucker (1999). Management. Uitdagingen in de 21ste eeuw. Amsterdam/antwerpen, Uitgeverij

Business Contact. - BLANCHARD P.N., THACKER J.W., Effective training. Systems, strategies, and practices. - MAES, SELS, De evaluatie van opleidingseffecten (1999) - GIELEN H.,INDESTEEGE L., Rendement van leeractiviteiten (2004) - GIELEN H., Opleiden met resultaat - COOPMAN B., Return on Investment van Trainingen - BERSIN J., The training measurement book (2008) - KAISER KIRKPATRICK W., Bringing Business Partnership to Life (2014) - www.roem.be - http://www.bedrijfsopleidingen.be/stimulearning/documenten/onderzoek2014/Tenden-

sen_in_Leren%20_Ontwikkeling.pdf - http://www.kessels-smit.com/files/Het_acht_velden_instrument_NL_3.pdf - www.carrièretijger.nl/ho/portfolio - https://www.kuleuven.be/icto/bv/bvbank/steekkaart.php?stid=16 - http://www.mv-united.be/extra/tw/TK_4.pdf - http://www.mv-united.be/extra/portfolio/Portfolio.pdf - http://www.my-digital-me.be/ - http://pointcarre.vub.ac.be/CMS/ - http://www2.vlaanderen.be/werk/documenten/Diversiteit_PORTFOLIOwerkboek_uitgewerkt-

voorbeeld.doc - http://www.123test.nl/leerstijl

82

- http://www.impulscentrum.be/kolb/onder.asp - http://www.thesis.nl/kolb - Return on investment van opleidingen, Universiteit Antwerpen, Prof. Dr. David Gijbels, mei 2008 - Marktonderzoek in rechte lijn. Marc De Laet, Pol Toye. Uitgeverij De Boeck Hoger en universitair

onderwijs, 14-jan.-2014 - 332 pagina's - Onderzoek effect van leerinterventies bij Spoor 21 – het ontwerp van een evaluatiesysteem bij for-

meel leren – Els Devos – juni 2014 - Intervisie.nl

83