Gids voor de meting van effecten van Competentiepolen en projecten TETRA en Collectief

Onderzoek

Infosessie VIN netwerk

2

Opgericht in 1998, gebaseerd in Brussel, 40 werknemers

Ecorys groep (met kantoren in o.a. Nederland, VK, Spanje, Rusland, Turkije, Hongarije)

Onderzoek & advies Beleid Nationale en Europese overheden 4 kennisvelden

Competitiviteit en Innovatie Arbeidsmarktbeleid Regionale en stedelijke

ontwikkeling Vastgoed en ruimtelijke

ontwikkeling

IDEA Consult(www.ideaconsult.be)

Agenda Achtergrond

Over deze studie Het belang van effectmetingen Onderliggende principes en bouwstenen

Het meetproces in vier stappen Doelstellingen Effecten Indicatoren Meting

3

Over deze studieDoelstellingen

Ontwikkelen meetmethodiek (generieke set van parameters)

Voor CP: om als managementtool te gebruiken en ter verantwoording van (publieke en private) middelen.

Voor IWT: om als tool te gebruiken om de relevante resultaten en directe/indirecte effecten te meten en de werking van het programma te kunnen evalueren.

3 verschillende programma’s (CP, VIS-CO en TETRA), 1 generieke meetmethodiek.

4

Over deze studieInterrelatie met andere studies

Selectie van gerelateerde IWT studies (www.iwt.be/publicaties): Studie 48: ‘Making the Difference: The Evaluation of

"Behavioral Additionality" of R&D Subsidies’

Studie 56: 'What difference do IWT R&D grants make for their clients’

Studie 59: 'De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS)’

Studie 61: 'Werking en effecten van Collectief Onderzoek’

Studie 62: 'Zelfevaluatie van competentiepolen'

5

Over deze studie Aanpak

Empirische toepassing door middel van 7 ‘testmetingen’.

Studie bouwt voort op “methodiek zelfevaluatie van competentiepolen”.

Concept eindrapport is beschikbaar.

6

F1: Inceptiefase

F2: Gezamenlijke ontwikkeling meetmethodiek

F3: Empirische toepassing

F4: Optimalisatie meetmethode

F5: Eindrapportage en valorisatie

Belang effectmetingen? Investeren in O&O

Studies op bedrijfsniveau (O&O) leidt tot bruto rendementen tot 20-30%

Inclusief kennisverspreiding, loopt dit op tot 30-40% Alle bedrijven doen aan O&O dus? Nee, want:

onzekerheid, toe-eigening, destructie Marktfalen, dus overheid moet rol opnemen

(CP, TETRA, CP) Verantwoording in functie van keuzes en

beperkte middelen

7

Onderliggende principes en bouwstenen Algemene principes

meetkader/handleiding Meten van gerealiseerde effecten Meten van waardecreatie bij de ‘ontvangers’ Toelaten ‘bottom-up’ aanpak Werken met ‘blauwdrukken’ ‘Pick list’ van indicatoren (‘type’ indicatoren) Praktische tips en suggesties Beperken van administratieve lasten

8

Effecten en hun dimensies

Drie dimensies: Niveau waarop de effecten zich

kunnen voordoen (ontvanger, uitvoerders).

Soorten effecten waarop een project gericht is.

De tijdsdimensie waarop deze effecten te verwachten zijn (KT, MT, LT).

9

Soorten effecten

10

Input

Output

Strategievorming

Risico

Versnelling

Competentie- en expertiseopbouw

Schaal en reikwijdte

Netwerking en samenwerking

Bijkomende O&O investeringen/ inspanningen door bedrijven als gevolg van deelname aan het project/programma.

Tastbare resultaten die het gevolg zijn van deelname aan het betreffende project/programma (bijv. nieuw product of proces).

Effecten rond verbetering van managementroutines, erkenning innovatie als strategisch belangrijk en/of uitwerking innovatieplan.

Effecten in relatie tot het kunnen nemen van meer risico in een bepaald project.

Effecten in relatie tot het sneller toegang krijgen tot competenties en expertise, en dus het sneller kunnen realiseren van output.

Effecten in relatie tot opbouw, uitbreiding en verdieping van kennis, ervaring en competenties.

Effecten in relatie tot de grootte en reikwijdte van een project en zijn uitkomsten.

Effecten rond uitbreiding/verbreding van netwerken en intensivering van samenwerking.

Tijdsdimensie effecten KT: ‘tijdens’ of ‘net na’ de uitvoering van een

project < 1 jaar na afloop van een project Ev. rekening houdend met verlengde looptijd

MT: ‘na’ de uitvoering van een project >1 en <3 jaar na afloop Ev. rekening houdend met verlengde looptijd

LT: ‘ruim na afloop’ van een project > 3 jaar Attributie probleem

11

Het meetproces in vier stappen (1)

12

Vraag 1: Welke doelstellingen stellen wij (als projectaanvragers) centraal? Hulpvragen: 1.1 Welke doelstellingen staan centraal in het betreffende IWT programma (resp. CP/TETRA/CO)? 1.2 Welke klemtonen willen wij leggen in ‘ons’ project en kan/mag dit? 1.3 Kunnen en mogen we (van het IWT) de nodige activiteiten uitvoeren om deze doelstellingen te

bereiken?

Vraag 2: Welke effecten willen we vervolgens bereiken?

Hulpvragen: 1.4 In functie van de gelegde klemtonen bij de beantwoording van de vorige vragen, welke effecten

zullen zich voordoen, of welke effecten wilt u realiseren? 1.5 Houd hierbij rekening met de soort effecten, het niveau waarop de effecten zich kunnen

voordoen, en de termijn waarbinnen de effecten te verwachten zijn (IWT regels).

Het meetproces in vier stappen (2)

13

Vraag 3: Welke indicatoren zijn het geschikt om de effecten te meten en dus te monitoren?

Hulpvragen: 1.1 Effecten zijn op verschillende manieren te meten; welke indicatoren zijn het meest geschikt om

de vooropgestelde effecten te meten? 1.2 Zorg hierbij voor voldoende variëteit in uw indicatorenmand! Kwantitatieve en kwalitatieve

indicatoren dienen zich af te wisselen.

Vraag 4: Welke meetaanpak is hierbij geschikt?

Hulpvragen: 1.3 Ligt de gegevensverzameling binnen uw bereik of bent u tevens afhankelijk van aanlevering

door anderen? Wie moet wat doen? Maak hierover afspraken! 1.4 Maakt de meetaanpak integraal deel uit van het management van uw project(en)? Voorzie

voldoende tijd en middelen om de indicatoren op te volgen.

Vraag 1 - Doelstellingen

14

Vraag 1 Welke doelstellingen stellen wij (als projectaanvragers) centraal?

Gewenst resultaat Een helder overzicht van de doelstellingen die u als

projectaanvrager/-uitvoerder met uw project nastreeft.

Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke activiteiten,

en dus doelstellingen, gefinancierd kunnen worden. De blauwdruk van doelstellingen voor CP, TETRA en CO die te

vinden zijn in bijlagen 1, 2 en 3 (zie handleiding) waardoor u zich kunt laten inspireren.

Het ‘Logic Model’ principe.

Blauwdruk

15

Activiteiten I ntermediaire Doelstellingen Strategische Doelstellingen Impact Hier neemt u de dagdagelijkse

activiteiten op die wil uitvoeren om uw doelstellingen te behalen. Dit zijn de activiteiten die eveneens gefinancierd kunnen worden (zie

IWT handleidingen).

Hier geeft u de doelstellingen weer die een resultaat reflecteren bij de onmiddellijke doelgroep, vaak de

bedrijven (de zogenaamde ‘beneficiaries’).

Hier geeft u de doelstellingen weer die overeenkomen met de

verwachte strategische effecten (zelfs impact) van het gefinancierde project of gefinancierde projecten.

Hier geeft u de ambitie weer die samenhangt met de globale impact

van de interventie (lees: het steunprogramma in zijn geheel)

Voorbeelden:

A1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek

A2. Maken van publicaties (vakinhoudelijk en niet-vakinhoudelijk)

A3. Organisatie van evenementen (workshops, conferenties, …)

…

Voorbeelden:

ID1. Verhogen van het aantal innovaties bij bedrijven

ID2. Verhogen van kennis en competenties bij bedrijven

ID3. Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector

…

Voorbeelden:

SD1. Vergroten van het

innovatievermogen van bedrijven in de sector

SD2. Verhogen van de internationale zichtbaarheid van de bedrijven en de sector

…

Voorbeelden:

I1. Versterken van de

concurrentiepositie van de sector en verhogen van de werkgelegenheid

…

Tijd

Vraag 2 - Effecten

16

Vraag 2 Welke effecten wilt u bereiken?

Gewenst resultaat Een helder overzicht van de effecten die u via uw project

wenst te bereiken en waarover u als projectuitvoerder verantwoordelijkheid draagt.

Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke

doelstellingen en resultaten worden verwacht van een soortgelijk project.

De ‘grid’ die wij voor u hebben ontwikkeld in het kader van deze handleiding.

Het ‘Logic Model’ principe zoals eerder uitgelegd. De door u vooropstelde intermediaire doelstellingen die

feitelijk uw uitgangspunt moeten zijn.

De ‘grid’

17

Naam project: [titel van het project] Type project: [onder welk programma past het project?] Datum invulling: [datum/versie invulling]

Soorten effecten

Niveau en termijn waarop effecten te

verwachten zijn

Ontvangers (bedrijven)

Uitvoerders (kennisinstellingen)

Input Gaan er bijkomende investeringen/inspanningen zijn?

KT: [invulling] KT: [invulling]

MT: MT: Netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking?

KT: KT:

MT: MT:

Schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal?

KT: KT:

MT: MT:

Competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw?

KT: KT:

MT: MT:

Vraag 3 - Indicatoren

18

Vraag 3 Welke indicatoren zijn geschikt om de effecten te meten en

dus te monitoren? Gewenst resultaat

Een selectie van indicatoren die toelaten om op periodieke basis de vooropgestelde effecten te meten en dus het succes van de eigen werking te kunnen aantonen.

Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke

indicatoren (vooral activiteiten) periodiek gerapporteerd moeten worden.

De in deze studie ontwikkelde lijst met ‘type’ indicatoren per soort effect (toegespitst naar niveau en tijdsdimensie).

Indicatoren 21 voorgestelde indicatoren

Fiche uitgewerkt per indicator Lijst met overige type indicatoren

Kenmerken goede indicatoren Relevantie Afbakening Acceptatie Geloofwaardigheid Eenvoud Betrouwbaarheid en robuustheid Consistentie en vergelijkbaarheid

19

20

Menu van ‘type’ indicatoren (zie indicatorenfiches voor nadere duiding) I nput Gaan er (bijkomende) investeringen/inspanningen zijn?

I ndicatoren die effecten meten bij de ontvangers, zijnde veelal de bedrijven

(Focus bij CP, TETRA en CO)

I ndicatoren die effecten meten bij de uitvoerders, zijnde veelal de kennisinstellingen

(Expliciet bij TETRA en CO projecten)

1. Co-investering (directe financiële en niet-financiële projectinbreng) 2. Bedrag aan vervolginvesteringen (materieel en immaterieel)

Netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking?

3. Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden 4. Aantal bedrijven dat een formele vervolgsamenwerking aangaat (naar

type samenwerking) 5. Aantal succesvol doorverwezen bedrijven 6. Aantal en evolutie in het betalende ledenaantal (CP)

Schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal?

7. Aantal bedrijven dat deelneemt aan de projecten (en karakteristieken van deze bedrijven)

8. Aantal bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zouden (kunnen) uitvoeren

Competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw?

9. Aantal bedrijven dat zijn competentie en expertise verder heeft ontwikkeld

10. Aantal bedrijven dat ‘voor het eerst’ een projectaanvraag indient voor publieke financiering

11. Toename in onderzoekscapaciteit 12. Aantal wetenschappelijke (peer review) publicaties 13. Aantal afgeleverde thesissen/doctoraten 14. Aantal nieuwe onderzoeksthema’s en/of onderzoekslijnen

Versnelling Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn?

15. Aantal bedrijven dat erin geslaagd is om sneller tot ‘ontwikkeling’ over te gaan

Risico Leidt het project tot risico verkleining (in relatie tot onzekerheid van en bij onderzoek?)

16. Aantal bedrijven dat het projectrisico niet alleen zou kunnen of willen dragen

Strategie Zal het project de strategie van het bedrijf rond O&O veranderen?

17. Aantal bedrijven dat een onderzoek- en/of innovatiestrategie heeft ontwikkeld

18. Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot

Output Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties?

19. Aantal ontwikkelde prototypes (en/of testopstellingen) 20. Aantal nieuwe (of vernieuwde) producten en/of diensten 21. Aantal procesoptimalisaties/-vernieuwingen

19. Aantal ontwikkelde prototypes (en/of testopstellingen) 20. Aantal nieuwe onderzoeksthema’s en/of onderzoekslijnen

Fiches indicatoren - Voorbeeld I

21

2 Bedrag aan vervolginvesteringen (materieel en/ of personeel)

Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of < 1jr na afloop) MT (tussen 1 – 3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet vervolginvestering (materieel en of immaterieel) die gedaan

worden om de resultaten/uitkomsten van het project verder te ontwikkelen en/of te exploiteren. Hierbij kan het gaan om een fysieke investering (bijvoorbeeld een machine) al dan niet in combinatie met het aanwerven van nieuwe werknemers. De investering moet tijdens of kort na afloop van het project plaatsvinden.

Nodige variabelen 1. Bedrag aan investeringen in machines 2. Loonmassa gekoppeld aan nieuwe aanwervingen (en/of VTE besteding aan

exploitatie)

Mogelijke subindicatoren

1. Gedane investering als % van gemiddelde jaarlijkse investeringen

Niveau indicator Bedrijf

Periodiciteit [Te bepalen in overleg met het IWT]

Meetmethode Via bevraging/feitelijke data bedrijf

Bijkomende informatie / Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT)

Fiches indicatoren - Voorbeeld II

22

3 Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden

Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of < 1jr na afloop) MT (tussen 1 – 3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat door

deelname aan een project zijn netwerk heeft kunnen uitbreiden. Netwerking is van groot belang in het kader van kennisdeling en dus ‘openheid’ tot innovatie (en samenwerking). Het moet hierbij gaan om een uitbreiding die direct aan het project kan worden gerelateerd en wel met actoren die relevant zijn (zoals collega bedrijven, kennisinstellingen, etc.).

Nodige variabelen 1. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met bedrijven 2. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met

kennisinstellingen 3. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met [OVERIG]

Mogelijke subindicatoren

1. Uitbreiding met bedrijven – nationaal 2. Uitbreiding met bedrijven – internationaal

Niveau indicator Bedrijf

Periodiciteit [Te bepalen in overleg met het IWT]

Meetmethode Via bevraging/opinies van bedrijven

Bijkomende informatie /

Vraag 4 - Meetaanpak Vraag 4

Welke meetaanpak is het meest geschikt? Gewenst resultaat

Een concreet aanpak/plan voor de verzameling van de nodige variabelen/data (rekening houden met efficiëntie)

Mogelijke hulpmiddelen De indicatorenfiches Aangereikte type vragenlijst om de meeste

indicatoren te meten (en overige tips) Het rapport ‘Zelfevaluatie Competentiepolen’

23

Vraag 4 - Meetaanpak Belangrijk om afspraken met leden/bedrijven

te maken op voorhand Integratie met huidige rapportagetools

Zelfevaluatie, RAP, … Efficiënte meting en rapportage (aanzet

vragenlijst in rapport) Onafhankelijk van verplichtingen richting IWT

Belangrijk om meerdere gegevensbronnen met elkaar te confronteren (validatie)

24

ContactArnold VerbeekManager – Senior expert Innovatie & competitiviteitArnold.verbeek@ideaconsult.be

Sjouke BeemsterboerAnalist Innovatie & competitiviteitSjouke.beemsterboer@ideaconsult.be