REKENKAMER - Europa

IV

(Informatie)

INFORMATIE AFKOMSTIG VAN DE INSTELLINGENEN ORGANEN VAN DE EUROPESE UNIE

REKENKAMER

SPECIAAL VERSLAG Nr. 9/2007

over „De evaluatie van de Europese kaderprogramma’s voor onderzoeken technologische ontwikkeling (OTO): kan de aanpak van de Commissieworden verbeterd?”, vergezeld van de antwoorden van de Commissie

(uitgebracht krachtens artikel 248, lid 4, tweede alinea, van het EG-Verdrag)

(2008/C 26/01)

INHOUD

Paragraaf Bladzijde

SAMENVATTING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I-V 2

INLEIDING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1-14 3

De ondersteunende rol van de Europese Unie bij OTO-werkzaamheden . . . . . . . . . . . . . 1-7 3

Evaluatie van en toezicht op de KP’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-14 5

REIKWIJDTE EN AANPAK VAN DE CONTROLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15-18 7

CONTROLEBEVINDINGEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19-109 7

Interventielogica, keuze van doelstellingen en prestatie-indicatoren . . . . . . . . . . . . . . . . . 19-37 7

De evaluatiestrategie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38-49 10

Opzet van de evaluatie van de KP’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50-68 11

Evaluatiemethodologieën en -technieken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69-97 14

Verspreiding en benutting van de evaluatiebevindingen . . . . . . . . . . . . . . . . . . . . . . . . . . 98-109 19

ALGEMENE CONCLUSIE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110-118 21

Bijlage I: Meten van de impact en resultaten van de overheidsinterventie in OTO . . . . . . . . . . . . . . . . . . . 23

Bijlage II: Bepalingen inzake toezicht en evaluatie in de regelgevende besluiten voor KP4-KP7 . . . . . . . . . . 25

Bijlage III: Voornaamste verschillen tussen de EU (KP4-KP6), de VS en Canada bij de evaluatie achteraf vanonderzoeksprogramma’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Bijlage IV: Mogelijke panelstructuur voor KP7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Antwoorden van de Commissie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

30.1.2008 NL Publicatieblad van de Europese Unie C 26/1

SAMENVATTING

I. De communautaire kaderprogramma’s (KP’s) voor onderzoek en technologische ontwikkeling (OTO)vormen de grootste publieke financieringsbron voor onderzoek in de Europese Unie. De Commissie is verant-woordelijk voor het beheer van de KP’s en de beoordeling van de resultaten ervan.

II. De controle bestreek de sinds 1995 bestaande toezicht- en evaluatieregelingen voor de laatste drieprogrammeringsperioden (KP4, KP5, KP6) en schetst de vooruitzichten voor KP7 (2007-2013). De controlewerd verricht in samenwerking met de accountantscommissie van de EVA en met medewerking van externedeskundigen.

III. De controle was gericht op de vraag of de Commissie de beoordeling van de resultaten van de KP’s opde juiste wijze aanpakte. In dit kader onderzocht de Rekenkamer of de Commissie voldeed aan de voorschrif-ten inzake evaluatie en verifieerde zij of het evaluatie- en toezichtsysteem van de Commissie voldeed aan deverwachtingen van de betrokkenen. De Rekenkamer vroeg zich met name het volgende af:

i) berusten de KP’s en de programma’s waaruit ze bestaan op een interventielogica die evaluatie en toezichteen stevige basis kan geven;

ii) heeft de Commissie een evaluatiestrategie bepaald voor de KP’s;

iii) zorgt de organisatorische structuur van het evaluatiesysteem van de Commissie voor de KP’s ervoor datde evaluatie behoorlijk wordt gecoördineerd, van toereikende middelen wordt voorzien en door de betrok-kenen voldoende onafhankelijk wordt geacht;

iv) zijn de toegepaste methodologieën bevredigend, en

v) leveren de evaluatie- en toezichtsactiviteiten gegevens en analyses op die kunnen worden gebruikt om delopende programma’s te verbeteren en toekomstige KP’s voor te bereiden?

IV. De bevindingen en conclusies van de Rekenkamer luidden als volgt:

i) doeltreffend toezicht en evaluatie werd belemmerd door het ontbreken van een expliciete interventielogica,de slechte definitie van de programmadoelstellingen en de zwakke prestatiemeting;

ii) het ontbreken van een complete evaluatiestrategie, overeengekomen tussen de „onderzoeks-DG’s” die deKP’s uitvoeren, leidde tot een inconsistente aanpak van de verschillende diensten van de Commissie. Ditblijkt onder meer uit het feit dat grote delen van de KP’s te weinig werden geëvalueerd;

iii) de evaluatie van de KP’s was gedecentraliseerd en de bestaande coördinatiemechanismen tussen de DG’sdie de KP’s uitvoeren, waren niet doeltreffend; de centrale diensten van de Commissie hadden geen hand-havende rol. Toch hebben de „onderzoeks-DG’s” in het algemeen voldaan aan de formele voorschriftenvan de Commissie betreffende evaluatie. Het gebruik van panels met externe topdeskundigen die door deCommissie werden aangesteld voor de grote evaluatierondes paste goed in de communautaire context.Deze tijdelijke panels werden echter niet vroeg genoeg bij het proces betrokken om invloed te kunnen heb-ben op het verzamelen van bewijzen en ze hadden slechts beperkte mogelijkheden tot follow-up van rele-vante thema’s in de loop van de tijd. Doordat er alleen een algemeen KP-panel was (naast een panel vooréén specifiek programma) werd onvoldoende aandacht besteed aan specifieke thema’s in verband met deverschillende wetenschappelijke terreinen binnen de KP’s;

iv) er waren te weinig methodologische instructies, de beoordelaars hadden moeite om relevante gegevens teverzamelen en er waren geen evaluatiestudies die uitkomsten en impact van de KP’s op langere termijnbetroffen in plaats van aspecten van programma-uitvoering op korte termijn;

v) als gevolg hiervan en omdat de evaluaties vaak te vroeg kwamen om de belangrijkste kwesties te kunnenbehandelen, was het evaluatiesysteem van de Commissie voor de KP’s van beperkt nut voor de beleids-makers, de betrokkenen en zelfs voor de Commissie zelf. Tenslotte is er weinig bekend over de verwe-zenlijking van de programmadoelstellingen en de resultaten van de KP’s.

V. De Rekenkamer doet de volgende aanbevelingen:

i) in toekomstige regelgeving moet de interventielogica uitdrukkelijk aan de orde komen. Hypotheses moe-ten worden uitgelegd, het verband tussen wetenschappelijke en sociaaleconomische doelstellingen moetworden verduidelijkt en passende prestatie-indicatoren moeten worden ontwikkeld;

C 26/2 NL Publicatieblad van de Europese Unie 30.1.2008

ii) de DG’s die de KP’s uitvoeren, moeten een complete evaluatiestrategie ontwikkelen (en afspreken). Ditmoet met name zorgen voor een consistente aanpak inzake het minimumniveau waarop gedetailleerdeevaluatie moet plaatsvinden om rekening te houden met de specifieke kenmerken van elk wetenschappe-lijk terrein;

iii) er moet worden overwogen een gemeenschappelijk evaluatiebureau op te richten om de evaluatie-werkzaamheden van de „onderzoeks-DG’s” voor het gehele KP te coördineren en een systeem van panels(en subpanels) met externe deskundigen op te zetten. Die panels moeten vroeg genoeg worden samenge-steld om de Commissie doeltreffende assistentie te kunnen verlenen en wel tijdens de heleprogrammeringsperiode en daarna;

iv) de informatiebehoeften voor evaluatie en toezicht moeten behoorlijk worden geanalyseerd en anderebestaande gegevensbronnen moeten uitgebreider worden benut. De Commissie moet ook de rapportage-regels voor de deelnemers rationaliseren. Ten slotte moet zij een uitvoerige evaluatiehandleiding opstellenvoor de KP’s en een ruimer scala van evaluatiemethodologieën en -technieken ontwikkelen voor toepas-sing bij de evaluatie op dit terrein, en

v) de Commissie moet de aard en reikwijdte bepalen van de evaluatie die redelijkerwijs kan worden verwachtop de in de regelgeving voor KP7 genoemde tijdstippen en verduidelijken hoe evaluaties kunnen wordenbenut om programma’s aan te passen („lerende” programma’s) en hoe zij kunnen bijdragen aanbeleidsbeslissingen.

INLEIDING

De ondersteunende rol van de Europese Unie bijOTO-werkzaamheden

1. Onderzoek en technologische ontwikkeling (OTO) (1)vormt de grootste drijvende kracht achter de wetenschappelijkeen technologische vooruitgang en innovatie en draagt als zoda-nig sterk bij tot verbetering van de levensstandaard. Overheids-interventie in OTO wordt doorgaans gerechtvaardigd als eencorrectie van zogenaamde „marktgebreken”: de overheidssteunvermindert de onzekerheid en zorgt voor investeringen wanneerhet onderzoek van algemeen nut is of belangrijke externe effec-ten heeft.

2. Artikel 163 van het Verdrag omschrijft de rol van deGemeenschappen ter ondersteuning van OTO als volgt: „DeGemeenschap heeft als doelstelling de wetenschappelijke en tech-nologische grondslagen van de industrie van de Gemeenschap teversterken en de ontwikkeling van haar internationale concurren-tiepositie te bevorderen, alsmede de onderzoeksactiviteiten tebevorderen die … nodig worden geacht.”. De artikelen 164-173

beschrijven de activiteiten die in dit verband zullen worden ver-richt alsook de reikwijdte en tenuitvoerlegging van de meerjaren-kaderprogramma’s (KP’s) voor OTO. De Commissie is belast methet doen van voorstellen voor KP’s, maar de besluiten en regelsinzake deelname en verspreiding worden gezamenlijk vastgestelddoor het Europees Parlement en de Raad. Laatstgenoemde steltalleen de specifieke programma’s vast. De KP’s worden door zesdirectoraten-generaal (DG’s) — de zogeheten „onderzoeks-DG’s”— gezamenlijk uitgevoerd (2).

3. Binnen het ruime scala van in de Europese Unie uitgevoerdbeleid ter versterking van innovatie en concurrentievermogen zijnde KP’s het belangrijkste financiële instrument dat op com-munautair niveau bijdraagt tot de Lissabon-strategie (3) en dedoelstelling van Barcelona (4).

(1) Volgens de OESO kan onderzoek en ontwikkeling worden gedefini-eerd als: „creatief werk dat op systematische basis verricht wordt tervergroting van de hoeveelheid kennis, met inbegrip van de kennis vande mens, de cultuur en de samenleving, alsmede het gebruik van dezehoeveelheid kennis voor het ontwerpen van nieuwe toepassingen”(OESO, Frascati-handleiding, „Proposed standard practice for surveyson research and experimental development”, Parijs, 2002, blz. 30). Incommunautair verband wordt het letterwoord OTO gebruikt, datzowel technologie als onderzoek en ontwikkeling omvat.

(2) De voornaamste beheerder en coördinator van de KP’s is DG Onder-zoek. Vijf andere DG’s beheren eveneens (delen van) specifiekeprogramma’s, met als belangrijkste DG Informatiemaatschappij enMedia (de overige zijn DG Energie en vervoer, DG Ondernemingen enindustrie, DGVisserij en het Gemeenschappelijk Centrum voor Onder-zoek van de Commissie).

(3) In 2000 lanceerde de Europese Raad van Lissabon het streven om deEU tegen 2010 uit te bouwen tot de meest op kennis gebaseerdemarkt met de meeste dynamiek en het grootste concurrentie-vermogen, met volledige werkgelegenheid en een versterkte economi-sche en sociale samenhang.

(4) In 2002 kwam de Europese Raad overeen dat de totale investeringenin OTO en innovatie binnen de Europese Unie moesten stijgen omtegen 2010 3 % van het BBP te bereiken. Tevens verklaarde de Raaddat tweederde van deze nieuwe investeringen afkomstig zou moetenzijn van het bedrijfsleven (Europese Commissie, „Investeren in onder-zoek: een actieplan voor Europa”, mededeling van de Commissie aande Raad, het Europees Parlement, het Europees Economisch en SociaalComité en het Comité van de Regio’s, COM(2003) 226 def., blz. 7).


4. Via de KP’s verstrekt de Gemeenschap financiering aanonderzoekers in de Europese Unie, in geassocieerde landen eninternationale organisaties. De uitgetrokken bedragen zijn in deloop der jaren aanzienlijk gestegen, en wel van 2 761 miljoeneuro per jaar bij KP4 tot 7 217 miljoen euro bij KP7 (zie figuur 1).In termen van begrotingsmiddelen vormen de KP’s de grootstesector onder direct gecentraliseerd beheer van de Commissie (1).

5. De KP’s verschillen van vele nationale programma’s omdatze fundamenteel en toegepast onderzoek betreffen, en industrieen openbare onderzoeksinstellingen eraan meewerken (2). Ze zijnsamengesteld uit specifieke programma’s (en subprogramma’s) opbrede wetenschappelijke terreinen. Deze programma’s omvattendoorgaans een aantal rubrieken die zijn toegespitst op meer spe-cifieke wetenschappelijke gebieden. De rubrieken worden dan naeen oproep tot het indienen van voorstellen uitgevoerd door mid-del van projecten, „werkzaamheden onder contract” genoemd.Op deze manier worden per rubriek honderden afzonderlijkeprojecten gefinancierd.

6. Het aandeel van de KP’s in de totale overheidsfinancieringvoor OTO binnen de Europese Unie en haar lidstaten bedraagt intotaal 4 à 5 %. De impact ervan op het soort onderzoeks-werkzaamheden dat binnen Europa wordt uitgevoerd, is echterveel groter. De subsidies van de Gemeenschap vormen namelijkmeestal slechts een deel van de totale financiering voor een pro-ject. Bovendien moeten de onderzoekers in de financierings-aanvraag aantonen dat hun projecten gericht zijn op dedoelstellingen die in de oproep tot het indienen van voorstellenwerden beschreven. Op deze manier vormen de KP’s een stimu-lans om de OTO-werkzaamheden toe te spitsen op specifiekeEU-doelstellingen.

7. De laatste jaren werden er aanzienlijke wijzigingen aange-bracht in de KP’s op grond van de volgende factoren:

— nieuwe politieke uitdagingen (Lissabon-strategie en doelstel-lingen van Barcelona), de instelling van een „EuropeseOnderzoeksruimte” (EOR) en de toenemende toepassing vande open coördinatiemethode (3) in het beleid inzake onder-zoek en innovatie;

— de veranderende oriëntatie van de KP’s, van het eenvoudigoplossen van technische problemen in KP4 en het aanpak-ken van specifieke sociale problemen in KP5 naar het stimu-leren van samenwerking tussen onderzoeksinstellingenbinnen de EOR en het meewerken aan de vestiging van eenkenniseconomie en -maatschappij in KP6 en KP7;

(1) Bij direct beheer verricht de Commissie de handelingen in verband methaar werkzaamheden ter uitvoering van de begroting zonder enigebetrokkenheid van de lidstaten of van de derde landen waar de begun-stigden van de uitgaven verblijven.

(2) Sinds 2006 hebben meer dan 22 000 publieke en private rechtsper-sonen deelgenomen aan KP6, meestal in consortia van meerdere part-ners.

(3) Deze samenwerkingsmethode berust op het principe van vrijwilligeintergouvernementele samenwerking. Ze bestaat hoofdzakelijk uit hetleren van elkaar, „benchmarking” en het delen van beste praktijken.

Figuur 1

Gemiddelde jaarlijkse financiële bijdrage van de Gemeenschap — KP4-KP7 (EG)

Bron: wetgevende besluiten betreffende KP4-KP7, zie bijlage II.


— langere programmeringsperioden (voorheen vier jaar, nuzeven jaar voor KP7, overeenkomstig de financiële vooruit-zichten voor 2007-2013);

— meer lidstaten en deelnemende landen;

— verhoogde financiering, met name in het kader van de hui-dige financiële vooruitzichten;

— de oprichting van de Europese Raad voor Onderzoek (ERO)en de delegatie van het programmabeheer aan uitvoerendeagentschappen vanaf KP7, en

— de toenemende toepassing van grootschalige financierings-instrumenten (zoals Networks of Excellence, IntegratedProjects, Artikel 169-projecten, gezamenlijketechnologie-initiatieven).

Evaluatie van en toezicht op de KP’s

8. De Commissie is verantwoordelijk voor de uitvoering vande programma’s en de beoordeling van de programma-resultaten (1). Binnen de Commissie is de evaluatie gedecentrali-seerd aan de DG’s en de centrale diensten (vooral DG Begrotingen het Secretariaat-generaal) zorgen voor steun en coördinatie.

9. In dit verslag worden de door de Commissie zelf gebezigdedefinities gehanteerd van evaluatie (beoordeling van de acties aande hand van hun resultaten, hun impact en de behoeften waaraanzij beogen te voldoen) (2) en toezicht (informatie verstrekken overde uitvoering van lopende programma’s en projecten om te vol-doen aan de behoeften van het management) (3). Datzelfde onder-scheid tussen die twee activiteiten wordt in de bestaanderegelgeving voor KP7 gemaakt.

10. Hierna worden de volgende termen gehanteerd om deresultaten van OTO-werkzaamheden te beschrijven:

— „output”: kennis, goederen en diensten die rechtstreeks wor-den geproduceerd als gevolg van de overheidsinterventie(publicaties, patenten, licenties, prototypes, normen, opge-leide wetenschappers, conferentiestukken, enz.);

— „uitkomst”: het latere resultaat van de benutting van de out-put door de gebruikers, en

— „impact”: sociaaleconomische en politieke veranderingen oplangere termijn die door de overheidsinterventie wordenteweeggebracht.

Tekstvak 1

Wereldwijd systeem voor mobiele communicatie (GSM)

In dit voorbeeld bestond de output van de communautaire financie-ring uit de directe projectresultaten zoals de ontwikkeling van eenGSM-norm. De uitkomst was het feit dat deze binnen en buitenEuropa werd geaccepteerd als dé norm voor digitale mobiele telefo-nie, hetgeen sterk bijdroeg tot de ontwikkeling van detelecommunicatiesector. De impact, tenslotte, waren de economische,sociale en politieke gevolgen van het internationale gebruik van dezetechnologie. Die omvatten ook het scheppen van werkgelegenheid inde telecommunicatie en aanverwante sectoren, alsmede het toegeno-men belang van deze industriesector voor de Europese economie. Uit-eindelijk heeft GSM mensen een nieuwe manier geboden om metelkaar te communiceren.

11. Het beoordelen van die resultaten brengt echter een aan-tal problemen van methodologische aard met zich (zie bijlage I).Sociaaleconomische wijzigingen zijn complex en met name hetverband tussen een onderzoeksactiviteit en de vastgestelde uit-komsten en impact is vaak moeilijk traceerbaar. Die methodolo-gische problemen vormen wel een aanzienlijke uitdaging, maarmaken een doeltreffende evaluatie niet per se onmogelijk.

12. Sinds de jaren 1980 beschikt de Commissie over een sys-teem voor toezicht op en evaluatie van de KP’s (4). Vanaf KP4 hal-verwege de jaren 1990 bestond dat systeem uit een aantal deelsgekoppelde activiteiten, waaronder:

— jaarlijkse monitoring, hoofdzakelijk van de programma-uitvoering, en

— vijfjaarlijkse beoordelingen (VJB’s) van de KP-activiteiten (envanaf KP6 bijkomende beoordelingen op specifieke punten).

Voor beide activiteiten was assistentie van externe deskundigenvereist (zie figuur 2 en bijlage II).

(1) Verordening (EG, Euratom) nr. 1605/2002 van de Raad van25 juni 2002 (PB L 248 van 16.9.2002, blz. 1), artikelen 27, 48, 59en 60.

(2) Europese Commissie, DG Begroting, Mededeling aan de Commissievan mevr. Grybauskaitė, in overeenstemming met de Voorzitter,„Responding to strategic needs: reinforcing the use of evaluation”,SEC(2007) 213 van 21 februari 2007; Europese Commissie,DG Begroting, Mededeling aan de Commissie van mevr. Schreyer,„Focus on Results: Strengthening Evaluation of Commission Activi-ties”, SEC(2000) 1051 van 26 juli 2000.

(3) Besluit nr. 1982/2006/EG van het Europees Parlement en de Raad van18 december 2006 betreffende het zevende kaderprogramma van deEuropese Gemeenschap voor activiteiten op het gebied van onder-zoek, technologische ontwikkeling en demonstratie (2007-2013)(PB L 412 van 30.12.2006, blz. 1), artikel 7, lid 1; de toezichtsin-formatie die de Commissie de programmacomités moet verstrekken,wordt aangegeven in specifieke programmabeschikkingen, bijvoor-beeld Beschikking 2006/971/EG van de Raad van 19 december 2006betreffende het specifieke programma Samenwerking tot uitvoeringvan het zevende kaderprogramma van de Europese Gemeenschapvoor activiteiten op het gebied van onderzoek, technologische ontwik-keling en demonstratie (2007-2013) (PB L 400 van 30.12.2006,blz. 86), artikel 8, lid 4, en bijlage V.

(4) Europese Commissie, Mededeling aan de Raad betreffende een com-munautair actieprogramma voor de evaluatie van de onderzoek- enontwikkelingsactiviteiten van de Gemeenschap voor de periode 1987-1991; COM(86) 660 def. van 20 november 1986, in antwoord op deresolutie van de Raad van 28 juni 1983.


Figuur 2

KP4 t/m KP7 — Voornaamste vereisten inzake toezicht en evaluatie

KP4 (1995-1998) KP5 (1999-2002) KP6 (2003-2006) KP7 (2007-2013)

twee evaluatierondes (tussen-tijdse en eindevaluatie) voor elkvan de 20 subprogramma’s en hetKP; eindevaluatie valt samen mettussentijdse evaluatie van KP5

twee gelijktijdige evaluatie-rondes (tussentijds) voor elk vande zeven specifieke programma’s enhet KP

een evaluatieronde voor het KP enzijn drie specifieke programma’s(tussentijds) maar niet specifiek vooralle 20 subprogramma’s, plus speci-fieke evaluatie en regelmatigevoortgangs- (dus toezichts-) versla-gen

ten minste vijf evaluatierondes(vooraf, tussentijds en eind) plusspecifiek voortgangsverslag vóór deinterimevaluatie

1. Vooraf: nee 1. Vooraf: nee 1. Vooraf: nee 1. Vooraf:opgenomen in de impact-beoordeling van het Commissie-voorstel voor KP7 (2005)

2. Tussentijds:— VJB halverwege het KP, vóór

het volgende KP (1997)

2. Tussentijds:— VJB vóór de indiening van het

voorstel voor het volgende KP(2000)

— voortgangsverslag halverwegehet KP (2001)

2. Tussentijds:— evaluatie van doeltreffendheid

van instrumenten (2004)— VJB vóór de indiening van het

voorstel voor het volgende KP(2004)

— regelmatige voortgangs- (dustoezichts-)verslagen

2. Tussentijds:— achteraf, twee jaar na het einde

van het vorige KP (2008)— voortgangsverslag vóór de

interimevaluatie (vóór 2010)— interimevaluatie (2010)

3. Eind:— na voltooiing van het KP

(1999)

3. Eind:nee

3. Eind:nee[gewijzigd in besluit betreffende KP7]

3. Eind:twee jaar na voltooiing van het KP(2015), ondersteund door specifiekestudies, de interimevaluatie enandere evaluaties gedurende delooptijd van het KP

Bron: zie bijlage II.

13. Tot op heden zijn drie VJB’s verricht (1), die uitmonddenin de verslagen van Davignon, Majó en Ormala (in respectievelijk1997, 2000 en 2004). Daarnaast ging DG Informatie-maatschappij over tot gerichte evaluaties van zijn specifieke pro-gramma. Opgemerkt zij dat de VJB’s op grond van de regelgevingvoor KP7 niet werden voortgezet, waarmee het probleem werdverholpen dat de grote evaluatierondes betrekking moesten heb-ben op de voorgaande vijf jaren en dus delen van twee opeenvol-gende programmeringsperioden moesten bestrijken. In 2004werd ook het Marimón-verslag (2) uitgebracht, een specifieke eva-luatie van de doeltreffendheid van de nieuwe instrumenten diemet KP6 waren ingevoerd.

14. Het kader voor de evaluatiewerkzaamheden van de Com-missie werd in 2000 en 2002 onderzocht (3). Die mededelingenwerden in 2007 bijgewerkt om rekening te houden met de gevol-gen van de administratieve hervorming van de Commissie en hetnieuwe Financieel Reglement (4). In deze documenten wordt derol en functie van de evaluatie beschreven in het kader van dealgemene plannings-, programmerings- en verslagleggingscyclusvan de Commissie en wordt een pakket van 21 evaluatienormenen 18 modellen van „goede praktijken” uitgewerkt. Tevens behan-delen deze documenten de gebruikmaking van evaluatie bij devoorbereiding en vereenvoudiging van EU-wetgeving.

(1) Europese Commissie, „Five-year Assessment of the European UnionResearch and Technological Development Programmes, 1992-1996”,verslag van de onafhankelijke werkgroep van deskundigen ondervoorzitterschap van burggraaf Davignon (1997); Europese Commis-sie, „Five-year Assessment of the European Union Research and Tech-nological Development Programmes, 1995-1999”, verslag van deonafhankelijke werkgroep van deskundigen onder voorzitterschap vanJoan Majó (juli 2000); Europese Commissie, „Five-year Assessment ofthe European Union Research Framework Programmes, 1999-2003”,verslag van de onafhankelijke werkgroep van deskundigen ondervoorzitterschap van Erkki Ormala (15 december 2004).

(2) Europese Commissie, „Evaluation of the effectiveness of the Newinstruments of Framework Programme VI”, 21 juni 2004, verslag vande hoge werkgroep van deskundigen onder voorzitterschap van pro-fessor Ramón Marimón.

(3) Europese Commissie, DG Begroting, mededeling aan de Commissievan mevr. Schreyer, „Focus on Results: Strengthening Evaluation ofCommission Activities”, juli 2000, SEC(2000) 1051; Europese Com-missie, DG Begroting, mededeling aan de Commissie van de Voorzit-ter en mevr. Schreyer, „Evaluation Standards and Good Practice”,C(2002) 5267 van 23.12.2002.

(4) Europese Commissie, DG Begroting, mededeling aan de Commissievanmevr. Grybauskaitė in overeenstemmingmet de Voorzitter, „Resp-onding to strategic needs: reinforcing the use of evaluation”,SEC(2007) 213 van 21 februari 2007.


REIKWIJDTE EN AANPAK VAN DE CONTROLE

15. De voornaamste doelstelling van de controle bestonderin, te bepalen of de Commissie de beoordeling van de resulta-ten van de OTO-kaderprogramma’s goed aanpakte.

16. Hiertoe onderzocht de Rekenkamer in welke mate:

— de KP’s en de programma’s waaruit ze bestaan, berusten opeen expliciete interventielogica die geschikt is om de output,de uitkomsten en de impact te meten en te beoordelen, en zoeen solide grondslag vormt voor evaluatie en toezicht;

— voor de KP’s een evaluatiestrategie is bepaald die bevorder-lijk is voor een doeltreffende en consistente evaluatie;

— het evaluatiesysteem een zodanige organisatiestructuur heeftdat het systeem binnen het gehele KP behoorlijk gecoördi-neerd wordt, over toereikende middelen beschikt en door debelanghebbenden ook voldoende onafhankelijk wordtgeacht;

— de toegepaste evaluatiemethodologieën ervoor zorgen datrelevante thema’s op een passende wijze aan de orde komenzodat de evaluatie geloofwaardig overkomt, en

— de evaluatie- en toezichtsactiviteiten gegevens en analysesopleveren die kunnen worden gebruikt om de lopendeprogramma’s te verbeteren („lerende” programma’s) en toe-komstige KP’s voor te bereiden.

17. Dit verslag behandelt de regelingen betreffendeKP4 (1995-1998), KP5 (1999-2002) en KP6 (2003-2006). Ookworden de van kracht zijnde wettelijke voorschriften vanKP7 (2007-2013) aan de orde gesteld; het document „FP7 Impactassessment and ex-ante evaluation” (1) van de Commissie wordtechter niet beoordeeld. Het is gericht op het toezicht op en deevaluatie achteraf van de programma’s, niet op de evaluatie voorafvan de projectvoorstellen of de evaluatie achteraf van de projec-ten zelf.

18. De controle werd verricht met de medewerking van deaccountantscommissie van de EVA en met de hulp van externedeskundigen. De controle-informatie werd verzameld door mid-del van:

— controlewerkzaamheden bij de Commissie (beoordeling vanstukken en interviews met het personeel), inclusief de vast-stelling van de voorschriften uit de weten regelgeving,onderzoek van de doelstellingen en prestatiecriteria, analysevan meer dan 80 toezichts- en evaluatieverslagen en analysevan de organisatie van de evaluatiewerkzaamheden binnende Commissie;

— interviews met meer dan 90 deskundigen die werdenbeschouwd als betrokkenen in de lidstaten en geassocieerdelanden (Tsjechische Republiek, Duitsland, Estland, Spanje,Frankrijk, Italië, Luxemburg, Nederland, Oostenrijk, Finland,Zweden, Verenigd Koninkrijk en Noorwegen);

— onderzoek onder institutionele betrokkenen in het comitéITRE (2) van het Europees Parlement en het CREST (3) van deRaad;

— raadpleging van meer dan 65 deskundigen op het gebied vanonderzoeksevaluatie in de Verenigde Staten en Canada alsinternationale toetsingsgroep;

— bestudering van academische teksten over de huidige trendsin de onderzoeksevaluatie, en

— bespreking van de controlebevindingen, conclusies en aan-bevelingen met deskundigen op het gebied van onderzoeks-evaluatie uit Europa en Noord-Amerika tijdens een reeksbegeleide vergaderingen van focusgroepen in februari 2007.

CONTROLEBEVINDINGEN

Interventielogica, keuze van doelstellingen enprestatie-indicatoren

19. Doeltreffendheid bij evaluatie en toezicht vergt duidelijkedoelstellingen en relevante prestatie-indicatoren op beleids-,programma- en projectniveau, waaraan de resultaten van deoverheidsinterventie kunnen worden getoetst. Uit goede praktij-ken op andere EU-begrotingsterreinen en buiten de EU blijkt datdie doelstellingen en indicatoren moeten worden vastgesteld inhet kader van een interventielogica.

20. Interventielogica kan worden gedefinieerd als een geheelvan hypothetische causale verbanden die duidelijk maken opwelke wijze de algemene doelstellingen van een interventie naarverwachting worden verwezenlijkt (4). In de evaluatierichtlijnenvan de Commissie staat dat de interventielogica de conceptueleweg toont van de input van de interventie naar de geproduceerdeoutput en van daar naar zijn impact op de maatschappij in ter-men van resultaten en uitkomsten (5). In dit verslag wordt dezedefinitie systematisch gehanteerd.

(1) Werkdocument van de diensten van de Europese Commissie, „FP7Impact assessment and ex-ante evaluation”, SEC(2005) 430.

(2) De Commissie industrie, onderzoek en energie (ITRE) van het Euro-pees Parlement is (in het bijzonder) bevoegd voor het beleid inzakeindustrie, onderzoek (inclusief de verspreiding en toepassing van deonderzoeksresultaten) en de ruimte, alsook voor de activiteiten van hetGemeenschappelijk Centrum voor Onderzoek, het Euratom-Verdragen de informatiemaatschappij en -technologie.

(3) Het CREST (Comité voor wetenschappelijk en technisch onderzoek)werd opgericht bij een resolutie van de Raad van 14 januari 1974 enbestaat uit vertegenwoordigers van de nationale instanties die bevoegdzijn voor het wetenschappelijk en technologiebeleid van de lidstaten.Het CREST heeft een adviserende rol en informeert de Commissie ende Raad met name over onderwerpen in verband met de coördinatievan de nationale OTO-beleidslijnen en het toezicht op en de evaluatievan de KP’s.

(4) Logische modellen die aangeven hoe input in de diverse activiteitenleidt tot de verwachte resultaten, zijn het best geschikt om deinterventielogica te illustreren. Ze vormen een duidelijke toelichtingop de veronderstellingen waarop het programma is gebaseerd en opde wijze waarop de algemene doelstellingen worden uitgewerkt totoperationele doelstellingen.

(5) Europese Commissie, DG Begroting, „Evaluating EU activities: a prac-tical guide for the Commission services”, juli 2004, blz. 87 en blz. 106.


21. De Rekenkamer onderzocht in hoeverre een interventie-logica was vastgesteld voor de KP’s en hun deelprogramma’s omin een deugdelijke grondslag voor evaluatie en toezicht tevoorzien.

De interventielogica voor de KP’s was niet expliciet

22. Het bepalen van de interventielogica zou vanaf het begineen essentieel onderdeel van het programmaontwerp moetenzijn. Artikel 163 van het Verdrag, dat wijst op de noodzaak dewetenschappelijke en technologische grondslagen te versterkenen de concurrentiepositie te verbeteren, zou het uitgangspuntmoeten zijn voor een dergelijke interventielogica van de KP’s (zieparagraaf 2). Deze zou dan moeten worden gespecificeerd voorde diverse wetenschappelijke gebieden die worden bestreken doorde KP’s en de verschillende toegepaste instrumenten.

23. Toch ontbreekt op alle niveaus een expliciet logischmodel dat verduidelijkt hoe de KP’s en hun deelprogramma’s bij-dragen aan de wetenschappelijke en technologische vooruitgangen de innovatie.

24. Het gebrek aan interventielogica voor de KP’s werd ookonderstreept door de VJB-werkgroep van 2004, die verklaarde dataan zulke groepen wordt gevraagd het hiaat op te vullen tussende bewijzen die vooral op projectniveau worden verzameld en dehogere sociaaleconomische doelstellingen van het onderzoeks-beleid, maar dat dit verband moeilijk kan worden gelegd door dewijze waarop het KP is gepland, zonder expliciete logica die dehoogste doelstellingen koppelt aan specifieke streefdoelen op hetgebied van onderzoek en kennis (1).

25. Een andere aanpak wordt gevolgd in sommige lidstaten(zoals Nederland en Finland), in de Verenigde Staten (zie figuur 3),waar het vaststellen van een interventielogica veel gebruikelijkeris, en in Canada, waar het verplicht is voor alle programma’s (ziebijlage III). En inderdaad leidt de toepassing van interventielogicain het programmaontwerp daar tot beter gerichte en gestructu-reerde programma’s. De Commissie begint deze ook toe te pas-sen op andere communautaire beleidsterreinen (bijvoorbeeldexterne steun) (2).

Figuur 3

Definitie van een rangorde van doelstellingen op basis van logische modellen — een voorbeeld:landbouwonderzoek in de VS

Beleid Programma Project

Beleidsdoelstelling: bijdragen aan deverbetering van de levensomstandig-heden van agrarische gezinnen

Streefdoel: grotere landbouwproduc-tie, productiviteit en inkomsten vooragrarische huishoudens

Programmadoelstelling: bijdragen toteen grotere landbouwproductie, pro-ductiviteit en inkomsten voor agrari-sche huishoudens

Verwacht resultaat: toegenomengebruik van betere landbouw-technieken door de landbouwers in dedoelgroep

Streefdoel: toegenomen gebruik vanverbeterde landbouwtechnieken doorde landbouwers (bijv. rijst)

Projectdoelstelling: bijdragen tot eentoegenomen gebruik van de aanbevo-len verbeterde landbouwtechnieken

Verwacht resultaat: doen en versprei-den van aanbevelingen voor de land-bouwers in de doelgroep

Streefdoel: aanbevelingen formulerenvoor verbeterde technologieën diegeschikt zijn voor de landbouwers in dedoelgroep

Verwachte resultaten (bijv.):1. technologieën gekozen op basis

van de prioriteiten van de land-bouwers

2. technologieën ingevoerd en aan-gepast

3. technologieën gecontroleerd ophet veldBron: Amerikaanse raad voor nationaal landbouwkundig onderzoek.

(1) „Five-year Assessment of the European Union Research FrameworkProgrammes, 1999-2003”, verslag van het onafhankelijk panel vandeskundigen onder voorzitterschap van Erkki Ormala (15 decem-ber 2004): deel 6 „Evaluating the Framework Programme”, blz. 19.

(2) De begunstigde landen van de externe steun dienen logische model-len te presenteren voor hun communautaire steun (Europese Commis-sie, „Aid delivery methods”, volume 1, „Project cycle managementguidelines”, maart 2004, deel 5, „The logical framework approach”).


26. Het niet vastleggen van de grondgedachte achter deoverheidsinterventie en van de veronderstelde causaliteit (opgrond waarvan het programma vervolgens in detail wordtgepland, wordt uitgevoerd en beoordeeld) ondermijnt bij de KP’sde doeltreffendheid van evaluatie en toezicht. Dit is meer bepaaldeen gevolg van de wijze waarop de programmadoelstellingen ende prestatie-indicatoren zijn gedefinieerd.

Zonder expliciet logisch model is het moeilijker coherenteprogrammadoelstellingen te bepalen

27. Als de grondgedachte achter de overheidsinterventie nietexpliciet is aangegeven, wordt het moeilijker de programma-doelstellingen coherent te bepalen en te structureren. Dat blijkt uithet feit dat:

— het verband tussen de programmadoelstellingen van de KP’sen de beleidsdoelstellingen, zoals de algemene doelstellingenin artikel 163 van het Verdrag, die in de Lissabon-strategie enin de verklaring van Barcelona (zie de paragrafen 2 en 7), nietduidelijk is;

— de verhouding tussen de afzonderlijke programma-doelstellingen op de verschillende niveaus van regelgeving(KP-besluit, specifiek programmabesluit en regels inzakedeelname en verspreiding), maar ook tussen de basistekstenen de werkprogramma’s van de Commissie, niet altijd zicht-baar is.

28. De Commissie heeft getracht de werkprogramma’s tevoorzien van operationele doelstellingen op basis van de in deKP-regelgeving genoemde programmadoelstellingen. Die actieshebben echter vrijwel nergens de onderliggende logica van deprogramma’s kunnen verduidelijken en de in de werk-programma’s genoemde doelstellingen waren niet specifiek, meet-baar, haalbaar, relevant en van een datum voorzien (SMART —specific, measurable, achievable, relevant, timed). Sinds 2003 isdit wel een wettelijke vereiste op grond van het FinancieelReglement (1).

29. Het is niet duidelijk in hoeverre de beleidsdoelstellingentraceerbaar blijven via de specifieke programma’s, de werk-programma’s en de oproepen tot het indienen van voorstellen, totde afzonderlijke projecten die de Gemeenschap medefinanciert.Tenzij dit traject wordt verduidelijkt, valt niet te beoordelen inwelke mate de KP’s en hun deelprogramma’s bijdragen tot de ver-wezenlijking van die beleidsdoelstellingen. Uit de controle bleekdat de Commissie in haar evaluaties weinig of geen overtuigendebewijzen leverde voor de realisatie van de doelstellingen op lan-gere termijn op het niveau van de programma’s of van de projec-ten (zie paragraaf 82).

Het ontbreken van een expliciete interventielogica en van duidelijkedoelstellingen maakt het moeilijker prestatie-indicatoren te ontwikkelen

30. Doordat het ontbrak aan een expliciet logisch model enduidelijk geformuleerde programmadoelstellingen, werd ook ver-hinderd dat prestatie-indicatoren voor het toezicht op de realisa-tie van de programmadoelstellingen in termen van output,uitkomsten en impact werden vastgesteld, en wel zodanig dat der-gelijke indicatoren van de doeltreffendheid tot op heden voor deKP’s nog helemaal niet zijn bepaald (zie paragraaf 73).

31. In deze omstandigheden worden ook het onderzoek vande lopende uit die programma’s gefinancierde projecten en deevaluatie ex post van de voltooide projecten gehinderd, zodat hetnog moeilijker wordt de evaluaties van een project samen te voe-gen op programmaniveau (zie bijlage I en paragraaf 84).

Het thans toegepaste ABB/ABM is geen geschikt middel om de prestatiesvan de KP’s te meten

32. Bepaalde indicatoren die de doeltreffendheid van de uit-voering van een programma in kaart brengen, zoals het tijdsver-loop tot de contractsluiting of tot de betaling, zijn terug te vindenin de jaarlijkse toezichtverslagen van de Commissie en ook bin-nen het systeem van de Commissie voor activiteitengeoriënteerdmanagement (activity-based management — ABM).

33. Maar tot nu toe hebben de „onderzoeks-DG’s”, zelfs wan-neer ze eenzelfde specifiek programma (of subprogramma) uit-voeren, geen gestandaardiseerde of vergelijkbare nomenclatuur endesbetreffende indicatoren voor activiteitengeoriënteerd begroten(activity-based budgeting — ABB) toegepast. Daarom kunnen dieindicatoren niet worden gebruikt om de prestaties tussen en bin-nen de programma’s te vergelijken.

Tekstvak 2

ABB/ABM zoals de „onderzoeks-DG’s” het thans toepassen:

In het ABB/ABM-systeem vallen de KP’s onder twee verschillendebeleidsterreinen, waarbij de KP-werkzaamheden worden gepresen-teerd volgens de specifieke terminologie van elk DG (2). Dat geldt zelfsvoor specifieke programma’s en subprogramma’s die door meer danéén DG worden uitgevoerd. De ABM-doelstellingen waren gebaseerdop andere beginselen (3) en — zoals de Dienst interne audit van deCommissie aangaf (4) — werden doorgaans uitgedrukt in algemenetermen die bedoelingen of activiteiten beschreven. De indicatorenwaren meestal op de input gericht (aantal vergaderingen, enz.). Som-mige betroffen de doeltreffendheid van het proces (bijvoorbeeld hettijdsverloop tot de contractsluiting of tot de betaling), maar waren nietvergelijkbaar tussen programma’s en tussen DG’s wegens de verschil-len in de ABB-nomenclatuur, specifieke uitgangspunten van elk DG(bijvoorbeeld begin en einde van specifieke administratieve procedu-res) en in de populatie (soort subsidieovereenkomst, soort betaling)die werd gekozen voor de berekening ervan.

(1) Verordening (EG, Euratom) nr. 1605/2002, artikel 27, lid 3.

(2) In 2006 werd beleidsterrein „08 onderzoek” gestructureerd op basisvan de specifieke programma’s (en subprogramma’s) van de lopendeKP6-programmeringsperiode (en dus vervangen door een anderestructuur in 2007), maar voor beleidsterrein „09 informatie-maatschappij” werd het lopende specifieke programma met het voor-gaande samengevoegd tot één ABB-activiteit (Europese Commissie,DG Onderzoek, Directoraat A: coördinatie van de communautaireactiviteiten, planning, programmering, evaluatie, Jaarlijksmanagementplan 2006, 20.12.2005; Europese Commissie,DG Informatiemaatschappij en media, Jaarlijks managementplan2006, 23.12.2005).

(3) In het geval van DG Onderzoek veranderden de ABM-doelstellingen(en de indicatoren ter meting van hun realisatie) van het ene op hetandere jaar. DG Informatiemaatschappij koos voor meerjaren-doelstellingen, die echter niet gelijk waren aan de programma-doelstellingen (of aan de in de werkprogramma’s genoemdedoelstellingen).

(4) Europese Commissie, Dienst interne audit, „Evaluatie van effectiviteiten efficiëntie van de SPP/ABM-cyclus”, SG & DG Begroting, 2005,punt 4.1, blz. 31.


Aanbevelingen

34. In toekomstige wetsvoorstellen aan de Raad en het Euro-pees Parlement moet de Commissie een duidelijke interventie-logica beschrijven voor het KP als geheel en voor de onderdelenervan.

35. Voor KP7 moet de Commissie:

— duidelijk beschrijven welke de doelstellingen van het KP ende bijbehorende specifieke programma’s (en sub-programma’s) zijn en hoe die moeten worden gerealiseerd;

— het verband tussen de wetenschappelijke en sociaal-economische doelstellingen voor elk specifiek programma(en subprogramma) verduidelijken, en

— relevante operationele doelstellingen bepalen.

36. Bij het KP7-toezichtsysteem moet de Commissie voorelk specifiek programma (en subprogramma) een beperkt maarevenwichtig pakket van prestatie-indicatoren invoeren om de„efficiency” en de „doeltreffendheid” van de programma-uitvoering te meten.

37. De „onderzoeks-DG’s” moeten hun ABM/ABB-nomenclatuur harmoniseren zodat de prestatie-indicatoren ver-gelijkbaar zijn in de tijd en, waar mogelijk, ook tussen despecifieke programma’s (en subprogramma’s).

De evaluatiestrategie

38. Een evaluatiestrategie vormt het conceptuele kader waar-binnen de evaluatiewerkzaamheden worden bedacht, gepland,uitgevoerd en benut. Goede praktijken op andereEU-begrotingsterreinen en daarbuiten geven aan dat bij een der-gelijke strategie de voornaamste wettelijke, organisatorische enmethodologische aspecten van de programmabeoordeling in aan-merking moeten worden genomen. Daaronder valt onder meer:wie wanneer welke evaluaties verricht, hoe gegevens worden ver-zameld, welke methodologische aanpak wordt toegepast en hoede bevindingen worden meegedeeld en follow-up krijgen.

39. Om de evaluatie te kunnen integreren in de organisatie-cultuur en het besluitvormingsproces van de Commissie is heteen absolute voorwaarde, over een dergelijke strategie te beschik-ken en te zorgen dat deze wordt toegepast. De Rekenkamer erkentechter dat die strategie, gezien de diversiteit van de wetenschap-pelijke terreinen die onder de KP’s vallen, elk van de bevoegdeDG’s voldoende vrijheid moet bieden en niet al te beperkend magzijn.

40. De Rekenkamer onderzocht in hoeverre de Commissievoor de KP’s een dergelijke evaluatiestrategie had ingevoerd.

Een complete evaluatiestrategie voor de KP’s ontbreekt

41. Voor de KP’s maakte de Commissie haar aanpak van deevaluatie voor het eerst bekend in de jaren 1980 (1). Dat werd bij-gewerkt in 1996, toen de Commissie het Europees Parlement ende Raad informeerde over hetgeen zij toen beschouwde als derelevante grondbeginselen voor toezicht en evaluatie, en haarvoorgenomen aanpak na de vaststelling van KP4 beschreef (2). Ditvormde echter geen complete evaluatiestrategie als in het boven-staande bedoeld (zie de paragrafen 38 en 39). Bovendien heeft deCommissie van 1996 tot 2006 haar evaluatieaanpak voor KP5 enKP6 niet fundamenteel herzien, ondanks het feit dat zowel deinhoud als de oriëntatie van de KP’s veranderden (zie paragraaf 7).Met name hebben de „onderzoeks-DG’s” geen consistente bena-dering van de evaluatie van de KP’s en de bijbehorendeprogramma’s afgesproken die verder gaat dan de wettelijke voor-schriften die zijn vastgesteld in 1999 (voor KP5), in 2002 (voorKP6) en in 2006 (voor KP7) (3).

42. Voor de lopende programmeringsperiode is het ontbre-ken van een strategische evaluatieaanpak op dit gebied bijzonderproblematisch, aangezien KP7 door meerdere DG’s, de ERO en deuitvoerende agentschappen gezamenlijk wordt uitgevoerd, enaangezien het Financieel Reglement voorschrijft dat het personeelrouleert voor gevoelige posten. Het staat ook in contrast met dehuidige praktijk op het gebied van externe steunmaatregelen, hetop één na grootste gebied dat rechtstreeks door de Commissiewordt beheerd. Op dit gebied hebben de bevoegde DG’s sinds2002 gemeenschappelijke meerjaren-evaluatiestrategieën afge-sproken die zijn gekoppeld aan de programmeringsperioden (zieparagraaf 52).

43. Dit ontbreken van een duidelijk geformuleerde evaluatie-strategie vormt ook een sterke tegenstelling met de situatie in deVerenigde Staten en Canada, waar het hebben van een strategie inde regelgeving is voorgeschreven (zie bijlage III).

44. Zoals hierna wordt geïllustreerd, zijn er tussen de KP’sgrote verschillen in dekking en intensiteit van de evaluatie. Ookdeden zich andere gebreken voor, zoals coördinatieproblemen,verschillen in methodologische aanpak, problemen met de timingen de tekortschietende bekendmaking en follow-up van deevaluatiebevindingen, die verderop in dit verslag worden bespro-ken. Hieruit blijkt dat het ontbreekt aan een complete evaluatie-strategie voor de KP’s.

(1) Europese Commissie, Mededeling van de Commissie aan de Raadhoudende een communautair actieprogramma voor de evaluatievan communautaire onderzoeken ontwikkelingsprogramma’s(COM(83) 1 def. van 19 januari 1983).

(2) Mededeling van de Commissie aan de Raad en het Europees Parlementbetreffende onafhankelijk extern toezicht en evaluatie van com-munautaire activiteiten op het gebied van onderzoek en technologi-sche ontwikkeling, 22.5.1996 (COM(1996) 220 def.).

(3) Elk DG dat KP’s uitvoert, documenteert de geplande evaluaties in jaar-lijkse (en meerjaren-) evaluatieplannen. Deze kunnen echter niet wor-den geacht een werkelijke evaluatiestrategie voor te stellen.


Verschillen in dekking en intensiteit van de evaluatie binnen het KP

45. De KP’s bestaan uit een aantal specifieke programma’s (ensubprogramma’s) die sterk kunnen verschillen wat betreft hundoel, onderliggende tendensen en begrotingsmiddelen (zie voorKP7 bijlage IV). De specifieke bepalingen van de verschillendeKP-besluiten in combinatie met het Financieel Reglement (1) —dat evaluatie voorschrijft voor programma’s en activiteiten diegrote uitgaven meebrengen — houden in dat evaluatie van het KPals geheel en van de meeste specifieke programma’s waaruit hetbestaat reeds sinds KP4 een wettelijke vereiste is.

46. De Commissie heeft niet geregeld wanneer de specifiekeprogramma’s of subprogramma’s moeten worden geëvalueerd enheeft ook geen gemeenschappelijke drempelwaarde bepaaldwaarboven dit verplicht is. Dat heeft geleid tot uiteenlopendeopvattingen over hetgeen moet worden geëvalueerd en hoe uit-voerig dat moet gebeuren.

— DG Informatiemaatschappij vond dat het IST-programma opzichzelf al een groot uitgavenprogramma was en organi-seerde in 2004 een volledige VJB naast die van het KP alsgeheel;

— DG Onderzoek organiseerde niet systematisch dergelijkebeoordelingen van specifieke programma’s, hoewel het ver-antwoordelijk was voor verscheidene programma’s met bud-getten van vergelijkbare grootte.

47. Het gevolg was dat bij de VJB 2004 aanzienlijke delenvan programma’s van KP4 en KP5 helemaal niet werden geëvalu-eerd (dit gold voor 30 % van alle begrotingskredieten voor KP4en 50 % van die voor KP5). Dat betekent dat de Commissie nietheeft voldaan aan de evaluatievoorschriften in artikel 27, lid 4,van het Financieel Reglement.

48. Deze uiteenlopende interpretaties van de minimum-vereisten betreffende evaluatie en de daaruit voortvloeiendeondermaatse evaluatie van de KP’s in het verleden illustreren hetgebrek aan coördinatie en de gevolgen van het ontbreken van eenstrategische aanpak van de evaluatie van de KP’s door deCommissie.

Aanbevelingen

49. De „onderzoeks-DG’s” moeten dringend een gemeen-schappelijke evaluatiestrategie voor de KP’s ontwikkelen en over-eenkomen. Die strategie mag niet al te prescriptief zijn maarmoet toch zorgen voor een consistente aanpak met betrekkingtot de evaluatie van de KP’s en hun deelprogramma’s. Tevensmoet zij aangeven vanaf welk minimum een gedetailleerde eva-luatie moet plaatsvinden, zodat rekening kan worden gehoudenmet de specifieke aspecten van elk wetenschappelijk terrein.

Opzet van de evaluatie van de KP’s

50. De evaluatie van de KP’s moet worden ondersteund doorpassende organisatorische regelingen die voortvloeien uit de stra-tegische oriëntatie van de Commissie voor de evaluatie van deKP’s. De Rekenkamer onderzocht in welke mate de organisatie-structuur waarborgde dat het evaluatiesysteem behoorlijk werdgecoördineerd, beschikte over voldoende middelen en door debetrokkenen ook als voldoende onafhankelijk werd beschouwd.

Commissie

De KP’s worden wel gemeenschappelijk uitgevoerd door meerdere DG’s,maar de verantwoordelijkheid voor de evaluatie is gedecentraliseerd

51. Binnen de Commissie ligt de verantwoordelijkheid voorhet evalueren van de uitgavenprogramma’s bij de afzonderlijkeDG’s (zie paragraaf 8) en binnen elk DG werd een eigen evaluatie-dienst opgericht. Die diensten zijn belast met het plannen, coör-dineren en uitvoeren van evaluaties.

52. Anders dan op andere beleidsterreinen ontbreekt het hieraan een specifiek coördinatieorgaan of één dienst voor de evalua-tie van het gehele KP, bijvoorbeeld een gemeenschappelijkeevaluatiedienst voor alle „onderzoeks-DG’s”. Op het gebied van deexterne steun is er een gemeenschappelijke evaluatiedienst opge-richt voor drie DG’s (Ontwikkeling, Buitenlandse betrekkingenen EuropeAid), die belast is met de evaluatie van de ontwikkelings-programma’s van de Commissie in derde landen (zieparagraaf 42).

53. DG Onderzoek zorgt via het interne OTO-evaluatienetwerk van de Commissie voor uitwisseling van infor-matie tussen de evaluatiediensten van de verschillende DG’s, maarheeft niet de bevoegdheid om op dit gebied minimumeisen te stel-len. Dit mechanisme is echter ontoereikend voor een deugdelijkecoördinatie van de KP-evaluatie door de Commissie.

54. De Commissie heeft haar algemene aanpak van de eva-luatie herzien in 2000 en in 2002, en nogmaals in 2007 (zieparagraaf 14). Hoewel er geen sterke verbetering werd waargeno-men in de manier waarop de evaluaties van de KP’s en hun deel-programma’s worden gepland, ontworpen en uitgevoerd, hebbende „onderzoeks-DG’s” in het algemeen voldaan aan de formelevoorschriften voor de gehele Commissie.(1) Verordening (EG, Euratom) nr. 1605/2002, artikel 27, lid 4.


De centrale diensten van de Commissie: normgeving, geen handhavenderol

55. De centrale diensten van de Commissie (vooralDG Begroting en het Secretariaat-generaal) verstrekken methodo-logisch advies, bepalen gemeenschappelijke normen voor deCommissie als geheel en houden toezicht op de wijze waarop deDG’s en diensten de normen toepassen (zie de paragrafen 14en 70). Zij kunnen niet voorschrijven hoe de praktische uitvoe-ring van de evaluaties moet verlopen.

56. De ervaring in de Verenigde Staten en Canada leert dat dehandhaving door regelgevende organen daar zeer nuttig is om hetevaluatiesysteem doeltreffend te laten functioneren. In beide lan-den bepalen en handhaven federale diensten het kader waarbin-nen het succes van een programma uiteindelijk wordt beoordeeld(zie bijlage III). De achtergrond is wel verschillend, maar de syste-men berusten toch op hetzelfde principe dat een ander orgaandan hetgeen het programma uitvoert het ontwerp van hetevaluatiesysteem vrij gedetailleerd moet beoordelen en de doel-treffendheid ervan moet onderzoeken. Hetzelfde kan wordenvastgesteld in bepaalde lidstaten (zoals Frankrijk (1), Spanje (2) enDuitsland (3)), waar externe organen toezicht houden op de eva-luaties door de financieringsorganen of die evaluaties zelfverrichten.

Panels

Panels van externe deskundigen: voorgeschreven in KP-regelgeving sindsKP4

57. Sinds KP4 moesten alle grote evaluatierondes (en hetjaarlijkse toezicht) op de KP’s worden verricht door (of met dehulp van) panels van externe deskundigen (zie bijlage II). Het vin-den van de geschikte deskundigen is weliswaar problematisch,maar dergelijke panels kunnen zorgen voor transparantie, eenzekere mate van onafhankelijkheid bieden, de deelname vanbetrokkenen vergemakkelijken en gebruik maken van kennis vande KP’s zelf, van evaluatie en van de onderliggende wetenschap-pelijke thema’s.

58. Dit werd bevestigd in de onderzoeken van de Rekenka-mer, die uitwezen dat de ondervraagden vonden dat het op panelsgebaseerde evaluatiesysteem van de Commissie onafhankelijkheidgarandeerde (zie figuur 4).

(1) „Loi de programme pour la recherche no 2006-450” van 18.4.2006 en „Décret no 2006-1334 relatif à l’organisation etau fonctionnement de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES)” van 3.11.2006.

(2) Agencia Nacional de Evaluación y Prospectiva, ressorterend onder het Ministerio de Educación y Ciencia,Orden ECI/1252/2005 van 4 mei 2005 tot oprichting van de „Comisión Asesora de Evaluación y Prospectiva” (advies-comité voor evaluaties en vooruitzichten).

(3) In 2004 heeft de „Deutsche Forschungsgemeinschaft” (DFG) een gespecialiseerd instituut opgericht, „Institut für For-schungsinformation und Qualitätssicherung” (IFQ), en dit verantwoordelijk gemaakt voor het ontwikkelen en normerenvan evaluatiemethodologieën, de kwaliteitsborging en het verrichten van beoordelingen van de door de DFG gefinan-cierde OTO-werkzaamheden.

Figuur 4

Mening van institutionele betrokkenen — Onafhankelijkheid van een evaluatiesysteem met panels

Bron: ERK-onderzoek 2007.


Zwakke punten in de door de Commissie toegepaste aanpak met panels

59. Ondanks dit positieve beeld werd de inschakeling doorde Commissie van panels ter evaluatie van de KP’s gekenmerktdoor de volgende zwakke punten, zoals panelleden en betrokke-nen de Rekenkamer tijdens de controle duidelijk maakten:

— de evaluatiepanels worden gewoonlijk pas minder dan eenjaar vóór hun rapportagedatum gevormd en houden slechtseen beperkt aantal vergaderingen. Daardoor is het voor depanelleden moeilijk mede te bepalen welke gegevens en ana-lyses nodig zijn voor hun werk. Doordat panels een „ad hoc”-en tijdelijk karakter hebben, is het bovendien niet gemakke-lijk kennis te verzamelen over de programma’s en isfollow-up op langere termijn van relevante onderwerpen nietmogelijk. Dit is vooral een tekortkoming wanneer (zoals bijKP7) in de loop van de programmeringsperiode een aantalgrote evaluatierondes zijn gepland (zie bijlage II). Daar tegen-over staat de praktijk van de Commissie met de advies-groepen van deskundigen (AGD) voor de KP’s, diepermanente organen zijn (1). Ook in Canada (2) zijn deevaluatiepanels permanente organen die als zodanig een con-sistente en coherente aanpak kunnen garanderen (ziebijlage III);

— wanneer de Commissie de opdracht van de panels bepaalt ende evaluatievragen formuleert, raadpleegt zij geen externebetrokkenen zoals bedrijven en grote onderzoeksinstellingendie deelnemen aan de KP’s. Het toezichtspanel van 2004heeft dit probleem eveneens opgemerkt en verklaard datpotentiële gebruikers al vroeg bij het proces moeten wordenbetrokken (3), en

— de panels gaan anders te werk dan bij een „peer review”. Deleden hebben geen tijd om zelf evaluaties te verrichten; zijbrengen doorgaans advies uit op basis van de gegevens enbewijzen die hun uit andere bronnen ter beschikking zijngesteld. Als gevolg van de tijdsdruk hebben de panels slechtsbeperkte mogelijkheden om opdracht te geven voor de bij-komende onderzoeken die nodig zijn om de in hun opdrachtvermelde kwesties te kunnen oplossen. Op enkele uitzonde-ringen na beschikten de VJB-panels in de praktijk alleen overdoor de Commissie verstrekte informatie.

Middelen

Er zijn geen middelen specifiek bestemd voor de KP-evaluatie

60. De financiering voor de evaluatie wordt elk jaar toege-kend op basis van de behoeften, omschreven door de DG’s die deKP’s uitvoeren. Momenteel is deze afkomstig van Commissiebredekredieten van DG Begroting in combinatie met kredieten uit hetadministratieve deel van de begroting op het niveau van debetrokken DG’s. Bovendien worden specifieke maatregelen gefi-nancierd als indirecte maatregelen uit de operationele begrotingvan de KP’s. Dat betekent dat geen enkel bedrag specifiek wordtuitgetrokken voor evaluatie.

61. In 2006 werd het gemiddelde voor de gehele Commissievan personeel dat werkt aan evaluatie en activiteitengeoriënteerdmanagement geschat op ongeveer 1 % van het totale personeels-bestand (4). Voor toezicht- en evaluatiewerkzaamheden bijDG Onderzoek en DG Informatiemaatschappij bedroeg dit 1,2,respectievelijk 1,3 %. In het geval van DG Onderzoek werd ech-ter ruim tweederde van die personele middelen ingezet voor dediensten voor operationele programma’s en niet voor deevaluatiedienst, en evaluatie was slechts één van hun vele taken.

Financiering voor de KP-evaluatie lager dan de Commissie aanbeveelt

62. De voor evaluatie uitgetrokken middelen kunnen ookworden uitgedrukt als percentage van de totale begrotings-kredieten die aan het programma zijn toegewezen. Tijdens decontrole verkregen cijfers wijzen uit dat dit in de praktijk vooronderzoeksprogramma’s binnen de lidstaten van de EU tussen 0,1en 2 % ligt. Volgens de richtlijnen van de Commissie moet 0,5 %van de begroting voor een programma worden besteed aan eva-luatie (5). Bij grotere programma’s kan dankzij schaalvoordelenechter een kleiner deel van hun begroting volstaan.

63. Vergelijking tussen de cijfers van de Commissie betref-fende de uitgaven voor evaluatie in de periode 2003-2006 en debegrotingskredieten voor elk directoraat-generaal levert een alge-meen gemiddelde van ongeveer 0,15 % op, hetgeen ver onder hetdoor de Commissie gesuggereerde niveau ligt. Nader onderzoekvoor het jaar 2006 wijst uit dat DG Informatiemaatschappij onge-veer vier maal meer uitgaf voor evaluatie dan DG Onderzoek,gelet op de kredieten waarvoor ze respectievelijk verantwoorde-lijk zijn. Bovendien wordt bij DG Onderzoek per miljoen eurojaarlijkse begroting slechts 0,7 % van een volledige dagtaakbesteed aan evaluatie. In vergelijking daarmee geeftDG Informatiemaatschappij dubbel zoveel uit.

(1) Voor KP7 heeft de Commissie 15 AGD’s gevormd, tegen 12 voor KP6en 17 voor KP5. Zij adviseren de Commissie over beleids- enprogrammapunten in verband met de KP’s. Niettemin zij opgemerktdat deze AGD’s niet volledig aansluiten bij de programmastructuurvan de KP’s: er is geen AGD voor elk specifiek programma (of sub-programma).

(2) In Canada hebben bijna alle federale overheidsdiensten permanenteevaluatiecomités gevormd, waarin ervaren ambtenaren en meestal ookexterne betrokkenen toezicht houden op het evaluatiesysteem („SocialSciences and Humanities Research Council of Canada”: EvaluationStanding Committee — Mandate and Membership).

(3) Europese Commissie, „Monitoring Report 2004: Implementation ofActivities under the EC and Euratom framework and correspondingspecific programmes”, augustus 2005, blz. 5.

(4) Europese Commissie, „Planning and Optimising Commission humanresources to serve EU priorities”, SEC(2007) 530 van 24 april 2007.

(5) Europese Commissie, Mededeling aan de Commissie van de Voorzit-ter en mevr. Schreyer, „Evaluation Standards and good practice”,C(2002) 5267 van 23.12.2002; werkdocument van de diensten vande Europese Commissie, „FP7 Impact assessment and ex-ante evalua-tion”, SEC(2005) 430 van 6 april 2005, Bijlage 1, noot 209.


64. Zoals dit verslag aantoont, heeft de extra inspanning vanDG Informatiemaatschappij geleid tot een verder reikende evalua-tie (zie de paragrafen 13 en 46) en tot het gebruik van methodo-logieën die beter geschikt zijn om in te spelen op deevaluatiebehoeften, zoals blijkt uit de door de Rekenkamer onder-zochte steekproef van evaluatiestudies (zie paragraaf 84).

65. Aan de hand van gegevens van de Commissie maakte deRekenkamer een kostenraming die uitwijst dat een op de voor-stellen in dit verslag gebaseerd evaluatiesysteem gemiddeld min-der dan 0,4 % van de begrotingskredieten voor KP7 zou uitmaken.Dit zou de kosten dekken van panels, uitbestede studies, perso-neel voor zowel de gemeenschappelijke evaluatiedienst als debestaande evaluatie-eenheden van de DG’s zelf alsook anderediverse kosten (1).

Aanbevelingen

66. De „onderzoeks-DG’s” moeten overwegen, naast debestaande evaluatie-eenheden in elk DG een gemeenschappelijkeevaluatiedienst op te zetten. Zoals gebruikelijk is op anderebeleidsterreinen, zou deze de evaluatiewerkzaamheden van deCommissie voor het gehele KP kunnen coördineren. Dergelijkegemeenschappelijke ondersteunende functies werden al eerderaanbevolen voor de DG’s die de KP’s uitvoeren (2) en kunnen inde toekomst nog belangrijker worden door de instelling van deEOR en de delegatie van de programma-uitvoering aan uitvoe-rende agentschappen.

67. De Commissie moet gebruik blijven maken vanevaluatiepanels als hulp bij haar evaluatiewerkzaamheden. Zijmoet echter nagaan hoe de panelstructuur kan worden ingepastin de algemene programmastructuur van de KP’s. Dat kan doorte werken met panels voor specifieke programma’s en zo moge-lijk voor subprogramma’s (zie bijlage IV). Bovendien moeten diepanels tijdig genoeg worden opgezet om de Commissie op doel-treffende wijze te steunen tijdens de hele programmeringsperiodeen daarna.

68. De Commissie dient opnieuw te bekijken hoeveel mid-delen worden besteed aan de evaluatie van de KP’s en hun deel-programma’s.

Evaluatiemethodologieën en -technieken

69. Doeltreffende evaluatie vergt toepassing van de juistemethodologieën en technieken. De Rekenkamer onderzocht inhoeverre specifieke richtlijnen waren gegeven voor de evaluatievan de KP’s, of de behoeften aan informatie tijdig en behoorlijkwerden onderzocht en of de beoordelaars relevante gegevens terbeschikking werden gesteld. Met betrekking tot de door (of voor)

de Commissie verrichte evaluatiestudies controleerde de Reken-kamer of de in de afzonderlijke studies toegepaste technieken vol-doende basis vormden om de bij de VJB’s gestelde vragen tekunnen beantwoorden. Tevens werd bekeken welke bijdrage eva-luaties op nationaal niveau kunnen leveren voor de evaluatie vande KP’s.

Invoering van specifieke normen en richtlijnen voor de KP’s

70. DG Begroting heeft verscheidene mededelingen doen uit-gaan met de beschrijving van en de uitvoeringsvoorschriften voorzijn evaluatiebeleid, en dit DG heeft ook een pakket Commissie-brede normen opgesteld (zie de paragrafen 14 en 55) (3). Opandere beleidsterreinen hebben de bevoegde DG’s ook specifiekeevaluatiehandleidingen samengesteld (4).

71. Dat geldt echter niet voor de KP’s. Er is een aantal metho-dologische handleidingen en instrumenten voor evaluatie-werkzaamheden op het gebied van onderzoek gepubliceerd ofgefinancierd door de Commissie (5). Deze geven echter geen spe-cifieke instructies voor het verrichten van KP-evaluaties en bepa-len ook niet welke basisbegrippen of terminologie hetCommissiepersoneel of de externe deskundigen moeten hanteren.Dit heeft bijgedragen tot de problemen die hierna wordenbesproken.

Gegevensbehoeften en -verzameling

Onvoldoende analyse van de informatiebehoeften

72. De „onderzoeks-DG’s” hebben te weinig aandachtbesteed aan de vraag welke gegevens nodig zijn voor evaluatie entoezicht. De informatiebehoeften werden niet systematisch en uit-voerig geanalyseerd; welke gegevens nodig waren heeft de Com-missie pas laat in de programmeringsperiode bepaald en danzonder te letten op de algemene evaluatiebehoeften. De sociaal-economische vragenlijst voor KP6 was de enige gemeenschappe-lijke poging van de DG’s om het eens te worden over dergelijkegegevens (zie paragraaf 76). Deze werd echter voltooid in 2004(drie jaar na het begin van de programmeringsperiode) en betreftvooral aspecten als de deelname van mannen en vrouwen ofmilieu-effecten, niet de wetenschappelijke output (bijvoorbeeldkwesties als intellectuele eigendom, publicaties, enz.), de uitkom-sten of de impact.

(1) In 2007 heeft de Europese Adviesraad voor Onderzoek (EURAB) even-eens aanbevolen meer middelen in te zetten voor de evaluatie van deKP’s (EURAB, „Recommendations on Ex-post Impact Assessment”,juli 2007).

(2) Speciaal verslag nr. 1/2004 over het beheer van de OTO-werkzaamheden onder contract binnen het vijfde kaderprogramma(KP5) op het gebied van onderzoek en technologische ontwikkeling(1998-2002) (PB C 99 van 23.4.2004), paragrafen 116 en 122.

(3) Europese Commissie, DG Begroting, Mededeling aan de Commissievanmevr. Grybauskaitė in overeenstemmingmet de Voorzitter, „Resp-onding to strategic needs: reinforcing the use of evaluation”,SEC(2007) 213 van 21 februari 2007; Europese Commissie, Medede-ling aan de Commissie van de Voorzitter en mevr. Schreyer, „Evalua-tion standards and good practice”, C(2002) 5267 van 23.12.2002.

(4) 14 DG’s hebben dergelijke evaluatiehandleidingen voor de beleids-terreinen en -programma’s onder hun bevoegdheid (Europese Com-missie, DG Begroting — Evaluatiedienst, „Overview of EvaluationGuides in the Commission”, oktober 2004).

(5) Fahrenkrog G. et al., „RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, IPTS-JRC, 2002; Prest et al., „Asses-sing the Socio-economic Impacts of the Framework Programme”,Universiteit van Manchester, 2002.


73. De beoordeling van de programma’s is sterk afhankelijkvan de beschikbaarheid van drie soorten gegevens:

— gegevens die zijn verzameld volgens „doeltreffendheidsindi-catoren”, waarvan de analyse inzicht geeft in de vorderingenin de richting van de doelstellingen van het programma.Door het reeds eerder besproken ontbreken van interventie-logica was het moeilijk dergelijke indicatoren te definiëren(zie paragraaf 30). In de praktijk waren de verzamelde gege-vens weinig relevant voor het meten van de realisatie van deprogrammadoelstellingen;

— gegevens over het programmabeheer (volgens „doelmatig-heidsindicatoren”), en

— gegevens over deelnemers (bijvoorbeeld de mate van deel-name door grote onderzoeksinstellingen).

74. Vooral de laatste twee soorten gegevens zouden beschik-baar moeten zijn bij de Commissie. Maar door moeilijkheden inverband met de interne IT-systemen van de Commissie — debron van de meeste gegevens over programmabeheer en deelne-mers (1) — bleek dit in de praktijk bijzonder problematisch (2).

75. Een illustratie hiervan is de aanzienlijke vertraging in hetbeschikbaar stellen van de verslagen krachtens artikel 173 en dejaarlijkse toezichtsverslagen (tot 16 (3), respectievelijk 7 maandenin de periode 2002-2005). Aangezien deze informatie telkensweer te laat kwam, had ze weinig nut.

Ondoeltreffende aanpak van het inwinnen van evaluatiegegevens bij dedeelnemers

76. Sinds KP5 heeft de Commissie de deelnemers systema-tisch contractueel verplicht de nodige gegevens te verstrekken omde verwezenlijking van de programmadoelstellingen te kunnenmeten in termen van output, uitkomsten en impact, en wel alsvolgt:

— in het kader van KP5 moesten de deelnemers een „technolo-gisch uitvoeringsplan” indienen alsook een eindverslag na devoltooiing van het project. Die documenten waren vaak vanmatige kwaliteit of werden helemaal niet ingediend;

— in het kader van KP6 moeten ze een „plan voor de versprei-ding en benutting van kennis” overleggen en bij de indieningvan hun jaarlijkse technische verslagen een standaard-vragenlijst beantwoorden over sociaaleconomische thema’s.

77. Deze contractuele verplichting tot gegevensverstrekkinghield een onnodig administratief karwei in voor de deelnemers.Zo worden voor de jaarlijkse vragenlijst van KP6 veel vaker dannodig gegevens verzameld uit de gehele populatie van projecten,terwijl een representatieve steekproef zou volstaan. Dit zal allichtleiden tot „evaluatiemoeheid”. Bovendien werd die informatie nietop het juiste moment verzameld; vele vraagstukken waarovergegevens worden verzameld, spelen op middellange of lange ter-mijn, zodat gegevensverzameling binnen de contractuele looptijdvan het project per definitie voorbarig is (4). De met deze midde-len verzamelde informatie heeft derhalve weinig praktisch nutgehad voor de evaluaties van KP5 en KP6.

78. Geen van de bestaande systemen regelt echter dat er opgestandaardiseerde wijze informatie wordt verzameld aan heteinde van (of kort na) de looptijd van een project. Bij navraag sug-gereerden betrokkenen dat dergelijke informatie onder meer derealisatie van projectdoelstellingen kon omvatten, alsmede debeoogde (en onvoorziene) resultaten en de indruk bij de deelne-mers dat de Gemeenschap een toegevoegde waarde oplevert. Dieinformatie kan ook dienen als basis voor externe onderzoekenvan voltooide projecten (5).

79. Samen met een uitgebreidere toepassing van scientome-trische methoden (zoals de citatie-analyse) om de project-resultaten te beoordelen (zie paragraaf 83) zou dit de Commissieeen basis kunnen geven om te komen tot een meer resultaat-georiënteerd systeem voor de cofinanciering van OTO-werkzaamheden door de Gemeenschap (6).

(1) Hoewel die informatie over de deelnemers meestal wel beschikbaar isbij de Commissie, is deze vaak niet eenvoudig te gebruiken voor gede-tailleerde analyses omdat de gegevens per deelnemer niet op één plaatsen ook niet altijd in een compatibele opmaak worden bewaard. Zowordt het moeilijk de betrokkenheid van een deelnemer door de tijdheen te volgen, bijvoorbeeld om redenen voor niet-deelneming teonderzoeken, of de relaties tussen deelnemers te volgen, bijvoorbeeldom netwerkeffecten te bestuderen (zie paragraaf 84).

(2) Jaarverslag over het begrotingsjaar 2006, tabel 2.3; Jaarverslag overhet begrotingsjaar 2005, paragraaf 7.13; Jaarverslag over het begro-tingsjaar 2004, paragrafen 6.8 en 6.10; Jaarverslag over het begro-tingsjaar 2003, paragrafen 6.9 en 6.70; Speciaal verslag nr. 1/2004,paragrafen 105-108; Advies nr. 1/2006 over het voorstel voor eenverordening van het Europees Parlement en de Raad tot vaststellingvan de regels voor de deelname van ondernemingen, onderzoeks-centra en universiteiten aan acties op grond van het zevende kader-programma, en voor de verspreiding van onderzoeksresultaten (2007-2013) (PB C 203 van 25.8.2006), paragraaf 57.

(3) Verdrag tot oprichting van de Europese Gemeenschap, artikel 173:„Aan het begin van elk jaar legt de Commissie aan het Europees Par-lement en de Raad een verslag voor. Dit verslag heeft met namebetrekking op de activiteiten inzake onderzoek en technologische ont-wikkeling en verspreiding van de resultaten in het voorafgaande jaaralsmede op het werkprogramma van het lopende jaar.”

(4) Er is niet systematisch getracht bij de deelnemers gegevens te verza-melen na de voltooiing van het project, behalve met specifieke onder-zoeken in het kader van de evaluaties. Het nut van die onderzoeken isbeperkt doordat deelnemers niet wettelijk verplicht zijn zulke analy-tische gegevens te verstrekken, hetgeen wel het geval is bij een aantalnationale OTO-programma’s, bijvoorbeeld in Duitsland.

(5) Speciaal verslag nr. 1/2004, paragraaf 94; Advies nr. 1/2006, para-graaf 56.

(6) Jaarverslag over het begrotingsjaar 2006, paragraaf 7.33; Jaarverslagover het begrotingsjaar 2005, paragrafen 7.8 en 7.29; Adviesnr. 1/2006, paragrafen 58-61.


Andere gegevensbronnen worden niet behoorlijk benut

80. Er wordt onvoldoende gebruik gemaakt van anderebestaande gegevensbronnen binnen de Commissie en in de lid-staten (bijvoorbeeld de databanken van nationale OTO-programma’s en financieringsorganen en de Informatiedienstbetreffende communautaire onderzoeken ontwikkelings-werkzaamheden (Cordis), die wordt gerund door het Publicatie-bureau van de Commissie (1)).

Door de Commissie verrichte evaluatiestudies

Door de Rekenkamer onderzochte verslagen

81. De Rekenkamer onderzocht 86 evaluatiestudies die sinds2000 door (of voor) de Commissie werden uitgevoerd. Hieron-der vallen alle 36 studies waarop de in 2004 gepubliceerde VJBberustte en de 50 andere studies die sindsdien werden voltooid.Daarvan kunnen slechts 23 studies worden beschouwd als echteevaluaties van het KP en zijn programma’s (zie figuur 5).

Figuur 5

Overzicht van de door (of voor) de Commissie in de periode 2000-2006 verrichte evaluatiestudies

Soort studie Aantal Beschrijving

Evaluaties van KP-werkzaamheden 23 Evaluatiestudies— die zijn gebaseerd op erkende methodologieën (1),

en— specifiek verwijzen naar programmadoelstellingen

en aangeven in hoeverre de programma-doelstellingen zijn gerealiseerd.

Nationale impactbeoordelingen op lidstaat-niveau

12 Door lidstaten verrichte studies die vooral gericht zijn opde nationale participatiegraad en geen conclusies trekkeninzake de programmadoelstellingen.

Methodologische studies 5 Door de Commissie georganiseerde studies als bijdrageaan de ontwikkeling van evaluatiemethodologieën.

Studies van de stand van het OTO in Europa 2 Studies die gericht zijn op de contextuele analyse van deonderzoekswereld in Europa, niet op de KP’s. Met namewordt niet expliciet verwezen naar het effect dat de KP’shebben op de nationale systemen voor onderzoek eninnovatie.

Niet-analytische beschrijvende en statistischedocumenten

33 Documenten gekenmerkt door een zeer indirecte bena-dering van de KP-activiteiten, die vaak beschreven maarniet geanalyseerd worden.

Andere documenten 11 Een reeks documenten betreffende algemene beleids-aspecten waarin de KP’s niet in deze context wordenonderzocht.

(1) Hanne Foss Hansen, „Choosing evaluation models. A discussion on evaluation design”, Evaluation, vol. 11, nr. 4, 2005, blz. 447-462.

De evaluaties zijn toegespitst op aspecten van toezicht maar niet opuitkomsten en impact

82. De meta-analyse van deze specifieke evaluatiestudiesdoor de Rekenkamer levert twee belangrijke bevindingen op:

— hoewel in vele van de studies wordt getracht conclusies tetrekken over de programmadoelstellingen, zijn deze conclu-sies vaag zodat de lezer niet overtuigd is dat de evaluatie

daarop werkelijk betrekking heeft. Dat komt vaak doordathet ontbreken van duidelijke programmadoelstellingen hethele proces ernstig ondermijnt (zie paragraaf 28);

— in plaats van de uitkomsten en impact van de KP’s of de spe-cifieke programma’s (en subprogramma’s) daarvan te evalue-ren, zijn vele van die documenten beschrijvend en in hetbeste geval gericht op directe output en aspecten van project-beheer. Deze verslagen kunnen geen overtuigend bewijs leve-ren met betrekking tot uitkomsten of impact.

Onvoldoende aandacht voor de ontwikkeling van innovatievemethodologieën

83. Voor de evaluaties in de periode 2000-2006 wordt over-wegend gebruik gemaakt van traditionele methodologieën en

(1) Cordis is de enige databank met informatie over voorstellen, projec-ten en resultaten die het gehele KP en verscheidene programmerings-perioden bestrijkt en die van buiten de Commissie toegankelijk is. Degegevens over afzonderlijke projecten in Cordis worden echter vaakniet meer bijgewerkt na de selectie van het voorstel. Tot en met KP6waren de uit de publieke en particuliere sector afkomstige deelnemersaan de KP’s niet verplicht hun resultaten te publiceren (EuropeanResearch Advisory Board (EURAB), „Scientific publication: policy onopen access”, december 2006).


technieken (met name onderzoeken, beoordeling van stukkenen interviews) (zie figuur 6). Verder werd een aantal anderegeavanceerde maar gevestigde evaluatiemethodologieën en-technieken niet of zeer zelden toegepast, met name:

— scientometrische methoden (zoals de citatie-analyse) (1),

— kwantitatieve modellen (kostenefficiëntie, kosteneffectiviteit,kosten/baten) (2), of

— actor- of gedragsmodellen (gericht op de zienswijze van debetrokkenen bij een interventie, bijvoorbeeld de kenmerkenvan onderzoeksnetwerken en de wijzigingen daarvan in deloop der tijd).

84. Slechts in een beperkt aantal gevallen werd bij evaluatie-studies getracht in te gaan op methodologische problemen bij debeoordeling van de overheidsinterventie in onderzoeksactiviteiten(zie bijlage I):

— onlangs werden twee studies omtrent interventielogicavoltooid (3);

— er werden slechts drie studies aangetroffen waarin wordtgetracht te meten welk effect de communautaire financieringhad op de pan-Europese netwerkvorming tussen onderzoeks-organisaties (4), hoewel de veronderstelling van een positiefeffect de kern van het EOR-concept vormt;

(1) Tot en met KP6 waren de deelnemers aan de KP’s uit de publieke enparticuliere sector niet verplicht hun wetenschappelijke resultaten tepubliceren. Vrije toegang van het publiek tot het door de Gemeen-schap gefinancierde onderzoek door verplichte publicatie werd indecember 2006 aanbevolen door de EURAB. Tevens werd voorgestelddat de Commissie op het internet een bewaarplaats voor gepubliceerdeprojectresultaten zou inrichten (EURAB, „Scientific publication: policyon open access”, december 2006).

(2) Opgemerkt wordt dat dergelijke modellen werden gebruikt om demicro- en macro-economische effecten van het geplande KP7 te voor-spellen (Europese Commissie, „Monitoring Report 2004: implemen-tation of activities under the EC and Euratom framework andcorresponding specific programmes”, augustus 2005, blz. 23-25). Eris echter geen bewijs dat deze beoordeling van de mogelijke economi-sche impact van de KP’s gekoppeld is aan enig plan voor evaluatie ach-teraf.

(3) DG Informatiemaatschappij en Media: „IST-RTD Monitoring and Eva-luation: Results and impact indicators (2003-2004)”, 2005; „Networksof innovation in information society development and deployment inEurope”, 2006.

(4) DG Informatiemaatschappij en Media: „ERAnets — Evaluation of Net-works of Collaboration between Participants in IST Research and theirEvolution to Collaborations in the European Research Area”, eindver-slag, 2005; „Evaluation of progress towards a European Research Areafor information society technologies”, 2005; „Networks of innovationin information society development and deployment in Europe”,2006.

Figuur 6

Gebruik van methodologieën en technieken bij de KP-evaluatie (2000-2006)

Noot: Gebruik van meerdere technieken per evaluatie is mogelijk.Bron: ERK.


— slechts in één geval werd getracht te komen tot conclusiesover de bereikte impact op het niveau van de programma’s(of subprogramma’s) door de samenvoeging van analyses vande evaluaties op projectniveau te combineren met andereevaluatietechnieken (1), en

— er was geen bewijs voor het gebruik van andere methodolo-gieën zoals feitentoetsing (of controlegroepen). Een dergelijkeaanpak zou bijzonder nuttig zijn ter illustratie van de toege-voegde waarde van programma’s op communautair niveau,in vergelijking met het achterwege blijven van interventie (ofinterventie op nationaal of regionaal niveau).

85. Door de Rekenkamer ondervraagde betrokkenen warenvan mening dat het nut en de relevantie van de evaluaties van deCommissie vatbaar waren voor verbetering. Dit wijst op de

noodzaak van verdere methodologische ontwikkeling om tekomen tot een evaluatiesysteem dat rekening houdt met de ver-anderende aard van de KP’s (zie paragraaf 7) (2).

Belangrijke kwesties die in de VJB’s aan de orde werden gesteld kondenniet worden aangepakt op basis van de specifieke evaluatiestudies van deCommissie

86. Dat blijkt ook uit de grote problemen die het panel voorde VJB 2004 (3) ondervond bij het beantwoorden van de in deopdracht voorgestelde evaluatievragen. Vele van deze uitdagendevragen konden helemaal niet worden behandeld omdat eerderdoor (of voor) de Commissie uitgevoerde en relevante studies ont-braken en omdat de panelleden niet de mogelijkheid hadden tij-dig opdracht te geven voor dergelijke studies (zie figuur 7).

Figuur 7

Beantwoording van evaluatievragen in de VJB van 2004

Evaluatievraag Beantwoord inverslag?

UITVOERING

Werden de activiteiten efficiënt uitgevoerd? gedeeltelijk

Waren de activiteiten kostenefficiënt? gedeeltelijk

Waren de activiteiten de beste manier om de gekozen doelstellingen te bereiken? nee

Waren de algemene regelgeving (inclusief regels inzake deelname en contracten), de beleidsinstrumenten en deuitvoeringsvoorschriften duidelijk, adequaat en doeltreffend? nee

Waren de financiering en de andere beschikbare middelen toereikend? nee

Waren de beoogde industriële en wetenschapswereld, waaronder het MKB, in staat behoorlijk te reageren? ja

VERWEZENLIJKING

Zijn met de activiteiten hun respectieve doelstellingen bereikt en in hoeverre waren er onverwachte resultaten? nee

Wat zijn de voornaamste resultaten, vooral in termen van wetenschappelijke, technologische,sociaaleconomische en milieu-output, in termen van internationale samenwerking, kennisoverdracht eninnovatie, normerende activiteiten, toegankelijkheid, verspreiding en begrip van onderzoek, ontwikkeling vanpersonele middelen, mobiliteit en opleiding, en in termen van ondersteuning en versterking van de coördinatievan de onderzoeksactiviteiten?

nee

Waren de resultaten, effecten en impact in het algemeen bevredigend uit het oogpunt van de directe of indirectebegunstigden en betrokkenen? nee

Werd de betrokken industriële en wetenschapswereld, waaronder het MKB, voldoende aangesproken? ja

Hoe en in welke mate hebben de activiteiten bijgedragen tot een beter concurrentievermogen van het Europeesonderzoek op internationaal niveau? Heeft het Europees onderzoek op specifieke terreinen een leidende positieingenomen?

gedeeltelijk

Hoe en in welke mate hebben de activiteiten bijgedragen aan het EU-beleid in het algemeen en aan de EU-strategievoor duurzame ontwikkeling? nee

Zijn er bewijzen dat er ten gevolge van de communautaire onderzoeksactiviteiten op nationaal of internationaalniveau structurele veranderingen plaatsvonden, met name ook op het gebied van netwerken, integratie encoördinatie van het onderzoek?

nee

Waren de programma’s kosteneffectief? Hadden de acties een blijvende impact? nee

EVOLUTIE ENVOORUITZICHTEN

Hoe evolueerden de kaderprogramma’s in termen van grondgedachte, doelstellingen, thematische prioriteiten,evenwicht tussen opwaartse en neerwaartse prioriteiten en tussen fundamenteel en toegepast onderzoek,instrumenten, Europese toegevoegde waarde en andere soorten impact, vooral in het licht van het ontstaan vanhet EOR-concept, de doelstellingen van Lissabon en de grote internationale economische enonderzoeksijkpunten?

ja

Hoe zorgde het kaderprogramma voor een Europese toegevoegde waarde? ja

Kan de Europese toegevoegde waarde worden bereikt met andere internationale of nationale mechanismen? nee

Zijn de beleidsdoelstellingen, prioriteiten, instrumenten en looptijd van de programma’s berekend op detoekomst? ja

(1) DG Informatiemaatschappij en Media: Framework contract for Impactassessments for research in the field of Information Society Techno-logies.

(2) EURAB, „Recommendations on Ex-post Impact Assessment”,juli 2007.

(3) Europese Commissie, „Five-year assessment of the European UnionResearch Framework Programmes 1999-2003”, verslag van het panelvan onafhankelijke deskundigen onder voorzitterschap van ErkkiOrmala (15 december 2004), bijlage 1.


87. Bovendien werd opgemerkt dat de panelleden de in deopdracht vermelde vragen alleen konden beantwoorden vooraspecten waarvoor in de programma’s duidelijke en kwantificeer-bare doelstellingen waren aangegeven (zoals het aandeel van dedeelnemende kleine en middelgrote ondernemingen).

Evaluaties op nationaal niveau voor de KP’s

88. Verscheidene lidstaten en geassocieerde landen verrich-ten hun eigen nationale evaluaties van de KP’s, waarbij ze rele-vante en interessante vragen onderzoeken vanuit hun eigenperspectief (1). De afgelopen acht jaar werden 14 van deze stu-dies verricht voor negen lidstaten en één geassocieerd land.

89. Hoewel de Commissie een gestandaardiseerde aanpak —waar mogelijk — aanmoedigde, waren deze nationale impact-studies zeer heterogeen (2). Aangezien hierbij geen geharmoni-seerde methodologie werd toegepast, zijn er weinigmogelijkheden om de resultaten samen te voegen, te combinerenof te vergelijken. Door hun nationaal karakter kunnen die studiesook slechts ten dele de dimensie van de Europese samenwerkingweergeven.

90. In het „Groenboek” van de EOR uit 2007 wees de Com-missie erop hoe belangrijk het was dat op EOR-niveau accurateanalyses beschikbaar waren van de impact en doeltreffendheidvan onderzoeksacties en -beleid, ook van de lidstaten en de EU.Tevens erkende zij dat de bestaande regelingen ontoereikendwaren om dat te realiseren doordat op elk interventieniveau apartevaluaties werden uitgevoerd (3).

Aanbevelingen

91. De Commissie dient een handleiding op te stellen voorde evaluatie van de met de KP’s gefinancierde acties; deze moetde voornaamste begrippen en terminologie definiëren en eenaantal geschikte methodologieën vastleggen voor bepaaldeevaluatiewerkzaamheden. De handleiding moet voortbouwen opbestaande richtlijnen en instrumenten, en regelmatig worden bij-gewerkt.

92. De Commissie moet haar informatiebehoeften vaststel-len, rekening houdend met de noodzaak de administratieve lastvoor de deelnemers te beperken.

93. De Commissie moet tijdig toezichtinformatie verstrek-ken inzake de uitvoering van de KP’s. Zoals de deelnameregelsvoor KP7 voorschrijven, moeten problemen in verband met deIT-systemen van de Commissie voor het beheer van de gegevensinzake programmabeheer en deelnemers dringend worden aan-gepakt.

94. De plicht van de deelnemers tot rapportage aan de Com-missie moet sterk worden beperkt en er mogen alleen steek-proefsgewijs enquêtes worden verricht. De contractueleverplichting, voor elk project op indicatoren gebaseerde impact-gegevens voor te leggen, moet worden vervangen door een ver-plichte korte zelfevaluatie na afronding van het project.

95. De Commissie moet voor haar evaluaties uitgebreidergebruik maken van de bestaande aanvullende bronnen van rele-vante gegevens (binnen de Commissie en in de lidstaten).

96. De Commissie moet het hele gamma van beschikbareevaluatietechnieken benutten. Bovendien moet zij de ontwikke-ling van innovatieve benaderingen steunen om zo de methodo-logische problemen aan te pakken die inherent zijn aan hetevalueren van overheidsinterventies in onderzoek (zie bijlage I);zij moet die benaderingen ook volgen bij haar eigen evaluaties.

97. De Commissie moet met de lidstaten overleggen hoe denationale evaluaties van de KP’s optimaal kunnen worden benut.

Verspreiding en benutting van de evaluatiebevindingen

98. De evaluatie moet relevante informatie en analyses ople-veren die doeltreffend kunnen worden gebruikt voor programma-beheer en beleidsvorming. Meer bepaald moet de evaluatie dienenals basis voor een welgeïnformeerde afweging van de sterke enzwakke punten van een overheidsinterventie die nodig is om bijte leren. De Rekenkamer onderzocht in hoeverre de evaluatiesgoed getimed waren, de bevindingen werden verspreid en mee-gedeeld aan de betrokkenen buiten de Commissie en aanbevelin-gen ter harte werden genomen door de Commissie om lopendeprogramma’s bij te sturen („lerende” programma’s).

Bij de timing van de evaluaties werd geen rekening gehouden met hetsoort informatie dat realistisch gezien kon worden verwacht

99. De Rekenkamer onderkent dat bepaalde soorten analyseeen langetermijnperspectief vereisen (bijvoorbeeld de evaluatievan de uitkomsten en de sociaaleconomische impact) en dat som-mige aspecten een specifieke programmeringsperiode betreffen(bijvoorbeeld de programmadoelstellingen, zelfs binnen eenbepaald wetenschappelijk terrein), terwijl dat bij andere niet hetgeval is (zie figuur 8). De Commissie heeft voor haar evaluatie-werkzaamheden echter niet voor een aanpak gekozen die dittijdsaspect in aanmerking neemt.

100. De regelgeving bepaalt dat de Commissie bij haar voor-naamste evaluatiewerkzaamheden uitsluitend moet kijken naar devijf jaar die voorafgaan aan een VJB, zodat delen van twee opeen-volgende programmeringsperioden worden bestreken. Dit brengtmee dat de uitkomsten en impact op middellange en lange ter-mijn nauwelijks aan de orde zijn gekomen. Dat heeft weer totgevolg dat de VJB’s vooral aandacht hebben besteed aanmonitoring-aspecten, kortetermijnvraagstukken omtrentprogrammaontwerp en algemene opmerkingen over de oriënta-tie van de KP’s. De Rekenkamer is ingenomen met het feit dat deregelgeving betreffende KP7 niet langer VJB’s voorschrijft en ookgeen andere vooraf vastgelegde te bestrijken periode.

(1) Europese Commissie, „The impact of EC R&D policy on the Europeanscience and technology community; National impact studies synthe-sis final report” (1995).

(2) Europese Commissie, „Design of a harmonized impact study metho-dology for the R&D EU Framework Programmes” (1992).

(3) Werkdocument SEC(2007) 412/2 van de diensten van de EuropeseCommissie, „The European Research Area: new perspectives” van4 april 2007, paragraaf 3.3.3 „ERA and the implications for evidence-based monitoring and evaluation”, blz. 93.


Figuur 8

Aspecten van toezicht en evaluatie vanuit verschillend tijdsperspectief

Toezicht op de programma-uitvoering(lopend)

— Aspecten van programmabeheer (zoals de tijd tot contractsluiting, de tijdtot betaling, inschrijvings- en slaagpercentages, begrotingsuitvoering,financieringspercentages, enz.)

Evaluatieop korte termijn

(ten vroegste na een à twee jaar)

— Aspecten van programmabeheer (zoals de doelmatigheid van de admini-stratieve procedures)

— Aspecten van programmaontwerp (zoals de toegankelijkheid en soepelheidvan de instrumenten, belemmeringen voor deelname, gevolgen van hetniet slagen van uitnodigingen tot het indienen van voorstellen, enz.)

— Analyse van deelnameprofielen (in deze fase vooral kwantitatief)

Evaluatieop middellange termijn(na ongeveer zeven jaar)

— Aspecten van programmaontwerp (zoals de doeltreffendheid van de instru-menten)

— Analyse van deelname (die kwalitatieve en kwantitatieve aspecten combi-neren, zoals analyse van onderzoeksnetwerken, impact op het gedrag vande onderzoekers, enz.)

— Analyse van projectoutput (1) (zoals publicaties, verhandelingen,octrooien, licenties, normen, prototypes, getrainde wetenschappers, enz.)

Evaluatieop lange termijn

(na meer dan tien jaar)— Beoordeling van uitkomsten en impact

(1) Opgemerkt zij dat subsidieovereenkomsten voor projecten gedurende de hele programmeringsperiode worden ondertekend; de eersteworden doorgaans van kracht aan het einde van het eerste programmajaar. Ze hebben meestal een looptijd van drie tot vijf jaar, met hetgevolg dat de definitieve output ten vroegste kan worden verwacht na vier à zes jaar.

Bron: Europese Rekenkamer.

101. De tekortkomingen van de VJB’s wat betreft de beoor-deling van de uitkomsten en impact van de KP’s werden ookopgemerkt door de deskundigen van de Commissie:

— het VJB-panel van 2004 merkte op dat bij evaluatie lange- enkortetermijnvraagstukken moeten worden bekeken en vol-doende aandacht moeten krijgen en dat middelen kunnenworden ingezet voor ambitieuzere evaluatiestudies op langetermijn die op meer systematische wijze structurele en bre-dere sociaaleconomische thema’s kunnen onderzoeken (1);

— in een studie in opdracht van DG Onderzoek werd vastge-steld dat de bestaande EU-praktijken inzake OTO-evaluatie(waaronder voortdurend toezicht, vijfjaarlijkse beoordelingenen evaluatie halverwege de looptijd) worden gekenmerktdoor meer aandacht voor toezicht dan voor impact-beoordeling, alsook dat, om de vraag en de verwachtingen terichten op de sociaaleconomische impact, een nieuwevaluatie- en toezichtskader nodig is dat ertoe verplicht deinspanningen te verleggen van toezicht op outputs naar wer-ken op impactniveau (2).

102. Het tijdigheidsaspect speelt ook een rol bij de specifiekeevaluaties, voorgeschreven in de regelgeving. Zo werd hetMarimón-rapport 2004, dat de nieuwe instrumenten vanKP6 (2003-2006) onderzocht, te vroeg verwacht, met het resul-taat dat er weinig of geen praktijkervaring en empirisch bewijswas waarop de conclusies konden worden gebaseerd (3).

Mededeling en verspreiding

103. De Commissie kan zelfstandig de operationele werk-programma’s ontwikkelen en aanpassen in korte termijncycli,mits dit door het bevoegde programmacomité wordt goedge-keurd. Dit kan de gelegenheid bieden om het programmabeheerbij te stellen en de aan subprogramma’s toegewezen middelen teherschikken. Er was geen bewijs dat de Commissie deze moge-lijkheid benut (zie paragraaf 107).

104. Gezien de wijze waarop de KP’s worden opgezet engoedgekeurd is het bovendien voor de Commissie nagenoegonmogelijk grote veranderingen aan te brengen zoals een wijzi-ging van de programmadoelstellingen of een herverdeling vanbudgetten over de subprogramma’s. Alleen de wetgever kan zulkeingrijpende wijzigingen doorvoeren bij een herziening van deKP-regelgeving (bijvoorbeeld in 2010 voor KP7) of bij de vaststel-ling van het volgende KP. Om die reden is juist in de regelgevingbepaald dat de grote evaluatierondes zo moeten worden gepro-grammeerd dat de resultaten ervan zo goed mogelijk in aanmer-king kunnen worden genomen bij de beleidsvorming.

(1) Europese Commissie, „Five-year assessment of the European UnionResearch Framework Programmes 1999-2003”, rapport van het panelvan onafhankelijke deskundigen onder voorzitterschap van ErkkiOrmala (15 december 2004): deel 6 „Evaluating the Framework Pro-gramme”, blz. 19.

(2) Europese Commissie, „Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, de zogenaamde „EPUB Toolbox”uitgegeven door het Gemeenschappelijk Centrum voor Onderzoek(GCO) — Instituut voor Prospectieve Technologische Studies (IPTS) enJoanneum Research (augustus 2002), samenvatting, blz. 9 en 12.

(3) Europese Commissie, „Evaluation of the effectiveness of the NewInstruments of Framework Programme VI”, 21 juni 2004, rapport vaneen groep deskundigen op hoog niveau onder voorzitterschap vanprofessor Ramón Marimón, blz. 20.


105. Om die reden maken onder meer de „onderzoeks-DG’s”zelf intensief gebruik van de evaluaties van de Commissie (1). Deregelgeving voor de KP’s bepaalt echter uitdrukkelijk dat de eva-luaties ook moeten worden meegedeeld aan het Europees Parle-ment en de Raad.

106. Toch verklaren de meeste respondenten op de enquêtevan de Rekenkamer bij de commissie ITRE van het Europees Par-lement en het comité CREST van de Raad dat zij menen onvol-doende te worden geïnformeerd over de uitvoering en deresultaten van de KP’s (zie figuur 9) (2).

Follow-up van de evaluatiebevindingen

107. In haar jaarlijkse evaluatieverslagen geeft de Commissieeen overzicht van de bevindingen en van de op grond van haarevaluaties getroffen maatregelen (3). Bij wijze van follow-up heeftde Commissie ook formeel geantwoord op de bevindingen enaanbevelingen van de VJB’s en de wettelijk voorgeschreven spe-cifieke evaluaties; voor zover mogelijk heeft zij ook passendemaatregelen getroffen om de daarin genoemde tekortkomingenaan te pakken. Dat was echter niet het geval voor vele van deandere bestudeerde evaluatieverslagen en er werd geen bewijsgevonden dat op basis van hun bevindingen en aanbevelingen dewerkprogramma’s werden gewijzigd. Evenmin blijkt uit de ABB-begrotingsstaten en jaarlijkse activiteitenverslagen van de DG’s inhoeverre actie werd ondernomen naar aanleiding van deevaluatiebevindingen.

Aanbevelingen

108. De Commissie dient de aard en reikwijdte te bepalenvan de evaluatie die redelijkerwijs mag worden verwacht op dewettelijk voorgeschreven tijdstippen (in 2008, 2010 en 2015), teverklaren hoe de evaluaties kunnen worden benut om deprogramma’s aan te passen („lerende” programma’s) en aan tegeven wat de evaluaties kunnen bijdragen aan beleids-beslissingen. Meer bepaald moet de Commissie verduidelijkenwelke aanpak zij wil volgen betreffende de evaluatie van de resul-taten op lange termijn van de vroegere en lopende KP’s, aange-zien het zeven tot tien jaar kan duren voordat die resultatenworden gerealiseerd (zie figuur 8).

109. De Commissie moet haar praktijken inzake het mede-delen en verspreiden van haar evaluatiebevindingen herzien omervoor te zorgen dat de betrokkenen de nodige informatie ont-vangen. Meer bepaald moeten de „onderzoeks-DG’s” formeel ant-woorden op alle evaluaties en die studies tijdig bekendmaken,samen met hun antwoorden. De „onderzoeks-DG’s” moeten ookin hun ABB-begrotingsstaten en hun jaarlijkse activiteiten-verslagen de gegeven follow-up melden en aanbevelingen doenwanneer zij werkprogramma’s bijwerken en nieuweprogramma’s ontwerpen.

ALGEMENE CONCLUSIE

110. De Rekenkamer erkent dat het evalueren van de OTO-programma’s, en dan vooral het beoordelen van de langetermijn-resultaten ervan, op zichzelf al een moeilijke taak is en datmoeilijk te bepalen is welke de beste praktijken zijn.

(1) European Policy Evaluation Consortium (EPEC), Technopolis France,„Study on the use of evaluation results in the Commission: Finalreport”, dossier nr. 1, Synthesis report and Annexes, mei 2005.

(2) Dat de respondenten van CREST, die vaak ook lid zijn van deprogrammacomités, een grotere tevredenheid betuigen, kan te makenhebben met hun formele rol bij het toezicht op de programma-uitvoering.

(3) Werkdocument van de diensten van de Europese Commissie, „AnnualEvaluation Review 2004—Overview of the Commission’s evaluationfindings and activities”, SEC(2005) 587 van 28 april 2005.

Figuur 9

Perceptie van institutionele betrokkenen — tevredenheid met ontvangen informatie

Bron: ERK-enquête 2007.


111. Naar het oordeel van de Rekenkamer is evaluatie vanessentieel belang voor het programmabeheer, voor de verdereplanning en voor de beleidsvorming. Evaluatie biedt ook een basisvoor verantwoording. Ze biedt waardevolle informatie over welkebeoogde (of onvoorziene) resultaten werden bereikt, over de matewaarin de programmadoelstellingen werden gerealiseerd, overnut en relevantie van de programma’s en over de efficiëntie endoeltreffendheid van de programma-uitvoering. Aangezien hetEuropees Parlement en de Raad beslissen over de algemene oriën-tatie, de begroting en het programmaontwerp van de KP’s, is eendoorzichtig, geloofwaardig en degelijk evaluatiesysteem vereistom hun de juiste informatie te bezorgen.

112. De Commissie zette een globaal evaluatiekader op in2000 en 2002, dat vervolgens werd herzien in 2007. Hoewel tij-dens de door de Rekenkamer gecontroleerde periode geen sterkeverbetering werd opgemerkt van de manier waarop de evaluatiesvan de KP’s en hun deelprogramma’s worden gepland, ontwor-pen en uitgevoerd, hebben de „onderzoeks-DG’s” in het algemeenvoldaan aan de formele voorschriften voor de hele Commissie.

113. Voor de door dit verslag bestreken periode beschiktende „onderzoeks-DG’s” over een evaluatiesysteem, zoals deKP-regelgeving voorschrijft, en kan de Commissie bogen op eenaanzienlijk aantal evaluatiestudies. Toch blijft het feit dat weinigtot niets bekend is over de verwezenlijking van de programma-doelstellingen en de resultaten van de KP’s. Dit komt doordat deevaluaties doorgaans op de programma-uitvoering op korte ter-mijn zijn gericht. Het gevolg daarvan was dat de evaluaties van deCommissie van beperkt nut waren voor de beleidsmakers, debetrokkenen en zelfs voor de Commissie zelf.

114. Gezien het belang van de evaluatie voor hetprogrammabeheer en de beleidsvorming moet de wijze waaropde Commissie de evaluatie van de KP’s en hun deelprogramma’saanpakt opnieuw worden bekeken in het licht van de nieuwepolitieke uitdagingen, de verhoogde financiering, een verbredeoriëntatie van het communautaire onderzoeksbeleid en de recentehervorming van de Commissie. Ook de EURAB heeft dit aanbe-volen in zijn rapport van 2007.

115. De Rekenkamer is van mening dat het toepassen vaneen expliciete interventielogica bij het ontwerpen van de volgendeKP’s zou leiden tot beter gerichte en gestructureerde programma’s.Het zou ook bijdragen aan het beleid van de Commissie strek-kende tot een „betere regelgeving”, dat gericht is op een beteropgesteld, eenvoudiger, doeltreffender en beter begrepenregelgevingskader (1).

116. De evaluatie van de KP’s en hun deelprogramma’s zoudoeltreffender zijn wanneer de programmadoelstellingen en indi-catoren van meet af aan duidelijker waren, de „onderzoeks-DG’s”die de KP’s uitvoeren een degelijke maar niet al te prescriptievedwingende evaluatiestrategie afspraken en meer geavanceerdeevaluatiemethodologieën, met onder meer kwantitatieve benade-ringen, werden toegepast.

117. De Rekenkamer stelde ook vast dat de bestaande orga-nisatorische regelingen van de Commissie voor de evaluatie vande KP’s nog op een aantal punten kunnen worden herzien. Hetkan nuttig zijn:

— eerder in het evaluatieproces panels in te zetten, zodat deCommissie tijdens de hele programmeringsperiode en ookdaarna assistentie krijgt en de specialisatie wordt versterktdoor te werken met panels voor specifieke programma’s eneventueel subprogramma’s;

— naast de bestaande DG-specifieke evaluatie-eenheden tevoorzien in een gemeenschappelijk evaluatiebureau dat deKP-evaluaties moet coördineren.

118. De in dit verslag opgenomen aanbevelingen berustenop bestaande praktijken binnen de Commissie, dan wel op inter-nationale goede praktijken. Wat betreft de middelen is duidelijkdat de invoering van de voorgestelde benadering van programma-evaluatie hogere kosten met zich zou brengen. Niettemin is deRekenkamer van oordeel dat deze hoogstwaarschijnlijk ten min-ste zouden worden terugverdiend.

Dit verslag werd door de Rekenkamer te Luxemburg vastgesteld op haar vergadering van22 november 2007.

Voor de RekenkamerHubert WEBERPresident

(1) Europese Commissie, DG Begroting, Mededeling aan de Commissievanmevr. Grybauskaitė in overeenstemmingmet de Voorzitter, „Resp-onding to strategic needs: reinforcing the use of evaluation”,SEC(2007) 213 van 21 februari 2007, blz. 4.


BIJLAGE I

METEN VAN DE IMPACT EN RESULTATEN VAN DE OVERHEIDSINTERVENTIEIN OTO

Hierna volgen enkele van de voornaamste methodologische problemen bij het meten van de impact en resul-taten van de overheidsinterventie in OTO:

— „toewijzingsproblemen”: deze zijn merkbaar bij de evaluaties en de prestatiemeting. Ze houden nauwverband met de additionaliteit, dat wil zeggen de vraag of veranderingen anders niet hadden plaatsgevon-den. Het feit dat resultaten moeilijk met een specifieke overheidsinterventie in verband kunnen wordengebracht, hangt ook samen met een groot aantal externe factoren (zoals de impact van andere beleidslij-nen of programma’s, wijzigingen in de regelgeving, maatschappelijke ontwikkelingen, enz.). Bovendienkan het niet bereiken van de verwachte resultaten in de onderzoekssector ook een succes zijn. Een extracomplicatie is het feit dat het blijkbaar moeilijk is de outputs van onderzoek — en dus zeker de uitkom-sten en impact — duidelijk in verband te brengen met specifieke aspecten van het OTO-proces en zelfsmet de afzonderlijke betrokkenen bij een onderzoeksactiviteit.

— „metingsproblemen”:

— „beschikbaarheid van gegevens”: in het algemeen betreffen de meeste beschikbare gegevens, in het bij-zonder de door middel van toezichtsystemen verzamelde gegevens, de input en output van de OTO-werkzaamheden, maar niet de uitkomsten of de impact;

— „inzicht in dynamiek”: daar het blijkbaar moeilijk is het causale verband tussen de input en de outputin een model weer te geven, is de interne werking van het onderzoeksproces onduidelijk, en omdateen expliciete interventielogica ontbreekt, wordt het proces zelf gewoonlijk als een „zwarte doos”gezien;

— „vergelijkbaarheid van resultaten”: de resultaten op verschillende wetenschapsgebieden zijn slechts inbeperkte mate vergelijkbaar, zodat ze doorgaans moeten worden geïnterpreteerd in het licht van spe-cifieke programma’s en subprogramma’s. Bovendien zijn de resultaten moeilijker te evalueren voorbasisonderzoek (fundamenteel onderzoek) dan voor toegepast onderzoek of technologische ontwik-keling. De hoofdreden hiervoor is het feit dat basisonderzoek gewoonlijk verloopt volgens unieke, nietherhaalbare procedures. Zelfs bij toegepast onderzoek zijn de resultaten sterk uiteenlopend en dus nietgemakkelijk te vergelijken;

— „aggregatie”: het is moeilijk uit de evaluatieresultaten met betrekking tot de output, uitkomsten enimpact op een lager niveau conclusies te trekken voor het hogere niveau (bijvoorbeeld de aggregatievan projectresultaten, eerst voor projectgroepen, dan voor sectoren binnen een programma en tenslotte voor het programma zelf);

— „geschiktheid van de indicatoren”: een andere vraag is of de beoordelaars het juiste aspect meten. Demeeteenheden moeten eenvoudig meetbaar en moeilijk manipuleerbaar zijn en het gewenste gedragsturen. Een „meetbare” indicator voor de output betekent echter niet noodzakelijkerwijs dat conclu-sies kunnen worden getrokken over uitkomsten of impact.

— „Problemen in verband met de timing”: een andere hinderpaal is het grote tijdsverloop tussen deonderzoeksactiviteit en het genereren van outputs en uitkomsten, het moment waarop de impact kan wor-den beoordeeld. Gegevens moeten over langere tijd worden verzameld, zodat zinvolle en steekhoudendeconclusies kunnen worden getrokken. Dergelijke tijdschema’s voor de evaluatie beantwoorden vaak nietaan de verwachtingen en behoeften van de beleidsmakers en er moet een compromis worden gevondentussen snelle resultaten ten behoeve van de beleidsvorming en het nemen van voldoende tijd om effectente laten uitkomen.

— „Projectonvolkomenheden”: bij de evaluatie van de uitkomsten en impact van afzonderlijke projectenbinnen een programma moet rekening worden gehouden met het feit dat de technologische en weten-schappelijke resultaten gewoonlijk zijn bereikt met gebruikmaking van eerder werk; evenzo kunnen deprojectresultaten door de deelnemer worden benut voor ander werk voordat de wetenschappelijke resul-taten worden gepubliceerd en geëxploiteerd. Daarom vormt een project niet noodzakelijk het meestgeschikte beoordelingskader, vooral voor uitkomsten en impact op langere termijn.


— „Geloofwaardigheid, integriteit en onafhankelijkheid”: de kwaliteit van een evaluatie hangt sterk af vande mate van betrokkenheid van de beoordelaars bij het thema, waarbij een evenwicht moet wordengezocht tussen inzicht en deskundigheid enerzijds, en onafhankelijkheid en objectiviteit anderzijds. Eenandere factor vormen de uitgangspunten en belangen van de beleidsmakers en de grondgedachte en hetoogmerk van de evaluatie.


BIJLAGE II

BEPALINGEN INZAKE TOEZICHT EN EVALUATIE IN DE REGELGEVENDE BESLUITEN VOOR KP4-KP7

KP4 (1995-1998) (1) KP5 (1999-2002) (2) KP6 (2003-2006) (3) KP7 (2007-2013) (4)

Kaderprogrammabesluit — Raad en EP

Besluit nr. 1110/1994/EG van het Europees Parle-ment en de Raad van 26 april 1994 betreffende hetvierde kaderprogramma van de Europese Gemeen-schap van communautaire werkzaamheden op hetgebied van onderzoek, technische ontwikkeling endemonstratie (1994-1998): artikel 4

Besluit nr. 182/1999/EG van het Europees Parle-ment en de Raad van 22 december 1998 betref-fende het vijfde kaderprogramma van de EuropeseGemeenschap voor activiteiten op het gebied vanonderzoek, technologische ontwikkeling endemonstratie (1998-2002): artikelen 5 en 6

Besluit nr. 1513/2002/EG van het Europees Par-lement en de Raad van 27 juni 2002 betreffendehet zesde kaderprogramma van de EuropeseGemeenschap voor activiteiten op het gebied vanonderzoek, technologische ontwikkeling endemonstratie, ter bevordering van de totstandbren-ging van de Europese onderzoeksruimte en vaninnovatie (2002-2006): 20e overweging, artike-len 4 en 6, bijlage III

Besluit nr. 1982/2006/EG van het Europees Parle-ment en de Raad van 18 december 2006 betreffendehet zevende kaderprogramma van de EuropeseGemeenschap voor activiteiten op het gebied vanonderzoek, technologische ontwikkeling en demon-stratie (2007-2013): artikel 7

Toezicht

— op passende wijze bijgestaan door onafhanke-lijke externe deskundigen permanent en syste-matisch de stand van zaken in verband met deoorspronkelijke doelstellingen volgen (artikel 4,lid 1)

— ieder jaar, bijgestaan door onafhankelijkegekwalificeerde deskundigen, doorlopend ensystematisch de uitvoering van het KP en zijnspecifieke programma’s toetsen aan de handvan de in bijlage I vermelde criteria en de inbijlage II vermelde wetenschappelijke en tech-nologische doelstellingen (artikel 5, lid 1)

— [ieder jaar] bijgestaan door onafhankelijkegekwalificeerde deskundigen voortdurend ensystematisch toezicht houden op de uitvoe-ring van het KP en de specifieke programma’s(artikel 4 en artikel 6, lid 1)

— voortdurend en systematisch toezicht houdenop de uitvoering van het KP en de specifiekeprogramma’s ervan (artikel 7, lid 1)

— beoordelen of de doelstellingen, prioriteitenen financiële middelen nog steeds beantwoor-den aan de situatie zoals die zich heeft ontwik-keld en zo niet voorstellen indienen hoe hetKP en/of de specifieke programma’s aan tepassen of aan te vullen (artikel 5, lid 1)

— alle onderzoeksactiviteiten regelmatig toetsenen met name het niveau van de onderzoeks-expertise verifiëren (bijlage III, 1. Instrumen-ten)

— regelmatig verslag uitbrengen en de resultatenvan dit toezicht verspreiden (artikel 7, lid 1)

Artikel 173 — Jaarverslag

— uitvoerig verslag uitbrengen over de vorderin-gen bij de uitvoering van het KP en met namede vorderingen met het bereiken van de doel-stellingen en het nastreven van de prioriteitendaarvan als aangegeven onder elke titel vanbijlage I, alsmede het verstrekken van infor-matie over de financiële aspecten en hetgebruik van de instrumenten, in het kader vanhet door de Commissie uit hoofde van arti-kel 173 van het Verdrag voor te leggen jaar-lijkse verslag (artikel 4)

30.1.2008NL

PublicatiebladvandeEuropese

Unie

C26/25

KP4 (1995-1998) (1) KP5 (1999-2002) (2) KP6 (2003-2006) (3) KP7 (2007-2013) (4)

Tussentijdse beoordeling

— de vooruitgang met het programma bezienhalverwege de looptijd van het KP (artikel 6)

— op grond van de evaluaties van de verschil-lende specifieke programma’s aan het EP en deRaad een mededeling overleggen die, zonodig, vergezeld gaat van een voorstel tot aan-passing van dit besluit (artikel 6)

— in 2010, bijgestaan door externe deskundigen,een op feitenmateriaal gebaseerde tussentijdseevaluatie hebben verricht van dit KP en van despecifieke programma’s ervan, voortbouwendop de evaluatie achteraf van het vorige KP enmet name ingaand op de kwaliteit van delopende onderzoeksactiviteiten, de kwaliteitvan de uitvoering en het beheer en de vorderin-gen bij de verwezenlijking van de doelstellingen(artikel 7, lid 2)

— de desbetreffende conclusies samen met haaropmerkingen en, in voorkomend geval, voor-stellen voor de aanpassing van het KP, toezen-den aan het Europees Parlement, de Raad, hetEuropees Economisch en Sociaal Comité en hetComité van de Regio’s (artikel 7, lid 2)

— het Europees Parlement en de Raad regelma-tig op de hoogte brengen van alle vorderingenbij de uitvoering van het KP en de specifiekeprogramma’s (artikel 5, lid 4)

— regelmatig een voortgangsverslag over de uit-voering van het KP indienen bij het EuropeesParlement en de Raad (20e overweging)

— zodra er voldoende gegevens beschikbaar zijneen voortgangsverslag uitbrengen (voorafgaandaan de tussentijdse evaluatie) waarin de eerstebevindingen over de doeltreffendheid van denieuwe activiteiten uit hoofde van KP7 en vande vereenvoudigingsinspanningen zullen wor-den meegedeeld (artikel 7, lid 2)

— door onafhankelijke deskundigen de doeltref-fendheid van ieder van de instrumenten bij deuitvoering van dit programma laten evaluerenin 2004 (bijlage III, 1. Instrumenten)

Vijfjaarlijkse beoordeling (VJB)

— door onafhankelijke bevoegde deskundigen eenexterne evaluatie laten uitvoeren van het beheeren van de resultaten van de activiteiten van deGemeenschap in de loop van de vijf aan dezeevaluatie voorafgaande jaren (artikel 4, lid 2)

— door hooggekwalificeerde onafhankelijke des-kundigen een externe evaluatie laten verrich-ten van de uitvoering en de resultaten van decommunautaire activiteiten in de loop van devijf aan deze evaluatie voorafgaande jaren aande hand van de in bijlage I vermelde criteria ende in bijlage II vermelde wetenschappelijke entechnologische doelstellingen (artikel 5, lid 2)

— door hooggekwalificeerde onafhankelijke des-kundigen een externe evaluatie laten verrich-ten van de uitvoering en de resultaten van deactiviteiten van de Gemeenschap in de vijf jaardie aan deze evaluatie vooraf zijn gegaan (arti-kel 6, lid 2), (respectievelijk van de uitgevoerdeactiviteiten, met inachtneming van de bijdragevan KP6 aan de totstandbrenging van de Euro-pese onderzoeksruimte (20e overweging))

C26/26

NL


Unie

30.1.2008

KP4 (1995-1998) (1) KP5 (1999-2002) (2) KP6 (2003-2006) (3) KP7 (2007-2013) (4)

— het Europees Parlement, de Raad en het Econo-misch en Sociaal Comité in kennis stellen vande evaluatie en van de opmerkingen van deCommissie alvorens een voorstel voor het vol-gende KP in te dienen (artikel 4, lid 2)

— het Europees Parlement, de Raad, het Econo-misch en Sociaal Comité en het Comité van deRegio’s in kennis stellen van de evaluatie en deopmerkingen van de Commissie alvorens eenvoorstel voor het volgende KP in te dienen(artikel 5, lid 2)

— de conclusies van die evaluatie tezamen metde opmerkingen van de Commissie meedelenaan het Europees Parlement, de Raad, het Eco-nomisch en Sociaal Comité en het Comité vande Regio’s (artikel 6, lid 2), en wel tijdig envoordat een voorstel voor het volgende KPwordt ingediend (20e overweging)

Eindevaluatie

[zie besluit specifiek programma] — twee jaar na de voltooiing van KP7 (2015) eenexterne evaluatie van de achtergronden, de uit-voering en de resultaten ervan laten uitvoerendoor onafhankelijke deskundigen (artikel 7,lid 3)

— de conclusies ervan samen met haar opmerkin-gen toezenden aan het Europees Parlement, deRaad, het Europees Economisch en SociaalComité en het Comité van de Regio’s (artikel 7,lid 3)

Onafhankelijke deskundigen

— bij de selectie van de onafhankelijke deskun-digen op evenwichtige wijze rekening houdenmet de verschillende groepen wetenschappers,industriëlen en gebruikers en de lijst van des-kundigen met hun individuele kwalificatiesbekendmaken na hun aanstelling (artikel 5,lid 3)

[bijkomende bepalingen ten aanzien van deonafhankelijke deskundigen inBesluit 1999/65/EG van de Raad, artikel 9]

— De Commissie moet onafhankelijke deskundi-gen aanstellen om te helpen bij de evaluatiedie is voorgeschreven in het zesde kader-programma en de specifieke programma’s, envoor de bijstand bedoeld in artikel 10, lid 6, enin artikel 18, lid 1, tweede alinea.

— Bovendien kan zij groepen van onafhankelijkedeskundigen vormen om advies uit te brengenover de uitvoering van het communautairebeleid inzake onderzoek.

— [bepalingen ten aanzien van de onafhankelijkedeskundigen in Verordening (EG)nr. 2321/2002, artikel 11]

Voorbeeld van een specifiek programma — Raad

Beschikking 94/801/EG van de Raad van23 november 1994: artikel 4

Beschikking 1999/168/EG van de Raad van25 januari 1999: artikelen 4 en 6

Beschikkingen 2002/834/EG en 2002/835/EGvan de Raad van 30 september 2002 — artikel 8

Beschikking 2006/971/EG van de Raad van19 december 2006 betreffende het specifieke pro-gramma „Samenwerking”: artikel 8

30.1.2008NL


Unie

C26/27

KP4 (1995-1998) (1) KP5 (1999-2002) (2) KP6 (2003-2006) (3) KP7 (2007-2013) (4)

Toezicht

— voortdurend en systematisch, met passendehulp van onafhankelijke externe deskundigen,de voortgang van het programma bekijken(artikel 4, lid 1)

— bijgestaan door onafhankelijke externe des-kundigen de uitvoering van het specifieke pro-gramma toetsen en in voorkomend geval bijde Raad voorstellen indienen tot aanpassingervan overeenkomstig artikel 5, lid 1, van hetKP5-besluit (artikel 4, sub a)

— ervoor zorgen dat de in artikel 6 van KP6bedoelde onafhankelijke monitoring enbeoordeling plaatsvindt met betrekking tot deactiviteiten die vallen onder het specifieke pro-gramma (artikel 8, lid 2)

— ervoor zorgen dat de in artikel 7 van het kader-programma bedoelde onafhankelijkevoortgangscontrole en evaluatie plaatsvindenmet betrekking tot de activiteiten die wordenuitgevoerd op de onder het specifieke pro-gramma vallende gebieden (artikel 9)

— de toezichtsinformatie die de Commissie krach-tens artikel 8, lid 4, aan het programmacomitémoet verstrekken, is opgesomd in bijlage V

Artikel 173 — Jaarverslag

— regelmatig verslag uitbrengen over de uitvoe-ring van het specifieke programma overeen-komstig artikel 4 van het KP6-besluit, inclusiefinformatie over financiële aspecten en hetgebruik van instrumenten (artikel 8, lid 1)

— de belangrijkste bevindingen [inzake de facili-teit financiële risicodeling] opnemen in het jaar-verslag over de OTO-werkzaamheden dat zijovereenkomstig artikel 173 van het Verdragaan het Europees Parlement en de Raad toe-zendt (bijlage III)

Vijfjaarlijkse beoordeling (VJB)

— onafhankelijke gekwalificeerde deskundigeneen externe evaluatie laten uitvoeren van dewerkzaamheden die in de loop van de vijf aandeze evaluatie voorafgaande jaren op het onderhet programma vallende gebied zijn uitgevoerd,en van het beheer ervan (artikel 4, lid 2)

— de in artikel 5, lid 2, van het KP5-besluitbedoelde externe evaluatie laten verrichtenvan de activiteiten op de onder het specifiekeprogramma vallende gebieden (artikel 4,sub b)

Eindevaluatie

— na afloop van elk specifiek programma eenonafhankelijke eindevaluatie van de verkregenresultaten uitvoeren in het licht van de doelstel-lingen (artikel 4, lid 3)

— deze evaluatie toezenden aan het Europees Par-lement, de Raad en het Economisch en SociaalComité (artikel 4, lid 3)

Onafhankelijke deskundigen

— het mandaat voor de externe evaluatie alsbedoeld in artikel 5, lid 2, van het KP5-besluitopstellen (artikel 6, lid 2)

C26/28

NL


Unie

30.1.2008

KP4 (1995-1998) (1) KP5 (1999-2002) (2) KP6 (2003-2006) (3) KP7 (2007-2013) (4)

Basisinformatie over de KP-structuur

— KP4 (EG): 7 specifieke programma’s met daarin17 subprogramma’s en twee activiteiten-pakketten

— KP5 (EG): 7 specifieke programma’s waarvan4 thematische en 3 horizontale programma’s

— KP6 (EG): 20 programma’s waarvan er 10 val-len onder 7 thematische prioriteiten en er4 horizontale onderzoeksactiviteiten betreffenin het specifieke programma „Bundeling enintegratie van het onderzoek van de EuropeseGemeenschap”. Het specifieke programma„Structureren van de Europese onderzoek-ruimte” telt 4 programma’s en het specifiekeprogramma „Versterking van de grondslagenvan de Europese onderzoeksruimte” 2 speci-fieke programma’s

— KP7 (EG): 24 specifieke subprogramma’s, waar-van er 10 zijn samengevoegd tot het specifiekeprogramma „Samenwerking”, één is het speci-fieke programma „Ideeën”, 5 subprogramma’svallen onder het specifieke programma „Men-sen” en 8 subprogramma’s behoren tot het spe-cifieke programma „Capaciteiten”; (één daarvanbetreft de niet-nucleaire werkzaamheden vanhet GCO)

— Totaal budget (EG): 11 046 miljoen euro(2 761 miljoen euro p.j.)

— Totaal budget (EG): 13 700 miljoen euro(3 425 miljoen euro p.j.; + 24 %)

— Totaal budget (EG): 16 270 miljoen euro(4 061 miljoen euro p.j.; + 19 %) na deEU-25-uitbreiding verhoogd tot



— 7 Directoraten-generaal: Onderzoek,Informatiemaatschappij, Energie, Vervoer, Vis-serij, Landbouw, Ondernemingen

— 5 Directoraten-generaal: OTO, Informatie-maatschappij, Energie en vervoer, Visserij,Ondernemingen

— 4 Directoraten-generaal: OTO, Informatie-maatschappij, Energie en vervoer, Onderne-mingen

— 5 Directoraten-generaal: OTO, Informatie-maatschappij en media, Energie en vervoer,Ondernemingen en industrie, Gemeenschappe-lijk Centrum voor Onderzoek (GCO), plus de„Europese Raad voor onderzoek” (ERO) en deuitvoerende agentschappen

(1) KP4: Informatie- en communicatietechnologie (geavanceerde communicatietechnologie en diensten (ACTS); Informatietechnologie (ESPRIT); Telematicatoepassingen); Industriële technologieën (Industrie- en materiaaltechnologie(BRITE/EURAM); Normen, metingen en tests (SMT)); Milieu (milieu en klimaat, mariene wetenschappen en technologieën (MAST III)); Biowetenschappen en technologie (Biotechnologie BIOTECH 2), Biomedisch onderzoek en gezondheid(BIOMED 2), Landbouw en visserij (FAIR), Ethische, juridische en sociale aspecten (ELSA)); Energie (Onderzoek en ontwikkeling (JOULE), Demonstratie (THERMIE)); Transport (Onderzoeksprogramma op het gebied van vervoer), Gericht sociaal-economisch onderzoek (TSER), Europees netwerk voor technologiebeoordeling (ETAN); Samenwerking met derde landen en internationale organisaties (internationale samenwerking (INCO)); Verspreiding en benutting van resultaten (Inno-vatieprogramma); Bevordering van opleiding en mobiliteit van onderzoekers (opleiding en mobiliteit van onderzoekers (TMR), Marie Curie Fellowship Association).

(2) KP5: 4 Thematische programma’s (Kwaliteit van het bestaan en beheer van biologische hulpbronnen (Kwaliteit van het bestaan), Gebruiksvriendelijke informatiemaatschappij (IST), Concurrerende en duurzame groei (GROWTH), Energie, milieuen duurzame ontwikkeling (EESD)); 3 horizontale programma’s (Bevestiging van de internationale rol van het communautair onderzoek (INCO 2), Bevordering van innovatie en aanmoediging van participatie door het MKB (Innovatie/MKB),Verbetering van het menselijke onderzoekspotentieel en de sociaaleconomische kennisbasis (Improving)).

(3) KP6: „Bundeling en integratie van het onderzoek van de Europese Gemeenschap”— 7 thematische prioriteiten met 10 programma’s: Biowetenschappen, genomica en biotechnologie voor de gezondheid (incl. Geavanceerde genomica en de toepassingen ervan in de gezondheidszorg, bestrijding van ernstige ziekten),

Technologie van de informatiemaatschappij, Nanotechnologie en nanowetenschappen, op kennis gebaseerde multifunctionele materialen en nieuwe productieprocessen en apparaten, Luchtvaart en ruimte, Voedselkwaliteit en -veiligheid,Duurzame ontwikkeling, wereldwijde verandering en ecosystemen (incl. duurzame energiesystemen, duurzaam oppervlaktetransport, mondiale verandering en ecosystemen), Burger en bestuur in een op kennis gebaseerde samenleving,

— horizontale onderzoeksactiviteiten op een ruimer onderzoeksgebied en passend in 4 programma’s: Beleidsondersteuning en anticipatie op wetenschappelijke en technologische behoeften, Horizontaal onderzoek betreffende het MKB,Specifieke maatregelen ter ondersteuning van de internationale samenwerking, Niet-nucleaire werkzaamheden van het Gemeenschappelijk Centrum voor Onderzoek; „Structurering van de Europese Onderzoeksruimte” met 4 programma’s:Onderzoek en innovatie, Personele middelen, Onderzoeksinfrastructuur, Wetenschap en maatschappij; „Versterking van de grondslagen van de Europese Onderzoeksruimte” met 2 programma’s: Steun voor de coördinatie van de acti-viteiten, Steun voor een coherente beleidsontwikkeling.

(4) KP7: Specifiek programma „Samenwerking” met 10 subprogramma’s (Gezondheid, Voedsel, landbouw en biotechnologie, Informatie- en communicatietechnologieën; Nanowetenschap en nanotechnologie, materialen en nieuwe productie-technologieën, Energie, Milieu (inclusief klimaatverandering), Vervoer (inclusief luchtvaart), Sociaaleconomische en menswetenschappen, Veiligheid en Ruimte); Specifiek programma „Ideeën” met 1 subprogramma (Europese Raad voor onder-zoek); Specifiek programma „Mensen” met 5 subprogramma’s (Basisopleiding, Levenslang leren, Bedrijfsleven en academische wereld, Internationale dimensie, Specifieke acties); Specifiek programma „Capaciteiten” met 8 subprogramma’s(Onderzoeksinfrastructuren, Onderzoek ten bate van het MKB, Kennisregio’s, Onderzoekspotentieel, Wetenschap in de maatschappij, Coherente ontwikkeling van onderzoeksbeleid, Internationale samenwerking, „Niet-nucleaire werkzaam-heden van het GCO”).

30.1.2008NL


Unie

C26/29

BIJLAGE III

VOORNAAMSTE VERSCHILLEN TUSSEN DE EU (KP4-KP6), DE VS EN CANADA BIJ DE EVALUATIE ACHTERAF VAN ONDERZOEKSPROGRAMMA’S

EU (KP4-KP6) VS Canada

Systemische aspecten

Interventielogica niet expliciet meestal voorhanden, impliciet vereist doorPART (*)

vereist door RMAF (**) als onderdeel vanprogrammavoorstel

Evaluatiestrategie niet compleet vereist door PART (*) vereist door RMAF (**) als onderdeel vanprogrammavoorstel

Beschrijving verwachte resultaten nee vereist door PART (*) (incl. gebruik vankwantificeerbare indicatoren)

vereist door RMAF (**) als onderdeel vanprogrammavoorstel

Evaluatievragen gesteld door Commissie als programmabeheerder agentschap als programmabeheerder(beoordeeld i.h. kader van OMB)

agentschap als programmabeheerder(beoordeeld i.h. kader van TBS)

Organisatorische aspecten

Ontwerpfase tijdens programmeringsperiode tijdens programmeringsperiode afgerond voordat programma start

Gebruikmaking van panels „Ad hoc”-panels voor specifieke evaluatierondes Volgens agentschap/programma Permanente panels als vaste comités

Periodiciteit vaste data (gekoppeld aan programmerings-periode, betreft vijf voorgaande jaren)

twee/driejarencyclus(gekoppeld aan goedkeuring van budget)

bij verlenging van programma

Noot:(*) Programme Assessment Rating Tool (PART) since 2002: zie Office of Management and Budget (OMB), Executive Office of the President, USA.(**) Results-based Management and Accountability Framework (RMAF): zie Treasury Board of Canada Secretariat (TBS).

C26/30

NL


Unie

30.1.2008

BIJLAGE IV

MOGELIJKE PANELSTRUCTUUR VOOR KP7

Bron: KP7-besluit.Noot: panelstructuur zoals aanbevolen door ERK.

30.1.2008NL


Unie

C26/31

ANTWOORDEN VAN DE COMMISSIE

I. De OTO-kaderprogramma’s van de Gemeenschap (KP’s) zijn de laatste decennia uitgegroeid tot eenbreed, maar coherent system van steunmechanismen voor onderzoekers in de 27 EU-lidstaten, de geassoci-eerde landen en daarbuiten.

De KP’s zijn thans wereldwijd het grootste multinationale publieke financieringssysteem voor onderzoek.

De KP’s zijn momenteel goed voor circa 5 % van de totale overheidsfinanciering van onderzoek door de EU. Intermen van de jaarlijkse financiële bijdrage door de Gemeenschap zal KP7 ongeveer 60 % groter zijn dan KP6.

De beoordeling van een bijzondere regeling als deze stelt alle betrokkenen voor een bijzondere uitdaging. Deregelingen voor evaluatie en follow-up zijn de laatste jaren aanzienlijk veranderd, het laatst met de start vanKP7 in 2007.

Het door de Commissie gebruikte systeem voor evaluatie en follow-up is gebaseerd op de directe verantwoor-delijkheid van de uitvoerende diensten van de Commissie. Hier is de grootste technische deskundigheidbeschikbaar.

De evaluaties worden op het niveau van het kaderprogramma verricht door gecoördineerde inspanningen vanalle directoraten-generaal (DG’s).

IV. De Commissie is ingenomen met de vaststelling van de Rekenkamer dat de DG’s die uitvoering gevenaan de KP’s („onderzoeks-DG’s”) hebben voldaan aan de vereisten van de Commissie, met inbegrip van de inde mededelingen over evaluatie uit 2000 en 2002 vastgelegde vereisten.

De evaluatie van KP’s is aan belangrijke wijzigingen onderworpen, waaronder een forse herstructurering vanKP7.

Ook is de Commissie het volgende van mening:

i) de KP’s zijn altijd op een sluitende interventielogica gebaseerd. In KP7 wordt dit nog duidelijker gemaakt,hetgeen het evaluatie- en follow-upsysteem van de Commissie verder zal versterken;

ii) de belangrijkste strategische elementen van de aanpak van evaluatie en follow-up door de Commissie zijngedefinieerd in de achtereenvolgende wetgevingsbesluiten die sinds de helft van de jaren negentig voor deKP’s zijn vastgesteld.

Sinds de Commissie haar laatste mededeling over de evaluatie van onderzoek in 1996 vaststelde, heeft zijhaar aanpak van de evaluatie van KP’s voortdurend verfijnd, en zijn er in de evaluatieprocedures belang-rijke wijzigingen aangebracht.

In de door de Rekenkamer gecontroleerde periode werden de KP’s om de vier jaar onderworpen aan groteevaluatieprocedures, de zogenaamde „vijfjaarlijkse beoordelingen”;

iii) de KP’s worden gezamenlijk uitgevoerd door de „onderzoeks-DG’s”, die onafhankelijk optreden en zonodig samenwerken. De centrale diensten van de Commissie, en met name DG Begroting, nemen actiefdeel aan de verschillende fasen van het evaluatieproces.

Gelet op de gedecentraliseerde organisatie van de Commissie en de specifieke kenmerken van elk weten-schappelijk terrein, dienen evaluaties door de leidinggevende operationele diensten te worden beheerd.

Het OTO-beoordelingsnetwerk binnen de Commissie is bijzonder nuttig gebleken voorcoördinatiedoeleinden.

De Commissie meent ook dat de panels een belangrijke rol moeten spelen bij de evaluatie en zij is ver-heugd over de controlebevinding dat de institutionele betrokkenen haar panels voor de „vijfjaarlijksebeoordelingen” en andere grote evaluaties als een waarborg zagen voor de onafhankelijkheid van de aan-pak die de Commissie in de controleperiode volgde;

iv) het verschaffen van rechtstreekse methodologische richtsnoeren voor evaluaties wordt beperkt door denoodzaak onafhankelijkheid van de beoordelaars te handhaven. De Commissie erkent dat er zich proble-men hebben voorgedaan in verband met gegevensverzameling en dat er minder bekend is over de resul-taten en effecten van KP’s op langere termijn, hetgeen geldt voor de meeste evaluaties van publiekebijstandsmaatregelen op onderzoeksgebied en daarbuiten;


v) de termijnen voor de meeste evaluaties worden gespecificeerd in de door het Europees Parlement en deRaad vastgestelde KP-wetgeving. Over het geheel genomen acht de Commissie haar evaluatie- en follow-upsysteem van de KP’s doeltreffend. Het Europees Parlement en de Raad deelden dit standpunt, blijkensde goedkeuring die zij hechtten aan de recente wetsvoorstellen van de Commissie voor KP7 in 2006.

V. In het licht van de aanbevelingen van de Rekenkamer:

i) wijst de Commissie op de explicietere interventielogica die is vervat in de KP7-wetgeving (vastgesteld doorhet Europees Parlement en de Raad in 2006) en zal zij het gebruik van een explicietere interventielogicain haar toekomstige wetgevingsvoorstellen versterken. Bovendien is de Commissie van plan haar opera-tionele doelstellingen voor KP7 nader toe te lichten op het niveau van werkprogramma’s en haar aanpakvan prestatiemeting verder te ontwikkelen.

ii) zal de Commissie haar evaluatiestrategie voor KP7 verder ontwikkelen op basis van de voorstellen in deeffectbeoordeling van KP7. Er zal worden gezorgd voor voldoende flexibiliteit, zodat elke operationeledienst zijn eigen behoeften op het gebied van evaluatie kan bepalen.

iii) acht de Commissie het weliswaar niet nodig om een gemeenschappelijke evaluatiedienst op te zetten, maarzal zij zich wel over andere opties buigen om de coördinatie te verbeteren.

Panels moeten zo snel mogelijk bijeen worden geroepen ter ondersteuning van een specifieke beoorde-ling. Maar waarschijnlijk leveren bijzondere, voor specifieke doeleinden bijeengeroepen panels beter werkin termen van duidelijkheid en focus.

iv) heeft de Commissie reeds actie ondernomen om voor haar evaluaties beter gebruik te maken van bestaandeen nieuwe gegevensbronnen.

De rapportageverplichtingen van KP7 werden gedeeltelijk herzien op basis van de behoeften op het gebiedvan evaluatie en toezicht.

Voorts ontwikkelt de Commissie momenteel voor KP7 een nieuw IT-systeem, dat voor een steviger basismoet zorgen wat betreft projectgegevens.

De Commissie zal de mogelijkheid overwegen een nieuw handboek voor de evaluatie van KP’s samen testellen en daarbij de onlangs uitgebrachte versies in aanmerking nemen;

v) de Commissie wil de planning van evaluaties in het kader van KP7 ontwikkelen en versterken, rekeninghoudend met mogelijke voordelen op het gebied van consistentie en de verwerking van bevindingen.

1-13. De OTO-kaderprogramma’s van de Gemeenschap(KP’s) hebben zich de laatste decennia ontwikkeld tot een breed,maar coherent systeem van steunmechanismen voor onderzoe-kers in de 27 EU-lidstaten, de geassocieerde landen en daarbuiten.

De KP’s vormen thans wereldwijd het grootste multinationalefinancieringssysteem voor onderzoek (zie paragraaf 6 van de tekstvan de Rekenkamer). In termen van de jaarlijkse financiële bij-drage door de Gemeenschap zal KP7 ongeveer 60 % groter zijndan KP6 (zie figuur 1 van de tekst van de Rekenkamer).

De beoordeling van een bijzondere regeling als deze stelt allebetrokken actoren voor een bijzondere uitdaging. De evaluatie-modaliteiten zijn de laatste jaren ingrijpend veranderd (zie figuur2 van de tekst van de Rekenkamer), het laatst met de start vanKP7 in 2007 (zie bv. de antwoorden op de paragrafen 23, 30, 41,46, 72, 76-78 en 93).

14. De DG’s die de KP’s voor OTO uitvoeren („onderzoeks-DG’s”) hebben formeel voldaan aan de evaluatievereisten van deCommissie, met inbegrip van die uit de mededelingen over eva-luatie van 2000 en 2002 (zie paragraaf 54 van de tekst van deRekenkamer).

22. De Commissie onderschrijft het belang van een sluitendeinterventielogica voor de opzet van het programma en is ook vanmening dat de in artikel 163 van het Verdrag vervatte opdrachtin dit opzicht een essentieel element is. Bovendien is de bijdragevan de door de Commissie gefinancierde OTO-activiteiten vangroot belang voor andere beleidssectoren en doelstellingen van deGemeenschap. Onlangs heeft de Commissie haar visie op de rolvan OTO-investeringen door de EU gedetailleerd uiteengezet in dehernieuwde Lissabon-strategie en de strategie voor duurzameontwikkeling (1).

(1) Mededeling van de Commissie aan de Europese Voorjaarsraad — Uit-voering van de hernieuwde Lissabonstrategie voor groei en werkgele-genheid (COM(2006) 816 def.).


23. De KP’s worden altijd gebaseerd op een sluitendeinterventielogica. Voor KP7 is dit nog explicieter gemaakt (1), het-geen het evaluatie- en toezichtsysteem van de Commissie verderzal versterken.

25. Een aantal landen, waaronder bepaalde lidstaten, ontwik-kelen deze aanpak, maar van een uniforme aanpak is beslist geensprake. Lessen uit de VS en Canada zijn wellicht minder toepas-selijk dan die uit EU-lidstaten.

26. De Commissie meent dat zij in de door de Rekenkamergecontroleerde periode over een doeltreffend evaluatie- entoezichtsysteem beschikte (zie ook het antwoord opparagraaf 23).

28. Het is, in het bijzonder gelet op de onzekerheid vanonderzoek, een opgave om te waarborgen dat alle doelstellingenprecies voldoen aan de strikte definities van SMART-criteria. Allewerkprogramma’s van KP7 bevatten een vermelding van debeoogde effecten, die overeenkomen met de in de specifiekeprogramma’s vastgelegde doelstellingen, basisreden enactiviteiten.

29. Er is gedurende de door de Rekenkamer gecontroleerdeperiode meer aandacht gegeven aan resultaten op korte termijn;er is ruimte voor meer langetermijnanalyses.

30. Op KP-niveau ontwikkelt de Commissie momenteel eentoezichtsysteem voor KP7 met het oog op een coherenter en sys-tematischer gebruik van prestatie-indicatoren. Ook werken deverschillende diensten die KP7 uitvoeren aan meerdere afzonder-lijke initiatieven voor de ontwikkeling van prestatie-indicatoren.

34. De Commissie streeft reeds naar meer duidelijkheid in deinterventielogica voor programma’s, voortbouwend op de sterkepunten uit de wetgeving en effectbeoordeling van KP7, en zal bijtoekomstige wetgevingsvoorstellen rekening houden met de aan-beveling van de Rekenkamer.

35. De Commissie staat gunstig tegenover de aanbevelingvan de Rekenkamer om de programmadoelstellingen van KP7 teverduidelijken en zal zich hiervoor binnen de grenzen van de toe-passelijke basisbesluiten van het Europees Parlement en de Raadinzetten.

36-37. De Commissie staat gunstig tegenover de aanbevelin-gen van de Rekenkamer en neemt initiatieven voor de verdereontwikkeling van prestatiemeting en de wijziging van deABM/ABB-nomenclatuur.

38-39. De Commissie meent dat haar evaluatiestrategie voorde KP’s gemeenschappelijke beginselen moet bevatten voor dewijze waarop de evaluatie van en het toezicht op KP’s wordengeëvalueerd en ontwikkeld. De strategie moet het doel toelichten,de belangrijkste elementen van het systeem benoemen, waaron-der sleutelprocedures, en een toekomstvisie schetsen. Deze dientop het strategisch niveau gericht te blijven, met het oog op hetgedecentraliseerde evaluatiesysteem voor de KP’s van deCommissie.

41. De belangrijkste strategische elementen van de wijzewaarop de Commissie evaluatie en toezicht aanpakt zijn sinds hetmidden van de jaren negentig vastgelegd in de achtereenvolgendebasisbesluiten voor de KP’s (zie bijlage II).

Sinds de Commissie in 1996 haar mededeling over onderzoeks-evaluatie uitbracht, heeft zij haar aanpak van de evaluatie van KP’svoortdurend verfijnd en zijn er belangrijke veranderingen aange-bracht in de evaluatieprocedures (zie figuur 2 van de tekst van deRekenkamer).

Voor de huidige programmeringsperiode heeft de Commissiehaar geplande evaluatiestrategie explicieter uiteengezet in devoorafgaande effectbeoordeling van KP7 (SEC(2005) 430). Dezebestrijkt de opzet van het evaluatiesysteem, de wijze van uitvoe-ring en een gedetailleerd tijdsschema voor op KP-niveau te ver-richten evaluaties.

Er zal meer werk nodig zijn om deze strategie in specifieke plan-nen om te zetten en de Commissie zal hiervoor specifiekecoördinatiestructuren gebruiken.

43. De Commissie gaat akkoord met de constatering van deRekenkamer, maar wijst erop dat de situatie in de VS en Canadabeduidend genuanceerder is dan kan worden weergegeven metevaluatiestrategieën alleen.

44. Verschillen in het gebruik en de aanpak van evaluatiebinnen het KP weerspiegelen het gedecentraliseerde systeem vande Commissie, waarbij evaluatie aan besluitvorming is gelinkt.

46. Gelet op de gedecentraliseerde organisatie van de Com-missie, is het aan de betrokken operationele diensten om te bepa-len op welk niveau evaluatie moet plaatsvinden (zie ook deantwoorden op de paragrafen 41 en 49).

— (tweede streepje) de vijfjaarlijkse beoordeling van2004 (1999-2003), gecoördineerd door DG Onderzoek,omvatte een evaluatie op het niveau van het KP als geheel.Het besluit om afzonderlijke procedures op programma-niveau uit te voeren, was afhankelijk van de behoeften van debetrokken diensten en de verschillende contexten en schaalvan de betreffende activiteiten.

47. De vijfjaarlijkse beoordeling van 2004 omvatte eengecoördineerde, alomvattende, tijdige evaluatie op het niveau vanhet KP als geheel, conform het Financieel Reglement. Zij werd uit-gevoerd door gerenommeerde externe deskundigen en aan deresultaten is brede verspreiding gegeven.

48. Zie de antwoorden op de paragrafen 41 en 46.

(1) Zo ontwikkelde de Commissie het voorstel voor KP7 op basis van eengedetailleerde effectbeoordeling vooraf, die econometrische modellenbevatte van de potentiële effecten van de onderzoeksactiviteit opzaken als economische groei en werkgelegenheid (zie het werkdocu-ment van de diensten van de Europese Commissie „Impact Assessmentand Ex Ante Evaluation for the proposals for the Council and Euro-pean Parliament decision on the 7th Framework Programme (EC andEuratom)”, SEC(2005) 430). De besluiten inzake KP7 voorzien in eenduidelijke structuur die doelstellingen, basisreden en activiteiten ver-bindt. Voorts worden in de beschikkingen tot vaststelling van de spe-cifieke programma’s de doelstellingen, benadering en activiteitengeformuleerd.


49. De Commissie heeft haar geplande evaluatiestrategievoor de huidige programmeringsperiode uiteengezet in de voor-afgaande effectbeoordeling van KP7 (SEC(2005) 430). Dezebestrijkt de opzet van het evaluatiesysteem, de wijze van uitvoe-ring en een gedetailleerd tijdsschema voor op KP-niveau te ver-richten evaluaties.

De Commissie erkent dat er meer werk nodig is om deze strate-gie om te zetten in specifieke plannen en zij zal hiervoor speci-fieke coördinatiestructuren gebruiken.

De Commissie meent evenwel dat er niet altijd een minimum-niveau voor gedetailleerde evaluatie kan worden bepaald, aange-zien het management voldoende marges moeten houden om degepaste evaluatiebehoeften te kunnen vaststellen.

51. KP’s worden gezamenlijk uitgevoerd door de„onderzoeks-DG’s”, die onafhankelijk optreden en zo nodigsamenwerken.

52. EuropeAid heeft operationele en beheers-verantwoordelijkheden die het uitoefent in samenwerking metdelegaties van de Commissies en uitvoeringsorganen in derde lan-den. Hierdoor leent dit onderdeel van de Commissie zich moei-lijk als voorbeeld, aangezien het niet vergelijkbaar is met hetgedecentraliseerde systeem van verantwoordelijkheden en rollenop het gebied van onderzoek.

53. Het interne OTO-evaluatienetwerk van de Commissiereikt informele middelen aan voor de ontwikkeling van eenevaluatiestrategie en de coördinatie van evaluatieprocedures opKP-niveau. Dit flexibele mechanisme is bijzonder nuttig gebleken.

55. De meest recentelijk herziene versie van de interne-controlenormen van de Commissie, vastgesteld op 16 okto-ber 2007 (SEC(2007) 1341), omvat de 21 evaluatienormen; in dejaarlijkse activiteitenverslagen van de DG’s zal derhalve wordenvermeld of aan deze normen is voldaan.

De centrale diensten van de Commissie, DG Begroting in het bij-zonder, zijn actief betrokken bij de verschillende fasen van hetevaluatieproces.

De evaluatieactiviteiten van de diensten kunnen aan controle wor-den onderworpen door hun eigen controle-units en door dedienst Interne audit (DIA).

In de toekomst zal bij de beoordeling van de minimumkwaliteits-eisen gebruik worden gemaakt van de onlangs door de Commis-sie ontwikkelde „kader voor de kwaliteitsbeoordeling” (1). Sinds2007 wordt de kwaliteitscontrole voor prospectieve effect-beoordeling ondersteund door de „Raad voor effectbeoordeling”van de Commissie.

56. De vergelijking in bijlage III heeft betrekking op de doorde Rekenkamer gecontroleerde periode. De belangrijke verbete-ringen in het kader van KP7 zijn derhalve niet in aanmerkinggenomen, met name wat betreft een nieuwe evaluatiestrategie,een explicietere interventielogica en duidelijke opgave van de ver-wachte resultaten in de werkprogramma’s.

De Rekenkamer wijst op dat bepaalde lidstaten die de verant-woordelijkheden voor evaluatie en voor financiering scheiden. Zozijn er ook landen (bv. het VK) waar evaluatie deel uitmaakt vanhet programmabeheer (zoals het geval is bij de Commissie). Decontrole van de Rekenkamer heeft uitgewezen dat externe betrok-kenen tevreden zijn over de prestatie die de Commissie levert ophet cruciale element van de onafhankelijkheid (zie paragraaf 58en figuur 4 van de tekst van de Rekenkamer).

59.

— (eerste streepje) Bij panels die voor langere perioden bijeenworden geroepen is het moeilijk in voldoende mate vooraan-staande leden te betrekken.

— (tweede streepje) De opdrachten voor KP-panels wordenvastgelegd bij besluit van de Commissie, na uitgebreid infor-meel overleg met betrokkenen, met inbegrip van het formeleadvies van de programmacomités van KP7, die bestaan uitvertegenwoordigers van de lidstaten en geassocieerde landen.Dit zal ook het geval zijn voor de evaluatie achteraf van KP6in 2008.

62. De richtlijn om 0,5 % van een programmabudget aanevaluatie te besteden betreft een door de Commissie aanbevolengemiddelde. De feitelijk toegewezen middelen zijn bijzonderafhankelijk van de aard van een programma.

66. Ofschoon de Commissie het niet nodig acht een gemeen-schappelijke evaluatiedienst op te zetten, stemt zij ermee inandere opties ter verbetering van de coördinatie in overweging tenemen.

De link tussen evaluatie en besluitvorming door het managementwordt het best gelegd door de evaluatiefuncties van elk DG endoor met ondersteuning van de centrale diensten een nieuweimpuls te geven aan het bestaande interne „OTO-beoordelingsnetwerk” van de Commissie. Dit komt ook overeenmet de procedures voor de totstandkoming van wetgeving enbegroting, zoals vereist in het Financieel Reglement, de medede-ling van de Commissie uit 2007 over evaluatie, en deABM-procedures.

67. De Commissie onderschrijft dat panels een belangrijkerol kunnen spelen bij evaluatie. Hoewel zij ook beaamt dat panelster ondersteuning van een specifieke evaluatie zo vroeg mogelijkmoeten worden bijeengeroepen, acht zij het niet aangewezen ompermanente panels te vormen voor de heleprogrammeringsperiode.

(1) Het „Quality Assessment Framework” (kader voor de kwaliteits-beoordeling) is beschikbaar via: http://ec.europa.eu/budget/documents/evaluation_en.htm.


Een ad-hocpanel, dat voor een specifiek doel bijeengeroepen is,levert waarschijnlijk beter werk in termen van duidelijkheid enfocus.

68. De Commissie zal zorgvuldig de middelen ramen die dekomende jaren zijn vereist voor de evaluatie van de KP’s.

70-71. Methodologische richtsnoeren voor evaluatie, zoalsde beschikbare instrumenten en een begrippenlijst, zijn opgeno-men in de handleiding van DG Begroting (1), die momenteelwordt bijgewerkt door de verantwoordelijke diensten, waaronderde „onderzoeks-DG’s”.

Voorts heeft DG Ondernemingen in 2002 specifieke evaluatie-voorschriften ontwikkeld voor alle activiteiten waarvoor dit DGverantwoordelijk is, met inbegrip van de KP’s.

Andere ondersteunende initiatieven zullen in aanmerking wordengenomen voor het heropgestarte „Europese OTO-beoordelingsnetwerk” (dat bestaat uit deskundigen uit de lidsta-ten en geassocieerde landen) en het interne OTO-beoordelingsnetwerk van de Commissie. De Commissie blijft ookonafhankelijke onderzoeken naar evaluatiemethoden en-workshops ondersteunen.

72. De Commissie beaamt dat de procedure voor de vasteverzameling van projectgegevens slechts ten dele doeltreffend isgeweest. De procedures voor projectrapportage zijn herzien inhet kader van KP6 en zullen verder worden verbeterd voor KP7(zo wordt de periodieke rapportage vereenvoudigd, zijn tussen-tijdse vragenlijsten afgeschaft en worden eindverslagen nuttiger,met name wat betreft de verzameling van gegevens over de uit-voering en resultaten van projecten).

74. Momenteel ontwikkelen de „onderzoeks-DG’s” met hulpvan DG Informatica een nieuw IT-systeem voor KP7. Een derge-lijke versterkte IT-ondersteuning moet evaluatie- en toezichttakenvan een steviger basis voorzien.

76-78. Het inwinnen van evaluatiegegevens was gedurendede controleperiode slechts ten dele doeltreffend. De Commissiebrengt verbeteringen aan in het kader van KP7 (zie het antwoordop paragraaf 72).

79. De Commissie streeft ernaar de door de Rekenkamervoorgestelde soorten kwantitatieve onderzoeken te stimuleren.

81. De Commissie is van mening dat er recentelijk veel eva-luaties zijn verricht die in methodologisch opzicht interessanterzijn (zie paragraaf 84) en dat er onderscheid dient te wordengemaakt tussen grootschalige evaluaties en routineprocedures.

82. De Commissie erkent dat bij evaluatiewerkzaamhedenover het algemeen meer aandacht is geschonken aan korte-termijnresultaten en beaamt dat er ruimte is voor meer analysevan uitkomsten en impact. Een dergelijke aanpak vereist echtereen langetermijnperspectief, en in de regel zijn de evaluaties vande Commissie dan ook vergelijkbaar met soortgelijk werk elders.

83. De Commissie tracht de onafhankelijkheid van deevaluatiedeskundigen te eerbiedigen, met name wat betreft dekeuze van de aangewezen methoden.

Voor de naderende evaluatie achteraf van KP6 in 2008 wordtvoorgesteld studie te maken van gedragsgerelateerde addionali-teit, netwerkanalyse en het gebruik van scientometrischemethoden.

84. Een meta-analyse van eerdere evaluatieonderzoeken isdoor een onafhankelijk deskundige verricht voor de vijfjaarlijksebeoordeling van 2004 (1999-2003) (2).

— (tweede streepje) Naast de door de Rekenkamer bedoelde stu-dies is er in 2007 nog een aantal belangrijke studiesgestart (3).

85. De Commissie beaamt dat er nog steeds nieuwe metho-dologische benaderingen moeten worden ontwikkeld om aan tesluiten bij de zich wijzigende aard van de KP’s. Een dergelijkemethodologische ontwikkeling wordt — ook in de toekomst —door de Commissie gesteund.

86. Aangezien de vragen in de opdracht voor de vijfjaarlijksebeoordeling van 2004 (1999-2003) slechts van indicatieve aardwaren, stond het het panel vrij om zich op enkele gebieden vanzijn keus te richten en zijn werkwijze te bepalen. Deze procedureis door panelleden geroemd (4).

87. Onderzoeksprogramma’s zijn naar hun aard onzekereondernemingen en dit betekent dat er grenzen zijn aan de matewaarin er kwantificeerbare doelstellingen kunnen wordengeformuleerd.

90. In 2007 heeft de Commissie haar „Europese OTO-beoordelingsnetwerk” heropgestart, dat bestaat uit ambtenarenuit de lidstaten en evaluatiedeskundigen. Zij wil dit netwerk inzet-ten om de samenhang tussen de evaluatieactiviteiten op hetgebied van EU-onderzoek te bevorderen, met name met betrek-king tot de impactstudies op lidstaatniveau.

91. De Commissie zal zich beraden op de mogelijkheid eennieuwe handleiding voor KP-evaluatie uit te brengen en hierbijrekening houden met onlangs verschenen voorbeelden (5).

(1) Europese Commissie, DG Begroting, „Evaluating EU Activities — APractical Guide for the Commission services”, juli 2004, is beschik-baar via: http://ec.europa.eu/budget/publications/other_en.htm.

(2) E. Arnold, „What the Evaluation Record tells us about the FrameworkProgramme Performance”, 2004.

(3) DG Onderzoek, „Structuring Effects of Community Research — TheImpact of The Framework Programme on Research & TechnologicalDevelopment (RTD) Network Formation”, 2007; DG Informatie-maatschappij en media, „Effectiveness of IST-RTD Impacts on the EUInnovation System”, 2007.

(4) Zie C. Mandl, „Evaluating Evaluations or The Case for ActionResearch”, Austrian Platform Newsletter, nr. 30, juni 2007.

(5) Zie bv. Europese Commissie, Gemeenschappelijk Centrumvoor Onderzoek, „Assessing the Socio-Economic Impact of RTD-Policies” (EPUB), 2002, en University of Manchester, „Assessingthe Socio-economic Impacts of the Framework Programme” (ASIF),2002, beide beschikbaar via: http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Deze verslagen zijn op bredeschaal verspreid en ter beschikking gesteld van contractanten en des-kundigen die namens de Commissie evaluatiestudies verrichten.


92. De procedures voor projectrapportage werden in hetkader van KP6 herzien en zullen voor KP7 verder worden verbe-terd (zie antwoord op paragraaf 72).

93. Op KP-niveau ontwikkelt de Commissie momenteel voorKP7 een toezichtsysteem dat moet leiden tot coherenter en sys-tematischer gebruik van prestatie-indicatoren (zie antwoord opparagraaf 30).

De „onderzoeks-DG’s” ontwikkelen momenteel met hulp van DGInformatica een nieuw IT-systeem voor KP7. Een dergelijke ver-beterde IT-ondersteuning moet evaluatie en toezicht van een ste-viger basis voorzien.

94. De Commissie deelt de zorgen van de Rekenkamer overhet probleem van de rapportagelast en heeft hier uitdrukkelijkrekening mee gehouden bij de vaststelling van de rapportage-verplichtingen voor KP7 (zie antwoord op paragraaf 72).

95. De Commissie streeft er momenteel naar bestaande ennieuwe gegevensbronnen te gebruiken voor evaluatie en toezicht(zie antwoord op paragraaf 72).

96. KP7 bevat een specifieke actielijn onder thema 8 (socialewetenschappen en geesteswetenschappen) ter bevordering vaninnovatie op het gebied van evaluatie en toezicht.

97. De Commissie heeft in 2007 haar OTO-beoordelingsnetwerk heropgestart (zie antwoorden op de para-grafen 70, 71 en 90). Zij wil dit netwerk inzetten om desamenhang te bevorderen tussen de evaluatieactiviteiten op hetgebied van EU-onderzoek, met name de impactstudies van delidstaten.

De Commissie wil ook haar voorhoedepositie behouden watbetreft de ondersteuning van internationale netwerkactiviteiten ende uitwisseling van evaluatiepraktijken door middel van work-shops en andere bijeenkomsten.

99. De timing van evaluaties wordt bepaald door de vereis-ten in de basisbesluiten van het Europees Parlement en de Raad.De Commissie erkent dat er minder bekend is over de lange-termijneffecten en beaamt dat er op dit gebied meer werk te ver-richten valt.

100. De Commissie meent ook dat de vijfjaarlijkse beoorde-lingen meer op de korte dan op de lange termijn gericht waren.Dit valt onder meer te verklaren door het belang dat externebelanghebbenden, zoals het Europees Parlement en de Raad, stel-len in snelle feedback over KP-prestaties, het feit dat de lange-termijneffecten van onderzoek moeilijk specifiek zijn toe terekenen, en de focus die wordt gekozen door de onafhankelijkepanels die de procedures uitvoeren. De Commissie erkent even-wel dat er meer aandacht moet worden geschonken aan de beoor-deling van de effecten op langere termijn.

108. De Commissie plant momenteel de belangrijksteevaluatieactiviteiten in het kader van KP7 en zij zal de aanbeve-ling van de Rekenkamer zorgvuldig overwegen. De Commissieerkent dat er minder bekend is over de effecten op langere ter-mijn en beaamt dat er op dit gebied meer werk te verrichten valt.

109. Zoals de Rekenkamer opmerkt in paragraaf 107 ver-schaft de Commissie in haar jaarlijks evaluatieverslag een over-zicht van alle bevindingen en maatregelen in het kader vanonderzoeksevaluaties. De Commissie streeft bij haar evaluatie-werkzaamheden naar volledige doorzichtigheid en zal gevolggeven aan de aanbeveling van de Rekenkamer om de middelenvoor het mededelen en verspreiden van haar bevindingen teherzien.

110-111. De Commissie is het met de Rekenkamer eens datde evaluatie van onderzoek, zeker voor omvangrijke programma’sals de KP’s, een bijzonder moeilijke taak is.

Zij stelt vast dat het systeem de laatste 25 jaar zeer belangrijkeverbeteringen heeft ondergaan en voor beleidsmakers,onderzoeksmanagers en andere belanghebbenden over het geheelgenomen doeltreffend is.

112. De Commissie is ingenomen met de vaststelling van deRekenkamer dat de DG’s die de KP’s uitvoeren, hebben voldaanaan de vereisten van de Commissie, met inbegrip van de in demededelingen over evaluatie uit 2000 en 2002 vastgelegdevereisten.

Er zijn belangrijke wijzigingen aangebracht in de evaluatie vanKP’s, waaronder een omvangrijke herstructurering voor KP7,overeenkomstig de strategie uit de effectbeoordeling(SEC(2005)430).

113. Wat betreft de relevantie en het nut van evaluaties kande Commissie wijzen op de doorgaans positieve feedback die zijheeft ontvangen, vooral naar aanleiding van essentiële procedu-res zoals de vijfjaarlijkse beoordeling van 2004 (1999-2003). Debevindingen van de vijfjaarlijkse beoordeling zijn op brede schaalverspreid; zo werden zij onder meer aangeboden aan belangrijkeorganen als het Europees Parlement, de Raad, het CREST en hetKP-programmacomité. Aangezien het een dwingende eis was datdeze procedure werd uitgevoerd vóór het voorstel van de Com-missie voor een nieuw kaderprogramma (in dit geval KP7), blijktuit de uiteindelijke goedkeuring van KP7 dat de beoordeling overhet geheel genomen aanvaardbaar was.

Dit wil niet zeggen dat er niets voor verbetering vatbaar is; deCommissie erkent volledig dat, uitgaande van de reeds goed func-tionerende elementen van de huidige aanpak, zorgvuldig overwo-gen veranderingen geboden zijn.

114. De Commissie waardeert dat de Rekenkamer het belangvan evaluatie en toezicht erkent en zal, voortbouwend op debelangrijke verbeteringen die reeds zijn verwezenlijkt, haar hui-dige praktijken blijven aanpassen in het licht van nieuwe politiekeen praktische omstandigheden.


115. De Commissie streeft reeds naar meer duidelijkheid inde interventielogica voor programma’s, voortbouwend op desterke punten uit de wetgeving en effectbeoordeling van KP7, enzal bij toekomstige wetgevingsvoorstellen rekening houden metde aanbeveling van de Rekenkamer.

116. Voortbouwend op de belangrijke verbeteringen diereeds zijn aangebracht in de evaluatie van KP’s, erkent de Com-missie dat er nog zaken voor verbetering vatbaar zijn; zo kan opoperationeel niveau de coördinatie tussen de betrokken dienstenworden versterkt. De Commissie blijft zich inspannen om ont-wikkelingen in evaluatiemethoden te ondersteunen.

117. Met betrekking tot de organisatiestructuur is de Com-missie van mening dat:

— (eerste streepje) panels zo vroeg mogelijk moeten worden bij-eengeroepen ter ondersteuning van een specifieke evaluatie.Ad-hocpanels, die voor een specifiek doel bijeengeroepenworden, leveren waarschijnlijk beter werk in termen van dui-delijkheid en focus;

— (tweede streepje) de coördinatie tussen de DG’s die de KP’suitvoeren dient te worden versterkt. Dit zal worden bereiktmiddels de nieuwe evaluatiestrategie voor KP7, maar ookdoor het interne „OTO-beoordelingsnetwerk” van de Com-missie aan te vullen met specifieke coördinatiestructuren, inplaats van een gemeenschappelijke evaluatiedienst op tezetten.


REKENKAMER - Europa

Documents

Transcript of REKENKAMER - Europa