RICHTSNOERENBEOORDELING VAN POP-RESULTATEN EN -EFFECTEN IN 2019

AUGUSTUS 2018

1

Verklaring inzake het auteursrecht

© Europese Unie, 2018

Reproductie met bronvermelding is toegestaan.

Te citeren als:

EUROPESE COMMISSIE – Directoraat-generaal Landbouw en Plattelandsontwikkeling – Eenheid C.4 (2018): Richtsnoeren. Beoordeling van POP-resultaten en -effecten in 2019. Brussel, augustus 2018.

Afwijzing van aansprakelijkheid:

De informatie en standpunten in deze richtsnoeren zijn die van de auteur(s) en geven niet noodzakelijkerwijs het officiële standpunt van de Europese Commissie weer. De Commissie staat niet in voor de juistheid van de gegevens in deze richtsnoeren. De Commissie noch enige persoon die namens de Commissie optreedt, kan aansprakelijk worden gesteld voor het gebruik dat eventueel wordt gemaakt van de hierin opgenomen informatie.

De Evaluatiehelpdesk is binnen het Europees netwerk voor plattelandsontwikkeling verantwoordelijk voor de evaluatiefunctie en verschaft richtsnoeren voor de evaluatie van de POP's en het beleid die onder de bevoegdheid en het toezicht van eenheid C.4 "Evaluaties en Studies" van DG AGRI van de Europese Commissie (EC) vallen. Om de evaluatie van het EU- beleid voor plattelandsontwikkeling te verbeteren, biedt de Evaluatiehelpdesk alle partijen die zich met evaluatie bezighouden, in het bijzonder DG AGRI, nationale autoriteiten, POP-beheersautoriteiten en beoordelaars, ondersteuning door passende methodologieën en hulpmiddelen te ontwikkelen en verspreiden; het verzamelen en uitwisselen van goede praktijken; en door middel van capaciteitsopbouw en communicatie met netwerkleden over onderwerpen op het gebied van evaluatie.

Aanvullende informatie over de activiteiten van de European Evaluation Helpdesk for Rural Development is beschikbaar op het internet via de Europa-server (http://enrd.ec.europa.eu).

RICHTSNOERENBEOORDELING VAN POP-RESULTATEN EN -EFFECTEN IN 2019

AUGUSTUS 2018

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

INHOUD

Dankwoord 1

INLEIDING 2

1 Wat moet er in het jaarlijkse uitvoeringsverslag dat in 2019 wordt ingediend, worden gerapporteerd

over evaluaties? (Deel I) 3

1.1 Juridisch kader en zwaartepunt van de evaluatie in 2019 3

1.2 Hoe moet in 2019 worden gerapporteerd over de GEV's? 6

1.3 Voorbereiding op het jaarlijkse uitvoeringsverslag in 2019 8

2 Benaderingen voor het beoordelen van POP-effecten in 2019 (DEEL II) 12

2.1 Geschikte evaluatiebenaderingen kiezen voor het beoordelen van POP-effecten 12

2.1.1 Hoe kunnen logische modellen worden gebruikt om te bepalen welkeEvaluatiebenaderingen geschikt zijn? 12

2.1.2 Overzicht van aanbevolen evaluatiebenaderingen voor de beoordeling van GLB-effectindicatoren 23

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

TABELLEN EN FIGUREN

Tabel 1. Richtsnoeren voor het beantwoorden van de GEV's in het jaarlijkse uitvoeringsverslag in 2019 7

Tabel 2. Controlelijst van aanbevolen stappen voor de evaluatie in 2019 9

Tabel 3. Voorbeelden van aanbevolen evaluatiebenaderingen voor de beoordeling van

GLB-effectindicatoren 24

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

LIJST VAN AFKORTINGEN

AFI Agrarisch factorinkomen

AG Aandachtsgebied

AJE Arbeidsjaareenheden

ANC Gebieden met natuurlijke beperkingen

AROPE Met risico op armoede of sociale uitsluiting

ATT Average Treatment Effects on Treated

BA Beheersautoriteit

Bbp Bruto binnenlands product

BC Beoordelingscriteria

BKG Broeikasgas

BO Betaalorgaan

BUOO Binnenlandse bruto-uitgaven aan O&O

CCI Gemeenschappelijke contextindicatoren

CGE Algemeen berekenbaar evenwicht

CLLD Door de gemeenschap aangestuurde lokale ontwikkeling

CMES Gemeenschappelijk monitoring- en evaluatiesysteem

CORINE Coördinatie van informatie over het milieu

DG AGRI Directoraat-generaal Landbouw en Plattelandsontwikkeling

DiD Verschil-in-verschillen- analyse

DP Gegevensverstrekker

EDGAR Emissiedatabank voor mondiaal atmosferisch onderzoek

EIP Europees innovatiepartnerschap

Elfpo Europees Landbouwfonds voor plattelandsontwikkeling

ESDAC European Soil Data Centre

ESG Evaluatiestuurgroep

ESI Europees structuur- en investeringsfonds

EU Europese Unie

Ev Beoordelaar

EvU Evaluatie-eenheid

FBI Akkervogelindex

GAE Gezinsarbeidseenheid

GBCS Geïntegreerd beheers- en controlesysteem

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

GCO Gemeenschappelijk Centrum voor onderzoek

GES Goede ecologische toestand

GEV Gemeenschappelijke evaluatievragen

GIS Geografisch informatiesysteem

GLB Gemeenschappelijk landbouwbeleid

GLMC Goede landbouw- en milieuconditie

GNB Brutovoedingsstofsaldo

GPSM Generalised Propensity Score Matching

GRIT Generation of Regional Input-output Tables

HNW Landbouw met een hoge natuurwaarde (HNW)

I Effectindicator

ICT Informatie- en communicatietechnologie

IL Interventielogica

ILB Informatienet inzake landbouwbedrijfsboekhoudingen

IO Input-outputanalyse

IPPC Geïntegreerde verontreinigingspreventie en -bestrijding

IV Instrumentele variabelen

JUV Jaarlijks uitvoeringsverslag

KRW Kaderrichtlijn water

LBE Lokale bestuurlijke eenheid

LPIS Systeem voor de identificatie van de landbouwpercelen

LR Landbouwrekeningen

LS Lidstaat

LU Grootvee-eenheid

LUCAS Land Use and Coverage Area Frame Survey

LULUCF Landgebruik, verandering in landgebruik en bosbouw

M Maatregel

MAP Milieuactieprogramma

MAPP Methode voor de effectbeoordeling van programma's en projecten

Ngo Niet-gouvernementele organisatie

NPN Nationaal Plattelandsnetwerk

NR Nitraatrichtlijn

NUTS Nomenclatuur van territoriale eenheden voor de statistiek

OCG Oppervlakte cultuurgrond

POP Plattelandsontwikkelingsprogramma

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

PSEV Programmaspecifieke evaluatievraag

PSM Propensity Score Matching

R Resultaatindicatoren

RDD Regressie discontinuïteit-analyse

RUSLE Revised Universal Soil Loss Equation

SAM Social Accounting Matrix

SAPM Enquête naar de productiemethoden in de landbouw

SEBI Streamlining European Biodiversity Indicators

SFC Gemeenschappelijk systeem voor gedeeld fondsenbeheer

SGD Stroomgebiedsdistrict

SOC Organische koolstof in de bodem

SOM Organische stof in de bodem

SWOT Sterke punten, zwakke punten, kansen en bedreigingen

T Streefcijferindicator

TB Technische bijstand

TBE Theory-Based Evaluation

TC Toezichtcomité

TFP Totale factorproductiviteit

ToR Taakomschrijving

WD Werkdocument

DANKWOORD

Deze richtsnoeren zijn ontwikkeld door een internationaal team deskundigen op het terrein van evaluaties van plattelandsontwikkeling, onder wie Jerzy Michalek (sectorale effecten), Demetrios Psaltopoulos (sociaaleconomische effecten), Marili Parisaki (kwalitatieve methoden), Tomáš Ratinger (sectorale effecten), Gerald Schwarz (milieueffecten), Dimitris Skuras (milieueffecten) en Darko Znaor (milieueffecten). De Evaluatiehelpdesk onder leiding van Jela Tvrdonova en Hannes Wimmer coördineerde de betrokken thematische werkgroep. Valérie Dumont, Myles Stiffler, Matteo Metta, Valdis Kudins en Harriet Mackaill-Hill ondersteunden de ontwikkelingswerkzaamheden en zijn verantwoordelijk voor de kwaliteit en het uiterlijk van de definitieve richtsnoeren.

Diverse deskundigen hebben als collegiale toetsers gefungeerd (Rolf Bergs, Kit Macleod en Žymantas Morkvėnas). Vertegenwoordigers van DG Landbouw en Plattelandsontwikkeling hebben ervoor gezorgd dat de richtsnoeren in overeenstemming zijn met het beleidskader van de EU.

Vertegenwoordigers van de lidstaten hebben commentaar gegeven op de conceptversies van de richtsnoeren tijdens de klankbordbijeenkomsten in januari en april 2018. Leden van de Deskundigengroep voor toezicht en evaluatie van het GLB hebben in juni 2018 opmerkingen gemaakt over het definitieve concept. 

1

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

INLEIDING

Belang van evaluatie

De Europese structuur- en investeringsfondsen (ESI-fondsen) zijn belangrijke overheidsinstrumenten ter ondersteuning van acties die betrekking hebben op de belangrijkste prioriteiten van de Unie. Deze worden uitgevoerd via meerjarige programma's in de lidstaten en de regio's. Het is daarom in het belang van beleidsmakers en burgers om te weten of het geld verantwoord is besteed, de verwachte resultaten oplevert, en of de interventies op de juiste begunstigden zijn gericht zodat de EU-beleidsdoelstellingen kunnen worden gehaald.

Evaluatie is een instrument om de doeltreffendheid, doelmatigheid, resultaten en effecten1, relevantie, samenhang en EU-meerwaarde van beleid te meten zodat verantwoording en transparantie kunnen worden gewaarborgd en uiteindelijk de opzet ervan kan worden verbeterd. Er bestaan binnen het kader van plattelandsontwikkeling twee evaluatiemomenten in de programmeringsperiode 2014-2020: het eerste in 2017, wanneer de belanghebbenden de beleidsresultaten beoordelen, en het tweede in 2019, wanneer zowel de beleidsresultaten als de effecten worden gemeten. Tevens wordt na de programmeringsperiode een ex-post-evaluatie uitgevoerd.

Doel van de richtsnoeren

De lidstaten moeten overeenkomstig het wetgevingskader in 2019 verslag uitbrengen over de bijdrage van het POP aan het verwezenlijken van de doelstellingen van het programma en de bijdrage ervan aan de strategie van de EU voor slimme, duurzame en inclusieve groei. Dit wordt bereikt via de jaarlijkse uitvoeringsverslagen (JUV's) die in 2019 worden ingediend. In de evaluaties moeten de nettobijdragen van het programma aan de wijzigingen in de GLB-effectindicatorwaarden worden beoordeeld en de relevante evaluatievragen worden beantwoord2.

Deze richtsnoeren hebben tot doel om de uitdagingen te onderzoeken met betrekking tot de evaluatie-activiteiten voor het jaarlijks uitvoeringsverslag in 2019; praktische benaderingen te presenteren voor het ramen van de nettobijdrage van het POP aan de gemeenschappelijke GLB-effectindicatoren en de vooruitgang te beoordelen in het verwezenlijken van de doelstellingen op het niveau van de EU; en om ondersteuning te bieden bij het beantwoorden van de gemeenschappelijke evaluatievragen (GEV's) 22-30 en bij het rapporteren van de evaluatiebevindingen aan de Europese Commissie in de jaarlijkse uitvoeringsverslagen die in 2019 worden ingediend.

Structuur en inhoud van de richtsnoeren

De NIET-BINDENDE richtsnoeren, Beoordeling van POP-resultaten en -effecten in 2019, hebben betrekking op:

DEEL I (hoofdzakelijk voor beheersautoriteiten): informeert over de wettelijke voorschriften en schetst hoe in 2019 gerapporteerd moet worden over de GEV's 22-30. Deel I bevat verwijzingen naar reeds bestaande richtsnoeren.

DEEL II (hoofdzakelijk voor beoordelaars): biedt methodologische ondersteuning bij het beoordelen van de gemeenschappelijke effectindicatoren van Pijler II (sectorale, ecologische en sociaaleconomische effecten). Dit deel biedt uitleg over interventielogica's, het gebruik van

1 Artikel 54 en artikel 56, lid 3, van Verordening (EU) nr. 1303/2013.2 Bijlage VII bij Verordening (EU) nr. 808/2014.

2

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

aanvullende evaluatie-elementen, de gegevensvereisten en beoordelingseenheden, en biedt de lezer handvatten voor het kiezen van de meest geschikte evaluatiebenaderingen voor het bepalen van de bijdrage van het POP aan de waarden van de GLB-effectindicatoren. Daarnaast staan in Deel II ook benaderingen voor het beoordelen van POP-bijdragen aan het realiseren van de EU 2020-strategie en aan innovatie.

DEEL III: bevat de fiches voor het beantwoorden van de GEV's 22-30.

DEEL IV: bevat de technische bijlage met daarin uitgebreidere informatie over de benaderingen voor het beoordelen van de GLB-effectindicatoren en de verklarende woordenlijst.

3

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

1 WAT MOET ER IN HET JAARLIJKSE UITVOERINGSVERSLAG DAT IN 2019 WORDT INGEDIEND, WORDEN GERAPPORTEERD OVER EVALUATIES? (DEEL I)

1.1 Juridisch kader en zwaartepunt van de evaluatie in 2019

Met ingang van juni 2016 – en jaarlijks tot en met 20243 – dienen de lidstaten een jaarlijks uitvoeringsverslag in bij de Europese Commissie. Het jaarlijkse uitvoeringsverslag biedt informatie over de uitvoering van het POP alsook informatie over de voortgang bij de uitvoering van het evaluatieplan4.

Het jaarlijkse uitvoeringsverslag in 2017 bevatte tevens de kwantificering van de resultaten van het programma (door middel van de beoordeling van de resultaatindicatoren, met inbegrip van aanvullende resultaatindicatoren). Er werden beoordelingscriteria gebruikt voor de interpretatie van resultaatindicatoren en voor de beantwoording van GEV's5 1-21. Het verslag Guidelines: Assessment of RDP results: how to prepare for reporting on evaluation in 2017, kan deze activiteiten ook ondersteunen en ze relevant maken voor de beoordeling in 20196.

Voor het jaarlijkse uitvoeringsverslag dat in 2019 ingediend zal worden, moeten de evaluatiebevindingen worden bijgewerkt waarover in 2017 reeds verslag is gedaan. Daarnaast bevat het:

de bevindingen uit de beoordeling van de POP-effecten. Deze zijn verkregen door berekening en interpretatie van de nettowaarden van de GLB-effectindicatoren;

de bijdrage van het POP aan de EU-strategie voor slimme, duurzame en inclusieve groei alsook aan de biodiversiteitsstrategie; en

de antwoorden op de GEV's voor de POP's 2014-2020 met betrekking tot de doelstellingen op het niveau van de EU (d.w.z. GEV's 22-30).

De onderstaande figuur biedt een overzicht van de belangrijkste rapportagevereisten inzake evaluatie in de jaarlijkse uitvoeringsverslagen in de programmeringsperiode, zoals in het wettelijke kader7 en in de bijbehorende richtsnoeren is aangegeven.

3 Artikel 75 van Verordening (EU) nr. 1305/2013.4 Guidelines "Establishing and implementing the Evaluation Plan of 2014- 2020 RDPs". 5 Uitvoeringsverordening (EU) nr.   808/2014 van de Commissie, bijlage I, punt 7, en bijlage VII, punt

7.6 De Evaluatiehelpdesk heeft de bevindingen van de in 2017 ingediende jaarlijkse uitvoeringsverslagen samengevat in het

rapport Summary Report. Synthesis of the Evaluation Components of the 2017 Enhanced AIR: hoofdstuk 7.7 Bijlage VII bij Verordening (EU) nr. 808/2014.

4

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

Figuur 1. Verslaglegging over evaluatie (overeenkomstig bijlage VII bij Verordening (EU) nr. 808/2014

Alle JUV's In 2017 ingediende JUV

JUV die in 2019 wordt ingediend

De voortgang bij de uitvoering van het evaluatieplan Kwantificering van de resultaten van het programma, met name door middel van een beoordeling van de

aanvullende resultaatindicatoren, en relevante evaluatievragen

Vorderingen bij de verwezenlijking van de doelstellingen van het programma en de bijdrage aan het

verwezenlijken van de strategie van de Unie voor slimme, duurzame en inclusieve groei, onder meer door de nettobijdrage van het programma aan wijzigingen van

de GLB-effectindicatorwaarden, en relevante evaluatievragen

Richtsnoeren: Assessment of RDP Results: how to prepare for reporting on evaluation in 2017

Richtsnoeren: Beoordeling van POP-resultaten en -gevolgen in 2019

Bron: European Evaluation Helpdesk for Rural Development (2018)

Het wettelijke kader

Het wettelijke kader en het Ontwerp en uitvoering van het gemeenschappelijk monitoring- en evaluatiesysteem (CMES) zijn het fundament onder de evaluatie van de POP's.

Het wettelijke kader8 is het uitgangspunt voor de evaluatie van de POP-resultaten en -bijdragen aan de hogere beleidsdoelstellingen van de EU.

De algemene bepalingen voor evaluaties staan beschreven in Verordening (EU) nr. 1303/2013 en verduidelijken de rol van evaluaties in:

het verbeteren van de kwaliteit van het ontwerp en de uitvoering van programma's; en de beoordeling van de doeltreffendheid, de doelmatigheid en het effect ervan9.

De lidstaten verstrekken hiertoe de nodige middelen om de evaluaties uit te voeren en zorgen voor procedures voor het produceren en verzamelen van de voor de evaluaties vereiste gegevens, waaronder gegevens over gemeenschappelijke en, in voorkomend geval, programmaspecifieke indicatoren.

De evaluatie wordt uitgevoerd in overeenstemming met het evaluatieplan en aan de evaluatiebevindingen wordt overeenkomstig fonds-specifieke voorschriften gevolg gegeven; Tijdens de programmeringsperiode wordt ten minste een keer geëvalueerd hoe de steun uit de ESI-fondsen heeft bijgedragen tot de verwezenlijking van de doelstellingen voor elke prioriteit10.

In Verordening (EU) nr. 1306/2013 worden de vereisten met betrekking tot monitoring en evaluatie voor het gemeenschappelijk landbouwbeleid (GLB) beschreven.11 Daarin is bepaald dat de Europese Commissie toeziet op de prestaties van het GLB bij de verwezenlijking van de gemeenschappelijke doelstellingen. De gecombineerde effecten van alle GLB-instrumenten worden gemeten en beoordeeld aan de hand van de monitoring- en evaluatieactiviteiten die in de lidstaten worden uitgevoerd. De gemeenschappelijke doelstellingen worden beoordeeld aan de hand van gemeenschappelijke effectindicatoren, terwijl de onderliggende specifieke doelstellingen worden beoordeeld aan de hand van gemeenschappelijke resultaatindicatoren. De te verzamelen

8 Artikelen 67-79 van Verordening (EU) nr. 1305/2013, artikel 110 van Verordening (EU) nr. 1306/2013, Artikel 1, onder a) en bijlage I bij Verordening (EU) nr. 834/2014, artikel 14 en bijlagen IV, V, VI en VII bij Verordening (EU) nr. 808/2014.

9 Artikel 54 van Verordening (EU) nr. 1303/2013.10 Artikel 56 van Verordening (EU) nr. 1303/2013.11 Artikel 110 van Verordening (EU) nr. 1306/2013.

5

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

informatie wordt gebaseerd op bestaande gegevensbronnen zoals het Informatienet inzake landbouwbedrijfsboekhoudingen (ILB) en Eurostat. De Europese Commissie houdt rekening met de gegevensbehoeften en de synergieën tussen potentiële gegevensbronnen, en met name met het eventuele gebruik ervan voor statistische doeleinden.12

Verordening (EU) 1305/2013 stelt het gemeenschappelijk monitoring- en evaluatiesysteem vast, de doelstellingen van dat systeem13 en de gemeenschappelijke indicatoren14. Deze indicatoren hebben betrekking op zowel de uitgangssituatie (contextindicatoren) als de financiële uitvoering, de outputs, de resultaten en de effecten van het programma. De gemeenschappelijke indicatoren zijn gebaseerd op beschikbare gegevens en gekoppeld aan de structuur en de doelstellingen van het beleidskader voor plattelandsontwikkeling en maken het mogelijk de vooruitgang, de doeltreffendheid en de doelmatigheid van de uitvoering van het beleid te beoordelen in het licht van de doelstellingen en streefdoelen op het niveau van de Unie, de lidstaat en het programma.

De effecten van de programma's voor plattelandsontwikkeling worden beoordeeld aan de hand van gemeenschappelijke (alsmede aanvullende en programmaspecifieke) effectindicatoren. De beoordeling van de programmaeffecten valt onder de bevoegdheid van de afzonderlijke lidstaten.

De gemeenschappelijke evaluatie-elementen

Het CMES is onderdeel van het gemeenschappelijk monitoring- en evaluatiekader voor het GLB (GMEK)15 en bevat diverse richtsnoeren voor het gebruik van gemeenschappelijke evaluatievragen en indicatoren bij de monitoring en evaluatie van het plattelandsontwikkelingsbeleid. In Uitvoeringsverordening (EU) nr. 808/2014 van de Commissie16 staat een uitgebreidere beschrijving van het CMES en worden de elementen ervan opgesomd:

een interventielogica die de interacties tussen prioriteiten, aandachtsgebieden en maatregelen laat zien;

een reeks gemeenschappelijke context-, resultaat- en outputindicatoren, met inbegrip van indicatoren ter vaststelling van gekwantificeerde doelstellingen voor aandachtsgebieden op het gebied van plattelandsontwikkeling17;

gemeenschappelijke evaluatievragen18; gegevensverzameling, -opslag, en -transmissie; regelmatige verslaglegging over monitoring- en evaluatieactiviteiten19; het evaluatieplan20; de ex-ante- en ex-postevaluaties en alle andere evaluatieactiviteiten in verband met het

plattelandsontwikkelingsprogramma, met inbegrip van die welke vereist zijn ter nakoming van de in 2017 en 2019 in te dienen jaarlijkse uitvoeringsverslagen21;

steun om alle met monitoring en evaluatie belaste actoren in staat te stellen hun verplichtingen na te komen22.

De Europese Commissie verstrekt ook uitgebreide fiches voor de verschillende gemeenschappelijke indicatoren waarover in de in 2017 en 2019 in te dienen jaarlijkse uitvoeringsverslagen gerapporteerd moet worden. Daarvan behoren er 16 tot de gemeenschappelijke GLB-effectindicatoren. Elke fiche voor een effectindicator bevat een link naar:

12 Artikel 110, leden 3 en 4, van Verordening (EU) nr. 1306/2013.13 Artikelen 67 en 68 van Verordening (EU) nr. 1305/2013.14 Artikel 69 van Verordening (EU) nr. 1305/2013.15 Technical Handbook on the Monitoring and Evaluation of the Common Agriculture Policy 2014-2020, Europese Commissie,

juni 2017.16 Artikel 14 van Verordening (EU) nr. 808/2014.17 Bijlage IV bij Verordening (EU) nr. 808/2014.18 Bijlage V bij Verordening (EU) nr. 808/2014.19 Bijlage VII, punt 2, van Verordening (EU) nr. 808/2014.20 Bijlage I, DEEL I, punt 9, van Verordening (EU) nr. 808/2014.21 Bijlage VII, punt 7, van Verordening (EU) nr. 808/2014.22 Bijlage VI bij Verordening (EU) nr. 808/2014.

6

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

de bijbehorende beleidsdoelstelling; de definitie van de indicator; de meeteenheid; de methode/formule voor de berekening; de gegevensvereisten en -bronnen het niveau en de frequentie van verzameling van gegevens; informatie over vertragingen bij het verzamelen van gegevens.

13 van de 16 gemeenschappelijke GLB-effectindicatoren moeten worden gebruikt bij de beoordeling van POP-effecten:

I.01 Inkomen uit de landbouwbedrijfsuitoefening I.02 Agrarisch factorinkomen I.03. Totale factorproductiviteit in de landbouw I.07 Van de landbouw afkomstige emissies I.08 Akkervogelindex I.09 Landbouw met een hoge natuurwaarde (HNW) I.10 Wateronttrekking in de landbouw I.11 Waterkwaliteit I.12 Organisch materiaal in bouwland I.13 Bodemerosie door de inwerking van water I.14 Werkgelegenheid op het platteland I.15 Armoede op het platteland I.16 Bbp per capita op het platteland

1.2 Hoe moet in 2019 worden gerapporteerd over de GEV's?

In 2019 doen de lidstaten verslag van hun evaluatiebevindingen door alle relevante gemeenschappelijke en programmaspecifieke evaluatievragen in de respectievelijke afdelingen van het jaarlijkse uitvoeringsverslag te beantwoorden.

Net als geldt voor de GEV's 1-21 moeten de antwoorden op de GEV's die betrekking hebben op de doelstellingen op het niveau van de EU (GEV's 22-30) gebaseerd zijn op het feitenmateriaal uit de evaluatiebevindingen. De oordelen over het succes van de interventies worden geformuleerd aan de hand van beoordelingscriteria en bepaald met behulp van gemeenschappelijke en aanvullende effectindicatoren alsmede van indicatoren die verband houden met de EU-strategie voor slimme, duurzame en inclusieve groei. Daarnaast kan, bij een eventueel gebrek aan gegevens, kwalitatieve informatie worden verzameld ter beantwoording van de evaluatievragen.

Wat zijn de globale stappen bij het beantwoorden van de evaluatievragen?

Bij het formuleren van de antwoorden op de GEV's 22-30 worden de volgende globale stappen aanbevolen:

herzie de interventielogica van programma's die verband houden met de doelstellingen van het GLB/de EU 2020-strategie, plattelandsontwikkelingsprioriteit(en), aandachtsgebied(en) en maatregelen van de respectievelijke gemeenschappelijke evaluatievragen;

stel beoordelingscriteria op en koppel die aan gemeenschappelijke (en aanvullende) effectindicatoren die worden gebruikt om de evaluatievraag te beantwoorden;

kies kwantitatieve en kwalitatieve methoden waarmee de nettowaarden23 van de effectindicatoren kunnen worden beoordeeld;

verstrek kwantitatieve waarden van de resultaat- en effectindicatoren, alsook relevante kwalitatieve bevindingen voor het beantwoorden van de evaluatievragen;

23 Technical Handbook on the Monitoring and Evaluation of the Common Agriculture Policy 2014-2020, Europese Commissie, juni 2017.

7

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

beantwoord de evaluatievragen.

De bovengenoemde stappen stemmen overeen met de stappen die voor de evaluatie in 2017 werden aanbevolen. In 2019 is er wellicht sprake van een aantal nieuwe uitdagingen, die in deel II van de richtsnoeren worden toegelicht.

Waar zijn de richtsnoeren voor de in 2019 te beantwoorden GEV's te vinden?

De huidige richtsnoeren bieden uitgebreide informatie over de beantwoording van de gemeenschappelijke evaluatievragen die verband houden met de doelstellingen op het niveau van de EU (GEV's 22-30). Zo nodig wordt daarin verwezen naar andere relevante richtsnoeren, zoals tabel 1 laat zien.

De richtsnoeren voor de beantwoording van de gemeenschappelijke evaluatievragen die verband houden met de aandachtsgebieden op het gebied van plattelandsontwikkeling, synergieën van programma's, technische bijstand en nationale netwerken voor het platteland (GEV's 1-21) zijn te vinden in de richtsnoeren Assessment of RDP results: how to prepare for reporting on evaluation in 2017: dit

document laat zien hoe er moet worden gerapporteerd over evaluaties in het jaarlijkse uitvoeringsverslag dat in 2017 is ingediend en de periode daarna. De richtsnoeren dragen mogelijke evaluatiebenaderingen aan voor het beoordelen van POP-resultaten in 2017 die, wat GEV's 1-21 betreft, ook in 2019 waardevol zijn.

Bijlage 11 - Fiches for answering Common Evaluation Questions for Rural Development Programmes 2014-2020: biedt technische ondersteuning bij het beantwoorden van de GEV's. 1-21. Daarin staat de interventielogica die met elke GEV verband houdt, en worden nuttige evaluatie-elementen beschreven en beoordelingsmethoden voorgesteld.

In tabel 1 staat een overzicht van de belangrijkste documenten voor het beantwoorden van de GEV's in het jaarlijkse uitvoeringsverslag 2019:

8

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

Table 1. Richtsnoeren voor het beantwoorden van de GEV's in het jaarlijkse uitvoeringsverslag in 2019

GEV Document Belang voor het jaarlijkse uitvoeringsverslag in 2019

1-21 Fiches voor streefcijferindicatoren voor Pijler II (prioriteiten I en II)

Toont per indicator de verbanden met de betreffende prioriteit en het aandachtsgebied, de definitie en de meeteenheid, de rekenmethode, gegevensvereisten en -bronnen, de frequentie van verzameling en de verzendingswijze naar de Europese Commissie.

Fiches voor aanvullende resultaatindicatoren voor Pijler II

Bevat soortgelijke richtsnoeren voor elk van de aanvullende resultaatindicatoren.

Guidelines Assessment of RDP results: how to prepare for reporting on evaluation in 2017 (aparte bijlage 11)

Gaat in op het rapporteren over evaluaties in het jaarlijkse uitvoeringsverslag dat in 2017 is ingediend, het uitvoeren van de evaluatie-activiteiten en op de vraag met behulp van welke methoden de GEV's 1-21 beantwoord moeten worden.

Richtsnoeren Evaluatie van LEADER/CLLD

Hierin wordt uitgelegd hoe de primaire en secundaire bijdragen van LEADER/CLLD aan de aandachtsgebieden op het gebied van plattelandsontwikkeling moeten worden beoordeeld.

Richtsnoeren Evaluatie van innovatie in POP's 2014-2020

Biedt informatie over de beoordeling van innovatie met betrekking tot de aandachtsgebieden 1A en 1B en over het ondersteunen van innovatie via de werkzaamheden van de nationale netwerken voor het platteland. Daarnaast biedt het ondersteuning bij het beantwoorden van GEV's 1, 2 en 21 in het licht van innovatie.

22-30 Fiches voor effectindicatoren

Biedt informatie over het verband tussen de indicator en de algemene GLB-doelstellingen, definities van indicatoren, de meeteenheid, de rekenmethode/-formule, gegevensvereisten, bronnen en frequentie van (of vertraging bij) het verzamelen en de plaats van de gegevens.

Meest recente gegevens van de lidstaten over contextindicatoren

De Europese Commissie verstrekt jaarlijks de bijgewerkte gegevens (afhankelijk van de beschikbaarheid) voor gemeenschappelijke contextindicatoren, gebaseerd op de door de lidstaten aangeleverde gegevens.

Richtsnoeren Evaluatie van innovatie in POP's 2014-2020

Biedt informatie over de beoordeling van de POP-bijdragen aan het verwezenlijken van de Europa 2020-kerndoelstelling om 3 % van het bbp van de EU te investeren in onderzoek en ontwikkeling en innovatie; over de beoordeling van de POP-bijdrage aan innovatie; en over de beantwoording van GEV's 23 en 30.

Informatie over de Europa 2020-strategie

De Europa 2020-strategie wordt gebruikt als een referentiekader voor activiteiten op EU-, nationaal en

9

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

GEV Document Belang voor het jaarlijkse uitvoeringsverslag in 2019

regionaal niveau. De regeringen van de EU-landen hebben nationale doelstellingen vastgesteld om samen de EU-kerndoelstellingen te halen en brengen verslag uit over hun vorderingen in hun nationale hervormingsprogramma's. Eurostat, het Europees bureau voor de statistiek, publiceert regelmatig uitgebreide voortgangsverslagen over de doelstellingen (publicatie "Smarter, greener, more inclusive? Indicators to support the Europe 2020 strategy") waarin de voorgang in het bereiken van de EU-streefdoelen en -doelstellingen wordt gevolgd die zijn vastgesteld in de drie elkaar wederzijds versterkende prioriteiten, te weten slimme, duurzame en inclusieve groei, en waarin de stand van zaken in de lidstaten wordt getoond.

22, 23, 24, 25, 30

Informatie over de streefdoelen van de Europa 2020-strategie per lidstaat

Eurostat werkt per lidstaat regelmatig de informatie bij over de nationale streefdoelen voor het behalen van de kerndoelstellingen van de Europa 2020-strategie.

Fiches voor contextindicatoren

45 gemeenschappelijke GLB-contextindicatoren (verdeeld over drie groepen: sociaaleconomisch, sectoraal en ecologisch) die een beeld geven van algemene contextuele tendensen in de economie, het milieu en de samenleving. Hiervan wordt een invloed op de tenuitvoerlegging, de verwezenlijkingen en de prestaties van het GLB verwacht. De informatiebladen over indicatoren bevatten een beschrijving van de definities, methoden en gegevensbronnen.

Alle GEV's

Working Paper Common evaluation questions for Rural Development Programmes 2014-2020

Licht het doel en het gebruik toe van de gemeenschappelijke evaluatievragen in het CMES. Hierin worden de diverse soorten evaluatievragen beschreven en wordt een opsomming gegeven van de beoordelingscriteria en de gemeenschappelijke en aanvullende indicatoren voor de GEV's 1-21.

1.3 Voorbereiding op het jaarlijkse uitvoeringsverslag in 2019

Bij de voorbereiding op de beoordeling van POP-resultaten en -effecten in 2019 kunnen de diverse belanghebbenden bij de evaluatie in de lidstaten een aantal stappen zetten24 die bijdragen aan kwalitatief hoogwaardige evaluatiebevindingen die van belang zijn voor beleidsmakers.

In tabel 2 staat een modelcontrolelijst met de benodigde stappen voor de evaluatie in 2019. Daarin zijn ook een aantal voorbereidende stappen opgenomen die – mochten deze nog niet zijn gezet – nog kunnen worden gemaakt voordat met de evaluatieactiviteiten in 2019 wordt begonnen. In tabel 2 is te zien wat de verantwoordelijkheden zijn van de diverse spelers die op het niveau van de lidstaten betrokken kunnen zijn bij de evaluatieactiviteiten: beheersautoriteit (BA), toezichtcomité (TC),

24 Meer informatie over de evaluatiecyclus staat in de richtsnoeren Assessment of RDP results: how to prepare for reporting on evaluation in 2017 .

10

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

betaalorgaan (BO), evaluatie-eenheid (EvU) (indien aanwezig), evaluatiestuurgroep (ESG) (indien aanwezig), de beoordelaars (Ev), de gegevensverstrekkers (DP), en andere belangrijke betrokkenen bij de evaluatie (O).

11

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

Table 2. Controlelijst van aanbevolen stappen voor de evaluatie in 2019Fa

se StapIndicatief

tijdschema

Verantwoordelijkheid (x) en betrokkenheid (y)25

BA BO DP EvU ESG Ev TC O

Planning Werk de referentiewaarden van de

gemeenschappelijke contextindicatoren bij (in het POP).

Zodra gegevens beschikbaar zijn

x y

Plan evaluatieactiviteiten, onderwerpen, studies en regelingen voor gegevensverzameling die verband houden met de gemeenschappelijke effectindicatoren in het POP-evaluatieplan.

Vanaf 2013 x y

Ontwikkel/update interne evaluatieplanning (document) voor de nadere specificatie van de evaluatieonderwerpen en -activiteiten (waaronder ordening van gegevens voor het verrekenen van de effectindicatoren, het verzamelen van ander feitenmateriaal, en verwante studies).

Vanaf 2013 x y

Richt een vrijwillige evaluatiestuurgroep op die het evaluatieproces leidt (periodieke vergaderingen).

Vroeg in de programmaperiode

x y y x x y

Herzie de interventielogica van het programma (doelstellingen, PO-prioriteiten en -aandachtsgebieden, maatregelen).

Vroeg in de programmaperiode en vóór elke evaluatie

x x y y

Werk aan een gemeenschappelijke interpretatie van de gemeenschappelijke evaluatievragen, stel beoordelingscriteria op en koppel die aan gemeenschappelijke (en aanvullende) indicatoren. Waarborg consistentie bij het koppelen van de evaluatie-elementen aan de POP-interventielogica.

Vroeg in de programmaperiode en vóór elke evaluatie

x x y y

Stel zo nodig programmaspecifieke evaluatievragen op. Voorzie deze van beoordelingscriteria en programmaspecifieke indicatoren. Waarborg consistentie bij het koppelen van de evaluatie-elementen aan de POP-interventielogica.

Vroeg in de programmaperiode en vóór elke evaluatie

x x y y

25 BA – beheersautoriteit, TC – toezichtcomité, BO – betaalorgaan, EvU – evaluatie-eenheid, ESG – evaluatiestuurgroep, Ev – beoordelaars, DP – gegevensverstrekkers, O – anderen.

12

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

Fase Stap

Indicatief tijdschema

Verantwoordelijkheid (x) en betrokkenheid (y)

BA BO DP EvU ESG Ev TC O

Voorbereiding Screen de bestaande gegevens voor de

berekening van de gemeenschappelijke (en aanvullende) indicatoren om het noodzakelijke feitenmateriaal te verzamelen voor de beantwoording van de GEV's met betrekking tot de Europa 2020-strategie. Breng eventuele gegevenshiaten met betrekking tot de geselecteerde indicatoren in kaart.

Vroeg in de programmaperiode en vóór de evaluatie

x y y x x y y

Bespreek mogelijke evaluatiebenaderingen voor de beoordeling/verrekening van de effectindicatoren in overeenstemming met de bestaande gegevens.

Vroeg in de programmaperiode en vóór de evaluatie

x x x y

Stel de opdrachtomschrijving op en schrijf een aanbesteding uit voor de evaluatie (als evaluatie tijdens de uitvoering of als eenmalige evaluatiecontracten voor 2017 en 2019).

Vroeg in de programmaperiode, of in 2016 en 2018

x y y

Structurering Bespreek de bestaande gegevensbronnen

en gegevenshiaten met de beoordelaars. Beslis hoe de gegevenshiaten worden gevuld.

2016 en het 2e en 3e kwartaal van 2018

x y y x y x y

Bespreek de methodologische benaderingen voor de beoordeling van POP-effecten en voor het verrekenen van de gemeenschappelijke (en aanvullende) effectindicatoren met de beoordelaars.

2016 en het 2e en 3e kwartaal van 2018

x x x

Waarnemen Verzamel gegevens en informatie over

begunstigden in samenhang met de gemeenschappelijke (en aanvullende) effectindicatoren en overeenkomstig de voorgestelde methoden.

Vanaf het begin van het POP tot eind 2018

y x y y x y

Verzamel gegevens en informatie over niet-begunstigden in samenhang met de gemeenschappelijke (en aanvullende) effectindicatoren en overeenkomstig de voorgestelde methoden.

Vanaf het begin van het POP tot eind 2018

x y y x y

Zorg voor kwaliteitsborging van de verzamelde gegevens uit zowel de actiedatabase als andere bronnen (bijv. ILB, statistische bureaus, milieutoezicht enz.).

Lopend x x x x y x

Analyse Voer overeenkomstig de voorgestelde

evaluatiebenadering en de gekozen evaluatiemethoden de beoordeling en de verrekening uit van de effectindicatoren.

Eerste kwartaal van 2019

y x

Zorg dat de kwaliteit van de analyse gewaarborgd is.

Eerste kwartaal van 2019

y x y x

13

Deel I – Wat moet er in het jaarlijkse uitvoeringsverslag in 2019 worden gerapporteerd over evaluaties?

Fase Stap

Indicatief tijdschema

Verantwoordelijkheid (x) en betrokkenheid (y)

BA BO DP EvU ESG Ev TC O

Beoordeling Interpreteer de evaluatiebevindingen uit de

analyse, stel beoordelingen vast op basis van de beoordelingscriteria en beantwoord de evaluatievragen.

Eerste kwartaal van 2019

y x

Stel conclusies op die verband houden met de beoordelingen en doe zo nodig aanbevelingen.

Eerste en tweede kwartaal van 2019

y x

Zorg dat de kwaliteit van de beoordelingen gewaarborgd is.

Eerste en tweede kwartaal van 2019

y x y x

Verslaglegging Stel het evaluatieverslag op. Tweede

kwartaal van 2019

x y x y x

Leg de evaluatiebevindingen voor aan het toezichtcomité.

Tweede kwartaal van 2019

x y y x y

Vul het SFC-sjabloon voor het jaarlijkse uitvoeringsverslag in (inclusief de hoofdstukken 2 en 7) en dien dat in bij de Europese Commissie.

Tweede kwartaal van 2019

x x y

Publiceer het jaarlijkse uitvoeringsverslag en de evaluatieverslagen (niet alleen hoofdstuk 7 van het jaarlijkse uitvoeringsverslag) op de openbare website.

Tweede, derde en vierde kwartaal van 2019

x x

Stel voor de diverse doelgroepen de evaluatiebevindingen ter beschikking in andere geschikte formaten (bijv. een publiekssamenvatting).

Derde en vierde kwartaal van 2019

x x y y

Stuur de evaluatiebevindingen naar de doelgroepen.

Derde en vierde kwartaal van 2019

x x y y y y

Vervolgacti Geef met het oog op de verbetering van de

opzet en uitvoering van het programma voor plattelandsontwikkeling gevolg aan de conclusies en aanbevelingen in de evaluatie.

Vanaf het tweede kwartaal van 2019

x y y

14

Logische modellen zijn beslissingsbomen die belanghebbenden kunnen helpen bij het ontwerpen van een (op een nulscenario gebaseerde) evaluatiebenadering en bij het kiezen van de meest geschikte methoden met het oog op de beschikbare gegevens en informatie.

2 BENADERINGEN VOOR HET BEOORDELEN VAN POP-EFFECTEN IN 2019 (DEEL II)

2.1 Geschikte evaluatiebenaderingen kiezen voor het beoordelen van POP-effecten

De beoordeling en verrekening van de gemeenschappelijke GLB-effectindicatoren van Pijler II in 2019 is een zware taak en roept diverse vragen op:

Kunnen waargenomen veranderingen in plattelandsgebieden aan de POP-interventies worden toegeschreven en welke evaluatiebenaderingen dienen voor dit doel te worden gebruikt?

Welke gegevens uit bestaande bronnen (bijv. monitoring-, EU-, nationale en regionale databases) moeten worden gebruikt ter onderbouwing van de voorgestelde evaluatiebenadering?

Hoe wordt de coördinatie met de diverse gegevensverstrekkers vorm gegeven? Hoe kan de kwaliteit van gegevens worden gewaarborgd en gegevenshiaten worden gedicht?

2.1.1 Hoe kunnen logische modellen worden gebruikt om te bepalen welke evaluatiebenaderingen geschikt zijn?

Logische modellen kunnen de beoordelaar naar nieuwe benaderingen en een betere planning voor gegevensvergaring loodsen en een reflectieproces op gang brengen over methoden die minder afhankelijk zijn van de beschikbaarheid van gegevens (bijv. kwalitatieve methoden). Binnen een bepaalde context (gegevens, evaluatiebudget en tijdschema) kunnen logische modellen de beheersautoriteiten ook helpen bij het plannen en voorspellen van de uitkomsten van evaluaties.

De logische modellen bieden een stapsgewijze leidraad voor het ontwerp van de evaluatiebenaderingen zodat beter inzicht kan worden verkregen in: MOGELIJKHEDEN: welke combinaties van gegevens/indicatoren/methoden zijn beschikbaar

en geschikt om de evaluatievragen te beantwoorden. VEREISTEN: welke gegevens/indicatoren/methoden/benaderingen zijn vereist voor de

beoordeling van de netto-effecten en om de evaluatievraag te beantwoorden. GEVOLGEN: wat zijn de gevolgen van beslissingen in de diverse stadia voor de kosten en

doeltreffendheid van de evaluatie.

15

DEEL II van de niet-bindende richtsnoeren "Beoordeling van POP-resultaten en -effecten in 2019" moet worden gelezen in samenhang met DEEL III (Fiches voor het beantwoorden van de gemeenschappelijke evaluatievragen 22-30 en DEEL IV (Technische bijlage), waarin aanvullende informatie staat over de voorgestelde evaluatiebenaderingen, voorbeelden van aanvullende indicatoren, een uitgebreide beschrijving van werkstappen, de geschiktheid van voorgestelde evaluatiebenaderingen, tips en een verklarende woordenlijst.

De in deze richtsnoeren gepresenteerde logische modellen volgen de benadering die door ENVIEVAL26 is ontwikkeld in het Methodological Handbook for the evaluation of environmental impacts of RDPs. ENVIEVAL heeft deze verbeterde hulpmiddelen ontwikkeld en getest voor de evaluatie van de milieueffecten van maatregelen en programma's voor plattelandsontwikkeling in de EU-lidstaten27.

De lagen van het logisch model

In figuur 2 staat een overzicht van de vier lagen van het logisch model. De eerste laag van de figuur laat zien hoe het beoordelingskader moet worden opgezet. Hiervoor is inzicht nodig in de positionering van de effecten in de interventielogica, de beschikbare indicatoren en de eenheid van de beoordeling. In de tweede laag staan de mogelijkheden voor de nulmeting, waarbij rekening wordt gehouden met beperkende factoren. De derde laag verfijnt de mogelijkheden op micro- en macroniveau om de nettogevolgen te kunnen beoordelen. De vierde laag, tot slot, controleert de consistentie van de analyse op micro- en macroniveau met het oog op validering van de bevindingen.

Figuur 2. Vereenvoudigd stroomschema van de lagen van het logisch model

Het beoordelingskader opzetten

Nulscenario

Netto-effecten

Netto-effecten

Microniveau Macroniveau

1e laag

2e laag

3e laag

4e laag Micro-macrocontrole van de consistentie

Bron: European Evaluation Helpdesk for Rural Development (2018), ontleend aan ENVIEVAL (2015): Methodological Handbook for the evaluation of environmental impacts of RDPs: Report D9.5. Brussel: Europese Commissie.

De lagen van het logisch model worden gebruikt als referentiepunt voor de beschrijving van de voorgestelde evaluatiebenaderingen voor de GLB-effectindicatoren (zie de hoofdstukken 2.2-2.9).

26 ENVIEVAL was een Europees samenwerkingsproject (subsidieovereenkomst nr. 312071) dat van januari 2013 tot en met december 2015 subsidie ontving uit het zevende kaderprogramma van de Europese Unie voor onderzoek, technologische ontwikkeling en demonstratie.

27 Methodological Handbook for the evaluation of environmental impacts of RDPs: Report D9.5, ENVIEVAL project (subsidieovereenkomst nr. 312071)]. Brussel: Europese Commissie, Morkvenas Z, Navickas K, Gulbinas J, Jefanovas A, Schwarz G, Wolff A, Offermann F, Osterburg B, Aalders I, Miller D, Morrice J, Vlahos G, Smyrniotopoulou A, Artell J, Aakkula J, Toikkanen H, Povellato A, Longhitano D, Lasorella V, Balazs K, et al. (2015), blz. 152.

16

Het beoordelingskader opzetten (eerste laag)

Het beoordelingskader kan worden opgezet door de onderstaande stappen te volgen:

Stap 1 - Licht de CMES-interventielogica toe: De interventielogica toont de hiërarchie in beleidsdoelstellingen met betrekking tot de relevante evaluatievragen, maatregelen en aandachtsgebieden alsmede tot de betreffende output-, resultaat- en effectindicatoren van het CMES. De indicatoren worden herzien in het licht van de beschikbare gegevens.

Stap 2 - Kies aanvullende (resultaat- en/of effect)indicatoren: Deze indicatoren kunnen dienen als aanvulling op de verplichte CMES-indicatoren. Het gebruik van aanvullende indicatoren is vrijwillig en

moet zorgvuldig overwogen worden, waarbij rekening moet worden gehouden met de kosten, de beschikbaarheid van gegevens, de geschiktheid en de toegevoegde waarde voor de beoordeling. Aanvullende indicatoren kunnen nuttig zijn bij het kwantificeren van nettoresultaten en -effecten als de gegevens voor de gemeenschappelijke indicatoren niet volstaan of als er hiaten in de gemeenschappelijke resultaat- en effectindicatoren moeten worden opgevuld. Ter aanvulling op het kwantitatieve feitenmateriaal of bij afwezigheid van alternatieve kwantificeerbare gegevens kunnen aanvullende indicatoren ook kwalitatief van aard zijn (bijv. de door belanghebbenden waargenomen verandering op basis van een Likertschaal).

Stap 3 - Definieer de analyse-eenheid (= het "kleinste deel van een georganiseerd systeem") voor de beoordeling op micro- en macroniveau (indien van toepassing): De analyse-eenheid op microniveau kan een landbouwbedrijf, kavel, gemeente of regio zijn; op macroniveau kan het gaan om een stroomgebied, een regionale eenheid of het hele POP-gebied. Met behulp van een omlijnde analyse-eenheid kan de indicator door de POP-interventies veroorzaakte veranderingen in het landbeheer alsmede ecologische, sectorale of sociaaleconomische veranderingen meten. De betreffende gegevens moeten voor dezelfde categorie eenheden worden verzameld en zowel begunstigden als niet-begunstigden van het programma omvatten.

Een nulscenario opzetten (tweede laag)

Het programmaeffect behelst het verschil in waarde van een bepaald resultaat (bijv. bruto toegevoegde waarde of arbeidsproductiviteit) voor dezelfde eenheid met en zonder het programma. Deze definitie gaat op voor alle analyse-eenheden (bijv. een persoon, landbouwbedrijf, onderneming, areaal, gemeenschap, dorp, regio, programmagebied of land) en voor alle resultaten (uitgedrukt in sectorale, ecologische of sociaaleconomische indicatoren) die redelijkerwijs met het programma in verband gebracht kunnen worden.

De tweede laag helpt de beoordelaar bij het bepalen van één of meerdere soorten nulscenario's die met behulp van de beschikbare gegevens kunnen worden opgesteld. Deze laag houdt rekening met

17

De beoordeling van een bepaald effect (sectoraal, ecologisch of sociaaleconomisch) begint met het opstellen van een samenhangend evaluatiekader. Dit verschaft inzicht in de positionering van het effect binnen de interventielogica en laat de beschikbare indicatoren en de analyse-eenheden voor de meting ervan zien.

Vanwege andere factoren die een

rol spelen, kunnen programmaeffecten nooit rechtstreeks worden waargenomen en daarom vereist de beoordeling ervan het gebruik van een nulscenario.

een aantal beperkende factoren (bijv. weinig beschikbare gegevens, kortlopende evaluatiecontracten en beperkte evaluatiecapaciteit) en helpt bij het bepalen van haalbare alternatieve oplossingen (bijv. voor de beoordeling van milieueffecten). Het is belangrijk om de ontwerpmogelijkheden van nulscenario's systematisch te onderzoeken, zelfs als er gegevens ontbreken. Dat onderzoek levert waardevolle informatie op over de voorwaarden waaraan moet worden voldaan bij het gebruik van een degelijk nulscenario, en geeft alternatieve mogelijkheden aan (bijv. naïeve groepsvergelijkingen of kwalitatieve beoordelingen).

In het logisch model is de laag "nulscenario" van toepassing op beoordelingen op zowel micro- als macroniveau en gekoppeld aan de keuze voor de evaluatiebenaderingen en -methoden. Het is aan de programmabeoordelaar om te bepalen op welk niveau (micro- of macro-) de analyse van de programmaeffecten wordt uitgevoerd. Dit besluit is afhankelijk van de beschikbare gegevens en gaat vooraf aan de keuze voor de analyse-eenheid waarover gegevens (economisch, ecologisch of sociaaleconomisch) worden verzameld.

18

Lidstaten met diverse POP's kunnen voor het probleem komen te staan dat de Europese gegevensbronnen (bijv. Eurostat) geen waarden bevatten voor gemeenschappelijke GLB-effectindicatoren op het niveau van alle regionale POP's. In dat geval kan de regionale waarde van de indicator (NUTS 2) worden geschat op basis van nationale gegevens of, indien mogelijk, van de optelsom van de op de eenheden gebaseerde gegevens die binnen die bepaalde regio zijn verzameld (I.01, I.02, I.03).

Figuur 3. Logisch model voor het vaststellen van de ontwerpmogelijkheden voor het nulscenario

Bron: overgenomen uit ENVIEVAL (2015)

Het logisch model begint met de beschrijving van de POP-toepassing en de gegevenssituatie wat betreft de effect- (en resultaat)indicatoren die voor het CMES beschikbaar zijn, alsmede van de aanvullende indicatoren mochten die zijn geselecteerd (de vakken met een donkergrijze achtergrond). Een reeks beslisvragen (de rode vakken) voert naar de beschikbare mogelijkheden voor het opstellen van het nulscenario (de vakken met een rode achtergrond). Kom meer te weten over het gebruik van logische modellen via het FP7 Research project ENVIEVAL en het

Methodological Handbook for the evaluation of environmental impacts of RDPs

19

BEKNOPTE HANDLEIDING #1: Hoe moet het logisch model worden toegepast bij het in kaart brengen van de verschillende ontwerpmogelijkheden voor het nulscenario en het bepalen van de evaluatiebenadering?

Het volgen van de stappen in de beslissingsboom in de laag "nulscenario" levert aanwijzingen op voor de beantwoording van de volgende kernvragen bij het ontwerp van het nulscenario: Welke mogelijkheden zijn er beschikbaar voor het opzetten van een nulscenario? Bieden de invoering en toepassing van de maatregelen ruimte voor het samenstellen van een

controlegroep? In hoeverre beschik ik over gegevens over andere factoren die van invloed zijn op de geselecteerde

indicatoren? Beschik ik voor de geselecteerde indicatoren over gegevens op verschillende tijdstippen (voor en na) voor

begunstigden en niet-begunstigden? Kan ik op een kosteneffectieve wijze solide statistische methoden gebruiken om de netto-effecten van de

geëvalueerde maatregelen te kwantificeren?

20

21

BEKNOPTE HANDLEIDING #2: Hoe moet op microniveau een controlegroep worden samengesteld? (heeft betrekking op de tweede laag)

Het nulscenario op microniveau moet gebaseerd zijn op vergelijkingen tussen controlegroepen van begunstigden en niet-begunstigden van het programma, die zoveel mogelijk op elkaar moeten lijken (op waarneembare en niet-waarneembare dimensies). Als de twee groepen in statistisch opzicht voldoende op elkaar lijken (hun kenmerken komen overeen), mag worden aangenomen dat eventuele verschillen in resultaten aan het programma kunnen worden toegeschreven. Een nulscenario maakt het mogelijk om de causaliteit te bepalen: waargenomen veranderingen in de resultaten kunnen worden toegeschreven aan het programma, terwijl verstorende factoren worden weggenomen.

Door zelfselectie ten gevolge van het programma en strikte voorwaarden om ervoor in aanmerking te komen, kan het een zware opdracht zijn om een geschikte controlegroep samen te stellen. In de beoordeling kunnen de begunstigden, die in het kader van het programma ondersteuning hebben gekregen, qua structurele kenmerken en wat economische, ecologische en sociaaleconomische prestaties betreft, sterk verschillen van de niet-begunstigden.

Op de volgende wijze wordt een geschikte controlegroep samengesteld: Stap 1: Zoek in een beschikbare database (bijv. ILB) een steekproef van POP-begunstigden (bijv.

landbouwbedrijven/landbouwers/niet-agrarische ondernemingen/gemeenschappen/gebieden/regio's) en gebruik het POP-monitoringsysteem als referentiepunt (bijv. de database van het betaalorgaan).

Stap 2: Kies uit alle relevante eenheden die zijn opgenomen in de database diegenen die in dezelfde periode niet werden ondersteund door de POP-maatregelen (de "niet-begunstigden").

Stap 3: Maak uit de groep van niet-begunstigden een voorselectie van eenheden die NIET voldeden aan de voorwaarden om in aanmerking te komen voor het programma (vanwege een hoog inkomen, omvang, plaats enz.) en haal die uit de analyse.

Stap 4: Verzamel voor alle eenheden in beide groepen (begunstigden en niet-begunstigden) gegevens over hun voornaamste kenmerken (variabelen) in het jaar 2013 (dus vóór het programma). Let erop dat de in de analyse opgenomen variabelen van invloed zouden moeten zijn op zowel de keuze van een eenheid als de indicatoren die op microniveau berekend worden (gemeenschappelijke en aanvullende effectindicatoren). Een van de voorgestelde variabelen (die als belangrijke stuurvariabele wordt gebruikt) kan zijn: i) de mate van steun die een bepaalde eenheid ("begunstigde" en "niet-begunstigde") tijdens de vorige programmeringsperiode 2007-2013 heeft ontvangen en/of ii) de mate van steun die een bepaalde eenheid ("begunstigde" en "niet-begunstigde") in de onderzochte periode uit andere publieke middelen heeft ontvangen (bijv. Europese structuurfondsen, Pijler I).

Stap 5: Pas de juiste technieken toe (bijv. matching) waardoor uit een steekproef van "niet-begunstigden" (zie de stappen 2-3) een geschikte "controlegroep" kan worden samengesteld (sommige "begunstigden" en/of "niet-begunstigden" vallen vanwege een gebrek aan geschikte controle-eenheden buiten de analyse).

Stap 6 Controleer op statistische wijze de "overeenstemming" tussen beide groepen vóór het ontvangen van ondersteuning in het kader van het programma (bijv. door statistische tests uit te voeren op covariabelen die in de analyse zijn opgenomen). De gemiddelde waarde van een eenheid in de groep "begunstigden" mag niet significant afwijken van de desbetreffende eenheid in de "controlegroep".

Guidelines for ex post evaluation of 2007-2013 RDPs , hoofdstuk 4

22

BEKNOPTE HANDLEIDING #3: Afwegingen bij de keuze van evaluatiemethoden

Bij evaluaties worden de niet-beschikbare gegevens vaak gezien als de belangrijkste beperkende factor bij de keuze van evaluatiemethoden. Het toepassen van een "naïeve" evaluatietechnieken (zonder nulscenario) leidt in zulke gevallen tot aanzienlijke tekortkomingen in de methodologische nauwgezetheid, betrouwbaarheid, soliditeit en geldigheid. Belanghebbenden worden daarom aangemoedigd om stil te staan bij de afweging tussen de gegevensbehoefte en de mogelijke vertekening die ontstaat door het gebruik van zwakkere methoden. Evaluatiemethoden die kwalitatief hoogstaande resultaten opleveren, zijn doorgaans veeleisender wat de gegevens betreft.

Vergelijking van methoden (Verklaring: +++++ = de hoogste score; + = de laagste score; Methode Geloofwaardighe

id/Nauwkeurigheid, betrouwbaarheid

enz.

Vermogen om selectievertekeni

ng en andere onzuiverheden te

verminderen

Kwaliteit van de evaluatie

Gegevensbehoefte

Experimentele benadering

+++++ +++++ +++++ +++

Quasi-experimentele benaderingen

++++ ++++ ++++ ++++

Matching-benaderingen (gecombineerd met DiD)

++++ ++++ ++++ ++++

RDD +++ +++ +++ +++

Methode van instrumentele variabelen

++++ +++ +++ +++

DiD-methode ++ ++ ++ ++

Vergelijkingen met niet-begunstigden in een bepaald tijdsbestek (naïeve benadering)

+ + + ++

Vergelijking voor en na van begunstigden van het programma (naïeve benadering)

+ + + +

Toegepaste kwalitatieve benaderingen op de schatting van programmaresultaten/-effecten

++ ++ ++ +

Lees meer over de criteria voor het kiezen van evaluatiebenaderingen

in Guidelines for Ex-post evaluation of 2007-2013 RDPs , hoofdstuk 4.3.4.2.

Beoordeling op micro- en macroniveau en verrekening van effecten (derde laag)

Vervolgens wordt in het logisch model de laag "micro of macro" gevolgd om de evaluatiemogelijkheden te verfijnen. De werkstroom voor de lagen "micro" en "macro" voert de beoordelaar naar methoden die bijdragen aan een samenhangende beoordeling van de netto-effecten op het micro- en macroniveau28. Voor elke mogelijke opzet van een nulscenario wordt een afzonderlijk logisch model voor het microniveau aangemaakt. Sommige evaluaties zijn zo opgezet dat het opschalen van de bevindingen op microniveau de basis vormt voor de beoordeling op macroniveau. Andere evaluaties zijn zo opgezet dat de beoordelingen op micro- en macroniveau elkaar aanvullen, hetgeen een controle van de consistentie vereist.

Het volgen van de stappen in de beslissingsboom in de laag "micro" en "macro" helpt bij de beantwoording van de volgende vragen rond het opzetten van de evaluatiebenadering: Moet ik een specifiek ecologische, sectorale (landbouweconomisch) of sociaaleconomische

methode toepassen voor het kwantificeren van wijzigingen in de indicatorwaarden of kan ik bij gebruik van de nulscenario's rechtstreeks de indicatorwaarden gebruiken?

Als er een specifieke methode moet worden toegepast, zijn de gegevens geschikt voor de uitvoering van één van de beschikbare methoden voor een ecologische, sectorale of sociaaleconomische effectbeoordeling?

Moet ik via statistische steekproeven nieuwe primaire gegevens verzamelen, en hoeveel kost dat?

Zijn specifieke handelingen vereist om de kwaliteit van de onderzoeks-/monitoringgegevens te vergroten?

Als ik de wijzigingen in de indicatorwaarden niet kan kwantificeren of als de kosten daarvan erg hoog zijn, welke alternatieve (kwalitatieve) methoden zijn er dan voor de beoordeling van de wijzigingen in de indicatorwaarden?

28 De stappen die gezet moeten worden voor de beoordeling van de netto-effecten van het POP zijn nader beschreven in de Guidelines for the ex post evaluation of 2007-2013 RDPs, met name in de hoofdstukken 4.2.3 en 4.2.4.

23

Het kwantitatieve feitenmateriaal moet met behulp van een kwalitatieve beoordeling kritisch worden bekeken. De kwalitatieve beoordeling kan daarnaast de kwantitatieve beoordeling aanvullen voor wat betreft: het beoordelen van de representativiteit van de beschikbare gegevens, b) kruisvalidatie van de bevindingen, c) het weergeven van verschillende dimensies van hetzelfde verschijnsel.

24

25

BEKNOPTE HANDLEIDING #4: Hoe moeten de netto-effecten van het POP worden beoordeeld? (heeft betrekking op de derde laag)

Als het nulscenario wordt gebruikt, kan de beoordeling van de netto-effecten van het programma op macroniveau of op het niveau van het programmagebied via twee hoofdbenaderingen worden uitgevoerd: De eerste benadering is gebaseerd op een microanalyse en het extrapoleren van de uitkomsten daarvan naar het macroniveau (opschaling). Bij de tweede benadering worden analytische instrumenten ingezet – zoals modellen voor een algemeen berekenbaar evenwicht, gedeeltelijke evenwichtsmodellen, modellen voor ruimtelijke econometrie en andere modelleringstechnieken – waarbij de bijbehorende modelparameters (bijv. productiviteit of emissiecoëfficiënten) op econometrische wijze worden geschat, zodanig dat rekening wordt gehouden met sterke causale verbanden, mogelijke selectievertekening, endogeniteit en ruimtelijke afhankelijkheden. Deze benadering behelst ook de combinatie van een top-downbenadering van het macroniveau (bijv. modellen met nationale of regionale dekking) voor het evalueren van programmaeffecten met een bottom-upbenadering van het microniveau waarmee de netto-effecten van verschillende maatregelen of gecombineerde maatregelen worden beoordeeld.

Het is belangrijk om te vermelden dat, onafhankelijk van de gekozen benadering, een analyse van de netto-effecten van een POP alleen mogelijk is als er voldoende kwantitatieve gegevens voorhanden zijn en er geavanceerde methodieken worden toegepast. Het eventuele gebruik van naïeve kwantitatieve evaluatiemogelijkheden (bijv. voor-na analyse, gebruik van niet-passende controles enz.) kan de verkregen resultaten over de "netto-effecten" in beide richtingen (positief of negatief) aanmerkelijk vertekenen.

Aangezien de eerste benadering (extrapoleren van een microanalyse naar het macroniveau van het programmagebied) het eenvoudigst en meest veelbelovend is, beschrijven wij hieronder de belangrijkste stappen. De benadering bestaat uit vijf belangrijke stappen die toepasbaar zijn op zowel sectorale als ecologische en sociaaleconomische effectindicatoren. Het voornaamste verschil tussen de analyse van de netto-effecten van het POP op die drie terreinen is de definitie van de eenheden op grond waarvan de analyse wordt uitgevoerd: bijv. landbouwbedrijven (ondernemingen) of administratieve gebieden (bijv. NUTS 4, NUTS 5 enz.) voor sectorale indicatoren; percelen of kleine geografische gebieden (regionale ruimtelijke gegevens) voor milieu-indicatoren; en bestuursregio's (bijv. NUTS 3, NUTS 4 of NUTS 5) voor sociaaleconomische indicatoren. De stappen zijn:

Stap 1: Schat de directe effecten van het POP op begunstigden op het microniveau:

a. Bereken op het microniveau voor de groep begunstigden en de controlegroep de gemiddelde waarde van de gemeenschappelijke of aanvullende effectindicatoren vóór de steun (bijv. in 2013) en na de steun (bijv. in 2018 of 2019).

b. Bereken specifieke beleidsindicatoren (bijv. Average Treatment Effects on Treated (ATT)), waarbij als resultaat de betreffende gemeenschappelijke en aanvullende effectindicatoren worden gebruikt. Bereken de directe netto-effecten van het POP voor de bovengenoemde indicatoren door de berekende ATT's te combineren met de verschil-in-verschillen methode.

c. Voer op de verkregen uitkomsten een gevoeligheidsanalyse uit.Stap 2: Schat de indirecte effecten van het POP op begunstigden op het microniveau. Ook hier geldt dat de waargenomen wijziging in de indicatorwaarden moet worden onderverdeeld in wijzigingen ten gevolge van het programma (het gecombineerde effect van primaire en secundaire bijdragen) en wijzigingen die door andere factoren zijn veroorzaakt. De indirecte programmaeffecten (bijv. vervangings-, verdringings- of multiplicatoreffecten) van het POP moeten afzonderlijk worden berekend en weergegeven.

26

Stap 3: Bereken de indirecte effecten op niet-begunstigden op het microniveau. Ook hier moet de waargenomen wijziging in de indicatorwaarden worden gesplitst in twee onderdelen: wijzigingen ten gevolge van het programma (het gecombineerde effect van primaire en secundaire bijdragen) en wijzigingen die door andere factoren zijn veroorzaakt. Deze fase heeft betrekking op de verwachting dat de door begunstigden verkregen steun in het kader van de POP-maatregelen "verwachte/onverwachte" algemene evenwichtseffecten kunnen hebben (bijv. negatieve effecten op niet-begunstigden die zich vlakbij de begunstigden van het programma bevinden).

In deze fase van de evaluatie is een voorlopige kwalitatieve beoordeling cruciaal aangezien deze een waardevol perspectief van binnenuit kan bieden en kan leiden tot het formuleren van belangrijke programmaspecifieke evaluatievragen (PSEV's) die gericht zijn op de prestaties van het programma, met name wat betreft de positieve, negatieve, bedoelde en onbedoelde effecten ervan op niet-begunstigden. Het gebruik van PSEV's is vrijwillig, maar als dergelijke vragen worden gesteld, moeten ze beantwoord worden. Voor een voorlopige analyse van synergieën of eventuele negatieve overloopeffecten kunnen de beoordelaars ook kwalitatieve beoordelingsinstrumenten gebruiken.

Stap 4: Voeg de bevindingen samen en bereken de POP-effecten op de geanalyseerde effectindicatoren op macroniveau en het niveau van het programmagebied. Bij deze stap moet de beoordelaar de directe netto-effecten van het POP op de effectindicatoren op het niveau van het programmagebied berekenen door extrapolatietechnieken toe te passen (d.w.z. door de gemiddelde microresultaten die op microniveau zijn berekend te vermenigvuldigen met het aantal begunstigden/niet-begunstigden).

Stap 5: Pas kwalitatieve methoden toe voor de controle en verificatie van de verkregen resultaten (triangulatie).

Lees meer over het verrekenen van programmaeffecten in Guidelines for ex post evaluation of 2007-2013 RDPs , hoofdstuk 4.2 en over het algemeen

berekenbaar evenwicht in hoofdstuk 4.3.3

Micro-macrocontrole van de consistentie en validatie (vierde laag)

Bij een kwalitatieve bottom-upevaluatie wordt de consistentie gewaarborgd door het opschalen van gegevens van het micro- naar het macroniveau.

Wat betreft de directe effecten van het programma op eenheden waaraan steun is verleend, moeten de directe netto-effecten van het programma die met resultaatindicatoren zijn berekend in beginsel overeenstemmen met en dezelfde trend vertonen als de netto-effecten van het programma die met effectindicatoren zijn berekend. Echter, afhankelijk van de omvang en de richting van de indirecte effecten, kunnen de resultaten op macroniveau ten opzichte van de effecten op microniveau in principe ook in de tegengestelde richting uitvallen. In die gevallen moet de tegengestelde richting van de effecten echter worden verklaard door oorzakelijk en/of gekwantificeerd bewijs van de indirecte effecten. Voor een controle op de consistentie van de resultaten op micro- en macroniveau is gedegen inzicht vereist in de factoren die de grootste invloed uitoefenen op de indicatoren.

Wat betreft de indirecte effecten van het programma op ondersteunde en niet-ondersteunde landbouwbedrijven, geven de eenmaal samengevoegde micro-economische bevindingen slechts een ruwe schatting van de omvang van alle mogelijke indirecte effecten van het POP (inclusief de effecten die met sectorale modellen zijn berekend). De belangrijkste reden voor deze schatting is gelegen in de moeilijkheid om alle mogelijke indirecte effecten te modelleren waarmee ondersteunde en niet-ondersteunde eenheden "althans in theorie" te maken hebben gekregen.

De bottom-upevaluatie, die is gebaseerd op de aggregatie van diverse gegevensbronnen met uiteenlopende maatstaven en terminologie, kan tot onduidelijkheid leiden. Een van de grote uitdagingen bij de controle op de consistentie van de micro- en macroniveaus is het vaststellen van de causaliteit tussen de gemeten wijzigingen en effecten op het niveau van het landbouwbedrijf of perceel en de wijzigingen en effecten buiten de grenzen van het landbouwbedrijf (bijv. op NUTS 3- en het programmaniveau). Het is in dit verband belangrijk dat bij de gebruikte analyse-eenheden en schalen rekening wordt gehouden met de schaal en het niveau waarop de effecten zich waarschijnlijk zullen voordoen. Enkel het gebruik van vaststaande bestuurlijke grenzen kan leiden tot vertekening van de resultaten. Er kan getracht worden om steekproefmethoden op consistente wijze op de schaal van het veld, het landbouwbedrijf en het landschap toe te passen om rekening te houden met de verschillende typen bestudeerde taxonomieën en de wisselwerking tussen variabelen die het klimaat, de topografie, het landgebruik, sociaaleconomische omstandigheden en de bodemgesteldheid beschrijven29. De "bottom-upbenadering", waarbij het onderzoeksterrein op het niveau van een perceel of veld ligt, maakt het mogelijk resultaten te verkrijgen door – via het volgen van onderzoeksprotocollen – gegevens te verzamelen uit locatiespecifieke onderzoeken en deze van het micro- naar het macroniveau te extrapoleren met behulp van geografische informatiesystemen (GIS), satellietbeelden of ruimtelijke analyse30.

29 Zie voor meer informatie: 'Landscape-moderated biodiversity effects of agri-environmental management: a meta-analysis', Proceedings. Biological sciences / The Royal Society, 278(1713): 1894-1902, Batáry P, Báldi A, Kleijn D, Tscharntke T, (2011).

30 Zie voor meer informatie: 'Organic farming at local and landscape scales benefits plant diversity’, Ecography 33(3): 514-522, Rundlöf M, Edlund M, Smith HG, (2009).

27

Bij het beoordelen van de netto-effecten is het belangrijk om de consistentie van de resultaten van de beoordeling op micro- en macroniveau te controleren, ter validering ervan. Als de bevindingen van beide niveaus elkaar niet tegenspreken, is er sprake van consistentie.

BEKNOPTE HANDLEIDING #5: Hoe kunnen de kwalitatieve benaderingen optimaal worden benut?

Kwalitatieve benaderingen kunnen op grond van een drieledige doelstelling toegepast worden:

a) Als alternatief voor kwantitatieve methoden, wanneer er gegevens ontbreken. Qualitative theory-based evaluation (TBE) kan bijvoorbeeld worden gebruikt om te laten zien hoe en waarom het programma zal slagen en naar verwachting de bedoelde uitkomsten zal opleveren. TBE volgt elk stap van de interventielogica van het programma en stelt oorzakelijke verbanden en veranderingsmechanismen vast, hetgeen tot resultaten en effecten leidt. De diverse verbanden in de interventielogica kunnen met behulp van een reeks methoden worden geanalyseerd. In de hier beschreven richtsnoeren stellen wij voor gebruik te maken van focusgroepen (in het bijzonder de MAPP-methode) of interviews met belanghebbenden of deskundigen.

b) Als aanvulling op de kwantitatieve evaluatie op basis van een nulscenario, zodat duidelijker wordt hoe en waarom de effecten zijn ontstaan. Hierover moet worden opgemerkt dat met TBE noch de "netto-effecten" (dus de mate waarin de waargenomen verandering in het programmagebied aan het programma kan worden toegeschreven) kunnen worden onderzocht, noch de effecten van het programma kunnen worden onderscheiden van de bijdrage van andere factoren.

c) Als onderdeel van triangulatie voor de validering van de bevindingen van kwantitatieve methoden.

Lees meer over Theory Based Evaluation in "Investment Support under Rural Development Policy", hoofdstuk 3.3.4 (EC, 2014) en over het gebruik van kwalitatieve methoden voor het verzamelen van kwantitatieve

gegevens in "Distinguishing Between Types of Data and Methods of Collecting Them" (Hentschel, 1998).

2.1.2 Overzicht van aanbevolen evaluatiebenaderingen voor de beoordeling van GLB-effectindicatoren

In de programmeringsperiode 2014-2020 wordt de beoordeling van de POP-effecten voor het eerst uitgevoerd in 2019. Op dat moment kunnen, als gevolg van de beperkte of vertraagde uitvoering van bepaalde maatregelen of een gebrek aan statistische gegevens voor evaluatie, gegevenshiaten voor diverse POP's nog een probleem vormen. Aangezien gegevenshiaten het waarnemen van de POP-effecten sterk bemoeilijken, worden in de bestaande richtsnoeren ten minste twee verschillende benaderingen voorgesteld voor de berekening van de diverse gemeenschappelijke GLB-effectindicatoren voor Pijler II:

Benadering A is een voorbeeld van een evaluatiebenadering in een situatie die qua gegevens optimaal is. Deze kan in 2019 worden gebruikt en/of daar kan in de ex-postevaluatie naar worden gestreefd. Benadering A is geavanceerder en tevens strikter dan benadering B.

Benadering B is een voorbeeld van een alternatieve evaluatiebenadering bij gegevenshiaten (veroorzaakt door bijv. een langzame uitvoering van het programma, waardoor de POP-effecten niet kunnen worden waargenomen) of als andere factoren (middelen, tijd, vaardigheden) de toepassing van een geavanceerdere benadering in de weg staan. In een aantal gevallen bevat benadering B een kwalitatieve component.

28

Zowel benadering A als B voldoen aan de evaluatienormen. Benadering A geldt als de evaluatiebenadering die de meest solide evaluatieresultaten oplevert in een situatie die qua gegevens optimaal is. Gezien de gegevenssituatie in 2019 is duidelijk dat voor veel POP's benadering A nog niet de meest praktische is (zie de tabellen over de geschiktheid van de voorgestelde evaluatiebenaderingen in de hoofdstukken 4.1.-4.7 in de technische bijlage). In de bijbehorende figuren van het logisch model voor de verschillende effectindicatoren staan meer voorbeelden van evaluatiemethoden.

29

Table 3. Voorbeelden van aanbevolen evaluatiebenaderingen voor de beoordeling van GLB-effectindicatoren

Code Indicator Benadering A Voorbeeld van een benadering in een

optimale gegevenssituatie

Benadering B Voorbeeld van een benadering bij

gegevenshiaten

Microniveau Macroniveau Microniveau Macroniveau

Sectorgerelateerde effecten

I.01Inkomen uit de landbouwbedrijfsuitoefening

Combinatie van methoden voor

propensity score matching en verschil-in-

verschillen (PSM-DiD)

Bottom-upbenaderingen

voor het opschalen van bevindingen op

microniveau

Toepassing van een sectoraal model

Regressie discontinuïteit-analyse (RDD)

Bottom-upbenaderingen

voor het opschalen van bevindingen op

microniveau

I.02Agrarisch factorinkomen

I.03 Totale factorproductiviteit in de landbouw

Milieueffecten

I.07 Van de landbouw afkomstige emissies

Regressie- en matchingtechnieken

General propensity score matching

(GPSM) met gebruik van NUTS 3- of

andere ruimtelijke gegevens

Geen

Naïeve baselinevergelijking

en (inclusief

kwalitatieve methoden)

I.08Akkervogelindex

Propensity score matching (PSM) en

verschil-in-verschillen (DiD)

Propensity score matching (PSM) en

verschil-in-verschillen (DiD)

Ruimtelijk-econometrische modellen voor

biogeografische gebieden

Statistische analyse van paarsgewijze vergelijkingen ad hoc of meerdere

vergelijkingsgroepen met gebruikmaking

van DiD in combinatie met

kwalitatieve beoordelingen

Bottom-upbenaderingen

voor het opschalen van bevindingen op

microniveau in combinatie met

kwalitatieve beoordelingen

I.09 Landbouw met een hoge natuurwaarde (HNW)

I.10 Wateronttrekking in de landbouw

Regressie- en matchingtechnieken voor I.10, I.11-1 en, afhankelijk van de

beschikbaarheid van gegevens, I.11-2.Simulatie van een

"casestudie" stroomgebiedsdistrict (SGD) of van zijn subeenheid, alleen

voor I.11-2

Generalised Propensity Score

Matching (GPSM)

Methoden voor ruimtelijke

econometrie

Kwalitatieve methoden

Naïeve groepsvergelijkingen

ondersteund door kwalitatieve methoden

I.11

Waterkwaliteit

I.12

Organisch materiaal in bouwland

Beoordeling organisch

bodemmateriaal bij 0-60 cm

bodemdiepte

Geen

SOM-beoordeling op basis van

vereenvoudigde bodemmonitoringspr

ogramma's

SOM-beoordeling gebaseerd

op LUCAS-database

30

Code Indicator Benadering A Voorbeeld van een benadering in een

optimale gegevenssituatie

Benadering B Voorbeeld van een benadering bij

gegevenshiaten

Microniveau Macroniveau Microniveau Macroniveau

I.13 Bodemerosie door de inwerking van water

Statistische evaluatietechnieken

GPSM ruimtelijke econometrie

ondersteund door DiD

Naïeve baseline- of dynamische

groepsvergelijkingen

Kwantitatieve naïeve beoordeling tussen

ruimtelijke eenheden en een nationaal

gemiddelde

Sociaaleconomische effecten

I.14Werkgelegenheid op het platteland

Geen

Recursive-Dynamic Computable General Equilibrium (CGE)-

model

Propensity score matching (PSM) en

generalised propensity score

matching (GPSM)

Geen

Input-outputanalyse (IO)

(ondersteund door kwalitatieve analyse)

I.15

Armoede op het platteland

I.16Bbp per capita op het platteland

De bovenstaande tabel laat voor elke gemeenschappelijke GLB-effectindicator voor Pijler II een overzicht zien van de aanbevolen evaluatiebenaderingen voor de beoordeling op micro- en macroniveau. Deze worden nader beschreven in hoofdstuk 2.2-2.9 van de richtsnoeren en in de technische bijlage.

31

De evaluatiebenaderingen die in deze richtsnoeren worden beschreven, zijn voorbeelden van mogelijke opties. Er bestaan echter ook andere opties. Beoordelaars kunnen een andere benadering kiezen voor de beoordeling van POP-effecten. Daarbij moeten zij rekening houden met de beste optie voor het vergaren van solide bewijs, maar ook tegemoetkomen aan de specifieke situatie van het POP voor wat betreft:

de omvang van het POP, de toepassing van het POP, de beschikbaarheid en de kwaliteit van gegevens voor de evaluatie.

De logische modellen die in deze richtsnoeren worden gepresenteerd, fungeren als nuttige hulpmiddelen voor beoordelaars bij het vaststellen van evaluatiemogelijkheden in een bepaalde reële context.