Zijn onze interventies evalueerbaar? · • De evaluatie is een vooraf geplande fase in de...

KONINKRIJK BELGIË

Federale Overheidsdienst

Buitenlandse Zaken,Buitenlandse Handel enOntwikkelingssamenwerking

dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking

Egmont • Karmelietenstraat 15, B-1000 Brussel • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Wettelijk depotnr: 0218/2015/14

Zijn onze interventies evalueerbaar?

Zijn on

ze interven

ties evalueerbaar?

Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking

KONINKRIJK BELGIË



Federale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking


Studie over de voorwaarden voor theoretische Evalueerbaarheid

van de acties inzake Ontwikkelingssamenwerking die door

België worden (mede)gefinancierd

April 2015

Deze studie werd intern verricht door de Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking.

De meningen in dit document weerspiegelen de standpunten van de auteurs en niet noodzakelijk die van de FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking.

© FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking

April 2015

Graphische vormgeving : Dienst Communicatie FOD BZ

Drukwerk: Dienst Drukkerij FOD BZ

Studie nr. S4/2014/01

Wettelijk depot: 0218/2015/14

De definitieve versie van dit document is beschikbaar in pdf-formaat in het Nederlands, Frans en Engels op de website:

http://diplomatie.belgium.be/nl/Beleid/Ontwikkelingssamenwerking/Onze_werkmethoden/Dienst_Bijzondere_Evaluatie/Verslagen/, of bij de Dienst Bijzondere Evaluatie.

Het rapport zal als volgt worden geciteerd:

Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking/DBE (2015), Studie over de voorwaarden voor theoretische evalueerbaarheid van de acties inzake ontwikkelingssamenwerking die door België worden (mede)gefinancierd, Federale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Brussel.

Studie over de voorwaarden voor theoretische evalueerbaarheid van de acties inzake ontwikkelingssamenwerking 3

Voorwoord

Deze definitieve versie is het resultaat van een dialoog tussen alle partijen die betrokken zijn bij deze studie: de Dienst Bijzondere Evaluatie, de Directie-Generaal Ontwikkelingssamenwerking en Humanitaire Hulp, actoren van de niet-gouvernementele samenwerking en onafhankelijke consultants.

De openbaar beschikbare bronnen die in dit rapport worden gebruikt, worden geïdentificeerd. Dit rapport bevat ook, bij wijze van concrete voorbeelden, tal van uittreksels uit voorbereidende documenten voor afzonderlijke interventies. Om de bronnen te beschermen en omdat het niet onze bedoeling is een rangschikking op kwaliteit te maken van de verschillende modaliteiten of van bepaalde technische en financiële dossiers, staan die uittreksels vet- en schuingedrukt, maar wordt geen referentie vermeld. De vele ontleningen uit al bestaande teksten tonen aan dat dit document al in grote mate een collectief werk is.

Inhoud

Voorwoord ........................................................................................................... 3 Inhoud ................................................................................................................. 4 Afkortingen en acroniemen ..................................................................................... 6 Korte samenvatting ............................................................................................... 9 1. Inleiding ...................................................................................................... 13 2. Methodologische overwegingen ...................................................................... 17

2.1. Vormgeving van de technische en financiële dossiers .................................. 17 2.2. Analysemethode ..................................................................................... 18

3. Onze visie op de evaluatie van de Belgische ontwikkelingssamenwerking ......... 21 3.1. Principes en evaluatiecriteria van de DAC ................................................... 21 3.2. Andere definities ..................................................................................... 24 3.3. Programmabenadering ............................................................................ 24 3.4. Interventielogica, theory of change of resultaatketen .................................. 27 3.5. Logica die voortvloeit uit de definities ........................................................ 28 3.6. Transversale thema's, sectorale interventies en indicatoren van de DAC ........ 29 3.7. Op ontwikkelingsresultaten gericht beheer ................................................. 30

4. Vaststellingen na de analyse .......................................................................... 33 4.1. Algemene informatie ............................................................................... 33 4.2. Voorwaarden in verband met de relevantie ................................................ 38 4.3. Voorwaarden in verband met de doeltreffendheid........................................ 44 4.4. Voorwaarden in verband met de efficiëntie ................................................. 48 4.5. Gegevens in verband met de evaluatie van de duurzaamheid ....................... 51 4.6. Voorwaarden in verband met de impact ..................................................... 54

5. Conclusies ................................................................................................... 57 6. Voorafgaande voorwaarden voor een evaluatie ................................................. 59

6.1. Algemene voorwaarden ........................................................................... 59 6.2. Noodzakelijke voorwaarden om de relevantie te kunnen evalueren ............... 66 6.3. Voorwaarden die nodig zijn om de doeltreffendheid te evalueren .................. 71 6.4. Voorwaarden die nodig zijn om de efficiëntie te evalueren ............................ 73 6.5. Voorwaarden die nodig zijn om de duurzaamheid te evalueren ..................... 76 6.6. Impact .................................................................................................. 82

7. Voorstel voor een standaardschema van een TFD van een interventie ................. 85 Kader 1: Samenvattende gegevens ............................................................... 85 Kader 2: Logisch kader ............................................................................... 86 Kader 3: Contextanalyse ............................................................................. 87 Kader 4: Operationele beschrijving van de interventie .................................... 88 Kader 5: Beheerwijze ................................................................................. 90 Kader 6: Backstopping, audit, monitoring en evaluatie(s) ............................... 91 Kader 7: Voorlopig activiteitenplan (Gantt-grafiek) ......................................... 93 Kader 8: Uitstapstrategie ............................................................................ 95 Kader 9: Budget ........................................................................................ 97 Kader 10: Monitoringkader ......................................................................... 101 Lijst van bijlagen ........................................................................................... 103

Bijlage A1: Referentietermen .............................................................................. 105 A1.1. Introductie ........................................................................................... 105 A1.2. Voorwerp van de studie .......................................................................... 106 A1.3. Doelstellingen van de studie ................................................................... 106 A1.4. Studiegebied ......................................................................................... 107 A1.5. Aanpak en methode ............................................................................... 109 A1.6. Studiefases ........................................................................................... 111


A1.7 Verantwoordelijkheid voor het beheer en de monitoring van de studie .......... 113 A1.8. Studieteam ........................................................................................... 115 A1.9. Indicatief chronogram ............................................................................ 115 A1.10. Verslagen ........................................................................................... 116 A1.11. Bibliografie ......................................................................................... 117

Bijlage A2: Bibliografie ....................................................................................... 119 Bijlage A3: Tabellen van budgetten ..................................................................... 121 Bijlage A4: Gebruikt analyseschema .................................................................... 127

Lijst van figuren

Figuur 1: Voorbeeld van een budget per doelstelling voor de interventies van de gouvernementele samenwerking ................................................................... 121

Figuur 2: Voorbeeld van een budget voor de algemene middelen voor de interventies van de gouvernementele samenwerking .................................... 122

Figuur 3: Voorbeeld van een algemeen budget voor de programma's van de ANGS (tabel 1) ............................................................................................... 123

Figuur 4: Voorbeeld van een budget voor de beheerkosten voor de programma's van de ANGS (tabel 2) .................................................................................... 124

Figuur 5: Voorbeeld van een budget voor de operationele kosten voor de programma's van de ANGS in België (tabel 3) ................................................ 124

Figuur 6: Voorbeeld van een budget voor de operationele kosten voor de 'landenprogramma's' van de ANGS (tabel 4) .................................................. 125

Figuur 7: Voorbeeld van een budget voor de operationele kosten van de projecten van de programma's van het BFVZ ................................................. 125

Figuur 8: Voorbeeld van een budget voor de beheerkosten voor de projecten van de programma's van het BFVZ ................................................................. 126

Lijst van tabellen

Tabel 1: Overeenstemming tussen de verschillende opvattingen van interventielogica .............................................................................................. 28

Tabel 2: Benadering van het zogeheten 'trapsgewijs logisch kader’ ................ 60

Tabel 3: Stakeholderanalyse en -beheer .......................................................... 62

Tabel 4: Tabel voor risicoanalyse en -beheer ................................................... 65

Tabel 5: Analysetabel SWOT - SZKB ................................................................. 67


Afkortingen en acroniemen

AD Algemene doelstelling

AFD Frans Ontwikkelingsagentschap (Agence française de Développement)

ANGS Actoren van de niet gouvernementele samenwerking

SZKB Sterke punten – Zwakke punten – Kansen – Bedreigingen (Zie SWOT)

BFVZ Belgisch Fonds voor voedselzekerheid

BTC Belgisch Ontwikkelingsagentschap (vroeger de Belgische technische coöperatie)

CIUF Conseil interuniversitaire francophone (Franstalig interuniversitaire Raad)

DAC Ontwikkelingshulp Comité van de Organisatie voor Economisch Samenwerking en Ontwikkeling

De wet (Tenzij anders vermeld) De wet van 19 maart 2013 betreffende de Belgische Ontwikkelingssamenwerking

DBE Dienst Bijzonder Evaluatie van de Belgische Ontwikkelingssamenwerking

DFID (Verenigd Koninkrijk) Department for International Development

DG-D Directie generaal Ontwikkelingssamenwerking en Humanitaire hulp

DIP Doelgerichte interventie planning

DRC Democratische Republiek van Congo

M&E Monitoring / opvolging en evaluatie

MOD Millennium Ontwikkelingsdoelstellingen

MTE Mid-term evaluatie

STE Sectoriele en thematische expertise

FOD BZ Federale Overheidsdienst, Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking

OVI Objectieve verifieerbare indicatoren

ISP Indicatief Samenwerkingsprogramma

Het Koninklijk besluit (tenzij anders vermeld) Koninklijk besluit houdende de oprichting van een dienst Bijzondere Evaluatie van de Belgische ontwikkelingssamenwerking

OESO Organisatie voor Economisch Samenwerking en Ontwikkeling

ORGB Ontwikkelingsresultaten Gericht Beheer


PRSP Poverty Reduction Strategy Paper

SD Specifieke doelstelling

SP Samenwerking Programma

TA (De TA) De technische assistenten of de technische assistentie

TFD Technisch en financieel dossier (of een gelijkaardig document)

PCB Project Cyclus Beheer

TFP Technisch en Financiële Partners

SMART Specific, Measurable, Achievable, Relevant and Time bound.

SWOT Strengths – Weaknesses – Opportunities – Treats (Zie SZKB)

VLIR Vlaamse Interuniversitaire Raad

VVOB Vlaamse Vereniging voor Ontwikkelingssamenwerking en Technische Bijstand


Korte samenvatting

De evalueerbaarheid van een samenwerkingsactie wordt door de Ontwikkelingshulp Comité (DAC) van de Organisatie voor Economisch Samenwerking en Ontwikkeling (OESO) als volgt omschreven: “de mate waarin een activiteit of een programma op een betrouwbare en geloofwaardige manier geëvalueerd kan worden”.

Doel van deze studie is te bepalen aan welke voorwaarden moet worden voldaan opdat de interventies van ontwikkelingssamenwerking in theorie evalueerbaar zouden zijn; met andere woorden, wat de technische en financiële dossiers (TFD) minstens moeten bevatten om die interventies objectief te kunnen beoordelen volgens de vijf evaluatiecriteria van de DAC van de OESO.

De methodologische benadering bestond erin de inhoud van de TFD van zesentwintig casestudy's te vergelijken met de definities die de DAC geeft voor de vijf evaluatiecriteria en met de manier waarop wij, als Dienst Bijzondere Evaluatie van de Belgische ontwikkelingssamenwerking (DBE), de evaluatie zien.

Aan de hand van die analyse konden wij in eerste instantie een aantal kenmerken bepalen die gemeenschappelijk zijn voor de drie onderzochte samenwerkingsvormen (gouvernementele samenwerking, niet-gouvernementele samenwerking en samenwerking via het Belgisch Fonds voor Voedselzekerheid); en vervolgens tot de volgende conclusies komen:

• De TFD van elke samenwerkingsvorm (gouvernementeel, niet-gouvernementeel, Belgisch Fonds voor Voedselzekerheid) beschikken elk over sterke en zwakke punten voor de evalueerbaarheid van een bepaald criterium. Maar geen enkel interventiedossier wordt zo opgesteld dat de interventie objectief kan worden geëvalueerd voor alle evaluatiecriteria van de DAC. De meest problematische criteria zijn de impact, de duurzaamheid en, in mindere mate, de efficiëntie.

• De evalueerbaarheidsvragen die het minst goed gedocumenteerd zijn en de domeinen die de evalueerbaarheid beperken of moeilijk/onmogelijk te evalueren zijn, zijn:

� de verwachtingen van de begunstigden;

� de financiering van het monitoring- en evaluatiesysteem;

� de aandacht die wordt geschonken aan transversale thema’s;

� de financiële duurzaamheid en de monitoring na afloop van de interventie;

� de impact in de zin van de definitie in het glossarium van de DAC en in de zin van de definitie ervan in de toepassing van (quasi-)experimentele methodes;

• De overheidsinstanties aan de ene kant en de vakbondsorganisaties en niet-gouvernementele organisaties (ngo's) aan de andere kant kunnen van mening verschillen over wat de prioriteiten moeten zijn of over de relevantie van bepaalde acties.

• Het feit dat een interventie in theorie evalueerbaar is, op basis van elementen in het TFD, betekent niet dat ze ook evalueerbaar is in de praktijk.

10

• In sectoren zoals onderwijs of gezondheidszorg is het voor interventies van het 'project'-type moeilijker om nationale of internationale statistieken te gebruiken als resultaatindicatoren dan voor interventies met nationaal karakter. De geografische grenzen van een project vallen immers niet dikwijls samen met de administratieve grenzen die worden gebruikt om statistieken op te stellen.

• Meestal is het mogelijk om de doeltreffendheid te evalueren met de middelen die worden aanbevolen in wetten en verordeningen en wordt hierin voorzien door de TFD van de interventies.

Door de informatie die wordt verstrekt in de TFD te vergelijken met enerzijds de definities van de DAC voor de vijf evaluatiecriteria voor samenwerkingsacties en anderzijds onze eigen visie op de evaluatie, konden wij volgende voorafgaande voorwaarden voor een evaluatie bepalen:

• Het begrip interventie moet door alle actoren op dezelfde wijze worden begrepen.

• Het TFD van de interventie moet beschikbaar zijn.

• De evaluatie is een vooraf geplande fase in de beheercyclus van de interventie.

• Het TFD voorziet in een monitoringsysteem.

• Het TFD omvat een analyse van de stakeholders, met inbegrip van de begunstigden en lokale partners.

• Over de duur en de planning van de interventie wordt gedetailleerde informatie gegeven.

• De begroting van de interventie is gedetailleerd en gestructureerd.

• Er werd een specifiek budget vastgelegd voor de monitoring en een specifiek budget voor de evaluatie.

• De risico's en veronderstellingen werden onderzocht; er werd nagedacht over de invloed ervan op de resultaten en de omvang van die invloed werd geraamd.

• De doelen van de samenwerkingsactie worden beschreven.

• De context waarin de interventie plaatsvindt, wordt beschreven en de evolutie opgevolgd.

• De verwachtingen van de begunstigden en andere stakeholders worden beschreven.

• De overeenstemming tussen de doelstellingen en de algemene prioriteiten wordt beschreven.

• Het beleid van het partnerland met betrekking tot de interventie wordt beschreven en op kritische wijze onderzocht.

• Het TFD beschrijft de wijze waarop rekening werd gehouden met de Belgische strategienota's.

• De eventuele wisselwerking van de interventie met alle transversale thema's wordt vermeld.

• De benadering is logisch; op drie niveaus en resultaatgericht.

• Voor de eerste twee niveaus (outputs en outcomes) worden indicatoren opgegeven, met een basis- en doelwaarde.

• De mate waarin die indicatoren werden gerealiseerd, kan worden beoordeeld dankzij verificatiebronnen.

Inleiding


• Er zijn ook indicatoren om de verwachte resultaten op het vlak van transversale thema's te meten.

• De begroting werd opgemaakt per resultaat en per activiteitsjaar.

• Het TFD beschrijft de manier waarop de interventie zal worden beheerd.

• Het beheer van de interventie is resultaatgericht.

• Het politieke besluitvormingsproces is gedocumenteerd.

• Het TFD beschrijft hoe de partnerinstelling of begunstigde instelling werkt.

• De voorzieningen / gebouwen waar het personeel dat belast is met de uitvoering van de interventie zal verblijven, worden beschreven.

• De manier waarop de technische uitrustingen en het lokaal technisch/wetenschappelijk personeel zullen worden beheerd, wordt beschreven.

• De manier waarop het administratief personeel, het meubilair en de uitrustingen zullen worden beheerd, wordt beschreven.

• Het TFD beschrijft de financieringswijze van de partnerinstelling (of begunstigde instelling) en van de activiteiten daarvan.

• De interventie past binnen de socioculturele omgeving waarin ze plaatsvindt.

• Het TFD geeft aan welke natuurlijke bronnen nodig zijn voor de interventie en de mogelijke gevolgen voor het klimaat, de woestijnvorming en de biodiversiteit.

• De verwachte impacts worden beschreven en zijn voorzien van specifieke, meetbare, bereikbare en realistische indicatoren, die relevant en tijdsgebonden zijn (SMART-principe), met basiswaarde, doelwaarde en verificatiebronnen.

Tot slot hebben wij de vele goede ideeën in de generieke presentatieschema's en in de beste TFD die we hebben onderzocht en onze eigen eisen op het vlak van evaluatie benut om in hoofdstuk 7 een nieuw presentatieschema voor TFD voor te stellen.

De aanvullende evalueerbaarheidsvoorwaarden die nodig zijn voor het leiden van de uitvoering van interventies op het terrein zijn onderwerp van een afzonderlijke studie die werd toevertrouwd aan onafhankelijke consultants.


1. Inleiding

De evaluatie streeft het dubbel doel na om enerzijds rekenschap af te leggen over de behaalde resultaten en anderzijds om lessen te trekken uit het verleden om zo het beslissingsproces in de toekomst te verbeteren. Alvorens te starten met een evaluatie, dient er dus eerst te worden nagegaan of er aan alle voorwaarden voldaan is om een kwaliteitsvolle, onafhankelijke, geloofwaardige en nuttige evaluatie uit te voeren. Er moet worden bekeken of de doelstellingen duidelijk zijn, of de interventielogica steek houdt en of er gezorgd werd voor een systeem dat het mogelijk maakt om objectieve gegevens te verzamelen voor, tijdens en na de actie.

Aangezien de evaluatie een essentieel onderdeel is van een actiecyclus, hebben de budgettaire overheden tot doel om het gebruik van de beschikbare middelen maximaal te rationaliseren, en dit in een context die trouwens steeds veeleisender wordt. Wanneer een evaluatie overwogen wordt, hebben de eerste vragen immers betrekking op de noodzaak, de haalbaarheid, het nut en de kosten/baten-verhouding ervan.

Volgende vaststellingen worden vermeld in de internationale literatuur die aan dit onderwerp gewijd is (Wholey 1970, Dawkins 2010, Rueben 2012). Bovendien kunnen deze vaststellingen ook worden teruggevonden in evaluatieverslagen over interventies die door België gefinancierd werden:

Sinds verschillende jaren hebben de evaluatorenteams te kampen met grondige beperkingen die, vaak buiten hun wil om, hun verslagen aan kwaliteit doen inboeten; “zoals1:

• De doelstellingen van de interventies zijn geformuleerd in te vage bewoordingen.

• De vastgestelde doelstellingen worden niet geformuleerd in de vorm van te behalen resultaten, maar beperken zich tot de opsomming van activiteiten, de verdeling van giften of van middelen.

• De interventielogica / veranderingstheorie is niet samenhangend genoeg.

• De interventielogica is te algemeen.

• De interventie en hun doelstellingen werden op papier en binnenskamers opgesteld, zonder rekening te houden met de betrokken personen en of/de werkelijkheid op het terrein.

• De steekproeftrekking is niet representatief.

• Er zijn geen startgegevens (baseline data).

• De indicatoren zijn niet duidelijk gedefinieerd.

• De gegevens zijn niet uitgesplitst op het vlak van het interventiegebied.

• De resultaten van de studie worden niet gebruikt door een gebrek aan ownership of door een slechte afbakening van de potentiële begunstigden.

1 Aangepast van DFID Report, 2013. “Planning evaluability assessments. A synthesis of the literature with recommendations.” Report of a study commissioned by the Department of International Development.

14

• Interventies die afgesloten werden geacht, werden slechts (heel) gedeeltelijk ten uitvoer gebracht.”

Op Belgisch vlak volgen hieronder enkele zinnen uit missie- of evaluatieverslagen:

• “Baselinestudie van een onaanvaardbare kwaliteit

• Voorstellen ontoereikend voor de M&E-mechanismen

• Ongeschiktheid van de voorgestelde indicatoren

• Ontoereikende analyse van de assumpties en risico’s

• De jaarlijkse rapportering van de resultaten is een oefening waarvan het ownership beperkt blijft.

• Alle schakels van het intern monitoring- en evaluatiesysteem verdienen meer aandacht.”

Een attaché ontwikkelingssamenwerking schreef recent nog het volgende in zijn jaarverslag: “Ondanks de inspanningen die op dit vlak geleverd werden, zijn er nog te veel projecten en programma’s zonder baseline, met indicatoren die onvoldoende SMART zijn en waarvan de monitoring-evaluatie vooral gericht is op de taken en de onmiddellijke resultaten, zodat het uiteindelijke doel van onze activiteiten over het hoofd gezien wordt, namelijk de verbetering van de levensomstandigheden van de doelgroepen.”

En een van zijn collega's schreef onlangs nog: "Baseline, monitoring/evaluatie en tussentijdse evaluatie: … er werd een studie van de baseline uitgevoerd …, die qua inhoud slechts gedeeltelijk overeenstemt met de eisen voor monitoring en evaluatie van het project (cfr. tussentijds evaluatierapport). De baseline werd omzeggens niet gebruikt in de jaarverslagen van het project. Bij de tussentijdse evaluatie … werd vastgesteld dat er een gebrek is aan betrouwbare documentatie en gegevens. Het eindverslag bevestigt dat het project er niet in is geslaagd een systeem voor monitoring-evaluatie in te voeren."

Die mening wordt bevestigd in een document van het AFD waarin staat2:

"Verschillende interne analyses en verschillende onderzoeken van meer wetenschappelijke aard hebben aangetoond dat de evaluatieoefeningen op een aantal punten tekortschieten. We stellen in het bijzonder vast dat er een zekere verwarring heerst tussen de verschillende projectfasen, de te bereiken specifieke en operationele doelen en de behaalde resultaten, en, vooral, dat het ontbreekt aan indicatoren of dat die onnauwkeurig zijn. Iedereen is het erover eens dat de invoering van een goede monitoring van de belangrijkste, uiteindelijke en tussentijdse resultaten, op basis van kwalitatieve en kwantitatieve indicatoren, een ambitieuze uitdaging is die moet worden aangegaan."

Idealiter3 “zou de evalueerbaarheid van een interventie van bij haar formulering bestudeerd moeten worden en het onderzoek van de evalueerbaarheid zou een essentieel onderdeel van het goedkeuringsproces van dossiers moeten zijn. In de praktijk dient er echter het volgende te worden opgemerkt:

• De overwegingen met betrekking tot de technische kwaliteit en de coherentie van de technische en financiële dossiers over samenwerkingsacties zijn niet altijd prioritair.

2 Indicateurs d’impact des projets de gestion durable des terres; AFD, Document de travail N°139, septembre 2014 3 Planning evaluability assessments; DFID Working paper 40; 08/2013; point 2.10, page 9

Inleiding


• De voorbereiding van de interventies neemt zo veel tijd in beslag dat er toegegeven wordt aan de druk om meteen met de tenuitvoerlegging te beginnen (terwijl er niet aan de opstartvoorwaarden voldaan is).

• In een context van meerdere actoren en van gedecentraliseerde beslissingen kunnen de doelstellingen en de strategieën van de interventies voor een bepaalde periode bepaald worden in het begin van het project (inception phase, jaar nul, …)

• De opvatting van de evaluaties en van de verwachtingen met betrekking tot de resultaten van de evaluaties zijn niet eenduidig.”

In overeenstemming met de referentietermen moet deze tweede fase van de studie over evalueerbaarheid ertoe leiden dat een lijst kan worden opgesteld van de noodzakelijke en voldoende voorwaarden om in theorie de interventies te kunnen evalueren. De ‘theoretische’ evalueerbaarheid heeft betrekking op het ontwerp van het project, met inbegrip van zijn interventielogica / theory of change. De theoretische evalueerbaarheid nagaan, betekent nagaan of het technisch en financieel dossier (TFD), het document waarin de interventie wordt voorgesteld, of om het even welk ander document dat werd opgesteld voor de uitvoering, elementen bevat of dataverzamelingssystemen vastlegt die een objectieve evaluatie van de interventie mogelijk maken. De ‘theoretische’ evalueerbaarheid van een interventie kan worden beoordeeld op basis van een documentaire studie die onderzoekt of de interventiedoelen en de middelen om die te bereiken duidelijk beschreven zijn. Het onderzoek naar de theoretische evalueerbaarheid wordt in die zin als volgt toegelicht door de DAC van de OESO: ”om de evalueerbaarheid te beoordelen moet de voorgestelde activiteit op voorhand worden herzien om na te gaan of de doelstellingen ervan adequaat gedefinieerd zijn en de resultaten verifieerbaar zijn”. Het onderzoek van de theoretische evalueerbaarheid gaat over de bedoelingen die worden uitgedrukt in een document. Het onderzoek naar de praktische evalueerbaarheid gaat over lopende interventies en omvat onvermijdelijk een bezoek op het terrein. Opdat de interventie werkelijk evalueerbaar zou zijn, moeten de voorwaarden voor theoretische evolueerbaarheid worden aangevuld met de voorwaarden voor praktische evalueerbaarheid.

Ter herhaling, de algemene doelstelling van onze studie over evalueerbaarheid in principe en in de praktijk is niet in te bepalen of de huidige interventies al dan niet evalueerbaar zijn, maar wel om alle toekomstige interventies op een niet al te lange termijn objectief evalueerbaar te maken.

Dit rapport is de afsluiting van fase 2 van de referentietermen die kunnen worden ingezien in de bijlage. Het geeft in hoofdstuk 2 een aantal methodologische overwegingen, in hoofdstuk 3 onze visie op evaluatie, in hoofdstuk 4 onze vaststellingen na de analyse, in hoofdstuk 5 onze conclusies, in hoofdstuk 6 wat wij beschouwen als noodzakelijke voorwaarden om de theoretische evalueerbaarheid te kunnen garanderen en in hoofdstuk 7 een voorstel voor een standaardschema van een TFD.

In bijlage 1 staan de referentietermen; bijlage 2 geeft de bibliografie, bijlage 3 de verschillende budgettaire tabellen en bijlage 4 het gebruikte onderzoeksschema.


2. Methodologische overwegingen

2.1. Presentatie van de technische en financiële dossiers

Het bestaan van drie generieke documenten heeft het onderzoekswerk sterk vereenvoudigd, in die zin dat vrijwel alle klassieke interventies die sinds 2013 worden voorbereid of bezig zijn een van de schema's volgen die worden voorgesteld door die documenten.

Het zijn:

• Het presentatieschema voor een TFD van een interventie van de gouvernementele samenwerking dat wordt voorgesteld door het Belgisch Ontwikkelingsagentschap (BTC).

• Het presentatieschema voor een programma van de actoren van de niet-gouvernementele samenwerking (ANGS) (voor de programma's 2014-2016). Dat document bevat het presentatiemodel voor een algemeen programma, het presentatiemodel voor het programma 'Noord’ in België en het presentatiemodel voor de verschillende programma's in landen (of regio's) van het zuiden.

• Van de Procedure handleiding van het Belgisch Fonds voor de Voedselzekerheid (BFVZ). Die handleiding bevat informatie over de inhoud van de programma's en een presentatieschema voor een project van het BFVZ. Het bevat ook een hoofdstuk dat specifiek handelt over monitoring en evaluatie.

Slechts enkele interventies vallen niet onder die modellen. Het gaat hier bijvoorbeeld om de studiebeurzen, de fondsen voor onderzoek en expertise, en meer algemeen de interventies die bestaan uit andere, kleinere interventies waarvan de aard en het budget nog niet nauwkeurig werden bepaald op het ogenblik van de formulering.

Het zal dan ook niet verbazen dat de grote verschillen die we in onze studie van TFD van interventies aantroffen in hoofdzaak op de scheidslijnen tussen BTC - ANGS - BFVZ liggen. De verantwoordelijken voor de formulering van de dossiers hebben immers allemaal meer of minder nauwgezet het presentatiemodel gevolgd dat hen werd overhandigd door ofwel de BTC, ofwel de verantwoordelijke diensten van de Directie-Generaal Ontwikkelingssamenwerking en Humanitaire Hulp (DG-D). En dus bevatten de TFD de gegevens die worden gevraagd door het model, en zelden gegevens die niet worden gevraagd door het model, ook wanneer dit gegevens zijn die noodzakelijk of nuttig kunnen zijn voor de evaluatie.

Aangezien alle casestudy's waren opgebouwd rond een van de voornoemde modellen, bleek al snel dat het geen zin had om het aantal casestudy's uit te breiden. Wij hebben ons dus beperkt tot het onderzoek van die generieke modellen en van een twintigtal TFD van bijzondere interventies.

In de onderzochte dossiers worden de gegevens die noodzakelijk of nuttig zijn voor de evaluatie niet gegeven in een volgorde die de evaluatie vergemakkelijkt. Het zou absurd zijn dat de verantwoordelijken voor de evaluatie zich al te veeleisend zouden opstellen, want een TFD is natuurlijk in de eerste plaats bedoeld om de uitvoering en het beheer van de interventie te vergemakkelijken. Maar dat wil niet zeggen dat in de vormgeving

18

geen verbetering mogelijk is om de evaluatie te vergemakkelijken, zonder afbreuk te doen aan de uitvoering.

Het is ook interessant om vast te stellen dat het presentatieschema voor een project van het BFVZ vermeldt dat het technisch en financieel dossier moet toelaten om het projectvoorstel te beoordelen op basis van volgende criteria: ontwikkelingsrelevantie, coherentie, …, duurzaamheid, doeltreffendheid, doelmatigheid, impact, …, synergie en complementariteit. Op dezelfde wijze vermeldt ook het presentatieschema voor een programma van ANGS dat het programma moet toelaten om te beoordelen of het project beantwoordt aan de criteria van samenhang, relevantie voor de ontwikkeling, …, van duurzaamheid, doeltreffendheid, efficiëntie, …, en van synergie en complementariteit. In het model voor een TFD van de BTC wordt in de risicoanalyse gevraagd naar het risico dat de resultaten niet worden bereikt (risico om niet doeltreffend te zijn), naar de fiduciaire en beheerrisico's (risico om niet efficiënt te zijn), en naar de risico's op een gebrek aan duurzaamheid. In theorie moeten dus zowel de TFD van de interventies van het BFVZ als die van de interventies van de ANGS en van de BTC zo worden opgesteld dat een ex ante evaluatie (= beoordeling) volgens de door de DAC aanbevolen standaard evaluatiecriteria mogelijk is.

Belangrijke opmerking:

De formulering van de TFD van de interventies van de gouvernementele samenwerking gebeurt momenteel in een weten regelgevend kader dat gewijzigd is in vergelijking met onze casestudy's. Enerzijds wordt nu het vierde beheerscontract tussen de Belgische staat en de BTC toegepast en anderzijds worden nu ook algemene richtlijnen voor de monitoring van resultaten toegepast4.

Die documenten zijn te recent om van toepassing te kunnen zijn op onze casestudy's. Er wordt niet naar verwezen in hoofdstuk 4 over de vaststellingen. Wij hebben de handleidingen ‘More Results’ dan weer wel gebruikt bij de opstelling van hoofdstuk 5, 6 en 7.

2.2. Analysemethode

Na een fase van testen en de ontwikkeling van het methodologisch kader van deze studie, hebben wij een staal van technische en financiële dossiers onderzocht aan de hand van een lijst met 68 vragen (zie bijlage A4). Uit een eerste vragenlijst hebben wij de vragen verwijderd waarop onmogelijk een antwoord kon worden gegeven op basis van een TFD. Het bleek ook nodig te zijn om een aantal vragen toe te voegen voor meer verduidelijking.

Wij hebben onze analyse van de 6 TFD die al werden onderzocht tijdens de testfase voortgezet met een analyse van de 6 standaardschema's (zie 2.1 hierboven) en van 14 bijkomende TFD. In totaal hebben wij dus 26 gevallen onderzocht. In de mate van het mogelijke werden de verschillende cases van het analysekader geannoteerd door te verwijzen naar de pagina van het TFD, en omgekeerd werden de onderzochte TFD geannoteerd door te verwijzen naar het nummer van de vragen waarop ze antwoordelementen gaven.

De resultaten werden overgebracht in een Excel-tabel en gesorteerd op drie criteria om de interpretatie van de resultaten te vergemakkelijken en om te pogen specifieke kenmerken (of de afwezigheid van specifieke kenmerken) van die verschillende variabelen aan te tonen. Die drie criteria zijn:

4 "MORE RESULTS; part I - Monitoring & evaluation, approach and system; part II - More results at intervention level", BTC, Juin 2013.

Methodologische overwegingen


• De aard van de interventie. Volgende onderverdeling werd gemaakt: algemeen programma, landenprogramma's, Zuidprojecten (opgesplitst in gemengd project, investeringsproject zuiden, project voor capaciteitsversterking zuiden), studiefondsen en luik ‘Noorden’.

• De aard van de partner. Volgende onderverdeling werd gemaakt: BTC, BFVZ, ANGS (opgesplitst in APEFE5-VVOB6, universiteiten en wetenschappelijke instellingen, ngo's en vakbondsorganisaties).

• Het land van de interventie. Volgende onderverdeling werd gemaakt: wereldwijd, België en landen van het zuiden (onderverdeeld in Benin, Burkina Faso, Democratische Republiek Congo, Mali, Peru, Rwanda, Tanzania).

Aan de hand van de analyse van de zesentwintig cases konden we

• Een aantal kenmerken bepalen die gemeenschappelijk zijn voor de drie onderzochte vormen van samenwerking (gouvernementele samenwerking, niet-gouvernementele samenwerking en samenwerking via het Belgisch Fonds voor Voedselzekerheid). Die vaststellingen worden uitvoerig beschreven in hoofdstuk 4.

• De informatie die wordt verstrekt in de TFD vergelijken met enerzijds de definitie die de DAC geeft voor de vijf evaluatiecriteria voor samenwerkingsacties en anderzijds met onze eigen visie op evaluatie. Die vergelijking vormde de basis voor hoofdstuk 6, waarin wordt verduidelijkt wat voor ons de noodzakelijke theoretische voorwaarden zijn om een interventie te kunnen evalueren volgens de vijf DAC-criteria.

Tot slot hebben wij de vele goede ideeën in de generieke presentatieschema's en in de beste TFD die we hebben onderzocht alsook onze eigen eisen op het vlak van evaluatie gebruikt om in hoofdstuk 7 een nieuw generiek presentatieschema voor TFD voor te stellen.

5 Association pour la Promotion de l'Enseignement et de la Formation à l'Etranger

Vlaamse Vereniging voor Ontwikkelingssamenwerking en Technische Bijstand


3. Onze visie op de evaluatie van de Belgische ontwikkelingssamenwerking

In dit hoofdstuk verduidelijken we onze visie op de evaluatie van de Belgische ontwikkelingssamenwerking, die enerzijds past binnen het kader van ons evaluatiebeleid7 en anderzijds binnen het Belgisch en internationaal wettelijk en regelgevend kader.

3.1. Principes en evaluatiecriteria van de DAC

De toepassing van de evaluatiecriteria van de DAC wordt bepaald door artikel 32 van de wet van 19 maart 2013 op de Ontwikkelingssamenwerking: “Met het oog op het bereiken van de doelstellingen van de Belgische Ontwikkelingssamenwerking…, worden de resultaten geëvalueerd in het licht van de (basis) principes bepaald in hoofdstuk 3 (van de wet) en op basis van de criteria vastgesteld door het DAC”.

Het koninklijk besluit van 25 februari 2010 houdende de oprichting van een dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking werkt de verwijzing naar de DAC-criteria in artikel 32 van de wet verder uit door in een bijlage in extenso de DAC-principes voor de evaluatie van ontwikkelingshulp te vermelden8. Dit document dateert van 1991 en werd vervolgens toegelicht en gepreciseerd in andere officiële documenten over monitoring en evaluatie die de organisatie heeft uitgegeven en die de DBE moeten leiden in de uitvoering van haar taken9:

• OESO –DAC glossarium van de voornaamste termen met betrekking tot evaluatie en resultaat gericht beheer, 2002; hierna genoemd ‘het DAC glossarium’;

• Quality Standards for Development Evaluation; OECD 2010;

• Evaluating Development Co-Operation - Summary of key norms and standards; second edition; OECD June 2010.

Zowel de DAC-principes uit 1999 als de definities uit het glossarium van 2002 zijn sindsdien geëvolueerd naar een strengere opvatting die wordt uiteengezet in de normen van 2010. Voor het vervolg van deze studie en vanuit de instelling dat de evaluatie zich moet kunnen uitspreken in het licht van de beginselen die worden uiteengezet in hoofdstuk 3 van de wet, stellen wij voor om volgende termen te gebruiken, volgens de volgende definities:

Evaluatie10: De systematische en objectieve beoordeling van een al dan niet beëindigd ontwikkelingsinterventie, en het ontwerp, de uitvoering en de resultaten ervan in functie van de criteria van relevantie, efficiëntie, doeltreffendheid, impact en duurzaamheid. Een evaluatie moet geloofwaardige en nuttige informatie leveren om de 'lessons learned' te

7 Evaluatie Beleid, Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking, FOD BZ, mei 2014. 8 DAC Principles for Evaluation of Development Assistance; OECD 1991 [OECD/GD(91)/208] 9 Koninklijk besluit houdende de oprichting van een dienst Bijzonder Evaluatie van de Belgische Ontwikkelingssamenwerking, artikel 2, §2, eerste lid. 10 Aangepast van het glossarium van de DAC

22

integreren in het besluitvormingsproces van zowel de ontvangers als de donoren. Evaluatie verwijst ook naar een zo systematisch en objectief mogelijk proces waarbij men de waarde en draagvlak van een geplande, lopende of beëindigde ontwikkelingsinterventie bepaalt.

Onafhankelijke evaluatie: Een evaluatie uitgevoerd door externe consultants en geleid door een eenheid die onafhankelijk is van de instantie die de geëvalueerde interventie bestuurt.

Externe evaluatie: Een evaluatie uitgevoerd door consultants die extern zijn ten opzichte van de instantie die de geëvalueerde interventie bestuurt.

Interne evaluatie: Een evaluatie uitgevoerd en geleid door personeelsleden van de instantie die de geëvalueerde interventie bestuurt.

Zelfevaluatie: Een evaluatie uitgevoerd door de personeelsleden die de geëvalueerde interventie uitvoeren.

Relevantie: De mate waarin de doelstellingen van een ontwikkelingsinterventie overeen komen met de behoeften van de begunstigden en het land, de globale prioriteiten en het beleid van de partners en de donoren. Opmerking: achteraf gezien wordt de kwestie van relevantie vaak een kwestie van de geschiktheid van de doelstellingen of het ontwerp van de interventie, rekening houdend met veranderde omstandigheden11.

In andere woorden moet bij een ex post evaluatie de evaluator die zijn evaluatie heeft voltooid zichzelf de volgende vraag stellen: "kunnen we, nu we de realisaties hebben gezien en de resultaten beoordeeld, nog zeggen dat de interventie bij aanvang relevant was en is ze vandaag nog relevant?"

Wij integreren in het criterium relevantie het begrip coherentie gedefinieerd als de interne logica en de afwezigheid van tegenstrijdigheden tussen de woorden, daden en het beleid van de ontwikkelingspartners die zich hebben geëngageerd in eenzelfde interventie12.

Wij integreren in het criterium relevantie ook de begrippen verhoogd risico (risico dat zich waarschijnlijk zal voordoen en dat ernstige gevolgen heeft) en cruciale veronderstelling (veronderstelling die indien ze geen werkelijkheid wordt de specifieke doelstelling onbereikbaar zou maken).

Wij integreren in het criterium relevantie ook de begrippen relevantie voor het milieu, relevantie voor de man-vrouwgelijkheid en meer algemeen relevantie ten opzichte van alle andere transversale thema's. Voor ons is een interventie waarvan de nettowinst voor het milieu, de man-vrouwgelijkheid of elk ander transversaal thema negatief is niet relevant. De relevantie ten opzichte van transversale thema's betekent niet dat de interventie verplicht een doelstelling aan die criteria moet wijden.

Doeltreffendheid: De mate waarin de doelen van de ontwikkelingsinterventie bereikt zijn, of zullen worden bereikt13.

Wij integreren in het criterium doeltreffendheid het begrip complementariteit, gedefinieerd als het verdelen van de taken waarbij de acties van een of meer ontwikkelingspartners elkaar niet overlappen zodat elke actie de andere acties aanvult14.

Wij integreren in het criterium doeltreffendheid ook het begrip coördinatie gedefinieerd als de activiteiten van een of meer ontwikkelingspartners die bedoeld zijn om (i) middelen voor ontwikkelingshulp te mobiliseren en (ii) het beleid, de

11 Glossarium van de DAC. 12 http://www.three-cs.net/, en definitie Larousse 13 Glossarium van de DAC. 14 http://www.three-cs.net/, en definitie Larousse



programma's, procedures en praktijken op elkaar af te stemmen, in een streven naar doeltreffendheid15.

Efficiëntie (of doelmatigheid): Een maatstaf om te bepalen hoe zuinig de middelen (fondsen, expertise, tijd, enz.) worden omgezet naar resultaten16.

Wij integreren in het criterium efficiëntie het begrip synergie gedefinieerd als "Verschillende acties die samenwerken om tot een effect te komen en zodat wordt bespaard op middelen" (definitie Larousse). De resultaten van een ‘synergieprogramma’ zijn de extra meerwaarde ofwel het verschil tussen de resultaten die worden behaald door een programma bestaande uit meerdere onderdelen en het totaal van de resultaten die elk van die onderdelen alleen had kunnen behalen. Synergie kan ook een positieve invloed hebben op de relevantie, efficiëntie en duurzaamheid. Synergie onderscheidt zich van complementariteit doordat de resultaten van complementaire interventies worden samengevoegd zonder dat er een extra meerwaarde is.

Duurzaamheid: De voortzetting van opbrengsten van een ontwikkelingsinterventie nadat deze beëindigd is. De waarschijnlijkheid om opbrengsten op lange termijn te verkrijgen. De weerstand tegen risico's van de netto opbrengststromen.17.

Duurzame ontwikkeling: ontwikkeling die beantwoord aan de behoeften van de huidige generaties zonder hierdoor voor toekomstige generaties de mogelijkheid in het gedrang te brengen om ook in hun behoeften te voorzien. De verwezenlijking ervan vergt een veranderingsproces waarin, gezien de uitputbaarheid en de noodzaak om de middelen te bewaren, de bestemmingen van investeringen, de gerichtheid van de technologische ontwikkelingen de institutionele structuren worden afgestemd op zowel toekomstige als huidige behoeften. Om duurzaam te zijn dient ontwikkeling drie belangrijke elementen te verzoenen: sociale rechtvaardigheid, bescherming van het leefmilieu en economische doeltreffendheid18

Impacts: Positieve en negatieve, primaire en secundaire effecten op lange termijn die geproduceerd zijn door een ontwikkelingsinterventie, direct of indirect, bedoeld of onbedoeld19. Het begrip impact wordt uitvoeriger besproken in punt 6.6.

Onafhankelijkheid en onpartijdigheid: Het evaluatieproces moet onpartijdig zijn en los staan van de mechanismen die worden gebruikt om een beleid te bepalen en de interventies te plannen en los staan van het verloop, de uitvoering en het beheer van de hulp.

Geloofwaardigheid: Om geloofwaardig te zijn, moet de evaluatie worden uitgevoerd door bekwame beroepsmensen; gebruik maken van betrouwbare gegevens, een strikte methodologie en een robuuste analyse; zowel elementen van succes als mislukking behandelen; genieten van de participatie van een lokale evaluator en het evaluatieproces en de -resultaten transparant en openbaar maken.

Nut: Om nuttig te zijn, moeten evaluatieresultaten de verschillende belangen en behoeften weerspiegelen, niet alleen die van de belangrijkste opdrachtgever maar ook die van de verschillende andere stakeholders. De resultaten moeten toegankelijk zijn, zowel qua vorm (downloadbaar via internet) als qua inhoud (duidelijke presentatie, beknopt en in een begrijpelijke taal).

15 http://www.three-cs.net/, en definitie Larousse 16 DAC glossarium 17 DAC glossarium 18 Wet van 19 maart 2013 betreffende de Belgische Ontwikkelingssamenwerking, artikel 2, 12°. 19 DAC glossarium

24

3.2. Andere definities

SMART is een acroniem waarbij de letters staan voor de Engelse woorden ‘specific, measurable, achievable, relevant, time bound’. Gedetailleerd:

• Specifiek betekent goed gedefinieerd en concreet geformuleerd, op gedetailleerde wijze, zonder vage of algemene termen en zonder dubbelzinnigheden of nodeloos ingewikkelde constructies. Het accent moet worden gelegd op de resultaten (onmiddellijk, op korte, middellange en lange termijn). Die resultaten moeten zorgvuldig worden omschreven.

• Meetbaar betekent dat de mate waarin de resultaten werden gehaald controleerbaar moet zijn, niet alleen kwantitatief maar ook kwalitatief. Men moet dus middelen vinden om de kwaliteit te meten / te kwantificeren. De vorderingen (of het gebrek aan vordering) worden gemeten met behulp van indicatoren waarvan men de waarde registreert. Metingen en zichtbare vorderingen geven informatie over de mate waarin de verwachte resultaten worden bereikt en laten op die manier toe een onderscheid te maken tussen mislukken en slagen. Het is ook belangrijk niet te wachten tot het einde van de interventie om de waarde van de indicatoren te meten, maar dit te doen met regelmatige tussenpozen. Tussentijdse resultaten kunnen een bron van aanmoediging en motivatie zijn; bovendien zorgen ze ervoor dat het vervolg van de interventie beter kan worden beheerd.

• Haalbaar, realistisch of realiseerbaar wil zeggen dat men de resultaten moet kunnen bereiken binnen het controle- en invloedskader van de interventie; de resultaten moeten ook kunnen worden bereikt binnen redelijke tijdslimieten rekening houdend met het traject, de vaardigheden en prioriteiten van de betrokken personen. Tot slot moeten ze ook rekening houden met de beschikbare mensen en financiële en materiële middelen. Dat wil niet zeggen dat de nagestreefde resultaten niet ambitieus mogen zijn of zelfs geen zekere uitdaging mogen inhouden. Er moet een grote kans zijn dat de nagestreefde resultaten worden gehaald, zonder dat dit gemakkelijk of eenvoudig moet gaan.

• Relevant, betekend dat de voorziene resultaten van de ontwikkelingsinterventie overeen komen met de behoeften van de begunstigden en het land, de globale prioriteiten en het beleid van de partners en de donoren (definitie OESO-DAC). De nagestreefde resultaten moeten toelaten om de capaciteit van de betrokken personen en instellingen te versterken. Ze moeten ook passen binnen de missie van de partnerorganisaties en de individuen waaruit die organisaties bestaan.

• Te bereiken binnen een bepaalde tijd betekent dat een termijn wordt vastgelegd om de nagestreefde resultaten te bereiken. De datum die wordt vastgelegd om de resultaten te bereiken mag niet te ver in de toekomst liggen, want dan wordt het moeilijk om gemotiveerd te blijven. Het is ook nuttig om tussentijdse mijlpalen vast te leggen om de vorderingen van het traject te evalueren. Indien er totaal geen termijnen worden vastgelegd, zal de motivatie al snel zakken en wordt het bereiken van de resultaten ingehaald door andere prioriteiten. Er hangt rond de interventie geen enkel gevoel van dringendheid dat aanspoort tot handelen.

3.3. Programmabenadering

"Het is belangrijk te vermelden dat de internationale gemeenschap voor programmabenadering niet dezelfde definitie geeft als deze die gebruikelijk is binnen de Belgische Ontwikkelingssamenwerking. Voor de OESO-DAC, is programmabenadering een manier van ontwikkelingssamenwerking die steunt



op het beginsel van gecoördineerde steun aan een ontwikkelingsprogramma dat verankerd is op lokaal niveau, bijvoorbeeld een nationale ontwikkelingsstrategie, een sectoraal programma, een themaprogramma of een programma van een specifieke organisatie. Programmabenaderingen hebben de volgende gemeenschappelijke kenmerken: (i) de acties worden geleid (leadership) door het ontvangende land of de betreffende organisatie; (ii) er is één geïntegreerd kader voor programmering en budgettering; (iii) er is een geformaliseerd proces voor coördinatie en afstemming van de procedures van de donoren op het vlak van rapportering, budgettering, financieel beheer en de gunning van opdrachten; (iv) er wordt naar gestreefd om systematisch lokale systemen te gebruiken voor de opstelling en uitvoering van de programma's, voor het financieel beheer en voor de monitoring en evaluatie. De donoren hebben verschillende middelen om een programmabenadering te ondersteunen en uit te voeren en kunnen hiervoor een beroep doen op verschillende vormen van steun, vooral budgettaire, algemene of sectorale steun, projecthulp, voorzieningen om middelen te bundelen of trustfondsen."

Een programma houdt dus heel wat meer in dan het gewoon samenbrengen / naast elkaar plaatsen van een aantal interventies van het 'project'-type.

De gouvernementele samenwerking werkt met een samenwerkingsprogramma20 (SP) per partnerland. Het SP vertoont een zekere sectorale eenheid omdat het bestaat uit twee of hoogstens drie sectorale programma's, die op hun beurt bestaan uit interventies van het 'project'-type. Het SP wordt vastgelegd in een gemengde commissie (= België + partnerland) en de uitvoering ervan wordt regelmatig opgevolgd door een Comité van Partners voor de sectorale programma's en een Bijzonder Comité voor het hele SP. De SP zijn/worden geleidelijk gecoördineerd met de andere lidstaten van de Europese Unie, met de Europese Commissie en natuurlijk met het partnerland, binnen een gezamenlijke programmering.

Eind 2008 kende een poging om de programma's van de bilaterale coöperatie beter te laten aansluiten op de programmabenadering uit de definitie van de DAC21, met in het bijzonder de verplichting om een "kader voor het landenprogramma" en een "kader voor de monitoring en evaluatie van de resultaten" uit te werken, maar een matig succes.

De actoren van de niet-gouvernementele samenwerking werken met een algemeen programma per actor, bestaande uit een subprogramma 'België' en verschillende subprogramma's 'Landen van het zuiden'. Elk subprogramma bestaat uit projecten die elk een afzonderlijke specifieke doelstelling hebben. Hier zijn er eerder weinig elementen die samenvallen met de DAC-visie van 'programma'. Voor de subprogramma's 'Landen van het zuiden' is er beslist een groot ownership van de acties door de lokale partner, maar alle interventies van het project-type leiden naar één enkele globaal doel dat onvermijdelijk zeer algemeen is en slechts een beetje of helemaal niet ‘SMART’.

De programma's van het Belgisch Fonds voor Voedselzekerheid zijn bestemd voor een regio met voedselonzekerheid in een bepaald land. Ze bestaan uit elementen van het 'project'-type en hebben elk een specifieke doelstelling die gericht is op het bereiken van het algemene doel. De projecten worden gecoördineerd door een coördinatie-eenheid waarvan de werking wordt verzekerd door een onafhankelijke partner van de 'project' onderdelen. De programma's van het BFVZ worden ook in grote mate gezamenlijk beheerd met de lokale partner en hebben een echt kader voor programmering, budgettering, coördinatie en rapportering. Door hun specifieke karakter

20 Tot voor kort sprak men van ‘indicatief samenwerkingsprogramma’ (ISP) 21 Gids voor uitwerking van een indicatief samenwerkingsprogramma; SPF AE, EC en CD, Brussel; december 2008

26

kan één identiek algemeen doel worden gehanteerd (voedselzekerheid) waarvan de vier dimensies22 internationaal worden erkend en gebruikt.

22 De vier dimensies van de voedselzekerheid zijn: beschikbaarheid (de daadwerkelijke aanwezigheid van voedsel), toegang (voor een prijs die verenigbaar is met het inkomensniveau), stabiliteit (het hele jaar door) en kwaliteit (met een aanvaardbare voedingswaarde).



3.4. Interventielogica, theory of change of resultaatketen

Wij zijn ons bewust van het feit dat de interventies van de ontwikkelingssamenwerking ingewikkelde processen zijn, die het grootste deel van de tijd niet-lineair verlopen en waarbij er een wisselwerking is met en invloed van gebeurtenissen, situaties en personen die buiten de interventie staan.

Toch denken wij ook dat die complexiteit niet verhindert dat de interventie kan worden beschreven en samengevat in de vorm van theoretische logische verbanden tussen oorzaken en gevolgen, gekend onder de term ‘interventielogica’, ‘theory of change23’ of ‘resultaatketen’.

Om de nieuwe benaderingen die de jongste jaren zijn opgedoken te verzoenen met de gebruikelijke internationale praktijken en met de geest van de Belgische wet en van de teksten van de DAC, leek het ons opportuun om voor het vervolg van de studie volgende concordantietabel te creëren:

23 Zoals gedefinieerd door Rick Davies in april 2012: "De beschrijving van een opeenvolging van gebeurtenissen waarvan men verwacht dat ze zullen leiden tot een specifieke gewenste ‘outcome’" maar die "bij voorkeur moet worden beschouwd als een flexibele benadering eerder dan als een rigide methodologie of instrument" (Wigboldus and Brouwers, 2011).

28

Interventielogica��

Middelen / Inputs / Middelen

Activiteiten Tussentijdse resultaten

1 specifieke doelstelling

1 algemene doelstelling24

Outputs

Producten of outputs

Outcomes

Verwezenlijkingen

Impact(s)25

Vorderingen voor de indicatoren van de tussentijdse resultaten

Vorderingen voor de indicatoren van de specifieke doelstelling

Vorderingen voor de indicatoren van de algemene doelstelling

Onmiddellijke resultaten

Resultaat (resultaten) op korte en middellange termijn

Resultaat (resultaten) op lange termijn26

Realisaties Resultaten Impacts27

Toegespitst op de directe begunstigde en/of lokale partner

Toegespitst op de directe en/of indirecte / naburige begunstigde

Toegespitst op de uiteindelijke begunstigde en/of de samenleving

Operationele resultaten

Ontwikkelingsresultaten

De dienst die men verwacht

Verwachte resultaten

Expect to see

De reden waarom men dit doet

Gewenste resultaten

Like to see

Wat men zeer graag zou realiseren

Love to see 28

Impacts per (quasi-)experimentele methode

Opvallendste verandering(en)

Tabel 1: Overeenstemming tussen de verschillende opvattingen van interventielogica

3.5. Logica die voortvloeit uit de definities

Uit de definities vermeld in 2.2. hierboven, vloeit voort dat alleen de relevantie en de doeltreffendheid criteria zijn die rechtstreeks evalueerbaar zijn. Het is immers logisch dat

24 Interventielogica volgens de DIP 25 Resultaatketen volgens de DAC 26 Interventielogica volgens een resultaatgericht beheer van de ontwikkelingssamenwerking 27 Interventielogica volgens EuropAid 28 Interventie logica volgens ‘Outcome mapping’



men, indien men niet kan evalueren of de outputs en outcomes werden bereikt (doeltreffendheid), evenmin kan evalueren of die outputs en outcomes op een zuinige wijze werden bereikt (efficiëntie - doelmatigheid). En indien men niet kan evalueren of de outputs en outcomes werden bereikt, kan men ook niet evalueren of die resultaten zullen blijven voortbestaan wanneer de steun van buitenaf wordt stopgezet (duurzaamheid). Tot slot kan men, indien men niet kan evalueren of de outputs en outcomes werden bereikt, nog minder evalueren of de impacts werden bereikt.

3.6. Transversale thema's, sectorale interventies en indicatoren van de DAC

De DAC bepaalt dat men voor de interventies gebruik moet maken van zogeheten 'policy markers', die overeenkomen met transversale of transsectorale thema's als man-vrouwgelijkheid, participatieve democratie / goed bestuur, ontwikkeling van de handel, woestijnvorming, biodiversiteit, temperen van de klimaatverandering, adaptatie aan de klimaatverandering, rechten van het kind, hiv-aids en reproductieve gezondheid en de gezondheid van moeders, pasgeborenen en kinderen.

Indien het thema in het TFD wordt opgegeven als een hoofddoel krijgt de marker de waarde 2.

Indien het thema geen hoofddoel is, maar in het TFD wel wordt vermeld als een belangrijk secundair doel, krijgt de marker de waarde 1.

Indien het thema geen enkele rol speelt in de interventie krijgt de marker de waarde 0.29

Het gebruik van de waarden 2 en 1 wordt uitgelegd en voorzien van commentaar in de bijlagen 17 en 18 bij de "Converged statistical Reporting Directives" van de DAC, beschikbaar (in het Engels) op http://www.oecd.org/dac/stats/addenda-converged-statistical-reporting-directives.htm.

Wij geven de voorkeur aan een opvatting die identiek is aan deze die wordt uiteengezet in die referenties, zowel op het vlak van definitie als op het vlak van subsidialiteitscriteria. De toekenning van een waarde 1 of 2 aan een of meer thematische markers kan voor ons alleen worden gerechtvaardigd indien de interventie voor die thema's concrete resultaten plant, geformuleerd in ‘SMART’ termen en voorzien van objectief verifieerbare indicatoren (met basiswaarde en doelwaarde). Dat houdt in dat het TFD tussentijdse resultaten moet omvatten, evenals gepaste activiteiten en middelen om de betreffende thematische resultaten te bereiken. Alleen die opvatting van markers laat toe om de resultaten die werden behaald op het vlak van transversale thema's bij elkaar op te tellen en er een rapport over op te stellen.

Die opvatting heeft ook twee belangrijke gevolgen:

• De toekenning van een waarde 2 aan een transversaal thema vormt voor de betreffende interventie het thema om tot sector. Toegegeven, voor de gouvernementele samenwerking wordt die handelwijze niet aangemoedigd

29 Sinds kort kan een waarde 3 worden toegekend aan de marker woestijnvorming indien dit thema het hoofddoel is en indien het bedoeld is als ondersteuning van een actieprogramma. Aan het thema ‘reproductive, maternal, newborn and child health' (RMNCH - reproductieve gezondheid en de gezondheid van moeders, pasgeborenen en kinderen), wordt een waarde 4 toegekend indien dit thema uitdrukkelijk de belangrijkste doelstelling is; een waarde 3 wordt toegekend indien het grootste deel, maar niet de volledige financiering bestemd is voor die doelstelling; een waarde 2 wordt toegekend indien bijna de helft van de financiering bestemd is voor die doelstelling ; een waarde 1 wordt toegekend indien een kwart van de financiering bestemd is voor die doelstelling; en een waarde 0 wordt toegekend indien voor de activiteiten/resultaten op het gebied van RMNCH een bedrag wordt uitgetrokken dat verwaarloosbaar of nihil is, dat wil zeggen indien RMNCH geen doelstelling is van het project/programma.

30

door de wet, maar het kan wel: “Bij de keuze van deze sectoren, richt de gouvernementele samenwerking zich in hoofdzaak op …».

• De toekenning van een waarde 2 aan een transversaal thema in een interventie verhindert dat een andere transversale sector in die interventie de waarde 2 kan genieten. Per interventie kan er immers slechts één hoofddoel zijn.

3.7. Op ontwikkelingsresultaten gericht beheer

Het ontwikkelingsresultaten gericht beheer (ORGB) is “een managementstrategie gericht op de prestatie en verwezenlijking van outputs, outcomes en impacts.” 30. Het ORGB volgt de vijf volgende beginselen31:

Beginsel 1. Bij elke fase in het proces - van de strategische planning tot de voltooiing, en zelfs daarna - de dialoog concentreren op de resultaten voor de partnerlanden, de ontwikkelingsorganisaties en de andere actoren.

• Alle fasen van een ontwikkelingsinitiatief gaan gepaard met een dialoog tussen de verschillende actoren

• Alle partners en de belangrijkste actoren participeren in de vastlegging van de gewenste resultaten en in het resultaatgericht beheer. Ze nemen volledig de verantwoordelijkheid voor de resultaten op zich.

• De risico's worden gezamenlijk 'beoordeeld' en beheerd.

Beginsel 2. De concrete activiteiten van de programmering, monitoring en evaluatie afstemmen op de verwachte resultaten.

• De uitvoeringsstrategieën en -activiteiten worden in de loop der tijd voortdurend aangepast om er op toe te zien dat die resultaten worden gehaald.

• De indicatoren en strategieën van M&E houden logisch verband met de gewenste resultaten en impacts, en laten toe om duidelijk vast te stellen of de nagestreefde resultaten al dan niet werden bereikt.

• De indicatoren zijn gestandaardiseerd en worden in de mate van het mogelijke niet gewijzigd.

Beginsel 3. Erop toezien dat het systeem van rapportering over de resultaten zo eenvoudig, rendabel en gebruiksvriendelijk mogelijk blijft.

• Men zal de meetmethodes en de rapporten over de resultaten zoveel mogelijk vereenvoudigen.

• De verkregen resultaten worden gemeten aan de hand van selectieve, rendabele en realistische indicatoren.

• De risico- en prestatie-indicatoren van de instellingen laten een opvolging toe van de belangrijkste contextuele veranderingen die mogelijk invloed kunnen hebben op de verkregen resultaten.

• De landen en donoren doen een inspanning om de kosten te beperken door dubbel gebruik te vermijden en door zich te baseren op de indicatoren die gedefinieerd zijn door de partnerlanden.

30 Getrouwe vertaling van de Engelse definitie in het DAC- glossarium. 31 Promoting a Harmonized Approach to Managing for Development Results: Core Principles; Second international roundtable, Marrakesh 2004



Beginsel 4. Het beheer richten op het behalen van resultaten, dat wil zeggen de nodige middelen vrijmaken om tot de verwachte resultaten te komen.

• Aan het begin van elke ontwikkelingsinterventie zal men eerst de verwachte resultaten bepalen, daarna de activiteiten die nodig zijn om tot die resultaten te komen, vervolgens de middelen en inputs die nodig zijn om die activiteiten te realiseren (en niet andersom, zoals in het verleden gebeurde).

• Tijdens het verloop van het ontwikkelingsinitiatief beschikken de verantwoordelijke beheerders over de nodige manoeuvreerruimte en bevoegdheden om de middelen te herschikken zodat de verwachte resultaten worden bereikt.

• Indien bepaalde doelen niet worden gehaald, analyseren de actoren en beheerders samen waar en waarom de plannen of strategieën misgelopen zijn en hoe men de situatie recht kan trekken. Zij nemen vervolgens corrigerende maatregelen, in een geest van constructieve wederzijdse hulp, zodat de verwachte resultaten worden bereikt. Niet in een geest van bestraffing want er is een gezamenlijke verantwoordelijkheid.

Beginsel 5. De informatie over de resultaten gebruiken om lessen te trekken voor het beheer en voor de besluitvorming, maar ook voor rapportering en responsabilisering.

• Alle actoren hebben gemakkelijk toegang tot de informatie die voortvloeit uit het feit dat de prestatie voortdurend wordt gemeten, ongeacht de aard van de ontwikkelingsinterventie.

• Alle informatie over de performantie, of die nu positief of negatief is, dient om constructieve en proactieve beleidsbeslissingen te schragen en is leerrijk. Geen geest van bestraffing.

• De evaluatie van de performantie en de rapporten die de resultaten presenteren houden ook rekening met factoren en risico's van contextuele aard, en resulteren in de nodige rechtzettingen.

• De verbetering van het beheer is een resultaat dat parallel loopt met de resultaten van de ontwikkelingsactie.


4. Vaststellingen na de analyse

4.1. Algemene informatie

De studie heeft aangetoond dat een minimumaantal inlichtingen en gegevens dat absoluut noodzakelijk is om de (mede)financiering te krijgen, steeds beschikbaar was; dat wil echter niet zeggen dat al die informatie beschikbaar is op een wijze die nuttig is voor de evaluatie. Die inlichtingen zijn:

4.1.1. Het TFD van de interventie

Over het algemeen is het TFD van de interventies of een vervangend document steeds beschikbaar. Het klopt dat wij die voorwaarde tot een selectiecriterium hebben gemaakt voor het toepassingsgebied van onze studie. Het is ook juist dat de beslissingen voor (mede)financiering over het algemeen worden genomen op basis van een minimale beschrijving van de doelstellingen, geplande activiteiten en kostprijs van de interventie. Voor slechts enkele interventies was er, omwille van hun bijzondere aard, geen gedetailleerd technisch dossier beschikbaar. Het gaat hier bijvoorbeeld om interventies van het type ‘studie- en expertisefonds’, ‘fonds ter ondersteuning van lokale initiatieven’, projecten voor verschillende te bepalen beurzen, … Voor de evaluatie van dergelijke interventies moeten documenten worden ingezameld die betrekking hebben op elk van die ad hoc subinterventies.

4.1.2. Vermelding van de evaluatie in het TFD

Alle bestudeerde interventies planden een evaluatie op een bepaald moment tijdens de uitvoering. De evalueerpraktijken varieerden echter sterk volgens het type partner(s).

De TFD van de interventies van de gouvernementele samenwerking bevatten standaard een hoofdstuk “opvolging en evaluatie” dat over het algemeen een evaluatie halverwege plant, die eerder gericht is op de operationele kant, en een eindevaluatie die eerder gericht is op de rekening en verantwoording.

Maar soms werd de eindevaluatie beperkt tot (of verward met) een eindverslag. In dat geval beperkt de evaluatie zich tot een zelfevaluatie die bijgevolg noch extern noch onafhankelijk is. Bijvoorbeeld:

Op het einde van het project zal de projectleiding een verslag met de eindevaluatie opstellen, dat het volgende zal bevatten: ….

• De monitoringresultaten van de samenwerkingsactie en eventuele audits of controles, evenals de opvolging van de geformuleerde aanbevelingen;

• Een eindbeoordeling van de basiscriteria om de prestatie te evalueren: relevantie, efficiëntie, doeltreffendheid, duurzaamheid en impact;

• ….

De ANGS voorzien voor het algemeen programma in een beschrijving van de procedure en de timing van de evaluaties die gepland zijn in het kader van het

34

programma, af te stemmen op de aanbevelingen van de meta-evaluatie van de Bijzonder Evaluator32.

Voor de evaluaties die betrekking hebben op meerdere landen: voorstelling van de doelstelling van de evaluatie. De programma's in België beschrijven de geplande evaluaties voor wat betreft de ontwikkelingseducatie. Voor de landen van het zuiden is eveneens voorzien in een beschrijving van de geplande evaluaties in het land van het programma. In de praktijk vermelden de meeste dossiers het onderwerp evaluatie omdat dit zo wordt aangegeven in het standaardschema, maar geven ze weinig details over hun werkelijke intenties (doelen, voorwerp en gebied van de geplande evaluaties).

Het BFVZ voorziet een mid-term evaluatie van de projecten die deel uitmaken van de programma's. Deze evaluatie wordt georganiseerd door de partnerorganisatie die het project uitvoert en zal gericht zijn op het nagaan of de interventies en strategieën die werden opgezet om de resultaten te bereiken, relevant zijn; het bepalen van de positieve en negatieve factoren teneinde het project te kunnen bijsturen; het beoordelen van de bijdrage aan en coherentie met het programma; het formuleren van aanbevelingen voor het vervolg van het project; en het voorbereiden van de eindevaluatie van het programma.

“ Op het einde van een programma van het BFVZ, wordt een eindevaluatie van het programma georganiseerd “. “De doelstellingen van de eindevaluatie van een programma zijn: de bijdrage van het programma aan de verbetering van de voedselzekerheid te meten; de Stuurgroep in te lichten over de bijdrage van de verschillende partners aan de resultaten en outcomes van het programma; de relevantie van de partnerschapsstrategie te beoordelen; de factoren te identificeren die de uitvoering van het programma gunstig of ongunstig hebben beïnvloed, het risicobeheer te beoordelen en (eventuele) nieuwe risico’s te identificeren; te controleren of de budgetten efficiënt en doeltreffend werden gebruikt; de coördinatie van het programma te beoordelen; de relevantie van een consolidatieprogramma /tweede fase van het programma te beoordelen; aanbevelingen te doen met het oog op de voorbereiding van de TFD’s voor het consolidatieprogramma; lessen te trekken voor het kennisbeheer; verantwoording af te leggen aan de partnerlanden, DGD, het Parlement, de partnerorganisaties en hun achterban…”.

4.1.3. Bestaan van een monitoringsysteem

De manier waarop de monitoring wordt opgevat, verschilt sterk naargelang de actoren en hangt deels af van de aard van de activiteiten. In het geval van een programma overstijgt de monitoring nauwelijks de opvolging door de zetel in België van het totaal van de 'interventies' van het type 'afzonderlijke' projecten.

Elke bestudeerd dossier vermeldt op een of andere wijze dat in een monitoring is voorzien. Het thema monitoring wordt steeds behandeld in een groter hoofdstuk ‘opvolging en evaluatie’, waarbij in het hoofdstuk op verschillende manieren het onderscheid wordt gemaakt tussen monitoring en evaluatie en de beschrijving van het monitoringsysteem meer of minder gedetailleerd is.

De monitoring wordt zelden beschouwd als een intern beheerinstrument en meer algemeen als een activiteit die wordt uitgevoerd door de zetel in België, hetzij vanop afstand, hetzij door middel van missies voor monitoring of backstopping33. In het algemeen beperkt de beschrijving van het monitoringsysteem zich tot het opgeven van de frequentie van de monitoringrapporten (" om de zes maanden zal een monitoringrapport worden gepubliceerd") en tot de vermelding van het aantal

32Dienst Bijzondere Evaluatie (2013), Meta-evaluatie van de programma's van de niet-gouvernementele actoren, FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Brussel. 33 De term 'backstopping' betekent overigens niet 'monitoring' maar 'kortstondige ondersteuning'.

Vaststellingen na de analyse


missies van buitenaf ("er zullen externe monitoringmissies worden georganiseerd" 34).

Alleen het BFVZ voorziet in een interne monitoring van indicatoren in het kader van een resultaatgericht beheer. Zo maakt de “geactualiseerde opvolgingstabel”, die voor elk niveau van de resultaatketen de indicatoren, hun basiswaarde, hun verwachte waarde op het ogenblik van het verslag en hun verwachte waarde op het einde van het project vermeldt, integraal deel uit van het model van het narratief verslag van de projecten.

Het BFVZ integreert bovendien op efficiënte wijze de monitoring van afzonderlijke projecten in het monitoringmechanisme van het programma: "Elke partner van het BFVZ zal een rol moeten spelen in de monitoring (van zijn eigen interventies en (sub)resultaten) en in de coördinatie van de monitoring en evaluatie van het gezamenlijk programma."35.

4.1.4. De beschrijving van de begunstigden en stakeholders

Vrijwel alle dossiers spreken in min of meer gedetailleerde bewoordingen over de begunstigden, maar het komt zelden voor dat de dossiers de begunstigden op voldoende specifieke wijze beschrijven. Sommige dossiers maken een duidelijk onderscheid tussen de begrippen lokale partner, begunstigde instelling, stakeholder en doelgroep; andere doen dat niet.

Het BFVZ gebruikt de meer algemene term ‘doelgroepen’. Het beschrijft algemeen hoe de directe en indirecte niveaus actief participeren in de interventie en behoudt de term ‘begunstigden’ voor aan de uiteindelijke begunstigden.

De dossiers die de begunstigden beschrijven, geven niet altijd een raming van het aantal van die begunstigden en indien er cijfers worden gegeven, wordt zelden vermeld op welke manier die cijfers werden berekend.

De begunstigden kunnen soms gedeeltelijk samenvallen met de lokale partner of partners.

Voor de gouvernementele samenwerking gaat het in de overgrote meerderheid van de gevallen om een ministerie (of om een specifieke directie in een ministerie) in het partnerland. Soms is de partner een gedecentraliseerde structuur of een openbare instelling. Voor de gouvernementele samenwerking wordt de partner vaak van hogerhand opgelegd. Indien men bijvoorbeeld is ingegaan op de vraag van de partner om te werken op het gebied van bossen, zal de partner meestal het agentschap voor natuur en bos zijn.

Voor de ANGS is de lokale partner meestal een lokale actor die actief is in hetzelfde bevoegdheidsgebied als de Belgische actor: ngo/lokale vereniging, vakbondsorganisatie, universiteit of wetenschappelijke instelling, opleidingsinstelling (van lesgevers). De APEFE en de VVOB kunnen dus ook werken met gouvernementele partners of openbare instellingen.

Omwille van de aard van de programma's van het BFVZ werken die programma's samen met diverse partners, openbaar of privé. Een bijzonder kenmerk van de partners van het BFVZ is dat ze bijna allemaal op gedecentraliseerd niveau actief zijn.

Geen van de geraadpleegde dossiers maakt een analyse van de stakeholders (stakeholder analysis)36. Het komt zelden voor dat een TFD openlijk de verschillen in

34 Vrije vertaling van: "Cada seis meses … publica un informe de seguimiento" en van "se realizarán misiones externas de seguimiento". 35 Vrije vertaling van: "Each BFFS partner will have to play a role in monitoring (of its own interventions and (sub-)results) and in coordination of joint program monitoring and evaluation". 36 Organisatie van de verschillende stakeholders volgens hun belang en macht in de interventie.

36

standpunt van stakeholders vermeldt, zelfs niet in het hoofdstuk over risico's. In de gevallen waarin een participatieve workshop met alle stakeholders werd georganiseerd, kan het verslag van die workshop eventueel die verschillen vaststellen.

Op niveau van de TFD van hun algemeen programma, geven sommige ANGS duidelijk blijk van een ambitie om een alternatief beleid voor te stellen of om het samenwerkingsbeleid te beïnvloeden (“beleidsvoorstellen en beleidsbeïnvloeding”).

In feite worden de verschillende standpunten alleen bevestigd in de TFD van interventies die streven naar een verdediging of versterking van de situatie van groepen die zwak staan ten opzichte van sterke groepen die betrokken zijn bij de gevoerde acties: vakbondsactie, verdediging van werknemers, bescherming van rechten, van gemeenschappelijke middelen enz.

Verschillende dossiers vermelden 'sensibiliseringsacties', wat getuigt van een minder collectieve wil om minstens een actor te overhalen tot het standpunt van de ander: "… ervoor pleiten om de lokale overheden te overhalen om de activiteiten voor bevordering en ontwikkeling (van het project) in te passen in hun ontwikkelingsplannen, met afzonderlijke begrotingslijnen."

4.1.5. Duur van de interventie

De duur van de interventies is vastgelegd op drie jaar voor de programma's van de ANGS en op vijf jaar voor de programma's van het BFVZ. De programma's van het BFVZ voorzien vrijwel systematisch in een tweede fase van vijf jaar omdat men van oordeel is dat het bereiken van voedselzekerheid een inspanning op lange termijn vergt.

De benadering van het BFVZ is relatief flexibel. Ze laat minstens toe dat de programma's na elkaar opstarten en op een gunstig ogenblik in het teeltseizoen.

De benadering van de programma's van de ANGS is niet flexibel omdat de overgrote meerderheid van de lopende programma's werd opgestart op 1 januari 2014 en zal eindigen op 31 december 2016.

Alleen de gouvernementele samenwerking heeft meer vrijheid om de duur van de interventies te bepalen.

4.1.6. Begroting (financieel dossier) van de interventie

De begroting van de interventies wordt opgemaakt volgens een of meer verschillende schema's voor elk type partner (zie bijlage A3).

Voor de interventies van de gouvernementele samenwerking wordt voor elk project een afzonderlijke begroting gemaakt, bestaande uit twee tabellen. De ene tabel geeft, voor elk jaar, de geraamde budgetten die moeten worden toegekend aan de activiteiten die nodig zijn om een resultaat te behalen dat bijdraagt tot de realisatie van een specifieke doelstelling. Een tweede tabel geeft de geraamde budgetten voor de "algemene middelen" die, zoals de naam het aangeeft, niet kunnen worden toegeschreven aan een precieze activiteit: "personeelskosten, investeringen, werkings- en auditkosten, monitoring & evaluatie".

De begroting van het algemeen programma van de ANGS bestaat eveneens uit twee tabellen. Een tabel geeft de algemene begroting van het programma van de ANGS, met de investerings-, werkings- en personeelsuitgaven per land (België en land van het zuiden) en per jaar, plus de investerings-, werkings- en personeelsuitgaven voor de beheerkosten. Die beheerkosten worden meer gedetailleerd in een tweede tabel: investeringen (onroerende en roerende), werking (missies, monitoring en evaluatie, andere…), personeel (van de zetel, lokaal, expat).



De begroting van de landenprogramma's van de ANGS wordt voorgesteld in één tabel met als titel "begroting van de operationele kosten", waarin de kosten worden gedetailleerd per jaar, een keer volgens aard (investeringen (onroerend en roerend), werking (missies, andere…), (personeel, andere…)), een keer volgens hun aandeel in de tussentijdse resultaten van het programma. De informatie over de begroting van de operationele kosten wordt aangevuld met een tabel die beknopt de middelen per begrotingspost beschrijft. Er is geen afzonderlijke begroting voor elk project of elke partner van een landenprogramma en er wordt geen verband gelegd tussen resultaten, activiteiten die nodig zijn om elk van die resultaten te halen, middelen die nodig zijn voor elke activiteit, en begroting/kosten van elk van die middelen.

De begroting van de projecten van het programma van het BFVZ bestaat eveneens uit 2 tabellen. Een tabel geeft de algemene begroting van het project, met gedetailleerd de uitgaven voor investering, werking en personeel, een keer per resultaat en een keer per jaar. Er wordt van uitgegaan dat de beheerkosten bijdragen tot alle resultaten en men vermeldt per jaar en per plaats (project, België of coördinatiebureau) de geraamde uitgaven voor investeringen (onroerend en roerend) werking, (missies, evaluatie, andere…), en personeel (van de zetel, lokaal, coöperanten). De informatie over de begroting wordt aangevuld met een beknopte beschrijving van de middelen. Aan elk resultaat wordt dus een budget toegekend, maar het is niet mogelijk om het verband te leggen tussen resultaten en

• de activiteiten die nodig zijn om elk resultaat te halen,

• de middelen die nodig zijn om elke activiteit uit te voeren, en

• het budget / de kosten voor elk van die middelen.

4.1.7. Specifiek budget voor monitoring en evaluatie

Heel vaak worden monitoring en evaluatie onder één begrotingslijn ondergebracht, terwijl de monitoringactiviteiten in principe continu plaatsvinden en de evaluatie een tijdelijke activiteit is. Hierdoor is het zelden mogelijk om te bepalen welk budget nu precies wordt uitgetrokken voor de monitoring en/of voor de evaluatie. Soms kan de verdeling van de bedragen volgens de jaren een aanwijzing geven over de toewijzing van de middelen. Indien men voor elk jaar van een project/programma hetzelfde bedrag heeft uitgetrokken, geeft men de voorkeur aan monitoring. Indien het budget voor monitoring-evaluatie groter is in het midden en aan het einde van de interventie, wil dat zeggen dat men een financiering heeft gepland voor evaluaties halverwege en aan het einde.

Naast de begrotingslijn monitoring-evaluatie, kunnen de kosten voor de monitoring ook gedeeltelijk worden gedragen door de budgetten van de missies (van opvolging) of door de kosten van een vertegenwoordigingskantoor ter plaatse (dat de facto een min of meer externe monitoring uitvoert).

Voor de projecten van de gouvernementele samenwerking schommelen de middelen die worden uitgetrokken voor audit, monitoring en evaluatie37 tussen de 1 en 3% van het totaalbudget. De middelen die worden toegekend aan de eigenlijke evaluatie of aan monitoringsactiviteiten vormen dus telkens slechts een deel van dit bedrag en kunnen ook sterk variëren.

Voor de algemene programma's van de ANGS wordt in de begroting van de beheerkosten opgegeven welke middelen worden uitgetrokken voor de monitoring en de evaluaties. In de door ons bestudeerde gevallen waren die middelen niet toereikend om de evaluatie te maken van het totale programma want een dergelijke evaluatie zou inhouden dat elk landenprogramma afzonderlijk moet worden geëvalueerd en dat een samenvatting moet worden gemaakt van die (vaak vele) evaluaties. In de verschillende

37 in de begrotingslijn Z04

38

TFD die wij hebben geraadpleegd, wordt eerder voorgesteld om een thema of een onderdeel te evalueren en niet het hele programma.

Het komt al vrij zelden voor dat een onderscheid wordt gemaakt tussen het budget voor monitoring en het budget voor evaluatie, en slechts in enkele gevallen werd verduidelijkt wat het respectievelijke aandeel is voor de tussentijdse evaluatie en voor de eindevaluatie; bijvoorbeeld (voor het BFVZ): De partnerorganisaties reserveren minimum 1% van het totaal budget van hun project voor de Midterm-evaluatie.

Wij hebben geen TFD gezien waarin het budget dat werd uitgetrokken voor de verschillende monitoringactiviteiten (opstelling van de basiswaarde van de indicatoren, monitoring van de resultaatindicatoren, opvolging van de evolutie van de context, opvolging van de mogelijke risico's) werd gedetailleerd.

Voor de voorbereiding van de interventies verkeren de verschillende actoren niet in dezelfde financiële omstandigheden, want de ‘formuleringen’ van de ANGS worden met eigen middelen betaald terwijl de bilaterale formuleringen of die van het BFVZ gedeeltelijk of volledig worden terugbetaald.

Voor de dagelijkse opvolging innoveert het BFVZ door te voorzien in een afzonderlijk gefinancierde coördinatiestructuur voor de coördinatie en strategische monitoring van het programma en door de financiering van de eindevaluatie buiten de begroting van het programma te houden.

In één enkel TFD hebben wij een monitoringkader met indicatoren gevonden dat, vertrekkend vanuit een baseline, de verwachte resultaten voor de outcome en de verschillende outputs opgaf na 1 jaar, na 2 jaar, halverwege, na 4 jaar, na 5 jaar en op het einde van het project. De financiering hiervan werd niet toegelicht maar gewoon het feit dat dit kader er is laat veronderstellen dat men eraan heeft gedacht.

De verschillende begrotingen vermelden ook in andere begrotingslijnen uitgavenramingen voor activiteiten die min of meer verwant zijn met monitoring: lokale vertegenwoordiging (en vertegenwoordiger), missies van de zetel, backstopping, monitoringsdeskundige, …

4.1.8. Andere gegevens

Alle TFD vermelden de hierna opgesomde elementen. Het detailniveau verschilt echter sterk van het ene dossier tot het andere en hangt ook af van de eisen die worden gesteld door de verschillende presentatieschema's:

• Geografische, financiële, sectorale, thematische enz. limieten van de interventie;

• Regelmatig een narratief verslag over de resultaten / activiteiten; en

• Regelmatig een financieel verslag.

Die twee laatste punten zijn voor interventies die niet in één keer worden ge(co)financierd overigens een voorwaarde opdat de volgende schijven kunnen worden vrijgegeven. Merk op dat geen enkele van de bestudeerde dossiers de vrijgave van een volgende schijf laat afhangen van de evaluatieresultaten.

4.2. Voorwaarden in verband met de relevantie

De administratie evalueert ex ante de relevantie van de projecten en programma's van de ANGS en het BFVZ. De interventies van de gouvernementele samenwerking ontsnappen aan die ex ante evaluatie vermits het misplaatst zou zijn te verklaren dat een interventie 'niet-relevant' is wanneer diezelfde interventie werd beslist in een gemengde commissie van Belgische ministers en het partnerland. De BTC kan echter de



relevantie van een interventie evalueren op basis van een identificatiedossier en kan in het TFD wijzigingen aanbrengen om de relevantie te verbeteren indien nodig.

4.2.1. Beschrijving van de doelstellingen van de ontwikkelingsactie

Sommige dossiers geven aan dat de doelstellingen werden vastgelegd met de methode van doelgerichte interventie planning (DIP); andere niet. Die methode bestaat erin dat samen met alle stakeholders oorzaak-gevolgrelaties worden vastgesteld tussen de problemen die ze willen oplossen (problemenboom). Die negatieve situaties worden vervolgens omgedraaid tot positieve oplossingen (doelenboom). In die doelenboom wordt een strategie gekozen om de doelstelling(en) te halen die door de stakeholders werden gekozen als voor hen het belangrijkst (specifieke doelstelling(en)). Het planningsproces gaat daarna voort door een logisch kader te bepalen. Vandaag blijft die methode verplicht voor de projecten van het BFVZ: problemenboom, doelenboom en “theory of change”. In andere interventies worden de doelstellingen vastgelegd na een contextuele analyse waarin wel de lokale partners, maar slechts uitzonderlijk de uiteindelijke begunstigden participeren.

Alle actoren vermelden echter in hun TFD bepaalde elementen van de DIP-methode: de TFD van de BTC bevatten een hoofdstuk over de "strategische oriëntaties"; de ANGS beschrijven de organisatiestrategie; sommige actoren beschrijven beknopt en per actie de problemen die moeten worden opgelost.

Zowel de BTC, de ANGS als het BFVZ werken nog volgens het model: algemene doelstelling � specifieke doelstelling(en) � (tussentijdse) resultaten.

De BTC bepaalt per project een algemene doelstelling en een specifieke doelstelling. De ANGS bepalen een algemene doelstelling voor hun hele programma en een of meer specifieke doelstellingen per land/regio van activiteit (ook voor hun 'noordwerking' in België). Zowel voor de BTC als voor de ANGS zijn de algemene doelstellingen erg algemeen en te ambitieus. Bijvoorbeeld: "De socio-economische ontwikkeling van de plattelandsbevolking en hun levensomstandigheden zijn verbeterd"; "bijdragen aan de capaciteitsversterking van de instellingen die belast zijn met de uitvoering van het nationaal ontwikkelingsbeleid in de partnerlanden"; "bijdragen aan het veilig stellen van een gemeenschappelijke toekomst voor noord en zuid"; "bijdragen aan een duurzame menselijke ontwikkeling van de landen in het zuiden", "het recht op sociale bescherming opeisen voor de kansarme bevolkingsgroepen", …

Een twintigtal jaar geleden was het nog algemeen het gebruik om de specifieke doelstelling vast te leggen in een participatieve workshop samen met de toekomstige begunstigden, maar die praktijk is geleidelijk verdwenen en nu wordt de specifieke doelstelling veelal vastgelegd door een elite van stakeholders. In een aantal gevallen heeft die verandering er niet toe geleid dat de doelstelling wat minder onspecifiek werd en tonen de TFD niet aan dat men het probleem dat men wil oplossen ook heeft geanalyseerd. In andere gevallen is de specifieke doelstelling het resultaat van een probleemanalyse die grondiger is dan vroeger, ook al is het participatieve aspect via een workshop onder het tapijt verdwenen.

De algemene doelstelling (impact) van een BFVZ programma is identiek voor elk programma: "Het programma heeft bijgedragen aan de verbetering van de voedselzekerheid in de interventiezone."

Elk onderdeel van de programma's van het BFVZ heeft een specifieke doelstelling die overeenstemt met de in de contextanalyse vastgestelde problemen en opportuniteiten.

40

4.2.2. Beschrijving van de algemene context en de evolutie daarvan

Het begrip context omvat alle punten 4.2.3 tot 4.2.8 die hieronder worden onderzocht in het kader van het criterium relevantie. Voor heel wat TFD worden die punten niet afzonderlijk en niet in de hieronder vermelde volgorde onderzocht, maar min of meer uitgebreid geïntegreerd in een meer algemene contextanalyse. Die analyse van de context (ANGS, BFVZ) of van de situatie (BTC) bevat een SWOT-analyse die facultatief is voor de BTC, die verplicht is in de presentatie van de ANGS en die bij het BFVZ verplicht is over de nationale openbare instelling die verantwoordelijk is voor de voedselzekerheid.

Het is ook belangrijk te begrijpen dat een context geen vaststaand gegeven is. Alle actoren bestuderen vrij goed de context op het ogenblik van de formulering, maar de manier waarop de evolutie ervan wordt gevolgd vertoont grote verschillen.

4.2.3. Overeenkomst met de verwachtingen van begunstigden

De verwachtingen van de uiteindelijke/definitieve begunstigden worden haast nooit vermeld als bron uit eerste hand. Ze worden beschreven via de filter van hun lokale vertegenwoordigers of van degenen die zich als dusdanig voorstellen of opdringen (landbouwersgroepen, gemeenschapsorganisaties, plaatselijke ngo's, vakbondsorganisaties) of via de filter van tussenschakels (staatsdiensten voor de gouvernementele samenwerking, gedecentraliseerde administratieve diensten, instellingen voor microfinanciering, …)

Het BFVZ hecht meer belang aan de verwachtingen van de begunstigden dan de andere actoren, en kwalificeert hen ook als ‘doelgroepen’. Op programmaniveau wordt de verschuiving van een actieve participatie van de uiteindelijke begunstigden naar een grotere betrokkenheid van de actoren en lokale tussenpersonen bevestigd in de teksten: “Het is belangrijk dat de analyse de bekommernissen van de lokale actoren weergeeft. Daartoe organiseert de consulent (belast met de contextanalyse) tijdens zijn zending op het terrein, een “reflectie” workshop met de lokale actoren in de interventiezone.” Op programmaniveau worden de stakeholders niet samengebracht bij het begin van het identificatieproces maar tijdens een validatieworkshop die wordt gehouden aan het eind van dit proces.

Op projectniveau echter, wordt het antwoord op de behoeften van de begunstigden met zorg onderzocht; projecten moeten voorbereid worden op een participatieve manier (probleemboom/doelstellingenboom en de methodologie van de “Theory of Change”), maar de documenten blijven eerder vaag wanneer het gaat om de participatie van de uiteindelijke begunstigden in de bepaling van hun behoeften.

4.2.4. Overeenkomst met de behoeften van het land

De visie op de prioritaire behoeften van het land verschilt naargelang de uitvoerende organisatie.

Voor de gouvernementele samenwerking zou die overeenkomst vanzelfsprekend moeten zijn, aangezien de interventie het resultaat is van een akkoord tussen de Belgische donor en het partnerland. Dat akkoord wordt allereerst gemaakt in een gemengde commissie, vervolgens tijdens het voorbereidend proces (identificatie, formulering), en ten slotte door de ondertekening van een specifieke overeenkomst tussen beide landen. Het is mogelijk dat in de praktijk die theoretische overeenkomst niet perfect is, maar om hierover te oordelen, zouden wij een bezoek aan het terrein moeten brengen en dit valt volgens ons meer onder de evaluatie dan onder de theoretische evalueerbaarheid.



Ngo's en vakbondsorganisaties spelen geregeld de rol van tegengewicht en toezichtsorgaan op de gouvernementele acties. Uiteraard zijn zij het dus niet altijd met de partnerregering eens wanneer het over de behoeften van het land gaat. Over de overeenkomst met de behoeften van het land wordt bijgevolg weinig verteld: "in overleg met het ministerie…; na lezing van het lokaal beleid van …"

De andere ANGS (universiteiten, wetenschappelijke instellingen. APEFE, VVOB) moeten zich dan weer afstemmen op de specifieke behoeften die worden uitgedrukt door de betrokken instellingen en ministeries (onderwijs, onderzoek).

“ De coördinatie van de BFVZ-programma’s wordt toegekend aan de Nationale overheidsinstelling belast met voedselzekerheid. Deze instelling is het beste geschikt om te waken over de samenhang van de interventies van het programma met het nationale beleid en de nationale strategieën”. Het BFVZ bepaalt overigens uitdrukkelijk dat de civiele samenleving moet worden betrokken bij de interventie, daarvoor en ook tijdens de interventie: “Met het doel om de initiatieven van de civiele maatschappij versterken, moet de coördinatiestructuur een politieke dialoog opzetten zowel met de nationale, regionale en lokale overheden als met de organisaties van de civiele maatschappij (ngo’s, boerenorganisaties, bonden of federaties van deze organisaties, vrouwenorganisaties …)”.

4.2.5. Overeenkomst met algemene prioriteiten

Onder algemene prioriteiten mag men de Millennium Ontwikkelingsdoelstellingen (MOD) verstaan.

De bestaansreden zelf van het BFVZ zorgt ervoor dat het algemeen doel van de interventies van het Fonds automatisch overeenkomen met MOD 1 (de grootste armoede en honger uitbannen), doelstelling 2: het percentage van mensen die honger lijden met de helft verminderen tussen 1990 en 2015.

Vrijwel geen enkel bestudeerd dossier integreert de geplande actie in de algemene prioriteiten

4.2.6. Overeenkomst met het beleid van de partners

Onder beleid van de partners verstaan we in het bijzonder hun strategiedocumenten voor armoedebestrijding (poverty reduction strategy papers of PRSP) of soortgelijke documenten, maar ook de meer specifieke beleidsmaatregelen in de sector van de interventie: beleid voor volksgezondheid, onderwijs, landbouw, milieu enz. De kwaliteit van de beschrijving en de mate waarin rekening wordt gehouden met het beleid van de partners verschillen sterk van het ene dossier tot het andere. Het is mogelijk dat het werkelijk gevoerde beleid niet helemaal samenvalt met het beleid dat in de teksten wordt vermeld, maar ook hier zijn wij van mening dat wij, om hierover te kunnen oordelen, een bezoek aan het terrein zouden moeten brengen en dit valt volgens ons meer onder de evaluatie dan onder de theoretische evalueerbaarheid.

In theorie stelt die vraag zich niet voor interventies in gebieden die in de partnerlanden de uitsluitende bevoegdheid van de staat zijn of sterk door de staat worden gecontroleerd: elektriciteit, plattelandsinfrastructuur, onderwijs, gezondheid. Toch worden in heel wat partnerlanden organisaties van de civiele samenleving gedwongen om de rol te vervullen van nationale diensten voor omkadering en ontwikkeling, omdat die afwezig of inefficiënt zijn.

42

4.2.7. Overeenkomst met het beleid van België

Het is mogelijk om de overeenkomst met het Belgisch beleid te beoordelen door te kijken op welke manier rekening werd gehouden met de diverse Belgische strategische nota's.

Voor de gouvernementele samenwerking werden de strategische landennota's afgeschaft, maar sommige TFD vermelden uitdrukkelijk dat het project past in het kader van de Belgische ondersteuning aan de sector in het land. De keuze van prioritaire sectoren en de verantwoording van die keuze staat immers in de SP en/of in de voorbereidende nota's voor de SP.

De dossiers van de programma's van de ANGS verwijzen zelden naar de Belgische strategische nota's. Toch zijn er uitzonderingen, wanneer de sector van de interventie over een goed aangepaste strategische nota beschikt. Zo wordt de strategische nota onderwijs geciteerd in de documenten van de VLIR, de CIUF, de APEFE en de VVOB.

Het BFVZ beschikt over een eigen strategische nota. De programma's en projecten van het fonds moeten verplicht (wet van 19 januari 2010) binnen dit kader passen. De interventiedocumenten preciseren vaak dat die strategie van het Fonds het resultaat is van een raadpleging, maar tonen slechts zelden hoe die werd toegepast.

4.2.8. Samenhang met het beleid, de doelstellingen en activiteiten van de andere actoren.

Zoals al vermeld, past de gouvernementele samenwerking nu al in een context van gezamenlijke programmering op Europees niveau, of zal ze heel binnenkort hierin passen. Intussen werden al tal van initiatieven genomen vanuit een gezamenlijke - algemene of thematische - dialoog tussen de donorlanden en de partnerregeringen.

Voor de ANGS heeft die vraag op niveau van het algemeen multilandenprogramma weinig zin, omdat de andere actoren een verschillend beleid en verschillende doelstellingen en activiteiten hebben naargelang het land. De samenhang van de doelstellingen wordt dus onderzocht op niveau van de landenprogramma's.

De samenwerking met andere ANGS of organisaties moet worden gespecificeerd indien er een samenwerkingsakkoord bestaat en indien de andere betrokken organisaties rechtstreeks betrokken zijn bij het bereiken van het specifieke doel, en dat in het kader van een structurele samenwerking (artikel 3 KB van 24/09/2006), of in het kader van gezamenlijke acties. Sommige dossiers gaan verder en vermelden niet-structurele samenwerkingen die werden gesloten, of vermelden de manier waarop ze rekening houden met het beleid en de activiteiten van andere (lokale, Belgische of internationale) spelers die actief zijn in de specifieke sector of op het grondgebied van de interventie.

Het BFVZ is een apart geval omdat de programma's verschillende Belgische, internationale en lokale actoren samenbrengen rond één gemeenschappelijk algemeen doel. Er moet dus een zekere samenhang zijn tussen de projecten van die actoren, die elk hun eigen beleid, eigen (specifieke) doelstellingen en eigen activiteiten hebben. Die samenhang moet in elk TFD van een project worden toegelicht op drie niveaus:

• Samenhang van het logisch kader van het project met het logisch kader van het programma.

• Samenhang van de resultaten van het project met de resultaten van het programma.

• Samenhang met de verschillende actoren van het programma.



4.2.9. Transversale thema's

De eerste paragraaf van artikel 11 van de wet bepaalt de integratie van drie prioritaire thema’s: de mensenrechten, met inbegrip van de rechten van het kind ; waardig en duurzaam werk; en maatschappijopbouw.

De tweede paragraaf van hetzelfde artikel bepaalt de integratie, op transversale wijze in alle interventies van de genderdimensie, die de empowerment van vrouwen en de gelijkheid tussen mannen en vrouwen in samenleving beoogt; en de bescherming van het leefmilieu en van de natuurlijke hulpbronnen met inbegrip van de strijd tegen klimaatverandering, droogte en wereldwijde ontbossing.

Voor de gouvernementele samenwerking verduidelijkt artikel 19 van de wet: de in artikel 11, §1, bedoelde thema’s kunnen het voorwerp uitmaken van specifieke (sectoriële) initiatieven, en dat de in artikel 11, §2, bedoelde thema’s worden transversaal geïntegreerd in alle sectoren. Artikel 19 verduidelijkt ook dat de voornaamste concentratiesector 'gezondheidszorg' een transversale aanpak van hiv/aids omvat.

Alle onderzochte dossiers bevatten min of meer gedetailleerde beschouwingen over gender en milieu.

De TFD van de interventies van de BTC bevatten een specifiek hoofdstuk over de volgende transversale thema's: milieu, gender, sociale economie, kinderrechten en hiv/aids. Sommige dossiers brengen transversale thema's samen, geven ze een andere naam of laten ze weg38 afhankelijk van de aard van de doelstelling en van de activiteiten.

De ANGS moeten in hun algemeen programma beschrijven op welke manier rekening werd gehouden met de transversale thema's. Een waarde 2, 1 of 0 (zie punt 3.6, pagina 28) moet worden toegekend aan een lijst met transversale thema's die geïnspireerd is op de transversale thema's van de wet en van de DAC. De landenprogramma's moeten aangeven op welke manier rekening werd gehouden met de transversale thema's gender en milieu. Soms vermelden ze ook andere transversale thema's, afhankelijk van de aard van hun doelstellingen en activiteiten. Over het algemeen is er geen speciaal hoofdstuk gewijd aan de transversale thema's.

Voor elk project dat onderdeel is van een programma van het BFVZ moet bijzondere aandacht worden besteed aan transversale thema's in elk punt van het TFD. Op niveau van het programma zelf mag men sommige thema's de voorkeur geven; zo plant het programma in de DRC specifiek de financiering van een coördinatieafdeling gender, terwijl de andere thema's worden vermeld maar hier geen aparte financiering voor is gepland.

4.2.10. Relevantie ten opzichte van de risico's

Met uitzondering van de algemene programma's van de ANGS, worden tegenwoordig in alle TFD van de interventies de risico's onderzocht.

De TFD van projecten van de gouvernementele samenwerking maken over het algemeen een onderscheid tussen de risico's op het niveau van de uitvoering, van het beheer, van de doeltreffendheid, van de duurzaamheid en de fiduciaire risico's. Voor elk type worden een of meer risico's beschreven. Hoewel het standaardmodel hierin voorziet, vermelden de onderzochte TFD niet altijd het risiconiveau (van erg laag tot erg hoog). Een raming van de mogelijke gevolgen (van miniem tot zeer ernstig) van de risico's wordt niet gevraagd in het standaardmodel; die is dus ook niet terug te vinden in de onderzochte

38 Bijvoorbeeld: gender en kinderrechten, bestuur, … Gender en milieu worden nooit weggelaten

44

dossiers. Daartegenover worden wel maatregelen voorgesteld om de gevolgen te beperken.

De TFD van de landenprogramma's van de ANGS moeten een overzicht van de risico's bevatten, met een raming van de waarschijnlijkheid dat ze zich zullen voordoen en een raming van hun impact (in de zin van ‘conséquences’), alsook de middelen die worden ingezet om die te beperken.

Voor de programma's van het BFVZ, het TFD moet een diepgaande risicoanalyse bevatten van zowel interne als externe risico’s op het niveau van het project en van het programma … er moet duidelijk worden vermeld wat de mogelijke gevolgen zijn, mocht het risico zich voordoen. Voor elk risico dient de graad van inschatting te worden bepaald: zwak, hoog of zeer hoog. Daarenboven, voor elk geïdentificeerd risico moeten maatregelen worden voorgesteld.

4.3. Voorwaarden in verband met de doeltreffendheid

Voor de ANGS moet de beschrijving van de programma's in elk van de landen van het zuiden onder meer de doeltreffendheid van de geplande middelen en uitvoeringsmethoden behandelen.

4.3.1. Beschrijving van een interventielogica op drie niveaus

Wij onderzoeken die voorwaarde in het licht van onze visie op de interventies van de ontwikkelingssamenwerking (punt 3.4) waarbij wij drie niveaus onderscheiden die logisch voortvloeien uit de activiteiten: outputs, outcome(s) en impact(s).

Het standaardschema voor de projecten van de gouvernementele samenwerking dat de BTC voorstelt, voorziet in een beschrijving van een algemene doelstelling (AD), een specifieke doelstelling (SD) en verschillende verwachte resultaten. Dat voorbeeld wordt goed opgevolgd in alle TFD die wij hebben ingekeken.

Het presentatieschema voor een programma van de ANGS voorziet voor het algemeen programma in één (beknopt en duidelijk geformuleerde) AD en een of meer SD per landenprogramma (met inbegrip voor het luik 'noord' in België). Indien er meerdere SD zijn, komt elke SD overeen met een apart luik van het type 'project'. Het algemeen programma van de ANGS beschrijft het 'output'-niveau niet. Voor de landenprogramma's wordt ervan uitgegaan dat ze allemaal bijdragen aan de AD van het programma. Ze worden apart beschreven en vermelden meestal39 alleen de 2 lagere niveaus (outputs en outcome(s)).

De programma's van het BFVZ hebben een interventielogica met 4 niveaus: algemene doelstelling van het programma (steeds dezelfde: voedselzekerheid) � een AD per project dat onderdeel is van het programma (= impact) � meerdere SD per project dat onderdeel is van het programma (= outcomes) � meerdere resultaten per SD (= outputs).

De beoordeling van de relatie oorzaak-gevolg tussen de verschillenden niveaus of van de interne samenhang van de interventie is een subjectieve oefening die veel ervaring vereist vanwege de evaluatoren. Met uitzondering van de programma's van het BFVZ, worden in het algemeen de SD en zeer zeker de AD uitgedrukt in vage bewoordingen.

In het bijzonder voor de algemene programma's van de ANGS is het causaal verband tussen het tweede niveau (dat van de SD) en het derde niveau (dat van de AD) moeilijk vast te stellen.

39 Sommige ANGS kennen elk landenprogramma een andere AD toe.



4.3.2. Kwantitatieve indicatoren

Alle actoren vermelden kwantitatieve indicatoren.

De TFD van de gouvernementele samenwerking bevatten meestal een lijst met de indicatoren in verband met (soms) de AD, de SD en de verschillende resultaten. Die indicatoren worden ook vermeld in het logisch kader van de interventie. De handleiding ‘More Results’, die verscheen na de door ons onderzochte TFD, geeft tal van nuttige richtlijnen om indicatoren te bepalen.

Het algemeen programma van de ANGS heeft geen indicator voor de AD maar moet een maximum van drie SMART-indicatoren bevatten voor elke SD. De logische kaders van de landenprogramma's bevatten voor elke SD en voor elk resultaat twee tot drie SMART-indicatoren. De dossiers van de landenprogramma's die worden voorgesteld door de ANGS moeten dus verplicht een kader van SD-indicatoren en tussentijdse resultaten invullen, met basiswaarde en doelwaarden voor het eerste, tweede en derde jaar.

Voor het BFVZ, de opzet van een doeltreffend opvolgings- en evaluatiesysteem begint bij de keuze van relevante, duidelijke en betrouwbare indicatoren.

De programma's van het BFVZ moeten op niveau van de AD beschikken over indicatoren voor: (i) de vier pijlers van de voedselzekerheid: beschikbaarheid, toegang, stabiliteit en gebruik van voeding (nutritie); (ii) de capaciteitsversterking van de betrokken actoren op nationaal, regionaal en lokaal niveau; en (iii) de versterking van de nationale overheidsinstelling belast met voedselzekerheid. De indicatoren die internationaal worden gebruikt om ondervoeding te meten zijn: voor kinderen jonger dan vijf jaar: gewicht volgens lichaamslengte (acute ondervoeding, magerte), lichaamslengte volgens leeftijd (chronische ondervoeding, groeiachterstand), en gewicht volgens leeftijd (ondergewicht). Daarnaast dienen ook indicatoren voor de transversale thema’s van de Belgische ontwikkelingssamenwerking (gender, milieu en klimaatverandering) te worden gekozen.

De verschillende projecten die onderdeel zijn van de programma's van het BFVZ beschikken ook over kwantitatieve indicatoren geformuleerd op SMART-wijze voor de drie niveaus van de resultaatketen.

Heel weinig interventies zijn zo opgevat dat het gebruik van lokale indicatoren mogelijk is. Het gaat in hoofdzaak om interventies op het vlak van gezondheidszorg (moedersterftecijfer, kindersterftecijfer, prevalentie van chronische ondervoeding), onderwijs, toegang tot drinkbaar water, … Bovendien moet het grondgebied van de interventie precies samenvallen met een of meer administratieve eenheden waarvoor regelmatig statistieken worden opgesteld. Een andere werkwijze die soms wordt gebruikt, is het inzamelen van gegevens aan de bron: leeftijd, lichaamslengte en gewicht van patiënten van de consultatiebureaus in het interventiegebied, aanwezigheidslijst of slaagpercentages van de examens in de scholen in het interventiegebied, …

4.3.3. Kwalitatieve indicatoren

De meeste geraadpleegde TFD bevatten ook kwalitatieve indicatoren. Bijvoorbeeld: er is een personeelsplan geformuleerd op basis van de behoeften; er wordt een landbouwersvereniging opgericht; alle… hebben toegang tot…; tevredenheid van de gebruikers van de diensten van…; …

Er zijn specifieke richtlijnen voor de kwalitatieve indicatoren in de modellen die werden ontwikkeld voor de projecten van het BFVZ, waarvoor de kwalitatieve indicatoren objectief controleerbaar moeten zijn, en voor de interventies van de ANGS, waarvoor de objectief controleerbare kwantitatieve en kwalitatieve indicatoren moeten geformuleerd zijn volgens de SMART-methode.

46

4.3.4. Basiswaarden en doelwaarden van de indicatoren

De TFD van de projecten van de gouvernementele samenwerking bevatten indicatoren zonder starten doelwaarde. Voorbeelden: aantal …; hoeveelheid van…; de kostprijs van…; toegangspercentage van….

Voor de projecten van het BFVZ gebeurt dit bewust en in overeenstemming met de richtlijnen dat de aard van de indicatoren wordt opgegeven, maar geen startwaarde of doelwaarden. Soms wagen de voorbereidende documenten zich aan enkele indicatieve doelwaarden, maar de algemene regel is dat om de vooruitgang van een programma en de projecten te meten, het belangrijk is om over een correcte baseline te beschikken. Tijdens de voorbereidingsfase zijn zelden indicatoren met betrouwbare waarden voorhanden. In de loop van het eerste semester van uitvoering van het programma zal dan ook een baselinestudie van het programma en de projecten worden uitgevoerd. De indicatoren en waarden die tijdens de voorbereidingsfase werden gekozen, dienen te worden gecheckt op hun juistheid en opportuniteit (bij het begin van de uitvoering). Daarnaast zullen nieuwe indicatoren en waarden worden bepaald, b.v. via participatieve workshops, enquêtes, … Deze waarden en indicatoren worden verwerkt in het logisch kader van het programma dat de basis vormt voor de opvolging en evaluatie. In de praktijk hebben wij vastgesteld dat er korte tijd na de start van het programma voor elke partner van het programma een overzicht is van indicatoren van het logisch kader, waarin basiswaarden en doelwaarden wel degelijk gedefinieerd of opnieuw gedefinieerd zijn. Soms kan een indicator zelfs vervangen zijn of een meer relevante naam hebben gekregen.

Voor de algemene programma's van de ANGS worden de basiswaarden en doelwaarden (na drie jaar) vermeld voor de indicatoren van de SD. Aangezien er geen indicatoren zijn voor de AD van het algemeen programma, is er geen basiswaarde en geen doelwaarden voor de AD. De verschillende landenprogramma's vermelden voor de resultaten (output-niveau) basiswaarden en doelwaarden na een, twee en drie jaar. Wanneer men het eens is met de argumentatie in de alinea hierboven, zou de verplichting om basis- en doelwaarden op te geven voor de start van het programma de geloofwaardigheid van die waarden aantasten, zodat ze met omzichtigheid moeten worden benaderd.

In sommige dossiers wordt de basislijn (baseline) niet beschouwd als een strikt en nauwkeurig op nul zetten van de waarde van de verschillende indicatoren maar hooguit als een algemene beschrijving van de situatie in het interventiegebied in rechtstreeks verband (of niet) met de interventiesector. Die praktijk neemt nog toe bij het begin van een tweede of derde fase, waarbij sommige TFD vermelden dat aangezien de vertreksituatie goed bekend is, een baseline studie aan het begin van deze consolidatiefase niet nodig is.

Het bereiken van een kwalitatieve indicator kan objectief worden nagegaan. Men kan bijvoorbeeld nagaan of een inrichtingsplan werd gerealiseerd (of niet), een strategie ontwikkeld (of niet), een beleid ingevoerd (of niet), of iemand die een opleiding heeft gevolgd geslaagd is voor de test op het einde van de opleiding (of niet) …

Sommige indicatoren kwantificeren de kwaliteit. Bijvoorbeeld: tevredenheidspercentage ten opzichte van een dienst (kwantificeert de kwaliteit van de dienst). Men moet echter uitkijken voor indicatoren die uiteindelijk niet meer objectief controleerbaar zijn. Bijvoorbeeld: percentage producenten met een stabiel inkomen (maar het begrip stabiel inkomen is niet eenduidig); aantal ondersteunde groepen (maar men kan een groep op verschillende manieren steunen); aantal functionele diensten (maar wat betekent functioneel precies?).



4.3.5. Verificatiebronnen

Alle geraadpleegde TFD vermelden verificatiebronnen. Toch geven sommige ANGS de verificatiebronnen van de indicatoren van SD niet op in de beknopte beschrijving van hun algemeen programma.

4.3.6. Doeltreffendheid met betrekking tot transversale thema's

Wij hebben dit punt bestudeerd vanuit onze visie op de manier waarop transversale thema's begrepen moeten worden (zie 3.6, pagina 28).

Heel weinig TFD zijn zo opgebouwd dat de resultaten van het eerste niveau (outputs) en tweede niveau (outcomes) met betrekking tot de transversale thema's kunnen worden gemeten.

Vanzelfsprekend maken vrijwel alle documenten wel ergens melding van gender of milieu (het komt veel minder voor dat de andere transversale thema's worden vermeld). Maar toch is het uitzonderlijk dat de resultaten/veranderingen met betrekking tot die thema's kunnen worden geëvalueerd door middel van specifieke indicatoren, basiswaarden, doelwaarden en verificatiebronnen. In feite beschikken alleen de interventies waarvoor een transversaal thema de (belangrijkste) specifieke doelstelling is over een logisch kader dat de meting van resultaten toelaat.

Dat is niet alleen zo voor de interventies gefinancierd door België, zoals wordt aangetoond door een evaluatieverslag van het IFAD: "Een van de lessen was dat de evaluatiemethodes die gevoelig zijn voor gender over het algemeen zwak waren omwille van slecht opgevatte resultaatkaders en zwak of slecht geformuleerde theories of change. De prestatie-indicatoren inzake gender waren noch duidelijk gedefinieerd, noch voldoende nauwkeurig om de programma's te evalueren in termen van hun bijdrage aan de gelijkheid van geslachten of de zelfbeschikking van vrouwen".40

Een beoordeling van de resultaten op het gebied van gelijkheid van geslachten is echter relatief gemakkelijker. Want ook al is dit thema niet het hoofddoel, toch gebruiken heel wat interventies statistieken of meten ze indicatoren waarvan de waarde is opgesplitst volgens gender of op genderspecifieke wijze. De verbetering van de gelijkheid tussen mannen en vrouwen kan bijgevolg relatief gemakkelijk worden gemeten, ook al is die gelijkheid geen hoofd- of secundair doel van de interventie. Bijvoorbeeld: naar school gaan, lid zijn van een ziekenfonds, gebruik maken van de voorzieningen van een kraamkliniek.

De interventies op het gebied van onderwijs hebben ook meer mogelijkheden omdat de meeste aanwezigheidslijsten en statistieken over het slagen in examens al geruime tijd opgesplitst zijn.

De meeste nationale statistieken over gezondheid, ondervoeding, armoede, toegang tot energie, tot drinkbaar water enz. zijn over het algemeen ook opgesplitst volgens gender (of zijn gemakkelijk op te splitsen vanuit primaire gegevens).

De programma's van het BFVZ besteden relatief meer aandacht aan de thema's gender en milieu. De projecten moeten in principe een specifieke interventielogica (+ indicatoren) opgeven voor de thema's gender en milieu. Een programma wil resultaten boeken die specifiek gericht zijn op ‘women and youth’ en wil meer dan 50% van zijn budget aanwenden om meer gelijkheid tussen de geslachten te

40 Vrije vertaling van “It was found that the gender-responsive evaluation methodologies were generally weak due to poorly designed results frameworks, and weak and poorly articulated theories of change. Gender performance indicators were not clearly defined or sufficiently precise to permit assessment of programmes in terms of their contribution to gender equality and women’s empowerment.” IFAD , “Gender equality and development evaluation units: Lessons for evaluations of development support of selected multilateral and bilateral agencies”, Conducted for the Evaluation Cooperation Group, 2012.

48

garanderen. De indicatoren zijn: percentage vrouwen dat een 'spaar-krediet'-plan heeft afgesloten; percentage vrouwen dat toegang heeft tot informatie; percentage vrouwen in de lokale besluitvormingsstructuren, percentage huishoudens waar vrouwen minstens 20% van het inkomen van het huishouden beheren; afstand tussen de woonst en de dichtstbijzijnde waterbron; …

Een programma van het BFVZ plant de oprichting en financiering van een afdeling specifiek voor gendercoördinatie.

Bovendien laat een echte programmabenadering zoals die van het BFVZ toe dat transversale thema's niet noodzakelijk moeten worden behandeld door alle projecten van het programma, maar kunnen worden gedelegeerd aan een of meer andere projecten.

4.4. Voorwaarden in verband met de efficiëntie

Wij zijn van mening dat de verwachte resultaten op een zuinige manier werden bereikt indien ze werden bereikt met de geplande budgetten, binnen de geplande tijd en met een minimum aan beheerkosten. Daarom onderzoeken we achtereenvolgens de verbanden tussen begrotingen en resultaten, de verbanden tussen begrotingen en uitvoeringskalender en tot slot de beschrijving van het beheersysteem.

Voor de ANGS moet de beschrijving van de programma's in elk van de landen van het zuiden onder meer de efficiëntie van de geplande uitvoeringsmethodes en -middelen bespreken.

4.4.1. De begroting is uitgedrukt per resultaat

Aangezien de evaluatie van de efficiëntie nagaat of de resultaten op een zuinige manier werden bereikt, is het belangrijk om uit de TFD te weten te komen welke uitgaven gepland zijn om elk resultaat te bereiken.

De begroting in de TFD van de gouvernementele samenwerking wordt voorgesteld in de vorm van twee afzonderlijke tabellen. In de eerste tabel wordt aan elk resultaat en zelfs aan elke activiteit een specifiek budget toegekend dat wordt opgesplitst per jaar. Naast dit eerste begrotingskader per resultaat, bevat het TFD ook een tweede begrotingskader voor dealgemene middelen of gemeenschappelijke middelen, die niet kunnen worden opgesplitst per resultaat, zoals personeelskosten, investeringskosten, werkingskosten en kosten voor audit, monitoring en evaluatie. In de casestudy's werden die ramingen eveneens opgesplitst per jaar.

De begroting van de programma's van de ANGS (zie bijlage 3) wordt voorgesteld in de vorm van vier afzonderlijke tabellen.

De begroting van het algemeen programma van de ANGS (‘tabel 1’) geeft de samenvatting van de geraamde uitgaven per land, per jaar en per begrotingspost (investering, werking en personeel). De algemene begroting bevat ook een specifiek kader per jaar en per begrotingspost voor de beheerkosten.

De begroting voor de beheerkosten wordt opgesplitst in ‘tabel 2’, die de geraamde uitgaven vermeldt per begrotingspost en subpost (investering, werking, personeel), per jaar en per land.

Het presentatieschema voor een algemeen programma van de ANGS bepaalt het volgende: vanuit het oogpunt van administratieve vereenvoudiging, … wordt de beschrijving van de middelen in de operationele kosten gevraagd per begrotingspost en niet meer per resultaat. Die richtlijn laat echter wel toe om de efficiëntie te beoordelen op niveau van de SD van elk landenprogramma, omdat aan elk landenprogramma een eigen operationeel budget wordt toegewezen.



De begroting van de operationele kosten van het programma of de programma's van de ANGS in België wordt gepreciseerd in ‘tabel 3’ die voor elk afzonderlijk programma de geraamde uitgaven opgeeft, enerzijds per jaar en per begrotingspost; anderzijds per jaar en per resultaat.

De begroting van de operationele kosten van het programma of de programma's van de ANGS in de partnerlanden wordt gepreciseerd in ‘tabel 4’ die voor elk afzonderlijk programma de geraamde uitgaven opgeeft, enerzijds per jaar en per begrotingspost; anderzijds per jaar en per resultaat. Overigens kunnen de kosten voor de coördinatiekantoren worden beschouwd als operationele kosten voor zover ze duidelijk vermeld zijn in de partnerschapsovereenkomsten en gekoppeld zijn aan de te bereiken resultaten.

De algemene begroting van het programma (tabel 1) bepaalt, indien ze correct is ingevuld, de geraamde kost voor elke specifieke doelstelling van het programma en laat dus in principe toe om de efficiëntie te beoordelen in het bereiken van elke SD van het algemeen programma41.

De specifieke doelstelling wordt echter niet altijd uitgedrukt in termen van concreet resultaat (concrete resultaten). Het is dus niet altijd mogelijk om de geraamde uitgaven te koppelen aan het bereiken van de doelwaarde van de indicatoren.

De begroting van elk project van een programma van het BFVZ wordt eveneens voorgesteld in de vorm van twee tabellen.

De algemene begroting van het project geeft de samenvatting van de geraamde uitgaven per resultaat (outcome), per land en per begrotingspost (investering, werking en personeel). De algemene begroting bevat ook een lijn die de beheerkosten per jaar samenvat.

De tweede tabel beschrijft de begroting van de beheerkosten per begrotingspost, per jaar en per geografische ligging (België of coördinatiekantoor).

Die tabel laat, indien ze correct is ingevuld, toe om objectief de efficiëntie te beoordelen op niveau van de outcomes van het project en de outputs van het programma42.

Toch zijn in het begrotingsschema van de projecten van het BFVZ de kosten gekoppeld aan resultaten maar betreffen ze de posten die zich bezighouden met meerdere resultaten. Het is moeilijk te geloven dat het personeel van een project zich bezighoudt met een welbepaald resultaat en dat het meubilair / vastgoed slechts is toegewezen aan het bereiken van één enkel resultaat.

4.4.2. Het budget is uitgedrukt per activiteitsjaar

Alle partners plannen een jaarlijkse financiële rapportering, in het bijzonder met betrekking tot de begrotingsuitvoering. Het is bijgevolg mogelijk om voor elk jaar de raming te vergelijken met de begrotingsuitvoering.

4.4.3. De beheerwijze en verantwoordelijkheden

In de TFD van de projecten van de gouvernementele samenwerking is er een hoofdstuk met als titel 'Uitvoeringsmodaliteiten'. Die uitvoeringsmodaliteiten worden bepaald op basis van het ISP en de risicoanalyse en volgens de principes van responsabilisering van de partners, harmonisatie en afstemming, en dekken:

41 Ter herinnering, het algemeen programma van een ANGS bestaat uit subprogramma's in België en in de partnerlanden / partnerregio's van de niet-gouvernementele samenwerking. 42 In een ‘trapsgewijs logisch kader' dat wordt toegepast door het BFVZ, zijn de outcomes van het programma de impacts van de projecten waaruit het programma bestaat en zijn de outputs van het programma de outcomes van de projecten waaruit het programma bestaat.

50

• de verantwoordelijkheden op het gebied van besluitvorming (technisch, administratief en financieel)

• de financiële uitbetalingskanalen

• de procedures voor de overheidsopdrachten (met inbegrip van de verantwoordelijkheidsdrempels)

• de administratieve, boekhoudkundige en financiële rapporteringsprocedures

• de monitoring- en evaluatieprocedures in het kader van de gemengde lokale overlegstructuur

• de samenstelling en bevoegdheden van de monitoring- en uitvoeringsstructuren, indien van toepassing

In de voorafgaande opmerkingen bij het presentatieschema van een programma van ANGS wordt vermeld dat bijzondere aandacht zal worden besteed aan de toepassing van een correcte (beheer)methodologie. Verderop worden in het deel dat gewijd is aan de organisatiestrategie de beheerorganen beschreven evenals de beheercapaciteit van de organisatie voor het meerjarenprogramma.

In de beschrijving van de programma's van de landen van het zuiden wordt bovendien vermeld dat volgende punten moeten worden besproken:

• de versterking van de beheercapaciteit

• de doeltreffendheid en efficiëntie van de geplande middelen en methodes.

De programma's van het BFVZ worden gecoördineerd door een partner die zich uitsluitend bezighoudt met de coördinatie van het programma, met een budget van maximum 5% van het totaalbudget. Die coördinatie gebeurt in nauwe samenwerking met de nationale overheidsinstelling die belast is met de voedselzekerheid, de Belgische ambassade en de doelgroepen (lokale overheid, …) en wordt meer of minder uitgebreid beschreven naargelang de casestudy.

De projecten van het BFVZ moeten op een participatieve wijze worden voorbereid (problemenboom, doelenboom en "theory of change") en moeten worden uitgevoerd, opgevolgd en geëvalueerd volgens een resultaatgerichte logische benadering. Voor het BFVZ geeft het presentatieschema enkele bijzonderheden over de verplichtingen van die logica: Die wettelijke verplichting vereist niet alleen dat een logisch kader formeel wordt voorgesteld, maar ook dat de partner van dit logisch kader dit gebruikt als een echt beheerinstrument om de verwachte resultaten te bereiken.

4.4.4. Resultaatgericht beheer

De TFD van de gouvernementele projecten bevatten een specifiek hoofdstuk met als titel "wijziging van het technische en financieel dossier". Volgende formulering werd gehaald uit een casestudy maar is representatief voor de manier waarop flexibiliteit wordt opgevat voor de gouvernementele samenwerking: "Het TFD kan worden gewijzigd door het partnerland en de BTC wanneer dat nodig blijkt voor de goede uitvoering van het project, met uitzondering evenwel van de specifieke doelstelling en het totaalbudget van het programma waarvoor een eventuele wijziging moet gebeuren via briefwisseling tussen het partnerland en de Belgische staat." We stellen vast dat de flexibiliteit vooral gericht is op de middelen, activiteiten (een goede uitvoering) en het eerste resultaatniveau (outputs).

Voor de ANGS zit flexibiliteit in het verplichte concept van een resultaatgericht beheer: " … bijzondere aandacht zal worden besteed aan de toepassing van… en aan het systematisch toepassen van een resultaatgericht beheer". Een gevolg hiervan is



dat vrijwel alle geraadpleegde casestudy's daadwerkelijk aangeven dat het beheer van de interventie zich zal aanpassen aan de resultaten. Maar alle geraadpleegde dossiers mogen dan wel de term 'resultaatgericht beheer' vermelden, toch zijn er slechts weinig dossiers die getuigen van een reële kennis en beheersing van dit concept. Wij hebben in geen enkel TFD een beschrijving van die beheermethode kunnen vinden.

Ter herinnering, "Het resultaat richten op het beheer betekent de hulp beheren en uitvoeren door zich te concentreren op de gewenste resultaten en door gebruik te maken van de beschikbare gegevens om het besluitvormingsproces te verbeteren". Een dergelijke beheerwijze vereist een "transparant evaluatiekader van de prestaties dat zich leent tot monitoring" waarvan de kwaliteit soms te wensen overlaat in de dossiers die wij hebben onderzocht.

Die vraag stelt zich minder voor interventies in de infrastructuursector waar de activiteiten via aanbestedingen worden toevertrouwd aan privébedrijven. Bijvoorbeeld boren naar drinkwater, bouwwerken, elektrificatie.

Resultaatgericht beheer wordt in onze ogen grondiger gepland en toegepast in de nieuwe programma's en projecten van het BFVZ. In de praktijk,

• Beschikken alle projecten van het BFVZ over een geactualiseerd monitoringkader, dat voor elk niveau de resultaatketen, de indicatoren, hun basiswaarde en hun verwachte waarde op het einde van het project vermeldt. Dat instrument is het enige dat kan worden gebruikt als basis voor een echt resultaatgericht beheer.

• Wordt voor de projecten van de nieuwe programma's van het BFVZ het logisch kader minstens één keer bijgewerkt omdat de procedure vereist dat voor de indicatoren voorlopige beginwaarden en doelwaarden worden bepaald om een financiering te kunnen krijgen, en dat die waarden moeten worden bijgewerkt bij het begin van de uitvoering (dus nadat de subsidie werd toegekend).

Bovenstaande overwegingen gelden ook voor het criterium doeltreffendheid.

4.5. Gegevens in verband met de evaluatie van de duurzaamheid

Verschillende dossiers buigen zich specifiek over het criterium duurzaamheid en wijden hier een speciale alinea aan die letterlijk 'duurzaamheid' is getiteld. Maar hoewel het onderwerp wel wordt besproken, toch wordt de milieuduurzaamheid over het algemeen onderzocht in het punt 'milieu' in het hoofdstuk over transversale thema's.

De TFD van de interventies van de gouvernementele samenwerking bevatten een punt met als titel afsluiting van de prestatie. In dit punt wordt uitsluitend de financiële en boekhoudkundige afsluiting van de interventie behandeld, soms ook de inhoud van het eindverslag. De duurzaamheid van de interventie kan het onderwerp zijn van een opmerking in dit eindverslag maar de TFD die worden opgesteld door de BTC bevatten over het algemeen geen punt dat specifiek gewijd is aan duurzaamheid zoals gedefinieerd door de DAC.

Anderzijds bevatten verschillende TFD de volgende vrij algemene formule: "de partner verbindt zich ertoe

• de nodige institutionele, administratieve en budgettaire beslissingen te nemen om te garanderen dat de activiteiten worden voortgezet binnen de structuren die blijven bestaan na de stopzetting van de Belgische interventie;

52

• erop toe te zien dat de uitrustingen en materialen die werden verworven voor de stopzetting van de Belgische interventie eigendom worden van de partner na de stopzetting van de Belgische interventie en toegewezen blijven aan de structuren waarvoor dezelfde activiteiten tot dezelfde gevolgen leiden."

De meeste aanwijzingen die toelaten om uitspraak te doen over de verschillende duurzaamheidsaspecten staan in het hoofdstuk over de uitvoeringsmodaliteiten, meestal onderverdeeld in verschillende punten waaronder het delen van administratieve verantwoordelijkheden, technische verantwoordelijkheden en financiële verantwoordelijkheden tussen de BTC en de partner.

Voor de ANGS moeten de beschrijvingen van de programma's in elk van de landen van het zuiden onder meer volgende punten behandelen: versterking van de institutionele en beheercapaciteit; technische, financiële en socioculturele duurzaamheid; …; duurzaamheid van de resultaten en terugtrekkingsstrategie.

De vraag naar institutionele duurzaamheid van de acties 'Noord' van de ANGS wordt zelden gesteld. De noord-partner heeft immers over het algemeen een eigen leven voor en na de actie. De vraag naar de evalueerbaarheid van de institutionele duurzaamheid moet dus anders worden gesteld.

Het BFVZ bepaalt dan weer dat de duurzaamheid en de terugtrekkingsstrategieën moeten worden vermeld in de projectdocumenten.

De vijfjarenprogramma's van het BFVZ plannen haast systematisch een tweede fase van vijf jaar na een eerste fase van vijf jaar (die eventueel kan volgen op een interventie van het type afzonderlijk project): “Gelet op …, is het weinig waarschijnlijk dat een BFVZ-programma over een periode van vijf jaar een duurzame impact zal hebben op de voedselzekerheid in de interventiezone. Het is dan ook gebruikelijk dat een BFVZ-programma verlengd wordt met een tweede BFVZ-programma (“consolidatieprogramma” of “2de fase” genoemd)”. In die omstandigheden wordt het moeilijker om zich uit te spreken over de evalueerbaarheid van het criterium duurzaamheid aan het begin van een periode van tien jaar.

4.5.1. Integratie in het monitoringsysteem

De beoordeling van de duurzaamheid vereist per definitie dat minstens een deel van het systeem om de indicatoren en resultaten te monitoren behouden blijft na het einde van de interventie. Dat behoud zal alleen geloofwaardig zijn indien daar in de TFD een financiering en een verantwoordelijke voor zijn gepland.

Onder de geraadpleegde casestudy's zijn er amper TFD die voorzien in een of andere monitoring van de indicatoren en/of resultaten na het einde van de interventie.

Alleen in de zeldzame gevallen waarin voor de lokale begunstigde instelling het registreren van de waarde van indicatoren al tot de corebusiness behoort, kan worden gegarandeerd dat die registratie ook nog zal gebeuren na afloop van de interventie. Bijvoorbeeld: aanwezigheidslijst (+ gender) in klassen; of routineonderzoeken in gezondheidscentra (leeftijd, lichaamslengte, gewicht, gender).Permanentie van de registratie is ook gegarandeerd wanneer de indicatoren zijn opgenomen in nationale statistieken (vaccinatiepercentage, percentage zittenblijvers, kindersterfte, …)

Anderzijds worden in de grote traditionele interventiesectoren (onderwijs, gezondheidszorg, plattelandsontwikkeling, infrastructuur, …) en in andere gebieden waar er technische gespreksgroepen bestaan tussen donorlanden en partners van het zuiden de algemene context en nationale indicatoren blijvend opgevolgd. In de gouvernementele samenwerking heeft België voor zichzelf ook vastgelegd dat het voor een periode van minstens tien jaar in diezelfde sectoren actief zal blijven; dat waarborgt dat de sector wordt opgevolgd (bij gebrek aan nauwkeurige indicatoren).



Heel wat ANGS hebben zich ook gespecialiseerd in een welbepaald domein, zij volgen de evolutie van de toestand in dat domein, ofwel plaatselijk, ofwel via de vele bestaande informatiebronnen. Er mag van worden uitgegaan dat het sensibiliseringsniveau in het noorden continu wordt opgevolgd zo lang de actor blijft bestaan.

In het geval dat, zoals voor het BFVZ, vrijwel systematisch een tweede fase van vijf jaar is gepland, zou het monitoringsysteem moeten doorgaan met het registreren van indicatoren. De overgang van fase één naar fase twee mag dus niet worden verward met het einde van de interventie (in de zin van de definitie van het criterium duurzaamheid).

4.5.2. Financiële duurzaamheid

De elementen die nodig zijn om de financiële duurzaamheid te beoordelen, zijn terug te vinden in de begroting, voornamelijk via de jaarlijkse evolutie van de verdeling van operationele en beheerkosten tussen de donor en de partner.

Voor de ANGS bepaalt het ministerieel besluit van 30/05/2007, houdende uitvoering van het koninklijk besluit van 24 september 2006 betreffende de subsidiëring van programma’s en projecten voorgelegd door de erkende niet-gouvernementele ontwikkelingsorganisaties (artikel 7, 7°) dat wat betreft krediet- of waarborgfondsen, een bepaling dat de NGO de financiering zal blijven opvolgen en verslag uitbrengen over het beheer van de vaste en vlottende activa door de partner, gedurende zes jaar na de eigendomsoverdracht.

4.5.3. Institutionele duurzaamheid

De institutionele duurzaamheid wordt tijdens de uitvoering over het algemeen gegarandeerd via (i) een versterking van de partnerinstellingen, en (ii) een capaciteitsversterking van de actoren die binnen die partnerinstellingen werken.

De algemene doelstelling van de programma's van het BFVZ moet meer bepaald beschikken over indicatoren voor:

• de capaciteitsversterking van de betrokken actoren, zowel op nationaal, regionaal als lokaal niveau;

• de versterking van de nationale overheidsinstelling met voedselzekerheid onder haar bevoegdheid.

De overgrote meerderheid van de programma's 'ZUID' van de ANGS streeft ook naar een institutionele versterking van hun respectievelijke lokale partners: “Daarbij ligt het accent enerzijds op versterking van de organisatiecapaciteit en dienstverlening, en anderzijds op versterking van institutionele capaciteit”.

Nergens werd de duurzaamheid van de acties 'NOORD' van de ANGS besproken. Het is zo dat die acties eerder gericht zijn op sensibilisering dan op capaciteitsversterking, bovendien leveren ze voor de evaluatie nog andere problemen op.

Voor de gouvernementele samenwerking bepalen veel TFD dat een loontoeslag wordt toegekend aan het lokaal personeel dat in het kader van de interventie werkt. Een TFD preciseert zelfs dat de vergoeding die door het project wordt betaald duidelijk beter moet zijn dan het loon dat de overheid betaalt, maar minder aantrekkelijk voor de kaderleden (ambtenaren) die worden aangezocht door tal van internationale programma's en organisaties.

54

4.5.4. Milieuduurzaamheid

De milieukwestie wordt over het algemeen behandeld in de punten die zijn voorbehouden aan de transversale thema's en wij hebben geen dossiers gevonden waarbij specifiek werd ingegaan op de kwestie van de milieuduurzaamheid.

4.6. Voorwaarden in verband met de impact

De bestudeerde interventies van de gouvernementele samenwerking bevatten slechts zelden impactindicatoren. En zelfs als dat het geval was, was het absoluut onmogelijk om met klassieke evaluatiemethodes te bepalen welke bijdrage de Belgische interventie levert aan de impact. Zo zal een project rond primaire gezondheidszorg naar alle waarschijnlijkheid bijdragen tot een vermindering van de kindersterfte; maar in welke mate? Op dezelfde wijze zal een project voor elektrificatie waarschijnlijk bijdragen tot de socio-economische ontwikkeling van het geëlektrificeerde gebied; maar hoe sterk? Een van de onderzochte dossiers betrof een project voor elektrificatie op het platteland en vermeldt, helaas zonder ze te benutten, impactindicatoren in verband met de socio-economische ontwikkeling en met de verbetering van de levensomstandigheden:

• De elektrificatie van gezondheidszorgcentra leidt tot een verbetering van de zorgverlening, in het bijzonder aan (toekomstige) moeders en kinderen;

• Elektriciteit biedt toegang tot informatie (radio) en communicatie (gsm)

• Elektriciteit zorgt ervoor dat zwaar werk gemechaniseerd kan worden (bemalingspompen, graanmolen, …)

• Elektriciteit zorgt ervoor dat ambachtelijke en handelsactiviteiten zich kunnen ontwikkelen.

• Verlichting in klaslokalen en woningen verbetert de leeromstandigheden en bijgevolg de schoolresultaten.

Al die indicatoren kunnen in feite voor weinig geld worden gemeten en men is zelfs niet verplicht om ze allemaal te gebruiken.

De algemene programma's van de ANGS hebben een zeer 'algemene' algemene doelstelling zonder indicatoren en dus ook geen basiswaarde of doelwaarde. Het is bijgevolg absoluut onmogelijk om te bepalen in welke mate de algemene doelstelling werd gehaald of in welke mate het programma heeft bijgedragen aan de impact. Die werkwijze werd ongetwijfeld geërfd van de eerste toepassingen van de DIP en de benadering met een 'logisch kader' waarvoor, in die tijd, geen indicatoren werden gevraagd voor de algemene doelstellingen en er geen verband werd gelegd met de impact.

De programma's van het BFVZ hebben dan weer allemaal dezelfde algemene doelstelling. Bovendien zijn ze, zoals al vermeld, voorzien van specifieke SMART-indicatoren voor de vier aspecten van voedselzekerheid. Die indicatoren worden internationaal erkend en kunnen worden gereconstrueerd op niveau van de registers van elk gezondheidscentrum die systematisch de lichaamslengte, leeftijd en het gewicht van elke patiënt bijhouden. Bovendien komen ze voor in de statistieken die vrijwel in alle landen ter wereld worden opgesteld. Voor zover ze zijn opgesplitst volgens gender en volgens interventiegebied, vergemakkelijken ze de impactevaluatie met kwantitatieve methodes ook al was het gebruik van quasi-experimentele methodes in het begin niet gepland. Contrafeitelijke gegevens zijn echter nooit ideaal gezien de keuze van het gebied waar men actief is (waar de voedselonzekerheid het grootst is) en de multisectorale kant van de programma's van het Fonds43. Een vergelijking met een

43 De indicaties gaan ook vrij vaak over dat deel van de bevolking dat zich aanbiedt bij gezondheidscentra en niet over de hele bevolking.



ander gebied, waar minder hulp is of hulp van een andere donor, zou echter gemakkelijker te maken zijn.

Door het mechanisme van het trapsgewijs logisch kader hebben de projecten van het BFVZ ook een algemeen doel, dat verschilt van het algemeen doel van het programma en rechtstreeks verband houdt met de specifieke activiteiten van het project. De algemene doelen van de verschillende projecten van de programma's van het BFVZ hebben ook SMART-indicatoren met een meetbare basis- en eindwaarde; op die manier kan men evalueren in welke mate het project heeft bijgedragen aan de impact.


5. Conclusies

De uitbreiding van het staal tot een totaal van 26 casestudy's heeft alleen maar bevestigd wat we al hadden gemerkt tijdens de fase van ontwikkeling van een methodologisch kader:

• Geen enkel TFD van een interventie is zo opgesteld dat die interventie objectief kan worden geëvalueerd voor alle evaluatiecriteria van de DAC. De meest problematische criteria zijn de impact, gevolgd door de duurzaamheid en, in mindere mate, de efficiëntie.

• Doordat elk TFD is opgesteld volgens een formaat dat wordt opgelegd voor de gouvernementele samenwerking, de ANGS of het BFVZ, liggen de verschillen die werden vastgesteld op het vlak van evalueerbaarheid logischerwijs op de grenslijnen tussen de diverse samenwerkingsvormen: project van bilaterale samenwerking, algemeen programma van de ANGS, programma in België van de ANGS (acties ‘Noord’), programma van de ANGS in de landen van het zuiden, landenprogramma van het BFVZ, project van het BFVZ. Elk van die interventievormen heeft relatieve voordelen voor de evalueerbaarheid van een of ander criterium. Geen van de interventievormen is echter evalueerbaar voor alle criteria.

• De evalueerbaarheidsvragen die het minst goed gedocumenteerd zijn en de domeinen die de evalueerbaarheid beperken of moeilijk/onmogelijk maken, zijn:

� de verwachtingen van de begunstigden;

� de aangepaste financiering van het monitoring- en evaluatiesysteem;

� de aandacht voor transversale thema's op een manier zodat de resultaten voor die thema's evalueerbaar zijn; meer specifiek het thema gender (behalve in gevallen als educatie waar uitgesplitste metingen sinds lang gebruikelijk zijn) en het thema milieu44;

� De financiële duurzaamheid; de opvolging van de context, de risico's en resultaten evenals de overname van de acties door de lokale partner na het einde van de interventie

� de impact in de zin van de definitie van het glossarium van de DAC;

� de impact in de zin van de resultaten die kunnen worden toegewezen aan de interventie (quasi-experimentele of gemengde methodes).

� de impact via experimentele methode (in geen enkele van de bestudeerde dossiers was voorzien in een monitoringmechanisme binnen een contrafeitelijke groep). Het is waar dat de toepassing van dergelijke methodes omwille van de kostprijs moeilijk veralgemeend kan worden voor alle interventies. Vandaar de noodzaak om vooraf te

44 Dat betekent niet noodzakelijk dat die thema's niet worden behandeld of dat er geen specifieke activiteiten zijn ten voordele van gender of milieu. Het probleem om de resultaten voor die thema's te evalueren heeft net te maken met het feit dat de thema's transversaal zijn.

58

bepalen voor welke interventies die evaluatiemethode zal worden toegepast.

• Het criterium relevantie heeft onder meer betrekking op de afstemming tussen voorgestelde acties en prioriteiten. Het komt niet zelden voor dat de verschillende stakeholders over die prioriteiten verschillen van mening. Bij de gouvernementele samenwerking gebeurt dat inderdaad niet dikwijls, maar het komt wel vaker voor wanneer de partner voor de uitvoering een vakbondsorganisatie of ngo is. Het is immers net een van de rollen van die organisaties om een kritisch oordeel te vellen over de aard van de behoeften van de begunstigen, de algemene prioriteiten, het beleid van de overheid en van de geldschieters.

• Het feit dat een interventie in theorie evalueerbaar is op basis van elementen in het TFD betekent niet dat ze evalueerbaar is in de praktijk, en dat om twee redenen:

� Enerzijds is het TFD een intentieverklaring en zullen die intenties niet noodzakelijk in praktijk worden omgezet;

� Anderzijds worden voor een evalueerbaarheid in de praktijk bijkomende voorwaarden opgelegd die eigen zijn aan die evaluatie: veiligheid, kwalificatie van de evaluatoren, periode van het jaar, medewerking van de stakeholders, toelatingen van de lokale autoriteiten, ...

• Het gebruik van nationale indicatoren (uit het strategiedocument voor armoedevermindering (PRSP)) of van internationale indicatoren (bijvoorbeeld ondervoedingsgraad) blijkt moeilijk te zijn voor de interventies van het projecttype of voor zeer gespecialiseerde subsectoren. Daartegenover komt het gebruik van dergelijke indicatoren veel vaker voor in sectoren als educatie en, in mindere mate, gezondheidszorg omdat er voor die sectoren nationale statistieken worden opgesteld die vaak zijn opgesplitst tot het laagste administratief niveau en vrijwel altijd zijn opgesplitst volgens gender.

• Een onverwachte en positieve vaststelling is dat de evaluatie van de doeltreffendheid (resultaten op het niveau van de outputs en outcomes) met de middelen die worden aanbevolen door de wetten en verordeningen (baseline en monitoring van SMART-indicatoren met doelwaarden) meestal mogelijk is en ook gepland is in de TFD.


6. Voorafgaande voorwaarden voor een evaluatie

6.1. Algemene voorwaarden

6.1.1. Ervoor zorgen dat alle actoren hetzelfde verstaan onder het begrip interventie en een eenduidige definitie voor de gebruikte termen en begrippen.

Het begrip samenwerkingsinterventie moet worden begrepen in ruime zin en omvat zowel de interventies van het type 'losstaand individueel project', de projecten die deel uitmaken van een programma, de landenprogramma's, de sectorale programma's, de fondsen, de beursprogramma's, de participatie in gezamenlijke programma's, ...

Voor elke interventie hoger dan het niveau van het type 'losstaand individueel project' geven wij de voorkeur aan de benadering van het zogeheten trapsgewijs logisch kader:

Algemeen programma

Impact, algemene doelstelling

Subprogramma's landen, fondsen of interventies met verschillende componenten

Outcomes, specifieke doelstelling


Individuele projecten of componenten van een ruimer programma

Outputs, tussentijdse resultaten






Activiteiten die specifiek zijn voor het algemeen programma

Activiteiten die specifiek zijn voor het sub-landprogramma

Activiteiten

Middelen die specifiek zijn voor het algemeen programma

Middelen die specifiek zijn voor het sub-landprogramma

Middelen

60

Tabel 2: Benadering van het zogeheten 'trapsgewijs logisch kader’

De begrippen impact, outcomes en output moeten worden begrepen zoals uiteengezet in tabel 1 (punt 3.4, pagina 26).

Een eenduidige definitie van de gebruikte termen en begrippen, zoals voorgesteld in hoofdstuk 3, is eveneens wenselijk.

6.1.2. Er is een technisch en financieel dossier van de interventie

Zonder technisch en financieel dossier of gelijkaardig dossier kan een interventie moeilijk worden geëvalueerd.

In hoofdstuk 7 van deze studie stellen wij een model van een TFD voor dat rekening houdt met wat wij beschouwen als minimumvereisten inzake evalueerbaarheid.

6.1.3. De evaluatie is een fase die gepland is in de beheercyclus van de interventies.

Een evaluatie plannen, betekent nadenken over het soort evaluatie (zelfevaluatie, interne, externe of onafhankelijke evaluatie), het tijdstip van de evaluatie (ex ante, halverwege, aan het eind, ex post), het voorwerp, de doelstelling en het toepassingsgebied ervan.

Het feit dat geen enkele evaluatie werd gepland, verhindert niet dat een evaluatie wordt gemaakt, maar brengt moeilijkheden met zich mee zoals het feit dat de basisgegevens gereconstrueerd moeten worden, dat men a posteriori het akkoord van de stakeholders moet verkrijgen over het evaluatieprincipe, en ook voor de financiering van de evaluatie.

Het budget dat is uitgetrokken voor de evaluatie moet in verhouding staan tot de uitgedrukte ambities. De evaluatie mag dan wel een onafhankelijke en tijdelijke activiteit zijn, toch moet ze worden gekoppeld aan het monitoringsysteem en aan het resultaatgericht beheer.

6.1.4. Het TFD voorziet in een monitoringsysteem

Een monitoringsysteem is bedoeld om informatie te produceren waarmee allereerst de interventie kan worden beheerd om de verwachte resultaten te bereiken, en vervolgens de interventie kan worden geëvalueerd volgens de vijf criteria van de DAC. Wij komen terug op de specifieke voorwaarden voor die vijf criteria in de alinea's die daaraan zijn gewijd. Een dergelijk systeem mag niet worden geïmproviseerd. Het systeem moet worden geijkt en vervolgens toegepast, de gegevens die het produceert moeten worden benut met het oog op een resultaatgericht beheer en, eventueel, moet de continuïteit van het systeem worden gegarandeerd nadat de donor vertrokken is. De monitoring zou zich niet mogen beperken tot resultaatindicatoren; ook de context van de interventie en de evolutie daarvan, het zich voordoen (of niet) van risico's - al dan niet verwacht - en de externe omstandigheden moeten worden opgevolgd. De monitoring omvat ook de missies die worden uitgevoerd op initiatief van de donor of van de zetel van de uitvoeringsorganisatie in België. Monitoring houdt in dat er een budget voor is. Dit budget kan beperkt zijn indien men gebruikt maakt van indicatoren die worden ingezameld door de instellingen voor statistiek van het partnerland of indien men gebruik maakt van studies die worden uitgevoerd samen met of door andere donoren. De verplichting voor de ANGS om voortaan gemeenschappelijke contextuele studies uit te voeren, gaat in die richting.

Voorwaarden voor de theoretische evalueerbaarheid


6.1.5. Het TFD moet een stakeholderanalyse bevatten, met inbegrip van de begunstigden en lokale partners.

Een stakeholderanalyse met een detailniveau dat in lijn ligt met de aard van de interventie is een essentieel element om te kunnen antwoorden op tal van evaluatievragen. Die analyse betreft het belang - het voordeel of nadeel - dat elk van de stakeholders zou kunnen hebben bij de interventie en de mate waarin elke stakeholder aan de interventie zal bijdragen of zich ertegen zal verzetten.

Men kan de stakeholders indelen in verschillende categorieën:

• De donor, met zetel in Brussel en vertegenwoordiging in het ontwikkelingsland.

• De uitvoeringsorganisaties, hun zetel in België en eventuele vertegenwoordiging in het land van de interventie.

• De lokale partner die in de eerste plaats een tussenschakel moet zijn tussen de organisatie die het programma uitvoert en de begunstigde.

• De directe begunstigden die genieten van de outputs

• De directe en/of indirecte begunstigden die genieten van de outcomes

• De uiteindelijke begunstigden die genieten van de impacts

Het onderscheid tussen die drie niveaus van begunstigden kan niet altijd duidelijk worden gemaakt. Dat onderscheid is relatief gemakkelijk te maken in interventies die overwegend 'capaciteitsversterking' beogen en waar de opgeleide personen de directe begunstigden zijn, de instelling waar ze werken de indirecte begunstigde is en de klanten/gebruikers van die instelling de uiteindelijke begunstigden zijn. Het onderscheid is minder nuttig in interventies die overwegend verband houden met 'infrastructuur' en waar de enige echte begunstigden de gebruikers zijn (van een brug, waterdistributienet, elektriciteitsaansluiting, rioleringsnet, …).

Afhankelijk van het specifieke karakter van de interventie kan de lokale partner (of een deel van zijn personeel) ook begunstigde zijn. Op gelijkaardige wijze kan de doelgroep bestaan uit een of meer niveaus van begunstigden.

Wij geven er in elk geval de voorkeur aan om zoveel mogelijk stakeholders te onderscheiden. Er zijn verschillende technieken om de stakeholders te analyseren. Wij stellen voor om de matrix met dubbele variabele te gebruiken die ze samenvoegt volgens hun belang in de interventie en hun beslissingsbevoegdheid voor de interventie (in het Engels: stakeholder mapping)45. Afhankelijk van de rangschikking in de matrix, geeft de methode de voorkeur aan vier verschillende benaderingen: nauw betrekken en actief beïnvloeden, tevreden houden, geïnformeerd houden, volgen met een minimum aan inspanning.

45 Fiche over "Stakeholderanalyse" gehaald uit de opleidingsmodule van de FAO en de Europese Unie over "Techniques de collaboration et de plaidoyer".

62

Tabel 3: Stakeholderanalyse en -beheer

Net als elke activiteit heeft het stakeholderbeheer een kostprijs die moet worden doorberekend in het budget van de interventie.

Tot slot is de stakeholderanalyse ook een element om de keuze van lokale partner en begunstigden te verantwoorden.

6.1.6. Een duur en gedetailleerde planning voor de interventie

Niet alleen de duur, maar ook de planning van de interventie zijn essentiële elementen voor de evaluatie.

Normaal gezien moet de looptijd van de interventie voortvloeien uit de mate van ambitie van de projecten en uit de planning van de activiteiten, rekening houdend met hun moeilijkheden, de beschikbare middelen en de bijzondere context (teeltseizoen, schoolkalender, …). Een landbouwproject is noodgedwongen meer afhankelijk van de seizoenen dan een bouwproject, maar de bouw van een school moet ook bij voorkeur voltooid zijn voordat het schooljaar start.

Om begrijpelijke programmeringsredenen, is de duur van interventies beperkt / vastgelegd op drie jaar voor de interventies van de ANGS en tot vijf jaar voor de interventies van het BFVZ. Alleen bilaterale projecten hebben meer speling. Het is dus niet altijd mogelijk om de planning van de interventies aan te passen aan de aard van de geplande activiteiten en aan de mate van ambitie van het project. In dat geval raden wij aan om omgekeerd te werk te gaan: de ambitie aanpassen aan de geplande duur.

De totale duur van een interventie heeft een directe invloed bij het evalueren van de efficiëntie. Een project dat vertraging oploopt, betekent dat het moet worden verlengd of dat niet alle verwachte resultaten zullen worden bereikt op de geplande einddatum. Die verlenging heeft een prijs; en dat heeft dus direct een invloed op de efficiëntie.

Behalve indien dit wordt vermeld van bij de identificatie van fase 1, zal het invoeren van een fase 2 of het een beroep doen op een andere donor om uiteindelijk de doelstellingen



van fase 1 te halen in dubbel zoveel tijd en met dubbel zoveel geld de algemene efficiëntie sterk naar beneden halen.

Zowel voor de planning als voor de monitoring van activiteiten raden wij aan om gebruik te maken van een Gantt-grafiek46:

"De Gantt-grafiek, die vaak wordt gebruikt bij projectbeheer, is een van de meest doeltreffende instrumenten om de planning en vordering van de verschillende activiteiten van een interventie visueel weer te geven. Links van de grafiek staat een lijst met alle uit te voeren activiteiten, terwijl bovenaan een passende tijdsschaal voor de interventie staat. Elke activiteit wordt voorgesteld als een horizontale balk, de plaats en lengte van die balk geven de startdatum, duur en einddatum weer. Hierdoor kan men in één oogopslag zien:

• Welke activiteiten moeten worden uitgevoerd

• Wat de starten einddatum is van elke activiteit

• Wat de geplande duur is van elke activiteit

• Waar activiteiten eventueel overlappen met andere, en hoe lang die overlapping duurt

• Wat de starten einddatum zijn van de hele interventie

Samengevat toont een Gantt-grafiek de lijst met alle activiteiten die moeten worden uitgevoerd om de interventie tot een goed einde te brengen, en de datum waarop die activiteiten moeten zijn uitgevoerd (de planning)."

6.1.7. De begroting van de interventie is gedetailleerd en gestructureerd

De begrotingsgegevens die nodig zijn om de efficiëntie te beoordelen, worden beschreven in punt 6.4.

Het algemeen principe dat moet worden gevolgd wanneer men de begroting van een interventie opmaakt, is dat een activiteit waarvoor niet voldoende financiële middelen werden uitgetrokken niet zal worden uitgevoerd, ook al is die activiteit uitdrukkelijk gepland.

Wij geven de voorkeur aan het formaat dat wordt gebruikt door de gouvernementele samenwerking en dat onderscheid maakt tussen

• een luik van posten die kunnen worden toegewezen aan activiteiten, en dus ook aan welbepaalde resultaten; en

• een luik van algemene middelen, met posten die niet kunnen worden toegewezen aan precieze resultaten. Bijvoorbeeld personeelskosten, investeringskosten, werkingskosten, opleidingskosten en kosten voor monitoring, audit en evaluatie. Anders gezegd: De terugkerende kosten, die inherent zijn aan elke organisatie en die niet kunnen worden gedekt door een financiering per activiteit; of ook: een begroting van de algemene middelen die nuttig zijn voor alle activiteiten: investeringen, personeel, werking, monitoring en evaluatie.

Alleen die werkwijze laat toe om het criterium efficiëntie te evalueren dat, daar willen wij aan herinneren, kijkt naar de prijs-kwaliteitverhouding van de resultaten.

46 Aangepast van http://www.gantt.com/fr/ en andere bronnen op internet.

64

6.1.8. Er is een specifiek budget voor monitoring en evaluatie vastgelegd

Een van de voorwaarden die nodig is om een evaluatie te kunnen maken, is vanzelfsprekend dat daar een budget voor is. Op dezelfde wijze moet een budget worden bepaald voor de monitoringactiviteiten (keuze van indicatoren en bepaling van hun basiswaarde, monitoring van de resultaatindicatoren, opvolging van de evolutie van de context, opvolging van de mogelijke risico's). Dit kan algemeen zijn voor alle monitoringactiviteiten maar een budget dat is opgesplitst per activiteit en daarbij rekening houdt met het benodigde personeel, kan een stimulans zijn om die activiteiten ook concreet uit te voeren.

Wij denken dat er aandacht moet zijn voor:

• De invoering van een monitoringsysteem;

• De bepaling van de basiswaarde van de gekozen indicatoren;

• De monitoring van de resultaatindicatoren;

• De opvolging van de evolutie van de context;

• De opvolging van de risico's en veronderstellingen;

• De financiële monitoring;

• De missies voor monitoring en technische backstopping;

• De evaluaties tijdens of halverwege de interventie; en

• De eindevaluaties.

Wij denken ook dat het budget voor monitoring en evaluatie moet worden 'gereserveerd'; dat wil zeggen dat het niet mag worden gewijzigd of aangewend voor andere activiteiten, tenzij in uitzonderlijke omstandigheden en mits het unaniem akkoord van de stakeholders.

6.1.9. De risico's moeten geanalyseerd zijn

Risicoanalyse wordt door de DAC gedefinieerd als “Een analyse of beoordeling van factoren (hypotheses genoemd in het logisch kader) die (kunnen) bijdragen tot het succesvol bereiken van de doelstellingen van een interventie. Een gedetailleerd onderzoek van de potentiële ongewenste en negatieve gevolgen die ontwikkelingsinterventies kunnen hebben voor het menselijk leven, de gezondheid, het eigendom of het milieu; een systematisch proces om informatie te verstrekken over zulke ongewenste gevolgen; het proces van kwantificatie van de waarschijnlijkheid en de verwachte impacten van geïdentificeerde risico's”.

De risico's moeten geanalyseerd zijn omdat ze per definitie buiten het actieterrein van de interventie liggen maar de interventie wel kunnen beïnvloeden.

De identificatie, opvolging en het beheer van risico's zijn zaken die nauw verbonden zijn met de criteria relevantie, doeltreffendheid en efficiëntie. De evaluator moet immers kunnen vaststellen of alle risico's werden geïdentificeerd en hun waarschijnlijkheid en grootte werden geschat (relevantie), of ze op een dusdanige wijze worden beheerd dat ze zo weinig mogelijk gevolgen hebben voor de resultaten (doeltreffendheid) en tegen de laagste kostprijs (efficiëntie).

Wij bevelen aan om de risico's en veronderstellingen tegelijk te behandelen, want elke veronderstelling houdt het risico in om geen werkelijkheid te worden. Het gaat in feite



om eenzelfde situatie die in positieve zin wordt beschreven in het geval van veronderstellingen en in negatieve zin in het geval van risico's.

Wij raden ook aan om, bij de formulering van de interventie, de risico's te rangschikken in een tabel met aan de ene kant de waarschijnlijkheid dat het risico zich zal voordoen (of dat de veronderstelling geen werkelijkheid wordt) en aan de andere kant de grootte van de gevolgen.

Indien het risico zeer waarschijnlijk is en de gevolgen ernstig zijn, zal de interventie puur verlies zijn voor het partnerland en de DG-D en kan men overwegen dat het geen zin heeft om de interventie op te starten en dat ze niet relevant is.

Op dezelfde wijze zal een interventie niet relevant zijn indien een veronderstelling heel weinig kans heeft om werkelijkheid te worden en dit niet tot stand komen ernstige gevolgen heeft voor de interventie (vroeger de 'cruciale veronderstelling').

Volgend overzicht toont de verschillende houdingen die moeten worden aangenomen volgens de rangschikking van de risico's op waarschijnlijkheid en gevolgen47:

Belangrijk gevolg

3. Zorgen voor opvolging en maatregelen

nemen

4. Het TFD wijzigen om de

waarschijnlijkheid of het gevolg te

verminderen

5. Het interventievoorstel

verwerpen

Gemiddeld gevolg

2. Het risico aanvaarden

3. Zorgen voor opvolging en maatregelen

nemen

4. Het TFD wijzigen om de

waarschijnlijkheid of het gevolg te

verminderen

Beperkt gevolg

1. Het risico aanvaarde

n

2. Het risico aanvaarden

3. Zorgen voor opvolging

en maatregelen

nemen

Weinig waarschijnlijk

Gemiddeld waarschijnlijk

Zeer waarschijnlijk

Tabel 4: Tabel voor risicoanalyse en -beheer

Een TFD dat ter goedkeuring en voor financiering wordt voorgelegd aan de Administratie zou geen risico's van niveau 4 of 5 meer mogen bevatten.

In het TFD mogen alleen risico's van niveau 3 worden behandeld.

6.1.10. Andere aandachtspunten

Wij stellen voor om de frequentie, de inhoud en het detailniveau van de narratieve en financiële verslagen te standaardiseren of minstens te harmoniseren. Verslagen over een interventie zijn absoluut noodzakelijk bij de voorbereiding van evaluatiemissies op het terrein. Goede verslagen vormen geen vervanging voor terreinmissies die noodzakelijk blijven voor een objectivering van de percepties/conclusies door middel van triangulatie48. Maar schriftelijke, correcte en met cijfers gestaafde informatie die

47 Wij raden sterk aan om het hoofdstuk 2.4. ‘Risks’ te lezen in ‘More Results, Part 1’, BTC June 2013 48 De drie instrumenten die meestal worden gebruikt bij een evaluatie zijn het lezen van documenten, persoonlijke of groepsgesprekken met de stakeholders en observatie ter plaatse.

66

beschikbaar is voordat de eigenlijke missie start, kan er meestal voor zorgen dat de missie korter wordt en dat de normale werking van de interventie minder wordt verstoord, een verstoring die een evaluatie onvermijdelijk met zich meebrengt.

Door te kiezen voor bestaande geografische grenzen en thema's/sectoren die ter plaatse worden beheerd door een administratieve eenheid zal de evaluatie worden vergemakkelijkt, omdat er toegang is tot lokale statistieken en omdat het aantal stakeholders dat moet worden gesproken, beperkt is.

6.2. Noodzakelijke voorwaarden om de relevantie te kunnen evalueren

Het criterium relevantie geeft antwoord op de vraag of het de moeite loont om te interveniëren in het betreffende domein, het betreffende geografische gebied, met de betreffende actoren, betreffende partners en voor de betreffende periode, rekening houdend met diverse contextuele elementen. Relevantie is geen absoluut gegeven dat voor eens en altijd vastligt. De context evolueert immers met de tijd. Een interventie die relevant was op het ogenblik dat ze werd geformuleerd, is dat misschien niet meer op het ogenblik van de evaluatie halverwege of aan het eind. De relevantie wordt een eerste keer ex ante geëvalueerd, voordat de financiering wordt toegestaan. Maar het evalueren van de relevantie blijft belangrijk tijdens en op het einde van de interventie.

6.2.1. De doelstellingen van de ontwikkelingsactie worden duidelijk beschreven.

Het criterium relevantie onderzoekt de doelstellingen van de ontwikkelingsactie ten opzichte van verschillende situaties, prioriteiten en behoeften. Het is dus onmogelijk om de relevantie te evalueren indien de doelstellingen niet juist beschreven zijn.

Voor ons zouden de doelstellingen van een interventie bij voorkeur het antwoord moeten zijn op vastgestelde problemen en vastgestelde ontwikkelingskansen, waarbij rekening werd gehouden met de punten 6.2.2 tot 6.2.7 hierna. Indien ze niet op een 'SMART'-wijze werden bepaald, moet het toch op zijn minst mogelijk zijn om er verwezenlijkingsindicatoren aan toe te kennen die SMART zijn.

Aangezien het algemeen programma van een ANGS wordt beschouwd als een interventie, willen wij die actoren aanmoedigen om meer realistische en nauwkeuriger doelstellingen te kiezen; voor de meesten onder hen houdt dat in dat ze zich meer moeten focussen op een thema, sector, land, type partner of begunstigde.

6.2.2. De algemene context moet beschreven zijn en de evolutie daarvan moet worden opgevolgd

Het TFD moet een beschrijving bevatten van de contextelementen binnen en buiten de interventie.

Dit kan bijvoorbeeld gebeuren met een SWOT-analyse.

Een SWOT-analyse49 (Strengths - Weaknesses - Opportunities - Threats) of SZKB-analyse (Sterke punten - Zwakke punten - Kansen - Bedreigingen) is een instrument voor strategische analyse. Ze combineert het onderzoeken van de sterke en zwakke punten van een interventie met het onderzoeken van de kansen en bedreigingen vanuit de omgeving, om zo te helpen een

49 Bron en meer uitleg: ‘L’analyse SWOT’, méthodologie d’évaluation de EuropeAid, http://ec.europa.eu/europeaid/evaluation/methodology/examples/too_swo_res_fr.pdf



ontwikkelingsstrategie uit te zetten en, in het geval van de evaluatie, te helpen bij het beoordelen van de relevantie.

Positief Negatief

Intern Sterke punten Zwakke punten

Extern Kansen Bedreigingen

Tabel 5: Analysetabel SWOT - SZKB

Doel van de analyse is om in de strategie rekening te houden met zowel interne en externe factoren en daarbij de sterke punten en kansen optimaal te benutten en de zwakke punten en bedreigingen zoveel mogelijk te vermijden.

De sterke punten zijn positieve interne aspecten waar de interventie controle over heeft en waarop men kan bouwen in de toekomst.

Daartegenover staan de zwakke punten, negatieve interne aspecten, maar waar de interventie eveneens controle over heeft en waar veel ruimte is voor verbetering.

Kansen zijn positieve mogelijkheden van buitenaf, waar men eventueel voordeel uit kan halen, in de context van de huidige sterke en zwakke punten. De interventie heeft hier geen of weinig invloed op.

Bedreigingen zijn externe problemen, hinderpalen of beperkingen die de resultaten van de interventie kunnen verhinderen of beperken. De interventie heeft hier vaak geen of weinig invloed op.

Omdat een SWOT-analyse gebaseerd is op het oordeel van degene die ze maakt, is ze op zich subjectief en kwalitatief. Daarom is het belangrijk dat die analyse wordt gemaakt met vertegenwoordigers van alle stakeholders.

Een SWOT-analyse volstaat meestal niet om de algemene context volledig te beschrijven. Ze kan worden aangevuld of eventueel vervangen door een narratieve contextuele analyse, geïnspireerd door een gelijkaardige oefening door een andere (bilaterale of multilaterale) donor of beter nog, gezamenlijk tussen de donorgemeenschap en het partnerland.

Het maken van een contextuele analyse betekent niet dat de andere punten hieronder niet meer gedetailleerd moeten worden onderzocht. En, aangezien de context verandert met de tijd, moet de evolutie daarvan eveneens worden gevolgd.

6.2.3. De verwachtingen van de begunstigden (en andere stakeholders) worden beschreven

Traditioneel hechtte de 'DIP'-methode om interventies te plannen per doelstelling veel belang aan de participatie van stakeholders, die samen tijdens een participatief seminarie een 'problemenboom' en een 'doelenboom' vastlegden, alsook een specifieke doelstelling en een strategie om die doelstelling te bereiken.

Die methode wordt niet langer systematisch door alle actoren gebruikt.

Toch willen wij aanraden om niet alleen de verwachtingen van de stakeholders te beschrijven, maar ook de manier waarop men te werk is gegaan om die informatie in te zamelen en er rekening mee te houden.

68

Dat moet zo gebeuren dat de problemen worden besproken met de stakeholders, zo niet loopt men het risico dat ze afhaken en dat hierdoor de interventie mislukt.

Bovendien is het belangrijk dat men precies beschrijft hoe en in welke fase de stakeholders werden of zullen worden betrokken, zodat de evaluatoren een oordeel kunnen vellen over de relevantie.

Als de verschillende stakeholders het eens zijn, moet dat worden vermeld, omdat het een belangrijk element is voor de relevantie. Het gebied afbakenen waarbinnen de belangen van alle partijen samenvallen, is niet eenvoudig en een belangrijk punt, want dit is de plek voor alle onbewuste of bewuste misverstanden.

Alle meningsverschillen tussen of met stakeholders moeten worden beschouwd als een risico (zie 6.1.9.) en verklaren vaak voor een deel de mislukking/zwakke resultaten van een interventie, ook al leiden meningsverschillen niet altijd tot een mislukking.

6.2.4. De overeenstemming tussen de doelstellingen en de algemene prioriteiten wordt beschreven

Onder algemene prioriteiten verstaat men de millennium ontwikkelingsdoelen (MOD), maar de term is vatbaar voor interpretatie. Men kan hier ook andere prioriteiten aan toevoegen zoals de strijd tegen de klimaatverandering, de uitvoering van de Verklaring van Parijs, van de Accra Agenda voor Actie, van het forum van Buzan.

Voor de dossiers die in voorbereiding zijn, stellen wij voor om na te gaan of de doelstellingen van de interventie niet in strijd zijn met de algemene prioriteiten van de duurzame ontwikkelingsdoelen die werden vastgelegd ‘post 2015’. Het is in elk geval goed om ze in gedachten te houden.

In afwachting van een definitieve versie geven wij hieronder, ter informatie, de doelen zoals ze vandaag in het voorstel staan van de Open Working Group on Sustainable Development Goals50:

Doel 1: Het verbannen van alle vormen van armoede, overal.

Doel 2: Het uitbannen van honger, voedselzekerheid realiseren en voeding verbeteren, en duurzame landbouw stimuleren.

Doel 3: Gezond leven waarborgen en het welzijn voor iedereen, op elke leeftijd, bevorderen.

Doel 4: Inclusief en gelijkwaardig kwalitatief onderwijs waarborgen en leermogelijkheden voor iedereen bevorderen, het hele leven door.

50 Vrije vertaling van: Goal 1: End poverty in all its forms everywhere. Goal 2: End hunger, achieve food security and improved nutrition, and promote sustainable agriculture. Goal 3: Ensure healthy lives and promote well-being for all at all ages. Goal 4: Ensure inclusive and equitable quality education and promote life-long learning opportunities for all. Goal 5: Achieve gender equality and empower all women and girls. Goal 6: Ensure availability and sustainable management of water and sanitation for all. Goal 7: Ensure access to affordable, reliable, sustainable, and modern energy for all. Goal 8: Promote sustained, inclusive and sustainable economic growth, full and productive employment and decent work for all. Goal 9: Build resilient infrastructure, promote inclusive and sustainable industrialization and foster innovation. Goal 10: Reduce inequality within and among countries. Goal 11: Make cities and human settlements inclusive, safe, resilient and sustainable. Goal 12: Ensure sustainable consumption and production patterns. Goal 13: Take urgent action to combat climate change and its impacts. Goal 14: Conserve and sustainably use the oceans, seas and marine resources for sustainable development. Goal 15: Protect, restore and promote sustainable use of terrestrial ecosystems, sustainably manage forests, combat desertification, and halt and reverse land degradation and halt biodiversity loss. Goal 16: Promote peaceful and inclusive societies for sustainable development, provide access to justice for all and build effective, accountable and inclusive institutions at all levels. Goal 17: Strengthen the means of implementation and revitalize the global partnership for sustainable development.



Doel 5: Gendergelijkheid en zelfbeschikking voor alle vrouwen en meisjes.

Doel 6: Het waarborgen van watervoorziening en sanering voor iedereen.

Doel 7: Het waarborgen van moderne, duurzame, betaalbare en betrouwbare energie voor iedereen.

Doel 8: Het bevorderen van een aanhoudende, inclusieve en duurzame economische groei, volledige en productieve werkgelegenheid en fatsoenlijk werk voor iedereen.

Doel 9: Opbouwen van een sterke infrastructuur, bevorderen van een inclusieve en duurzame industrialisering en stimuleren van innovatie.

Doel 10: Ongelijkheid binnen en tussen landen verminderen.

Doel 11: Het inclusief, veilig, bestendig en duurzaam maken van steden en woongebieden.

Doel 12: Garanderen van duurzaam productie- en consumptiegedrag.

Doel 13: Dringende maatregelen nemen om de klimaatverandering en de impact daarvan tegen te gaan.

Doel 14: Behoud en duurzaam gebruik van oceanen, zeeën en rijkdommen van de zee voor een duurzame ontwikkeling.

Doel 15: Bescherming, herstel en bevorderen van een duurzaam gebruik van terrestrische ecosystemen, duurzaam beheer van bossen, tegengaan van woestijnvorming, stoppen en omkeren van bodemdegradatie en stoppen van het verlies aan biodiversiteit.

Doel 16: Het bevorderen van vreedzame en inclusieve samenlevingen met het oog op duurzame ontwikkeling, iedereen toegang geven tot justitie en doeltreffende, transparante en inclusieve instellingen opbouwen op elk niveau.

Doel 17: Versterking van de uitvoeringsmiddelen en doen opleven van het wereldwijde partnerschap voor duurzame ontwikkeling.

Het spreekt voor zich dat de doelstelling(en) van de interventie niet systematisch moeten passen binnen een of meer van de bovenstaande algemene doelen, maar het is al even vanzelfsprekend dat de interventies niet in mogen gaan tegen een of meer algemene doelen. Om de relevantie te beoordelen, is dus een schriftelijk verslag nodig van het onderzoek van de afwezigheid van tegenspraak tussen de doelstellingen van de interventie en de algemene doelen.

6.2.5. Het beleid van het partnerland is beschreven en werd op kritische wijze onderzocht

Die beschrijving en kritische analyse zijn nodig om te kunnen oordelen over de relevantie van de interventie ten opzichte van het beleid van het partnerland in de betreffende sector(en) en meer algemeen ten opzichte van het PRSP of een gelijkaardig document. Het beleid kan veranderen, bijvoorbeeld door de installatie van een nieuwe regering. In dat opzicht moet de evolutie van het beleid van het partnerland worden gevolgd en moet in de risicoanalyse rekening worden gehouden met een verandering van beleid.

70

6.2.6. Het TFD beschrijft de wijze waarop rekening werd gehouden met de Belgische strategienota's

Die beschrijving is nodig om te kunnen oordelen over de relevantie van de interventie ten opzichte van de Belgische strategieën in de sectoren en/of thema's waar de interventie betrekking op heeft. Aangezien er voor de meeste transversale thema's een strategienota is, zal de informatie die hier wordt vermeld voor de transversale thema's worden aangevuld met die van het punt 6.2.7 hierna. Ook de Belgische strategieën kunnen veranderen, maar die veranderingen hebben veel minder vaak gevolgen voor de relevantie van de interventies.

In die, zeldzame maar toch voorkomende, gevallen dat de interventie het resultaat is van een politieke beslissing die werd genomen in overleg met of samen met een politieke overheid van een partnerland, moet dat ook hier worden vermeld.

Hetzelfde geldt indien de interventie rekening heeft gehouden met aanbevelingen voor strategische evaluaties goedgekeurd door een antwoord van het management.

6.2.7. De eventuele wisselwerking van de interventie met alle transversale thema's wordt vermeld

Net als voor de algemene doelstellingen, moet het TFD informatie bevatten die de evaluatoren toelaat om te oordelen of een interventie geen negatieve gevolgen heeft op een transversaal thema of prioritair thema. Ter herinnering, het betreft hier, conform de wet van 19 maart:

• de versterking van de gemeenschap. (Ontwikkeling en versterking van de democratie en van de rechtstaat, met inbegrip van goed bestuur).

• de mensenrechten met inbegrip van de rechten van het kind. (Respect van de menselijke waardigheid, van de rechten van de mens in al hun dimensies en van de fundamentele vrijheden, met een bijzondere aandacht voor het bestrijden van elke vorm van discriminatie).

• waardig en duurzaam werk. (Bevordering van een inclusieve, eerlijke en duurzame economische groei, waarbij voorrang wordt gegeven aan het lokale ondernemerschap, de sociale economie en de Waardig Werk Agenda van de Internationale Arbeidsorganisatie)

• de genderdimensie, die de empowerment van vrouwen en de gelijkheid tussen mannen en vrouwen in de samenleving beoogt

• de bescherming van het leefmilieu en van de natuurlijke hulpbronnen, met inbegrip van de strijd tegen klimaatverandering, droogte en wereld wijde ontbossing

Dit geldt in het bijzonder voor de thema's gender en milieu die wettelijk moeten worden geïntegreerd in alle samenwerkingsinterventies.

Behalve gender, milieu en goed bestuur, moeten sommige transversale thema's meer specifiek worden onderzocht om te beantwoorden aan de internationale rapporteringseisen en om de indicatoren gemakkelijker te kunnen invoeren in de gegevensbank ODA.be. Het zijn:

• trade development,

• woestijnvorming,

• biodiversiteit,

• klimaat: mitigation,



• klimaat: adaptation,

• kinderrechten,

• hiv/AIDS, en

• reproductive, maternal, newborn and child health.

Wij onderzoeken de transversale thema's onder het criterium relevantie omdat wij van mening zijn dat een interventie die op een of andere wijze nadelig is voor een van die transversale thema's niet relevant is omdat ze in strijd is met de geest van de wet.

Die afwezigheid van resultaten die in strijd zijn met een transversaal thema betekent voor ons niet noodzakelijk dat hier systematisch een belangrijke secundaire doelstelling van moet worden gemaakt (DAC-marker 1), of het hoofddoel van de interventie (DAC-marker 2); terwijl andersom de toekenning van een DAC-marker 2 of 1 vereist dat het hoofddoel of een belangrijk secundaire doel uitdrukkelijk aan een transversaal thema is gewijd. (Zie punt 3.6)

Ter herinnering, in de programma's en projecten van het BFVZ moeten indicatoren worden geïdentificeerd voor de transversale thema's gender, milieu en klimaatverandering en bijgevolg, via die indicatoren, resultaten (outputs en outcomes).

6.3. Voorwaarden die nodig zijn om de doeltreffendheid te evalueren

Om veranderingen en impacts te kunnen vaststellen, is een vergelijkings- of referentiepunt nodig (Bonnet et al., 2004):

De situatie "voor de interventie" vergelijken met die "na de interventie". Dat houdt concreet in dat in de loop van de tijd vergelijkbare steekproeven worden herhaald, voor en na de interventie;

De situatie "zonder interventie" vergelijken met de situatie "met interventie" op een gegeven tijdstip. Hiervoor is een steekproef nodig met twee analoge stalen van personen of gemeenschappen en in hetzelfde gebied, waarbij het ene staal heeft deelgenomen aan de interventie (staal van begunstigden) en het andere niet (controlestaal)51.

6.3.1. Een logische benadering op drie niveaus en gericht op resultaten

Het evalueren van de doeltreffendheid betekent oordelen of de geplande resultaten werden bereikt op het gebied van de outputs en outcomes52. Hiervoor moet er een resultaatgerichte logische benadering zijn, die wordt aangetoond als volgt:

• Er wordt een onderscheid gemaakt tussen (minstens) 3 resultaatniveaus: output (onmiddellijke resultaten, producten, …), outcomes (resultaten op korte of middellange termijn, realisaties, specifieke doelstelling(en), …), impact (resultaten op lange termijn, algemene doelstelling(en)).

51 Lichtjes aangepast van: Indicateurs d’impact des projets de gestion durable des terres, de lutte contre la dégradation des terres et la désertification; document de travail 139, Agence française de développement, 3ième trimestre 2014. 52 Output en outcomes kunnen eventueel worden vervangen door een vergelijkbare term zoals vermeld in punt 3.4.

72

• Er is een causaal verband (dat natuurlijk theoretisch is) tussen twee niveaus in de logische keten: middelen (financieel, materieel en menselijk) �� activiteiten �� outputs �� outcomes �� impact.

• Er is een beschrijving van de 2 eerste resultaatniveaus (outputs, outcomes).

De interventielogica moet stap voor stap worden toegelicht zonder een stap over te slaan. Hiertoe wordt aanbevolen om in het TFD (of in een bijlage daarvan) de problemenboom en doelenboom op te nemen waar degenen die de interventie hebben geformuleerd zich door hebben laten inspireren om die interventielogica op te bouwen.

6.3.2. De outputs en outcomes moeten voorzien zijn van indicatoren

Om de evaluatie te vergemakkelijken, moeten de output- en outcome-indicatoren zo 'SMART' mogelijk zijn. (Zie punt 3.2)

Die indicatoren moeten een basiswaarde hebben gekregen die toelaat om de vorderingen te meten op de 2 eerste resultaatniveaus (outputs, outcomes)53

De begrippen basiswaarde en doelwaarde worden anders toegepast naargelang het om kwantitatieve of kwalitatieve indicatoren gaat. In beide gevallen echter maakt het ontbreken van een startwaarde en doelwaarde een objectieve beoordeling van de vorderingen en van de mate waarin het vastgelegde doel werd bereikt moeilijker, om niet te zeggen onmogelijk. Het vastleggen van basiswaarden voor de indicatoren is immers cruciaal voor de geloofwaardigheid van de conclusies op het vlak van doeltreffendheid en, zoals we verderop zullen zien, voor de conclusies op het vlak van efficiëntie, duurzaamheid en impact.

Meer specifiek:

• basiswaarden moeten het mogelijk maken om de prestaties van de interventie te beoordelen ten opzichte van de vertreksituatie.

• De basiswaarden moeten specifiek zijn voor de interventie: ze moeten tegemoet komen aan de behoeften en belangen van de belangrijkste betrokken personen.

• De basiswaarden moeten de situatie voor de interventie duidelijk beschrijven; hun (slechte) niveau is een deel van de rechtvaardiging (en dus van de relevantie) van de interventie.

• De basiswaarden moeten toelaten om de mate en kwaliteit van de veranderingen door de interventie te beoordelen.

• De indicatoren moeten beschikken over controlemiddelen: de gegevensbron moet gekend zijn, de gegevens moeten kunnen worden ingezameld tegen een redelijke kostprijs en inspanning. Door gebruik te maken van indicatoren die deel uitmaken van een systeem dat ter plaatse al bestaat, kan men de monitoringkosten verminderen en gemakkelijker de behaalde resultaten in het interventiegebied vergelijken met gegevens van buiten het interventiegebied.

Die indicatoren moeten ook beschikken over doelwaarden die moeten worden bereikt, na elk jaar, halverwege en aan het einde van de interventie. De vorderingen van de (eventuele) kwalitatieve indicatoren moeten objectief controleerbaar zijn54.

53 Using the Evaluability Assessment Tool ; Guidance Note 11, ILO Evaluation Unit, page 6. 54 Bijvoorbeeld: aan- of afwezigheid van een actieplan, beschikbaarheid of onbeschikbaarheid van een verantwoordelijke,…



De bepaling van indicatoren, van hun basis- en doelwaarden na verschillende tijdsperioden is een belangrijke oefening die zelden kan worden gemaakt tijdens de voorbereidende fase van een interventie. Men dient dus aan te stippen dat de indicatoren alsook de verschillende waarden die eraan worden toegekend in het oorspronkelijk TFD louter informatief en voorlopig zijn.

De definitieve indicatoren evenals hun begin- en doelwaarden worden uitgewerkt tijdens het begin van de interventiefase, in participatieve workshops of door middel van enquêtes of andere informatiebronnen.

Ter herinnering, men dient in de mate van het mogelijke de voorkeur te geven aan gegevens die ter plaatse al worden ingezameld. Het betreft niet alleen nationale statistieken die vooral worden gebruikt voor het meten van de outcomes en zelfs de impact, maar ook om lokale gegevens zoals inschrijvingsregisters, aanwezigheidslijsten en slaagpercentages voor examens in scholen of gegevens over patiënten van gezondheidscentra in het interventiegebied. In die twee voorbeelden zijn de gegevens bovendien opgesplitst volgens gender.

Sommige statistieken worden niet elk jaar opgesteld maar ter gelegenheid van nationale enquêtes zoals volkstellingen of armoede-enquêtes. Het is moeilijker om die enquêtes te gebruiken in het kader van een regelmatige monitoring of evaluatie, maar wij willen toch voorstellen om na te gaan of men gebruik kan maken van dit systeem voordat men een ander systeem gaat uitvinden.

6.3.3. Indicatoren laten ook toe om de verwachte resultaten op het vlak van transversale thema's te meten

Indien een transversaal thema het hoofddoel of een belangrijk secundair doel van een interventie is, geldt de hierboven uiteengezette algemene redenering zowel voor de interventielogica als voor de verschillende indicatoren, hun beginwaarde en diverse doelwaarden.

6.4.4. De invloed van risico's en veronderstellingen werd onderzocht en geraamd

De logica wil dat het zich voordoen van een risico, ook al werd dit voorzien, ook al werd dit goed beheerd en ook al zijn de gevolgen ervan gering, toch met zich meebrengt dat de resultaten lager liggen dan wat oorspronkelijk werd verwacht voor een ideale situatie waarin geen enkel risico bewaarheid wordt. De risicoanalyse, gecorrigeerd aan het begin van de interventie, moet dus ideaal gezien informatie bevatten over de invloed van het optreden van risico's op de doelwaarde van de verschillende indicatoren.

6.4. Voorwaarden die nodig zijn om de efficiëntie te evalueren

De definitie van efficiëntie is ongetwijfeld het evaluatiecriterium dat het meest vatbaar is voor interpretatie. ‘Op een zuinige manier’ is een uitdrukking die heel ruim geïnterpreteerd kan worden en het is niet omdat een resultaat kon worden gehaald met een bepaald bedrag in een bepaald project dat het noodzakelijk kan/moet worden bereikt met hetzelfde bedrag in een ander project, in een ander land of om een andere doelstelling te halen.

Bij een beoordeling van de efficiëntie wordt niet alleen maar gekeken naar de eenvoudige verhouding kostprijs-resultaat. Dit criterium buigt zich ook over de factoren die bepalend zijn voor die verhouding: de duur van de interventies, de beheersmodaliteiten en -kosten en de flexibiliteit in het opnieuw bepalen van resultaten, activiteiten en de toekenning van middelen.

74

In het ideale geval moet ook de mogelijkheid van een vergelijkende studie (benchmarking) worden onderzocht, hetzij voor een vergelijkbare interventie gefinancierd door een andere donor die actief is in hetzelfde land, hetzij voor een vergelijkbare interventie (mede)gefinancierd door België in een vergelijkbaar land.

6.4.1. Voor elk resultaat werd een specifiek budget toegekend

Door de definitie van het criterium op zich is het belangrijk om het geraamde budget en de reële kostprijs van elk resultaat te kennen voordat men zich kan uitspreken over de efficiëntie. Hiertoe moeten zowel de begroting als het financieel verslag op die wijze zijn opgesteld.

De waarheid over de werkelijke kostprijs van de resultaten vereist ook dat bij de berekening van de kostprijs ervan de beheerskosten, de kosten voor plaatselijke vertegenwoordiging, de kosten voor de zetel en zelfs de administratieve kosten van de donor evenredig werden verdeeld; allemaal zaken die een objectieve beoordeling van de efficiëntie bemoeilijken.

De budgetpresentatie van de interventies van de gouvernementele samenwerking zoals die wordt voorgesteld door de BTC lijkt ons (het meest) geschikt om dit criterium te evalueren (zie 6.1.7). Aangezien de evaluatie van de efficiëntie nagaat of de resultaten op een zuinige manier werden bereikt, is het belangrijk om uit de TFD te weten welke uitgaven geraamd zijn om elk resultaat te bereiken. Op dit punt deelt de DBE het standpunt van de financiële controledienst bij de DG-D, die in een interne nota voorstelt om na te gaan of een verband kan worden gelegd tussen het uitgegeven budget, de uitgevoerde activiteiten en de geoogste resultaten.

De wet van 19 juni 2011 houdende uitvoering en wijziging van de wet van 19 januari tot oprichting van een Belgisch Fonds voor Voedselzekerheid lijkt ons het meest duidelijk in de definiëring van de verschillende vormen van kosten:

• De structuurkosten zijn de kosten die verbonden zijn aan de realisatie van het maatschappelijk doel van de organisatie en die, hoewel beïnvloed door de uitvoering van het project, niet afscheidbaar zijn noch direct op het budget van het project kunnen worden aangerekend.

• De beheerskosten zijn afscheidbare kosten, verbonden aan het beheer, de omkadering, de coördinatie, de opvolging en de evaluatie nodig voor de uitvoering van het project.

• De operationele kosten zijn de kosten verbonden aan de resultaten van het project die overeenkomen met de uitgaven eigen aan de uitgevoerde activiteiten. Zij kunnen geen enkele vorm van beheerskosten inhouden.

In zijn procedurehandleiding verduidelijkt het BFVZ die definities nog meer:

• Operationele kosten: dit zijn uitgaven binnen een project die rechtstreeks te maken hebben met de uitvoering van de activiteiten en dus rechtstreeks ten gunste komen van de doelgroepen. Deze uitgaven houden op te bestaan zodra het programma wordt stopgezet of eindigt. Alle uitgaven die binnen deze categorie vallen, kunnen specifiek aan… één of meerdere resultaten worden toegewezen. In tegenstelling tot wat het BFVZ voorstelt, zijn wij er eerder voorstander van om de kosten voor de voorbereiding van de interventies op te nemen onder de beheerkosten. Aangezien het hier immers gaat om kosten die worden gemaakt tijdens de formulering van de interventies: uitgaven voor missies, logistieke en personeelskosten, kunnen ze niet worden toegeschreven aan een specifiek resultaat. Diezelfde redenering geldt voor de kosten in verband met de coördinatie- of vertegenwoordigingskantoren in landen van het zuiden.

• Beheerskosten: dit zijn uitgaven die specifiek het gevolg zijn van de tenuitvoerlegging van een project maar niet rechtstreeks ten gunste komen



aan de doelgroep zoals kosten m.b.t. het beheer, coördinatie, evaluatie, opvolging, monitoring … Deze uitgaven verwijzen rechtstreeks en uitsluitend naar een interventie en houden op te bestaan zodra een project wordt stopgezet of eindigt.

6.4.2. De duur van de interventies werd bepaald en de activiteiten zijn gepland

Om zich te kunnen uitspreken over de efficiëntie is het belangrijk om de duur van de interventie te kennen. Een interventie waarvan wordt gepland dat ze drie jaar zal duren en die ook daadwerkelijk haar doelstellingen in die drie jaar haalt, zal veel efficiënter zijn dan een interventie die haar doelstellingen haalt in vijf jaar omdat in dat laatste geval twee bijkomende werkingsjaren gefinancierd moeten worden.

Een vergelijking tussen de activiteitsplanning die werd opgesteld tijdens de formulering en eventueel werd geconsolideerd aan het begin van de interventie en de activiteitenverslagen moet kunnen aantonen of de interventie voor bepaalde activiteiten vertraging heeft opgelopen, op schema ligt of voor ligt op schema.

6.4.3. Het TFD beschrijft de wijze waarop de interventie zal worden beheerd

Wij bevelen een resultaatgericht beheer aan (zie punt 3.7.). Een resultaatgericht beheer is een dynamische beheermethode die toelaat om:

• de activiteiten en de toekenning van middelen (met inbegrip van budgettaire middelen) te wijzigen volgens de vorderingen in het bereiken van resultaten, de omstandigheden en eventueel risico's die zich voordoen; en

• de tussentijdse resultaten (output) eventueel (opnieuw) te definiëren indien tijdens de uitvoering blijkt dat hun aard of de doelwaarden van hun indicatoren te ambitieus of net te weinig ambitieus zijn.

De herdefiniëring van de resultaten op een hoger niveau (outcomes & impact) valt normaal gezien niet onder de bevoegdheid van de personen die de interventie rechtstreeks uitvoeren. Die wijziging kan alleen gebeuren door de aanbevelingen toe te passen van een tussentijdse evaluatie en/of mits de goedkeuring van hogere instanties (comité van partners, donoren, missies van de zetel…). Een evaluatie zou geen enkele zin hebben indien ze geen enkele wijziging van het TFD zou toelaten om de aanbevelingen ervan toe te passen. Daartegenover staat dat eender welke wijziging van gewenste resultaten buiten een evaluatieperiode het voor de evaluator niet langer mogelijk zou maken om zich objectief uit te spreken over de doeltreffendheid en bijgevolg over de efficiëntie, duurzaamheid en impact van de interventie (zie punten 4.4.4. en 6.4.).

De beheerwijze omvat ook een beschrijving van de manier waarop de verantwoordelijkheden verdeeld zijn tussen het nationaal personeel en het internationaal personeel van de interventie, de plaatselijke tussenpersonen, de plaatselijke vertegenwoordigers en de zetels in België; en dit zowel op administratief en technisch vlak als op financieel vlak. De mate van flexibiliteit die elk beheerteam heeft in de wijziging van activiteiten en budgetlijnen moet ook worden verduidelijkt.

76

6.4.4. Het TFD bevat een raming van de kosten die worden veroorzaakt doordat risico's zich voordoen of doordat veronderstellingen niet worden bewaarheid

Het optreden van een risico beïnvloedt rechtstreeks de efficiëntie in die zin dat het ofwel meer zal kosten om eenzelfde resultaat te bereiken; ofwel zal het geraamde budget niet toelaten om het volledige oorspronkelijk geplande resultaat te bereiken. De risicoanalyse, gecorrigeerd aan het begin van de interventie, moet dus ideaal gezien informatie bevatten over welke invloed het optreden van risico's heeft op de kosten om de doelwaarden van de verschillende indicatoren te halen.

6.5. Voorwaarden die nodig zijn om de duurzaamheid te evalueren

Per definitie kan de duurzaamheid in strikte zin alleen worden geëvalueerd nadat een interventie is afgesloten. Toch menen wij dat het TFD van een interventie aanwijzingen mag en moet bevatten zodat kan worden geraamd hoe groot de kans is dat de resultaten van de interventie duurzaam blijven bestaan nadat de interventie is afgelopen.

De gemeenschap van donoren en evaluatoren onderscheidt de begrippen financiële / economische duurzaamheid, technische duurzaamheid, organisatorische / operationele duurzaamheid, institutionele duurzaamheid, socioculturele duurzaamheid en milieuduurzaamheid. Soms wordt zelfs de politieke duurzaamheid onderzocht. Die verschillende elementen hangen nauw samen: een onderdeel van een uitrusting is duurzaam op technisch vlak indien het in zijn verpakking blijft zitten; het is niet duurzaam op economisch vlak indien dat te wijten is aan een gebrek aan middelen om het te laten werken; het is niet duurzaam op sociocultureel vlak indien het gebruik ervan in strijd is met de plaatselijke gebruiken. Om die reden zijn wij van mening dat het element dat de laagste specifieke duurzaamheid heeft bepalend is voor de algemene duurzaamheid van de interventie.

Naast de definitie van duurzaamheid zoals gegeven door de DAC55, moet ook rekening worden gehouden met de definitie van duurzame ontwikkeling zoals die door de wet wordt gegeven56. De twee definities komen op een aantal punten overeen maar zijn niet identiek. De twee definities zijn wettelijk omdat de ene uitdrukkelijk in de wet staat; de andere is een evaluatiecriterium van de DAC en wordt eveneens vermeld in de wet.

Het overwicht van de verschillende aspecten die de duurzaamheid bepalen, verschilt volgens de aard van de interventie. Het criterium duurzaamheid wordt anders geëvalueerd naargelang het gaat om een interventie van het type 'investering', een interventie van het type 'capaciteitsversterking' of een gemengde interventie die die aspecten in wisselende verhoudingen mengt: investeringen ter ondersteuning van een capaciteitsversterking of capaciteitsversterking om investeringen correct te laten werken.

Sommige interventies vertrekken van een 'onontwikkelde' situatie om te komen tot een 'ontwikkelde' situatie. In bijvoorbeeld een project met als doel twee dorpen met elkaar te verbinden door een brug te bouwen, is de brug normaal gesproken voltooid aan het einde van de interventie. De evaluatie van de duurzaamheid zal zich hier vooral buigen over de onderhoudsplanning en de financiële en menselijke middelen die werden uitgetrokken voor dat onderhoud (door middel van een tolsysteem, een bijdrage van de gebruikers, een beheercomité voor het werkstuk, …).

In de meeste interventies echter geeft de donor een zetje aan het ontwikkelingsproces maar trekt zich terug lang voordat de doelregio en/of doelgroep volledig ontwikkeld is.

55 Zie punt 3.1

Zie punt 3.1



De evaluatie van de duurzaamheid zal dan vooral onderzoek doen naar de continuïteit van de financiële, materiële en menselijke middelen.

Opdat de gevolgen blijven bestaan na het einde van de interventie door de donoren, moet over het algemeen de interventiestructuur worden behouden, het plaatselijk personeel volledig opgeleid zijn, het personeel een loon blijven krijgen, moeten er middelen voorhanden zijn om de geleverde uitrustingen te onderhouden en op termijn te vervangen, moeten de natuurlijke hulpbronnen die door het project worden gebruikt zich vernieuwen aan hetzelfde tempo als ze worden gebruikt, … Duurzaamheid is dus een factor die wordt voorbereid tijdens en zelfs nog voor de interventie. Net zoals er resultaatindicatoren zijn, bestaan er ook objectief controleerbare indicatoren voor duurzaamheid of, a contrario, niet-duurzaamheid. Gelukkig kunnen de meeste van die instrumenten 'ex ante' worden gebruikt, op basis van de resultaten van de formulering en de beschrijving van de interventie. Indien men immers aan het einde van een interventie vaststelt dat ze niet duurzaam zal zijn, is het meestal te laat om nog te reageren.

Algemeen:

• De duur van de interventie (en het aantal fasen) moet in verhouding staan tot het ambitieniveau van de doelstellingen. Elke lange verlenging van de duur van de interventie of elke planning van een tweede of derde fase die niet was gepland in het begin is een teken van mislukking op het vlak van duurzaamheid. Een dergelijke handelwijze leidt er bovendien toe dat de doelgroep, geleidelijk en ongemerkt, afhankelijk wordt van hulp van buitenaf.

• Duurzaamheid wordt niet bereikt met een eenvoudige intentieverklaring als: "de lokale partij verbindt zich ertoe de nodige institutionele, administratieve en budgettaire maatregelen te treffen om te garanderen dat de activiteiten worden voortgezet na het einde van de Belgische interventie". Het TFD moet de evaluator toelaten om na te gaan in welke mate de lokale partij die verbintenis kan / zal nakomen.

• Uitstapstrategieën die rekening houden met de duur en het geplande einde van de externe financiering moeten zo vroeg mogelijk worden opgesteld; in overleg met de doelgroepen/begunstigden en regelmatig worden opgevolgd. Het einde van de interventie moet gepland zijn. De interventie moet een uitstapstrategie hebben die plant om geleidelijk alle externe hulpmiddelen te verminderen tot het project volledig wordt stopgezet.

• Geïntegreerde acties die rekening houden met de context, met de verschillende hogere niveaus (regionaal, nationaal, …) en met de andere ontwikkelingsactoren die actief zijn in het gebied en in de sector van de interventie bieden meer garantie op duurzaamheid dan geïsoleerde acties. Dat komt doordat meerdere sectoren, meerdere doelgroepen, meerdere ingangspunten, meerdere niveaus, meerdere soorten activiteiten worden bestreken. Voor geïntegreerde acties kan ook synergie meer mogelijk zijn57.

• Tot slot dient men nog meer aandacht te besteden aan het criterium duurzaamheid in interventies die streven naar ‘heropbouw’. Het begrip heropbouw omvat immers vaak de doelstelling 'opnieuw laten werken wat in het verleden wel heeft gewerkt maar nu niet meer’. Om een nieuwe mislukking te vermijden, moet zorgvuldig worden onderzocht welke factoren bepalend waren voor dit eerste manifest gebrek aan uitvoerbaarheid/bruikbaarheid en moet hier rekening mee worden gehouden.

57 Synergie moet worden begrepen in de zin dat indien acties gecoördineerd worden, ze betere resultaten bereiken dan de som van de resultaten die zouden worden bereikt door elk van die acties afzonderlijk.

78

6.5.1. Het politieke besluitvormingsproces is gedocumenteerd (politieke duurzaamheid)

Een voorwaarde voor de duurzaamheid van een interventie is dat ze moet passen binnen het beleid van een land of minstens neutraal moet zijn ten opzichte van een mogelijke beleidsverandering. Het komt niet zelden voor dat in de klassieke sectoren van de Belgische interventie nieuwe regeringen in de begunstigde landen hun prioriteiten verleggen. Bijvoorbeeld over gratis basisonderwijs, over de ontwikkeling van technisch onderwijs, over de structuur van de gezondheidszorg, over landbouwsubsidies, over douanerechten bij de invoer van materialen of uitrustingen enz. Een dergelijke wijziging heeft invloed op de relevantie indien dit gebeurt bij het begin van de interventie, op de doeltreffendheid en efficiëntie indien dit gebeurt tijdens de interventie, en op de duurzaamheid indien dit gebeurt op het einde of na het einde van de interventie. De gevolgen voor de duurzaamheid zijn het meest ernstig omdat ze zich voordoen op een ogenblik waarop slechts heel moeilijk corrigerende maatregelen kunnen worden genomen.

De politieke duurzaamheid kan ook worden beïnvloed door Belgische beslissingen zoals een verandering van prioritaire sector of het, zonder overgangsfase, afzien van de hoedanigheid van prioritaire partner.

6.5.2. Het TFD beschrijft hoe de partnerinstelling of begunstigde instelling werkt (institutionele duurzaamheid)

De institutionele duurzaamheid is belangrijk in de interventies voor versterking van de institutionele capaciteit: hulp bij decentralisatie, bank voor micro-kredieten, niet-gouvernementele organisaties, andere partnerinstellingen, …Zo moet voor bijvoorbeeld een project dat tot doel heeft om de diensten aan de bevolking te verbeteren door een capaciteitsversterking van de administratie, het TFD elementen bevatten die uitleggen hoe de genoemde administratie diezelfde diensten zal blijven verlenen eens de externe financieringen worden stopgezet.

De institutionele duurzaamheid is beter gegarandeerd indien de interventie volledig geïntegreerd is in een nationaal programma. De aanwezigheid van een beheereenheid voor de interventie die administratief en/of fysiek gescheiden is van de administratie of organisatie van de lokale civiele samenleving die de taken van de interventie zal moeten overnemen aan het eind van de externe financiering is een risico-indicator voor de duurzaamheid58.

Bij het evalueren van de institutionele duurzaamheid zal bijgevolg vooral worden gekeken naar de continuïteit van de werkingsmiddelen van de partnerstructuur: gebouwen, uitrustingen, personeel en financiële middelen. Het TFD moet dus informatie geven over de volgende punten:

6.5.2.1. De voorzieningen / gebouwen waar het personeel dat belast is met

de uitvoering van de interventie zal verblijven (administratieve en

technische duurzaamheid)

Het belang van die voorwaarde wisselt vanzelfsprekend sterk volgens de aard van de interventie. Indien er gebouwen worden gebouwd om de uitrustingen en het personeel onder te brengen die nodig zijn voor de interventie en voor het voortzetten van de activiteiten na het einde van de hulp van buitenaf, moet het TFD duidelijk de voorwaarden vermelden voor de overhandiging - overname van die gebouwen.

58 Ter herinnering, "capaciteitsversterking waarbij parallelle uitvoeringsstructuren worden vermeden" is eveneens indicator 6 van de Verklaring van Parijs.



6.5.2.2. De manier waarop de technische uitrustingen en het lokaal

technisch/wetenschappelijk personeel zullen worden beheerd

(technische duurzaamheid)

De technische duurzaamheid betreft in hoofdzaak de continuïteit van de gevolgen van de technische bijstand, met name de overdracht van kennis en de overdracht van technische middelen.

De duurzaamheid van de technische knowhow hangt af van de aard, duur en periode van de geplande opleidingen voor het lokaal personeel.

Wij bevelen aan om het personeel op te leiden bij het begin van de interventie en niet op het einde (waardoor de lokale partner nog meer verweesd zou achterblijven na het vertrek van de technische bijstand). De ontvangen opleiding moet relevant zijn ten opzichte van de functies die in de toekomst moeten worden uitgeoefend. De opleiding moet bijvoorbeeld niet gaan over gesofisticeerde uitrustingen die ontoegankelijk zullen zijn na het vertrek. Er moeten voorzieningen gepland zijn opdat personeelsleden die een opleiding hebben genoten hun functies opnieuw integreren in de interventie en tegelijk hun recht op vorderingen in hun beroepsloopbaan behouden. Het moet voorzien zijn dat de technische bijstand zijn technische kennis en ervaring kan overdragen op nationale collega's waarbij ze zo min mogelijk helpen en steeds minder en minder tijdens de eigenlijke uitvoering van de interventie. Indien de technische assistenten (TA) het werk overnemen, dat wil zeggen indien ze het werk doen in de plaats van het nationaal personeel, zullen de activiteiten sterk worden afgeremd, ja zelfs worden stopgezet na het vertrek van de TA.

De duurzaamheid van de technische uitrustingen die worden geleverd door de interventie wordt bepaald door:

• de voorwaarde dat de interventie ze ter beschikking blijft stellen. Een voorwaarde voor de duurzaamheid van de technische uitrustingen is vanzelfsprekend dat de partnerpartij zich ertoe verbindt dat de uitrustingen en materialen die werden verworven in het kader van de interventie eigendom worden (of blijven) van de partnerpartij en toegewezen blijven aan de structuren waarvoor ze bedoeld waren."

• het opnieuw aanvullen van verbruiksgoederen en het voorzien in mogelijkheden voor onderhoud en reparatie tijdens en vooral na de interventie. Maar ook al worden de uitrustingen goed onderhouden en gerepareerd, ze gaan niet eeuwig mee of raken verouderd. De perfecte duurzaamheid is dus alleen gegarandeerd indien de uitrustingen ook worden afgeschreven.

Het TFD moet dus vermelden wat er met de uitrustingen gebeurt nadat de hulp van buitenaf wordt stopgezet, wie ze zal onderhouden, repareren en hoe ze zullen vervangen worden.

Men moet ook rekening houden met het feit dat een lokale partner over het algemeen niet dezelfde faciliteiten voor douane, belastingvrijstelling en bestellingen op de internationale markt geniet als een samenwerkingsorganisatie met zetel in België.

6.5.2.3. De manier waarop het administratief personeel, het meubilair en de

uitrustingen zullen worden beheerd (organisatorische duurzaamheid)

Het TFD moet informeren over de manier waarop de interventie zal worden beheerd en over de manier waarop de interventie verder zal worden beheerd na afloop van de financiering van buitenaf. Het moet aantonen hoe de organisatorische capaciteiten van

80

personen, groepen en/of organisaties die het zullen moeten overnemen eventueel zullen worden versterkt.

Wij raden aan om die capaciteiten te ontwikkelen op verschillende niveaus: economische groeperingen, plaatselijke gemeenschappen, gedecentraliseerde instanties …

Zoals ook in het punt hieronder over de financiële duurzaamheid zal worden aangehaald, heeft ook de verloning van het beheerpersoneel een grote invloed op de organisatorische duurzaamheid. Bij gebrek aan een loonbeleid dat tot stand kwam in overleg tussen donoren, partnerland, civiele samenleving en internationale organisaties wordt een zware hypotheek gelegd op de voortzetting van de activiteiten door de kaderleden die instaan voor het beheer. De veralgemening van grote loonverschillen voor mensen met dezelfde competentie en ervaring is een systeem dat dubbel zo nadelig is omdat het noch kan garanderen dat het lokaal personeel gemotiveerd blijft, noch dat het dezelfde baan blijft houden.

Een volledige transparantie van het beheer van de middelen ten opzichte van de lokale bevolking is ook een factor van organisatorische duurzaamheid.

6.5.3. Het TFD beschrijft de financieringswijze van de partnerinstelling (of begunstigde instelling) en van de activiteiten daarvan (financiële duurzaamheid)

Hier kan men een onderscheid maken tussen:

• enerzijds de financiële middelen die nodig zijn voor de normale werking van de partnerinstelling; dat wil zeggen de middelen die nodig zijn om de infrastructuur in stand te houden, de uitrustingen te onderhouden en het personeel te betalen; en

• anderzijds de middelen die nodig zijn voor de administratieve werking en voortzetting van de ontwikkelingsactiviteiten.

Een analyse van de begroting van de interventie laat toe om een relatief goed oordeel te kunnen vormen over de financiële duurzaamheid. De begroting van het programma, met uitzondering van de kosten voor technische bijstand en investeringen op lange termijn, moet geleidelijk worden gedekt door de nationale begroting, in het bijzonder en specifieker voor wat betreft het loon van het lokaal personeel, de operationele kosten en de afschrijvingen van uitrustingen en voertuigen; een post die overigens slechts heel zelden voorkomt. Hoe meer de donor die kosten draagt tijdens het laatste jaar van het project, hoe groter het risico is voor de duurzaamheid.

Een interventie die een loon of aanvullend loon betaalt aan haar lokaal personeel, moet inplannen hoe die mensen zullen worden betaald na het einde van de interventie. Naar ons idee spreekt het voor zich dat men niet kan beweren dat de interventie duurzaam is indien de terugkerende kosten, en in het bijzonder ook de premies en aanvullingen op staatslonen niet kunnen worden gedekt door het financieel aandeel van de regering, en indien men uit noodzaak op zoek moet gaan naar financiële ondersteuning uit een andere bron. In het ideale geval zou het lokaal personeel geen enkele premie mogen genieten. Indien het loon werd verdubbeld tijdens de duur van het project, kan men dan verwachten dat dit personeel na het vertrek van de donor zijn activiteiten zal vervullen met evenveel ijver en enthousiasme als voorheen? In de praktijk, en onafgezien van elke loonsverhoging, geniet het lokaal personeel meestal al van aanzienlijke voordelen die worden verkregen door de technische bijstand, in het bijzonder in termen van uitrustingen, arbeidsomstandigheden, per diembedragen, opleidingen of studiereizen in het buitenland, …



De financiële duurzaamheid van een interventie rond (micro)kredieten wordt meer nog dan elke andere interventie bepaald door economische wetten. Het bedrag van de gevraagde intresten moet voldoende zijn om de beheerkosten te dekken (in termen van personeel, materialen en lokalen) en om schulden die niet worden terugbetaald (in geval van overlijden of overmacht) en inflatieverliezen op te vangen.

Bijzonder veel aandacht moet worden geschonken aan de economische winstgevendheid, de afzetmogelijkheden op de markt en de ontwikkeling van de economische capaciteiten van alle gestimuleerde ondernemerschapsinitiatieven.

6.5.4. De interventie past binnen de socioculturele omgeving waarin ze plaatsvindt (socioculturele duurzaamheid)

Die omstandigheden zijn wel degelijk reëel; als voorbeeld vermelden we eeuwenoude rechten of verboden in verband met de structuur van gemeenschappen, het waterverbruik, het bodemgebruik, landbouwperiodes, de verdeling van taken tussen mannen en vrouwen, lokale vakanties, religieuze feesten enz.

Meer algemeen moet het TFD aantonen op welke manier rekening werd gehouden met de lokale context, zowel op sociaal als cultureel en religieus vlak. Men moet nochtans in gedachten houden dat de interventie bedoeld is om die context te verbeteren, in het bijzonder voor vrouwen, kansarme bevolkingsgroepen of de allerarmsten.

Het TFD moet ook informatie geven over de manier waarop de verschillende stakeholders, met inbegrip van de traditionele leaders en uiteindelijke begunstigden, werden, worden en zullen worden betrokken bij het ontwerp, de planning en monitoring van de uitvoering van de interventie.

6.5.5. Het TFD geeft aan welke natuurlijke bronnen nodig zijn voor de interventie (aard, gebruikte volumes, frequentie, vernieuwingsritme, ...) en de mogelijke gevolgen voor klimaat, woestijnvorming en biodiversiteit

Omdat elke interventie energie en andere hulpbronnen verbruikt, belast ze het milieu. Toch zijn er interventies die door hun aard een grotere invloed ondervinden van en uitoefenen op het milieu: landbouw en veeteelt, water en sanering, exploitatie van bossen. Die activiteiten hebben een grote invloed op de erosie en de bodemkwaliteit alsook op het peil en de kwaliteit van het grondwater. Om duurzaam te zijn, moet het nettoresultaat van de interventie voor het milieu neutraal of positief zijn.

Het TFD van de interventie moet aantonen hoe de natuurlijke hulpbronnen zullen worden gebruikt, gevaloriseerd en beheerd, rekening houdend met hun natuurlijk vernieuwingsritme.

Wij raden sterk aan om gebruik te maken van de toolkit KLIMOS: (http://www.vub.ac.be/klimostoolkit/documents?tid_2%5B%5D=29).

De toolkit KLIMOS biedt informatie en ondersteuning in de milieumainstreaming van de ontwikkelingssamenwerking. De toolkit bestaat uit 2 delen:

• Een selectief onderzoeksblad bestaande uit een reeks vragen die bedoeld zijn om de gebruiker te helpen:

� bij de beoordeling van de milieu-impacts van de interventies voor ontwikkelingssamenwerking (bijvoorbeeld de projecten); en

82

� bij de beoordeling van de milieurisico's waar de interventies voor ontwikkelingssamenwerking (bijvoorbeeld de projecten) aan zijn blootgesteld.

• Een gegevensbank met informatie over het milieu, opgebouwd rond drie toegangscriteria: land, thema en sector59.

6.6. Impact

Ter herinnering, wij beschouwen de impact 'in strikte zin', zoals die wordt gedefinieerd in het glossarium van de DAC en in meer algemene zin, zoals beschreven in de concordantietabel in punt 3.4.

Er bestaan drie grote soorten benadering om de impact te meten, met elk hun sterke en zwakke punten60:

• De kwantitatieve methode (kwanti), ook wetenschappelijke, experimentele of quasi-experimentele methode genoemd, die zich baseert op gegevens afkomstig uit experimenten en/of onderzoeken. Die gegevens worden verwerkt met geavanceerde statistische en econometrische instrumenten. Met die methode kan een besluit worden genomen over de toewijzing, dat wil zeggen over het deel van de resultaten (outcomes en impact) dat werkelijk kan worden toegeschreven aan de interventie. De methode is niet erg doeltreffend wanneer men wil uitleggen hoe en waarom die resultaten werden bereikt. Ze besteedt ook geen aandacht aan de onverwachte resultaten.

• De kwalitatieve (kwali) of gemengde methode berust op een inductieve benadering, waarbij men zich concentreert op de belangrijkste informatiebronnen en een analyse van ingezamelde kwalitatieve en kwantitatieve gegevens. Aan de hand van die methode kan men concluderen over de bijdrage - soms zelfs de omvang van die bijdrage - van de interventie aan de impacts. Die methode is meer geschikt om te verklaren hoe en waarom de verwachte en onverwachte resultaten werden bereikt.

• De participatieve methode (parti) steunt op de betrokkenheid en participatie op alle niveaus van de belangrijkste actoren met inbegrip van de begunstigden, om samen te bepalen wat de interventie (het meest) heeft veranderd. Die methode is minder nauwkeurig om de impact aan te tonen maar laat wel toe om beter de onverwachte resultaten uit te leggen en is bijzonder nuttig om praktijken te verbeteren.

De drie methodes vereisen in feite relatief gelijkaardige voorwaarden voor de evalueerbaarheid.

6.6.1. Het TFD beschrijft de onverwachte impact

Onder onverwachte impact verstaan we ook de andere benamingen van hetzelfde concept zoals vermeld in punt 3.4: Algemene doelstelling van de interventie, langetermijngevolgen veroorzaakt door een ontwikkelingsactie.

59 Vrije vertaling van: The toolkit provides information in support of environmental mainstreaming in development cooperation. The toolkit consists of two parts: • A Screening Sheet that consists of a set of guiding questions that assists the user: to assess the environmental impacts of development co-operation interventions (e.g. projects) on the environment; and to assess the environmental risks faced by the development co-operation interventions (e.g. projects). •A database that contains environmental information, organized along three access criteria: country, theme and sector. 60 Aangepast van "Considérations générales sur l’évaluation de l’impact"; Ministère des affaires étrangères et européennes; République française; 2008.



6.6.2. Er werden indicatoren vastgelegd om de impact (of impacts) te meten.

Om de evaluatie te vergemakkelijken, moeten die impact(s)-indicatoren zo 'SMART' mogelijk zijn (zie punt 3.2).

De indicatoren moeten een basiswaarde hebben die toelaat om de vorderingen te meten op het derde resultaatniveau (impact(s))61; dat wil zeggen:

• basiswaarden moeten het mogelijk maken om de prestaties van de interventie te beoordelen ten opzichte van de vertreksituatie.

• De basiswaarden moeten specifiek zijn voor de interventie: ze moeten tegemoetkomen aan de behoeften en belangen van de belangrijkste betrokken personen.

• De basiswaarden moeten de situatie voor de interventie duidelijk beschrijven; hun (slechte) niveau is een deel van de rechtvaardiging (en dus van de relevantie) van de interventie.

• De basiswaarden moeten toelaten om de mate en kwaliteit van de veranderingen door de interventie te beoordelen.

• De indicatoren moeten beschikken over verificatiemiddelen: de gegevensbron moet gekend zijn, de gegevens moeten kunnen worden ingezameld tegen een redelijke kostprijs en inspanning. Door gebruik te maken van indicatoren die deel uitmaken van een systeem dat ter plaatse al bestaat, kan men de monitoringkosten verminderen en gemakkelijker de behaalde resultaten in het interventiegebied vergelijken met gegevens van buiten het interventiegebied.

Die indicatoren moeten ook beschikken over doelwaarden die moeten worden bereikt, halverwege, aan het einde van de interventie en op langere termijn. De vorderingen van de (eventuele) kwalitatieve indicatoren moeten objectief controleerbaar zijn62.

Net als bij de twee eerste niveaus van de resultaatketen, is de bepaling van indicatoren, van hun basis- en doelwaarden na verschillende tijdsperioden een belangrijke oefening die zelden kan worden gemaakt tijdens de voorbereidende fase van een interventie. Men dient dus aan te stippen dat de indicatoren alsook de verschillende waarden die eraan worden toegekend in het oorspronkelijk TFD louter informatief en voorlopig zijn.

De definitieve indicatoren evenals hun begin- en doelwaarden worden uitgewerkt tijdens het begin van de interventiefase, in participatieve workshops of door middel van enquêtes of andere informatiebronnen.

In de mate van het mogelijke zal men er de voorkeur aan geven gegevens te gebruiken die al worden ingezameld door het statistisch instituut van het partnerland.

Indien een evaluatie met de experimentele methode is gepland, moeten de cijfergegevens voor de verschillende indicatoren ook worden ingezameld bij een controlegroep of contrafeitelijke groep binnen de doelgroep63.

Indien een evaluatie met de quasi-experimentele methode is gepland, moeten de cijfergegevens van de verschillende indicatoren ook worden ingezameld bij een contrafeitelijke groep binnen de doelgroep. Indien de impactindicatoren statistische gegevens zijn die werden gehaald uit het nationaal systeem,

61 Using the Evaluability Assessment Tool ; Guidance Note 11, ILO Evaluation Unit, page 6. 62 Bijvoorbeeld: aan- of afwezigheid van een actieplan, beschikbaarheid of onbeschikbaarheid van een verantwoordelijke,… 63 Het betreft een groep van personen die willekeurig wordt gekozen uit de doelgroep maar die bewust niet geniet van de interventie.

84

ontbreken alleen de doelwaarden, omdat de vertrekwaarden en waarden na een bepaalde periode beschikbaar zijn in de nationale statistieken64.

64 Het klopt dat sommige nationale statistieken nog steeds niet honderd procent betrouwbaar zijn, maar het is ook zo dat op dit gebied al heel wat inspanningen werden gedaan, vaak met de hulp van technische en financiële partners (TFP). Statistici en econometristen beschikken overigens over methodes om de juistheid en betrouwbaarheid na te gaan van de gegevens waarover ze beschikken.


7. Voorstel voor een standaardschema van een TFD van een interventie

Het voorgestelde presentatieschema voor een TFD werd ontworpen voor een samenwerkingsinterventie van het type 'afzonderlijk project'. Om dit schema aan te passen aan interventies van een hoger niveau (landenprogramma, sectoraal of thematisch programma, algemeen programma) zijn slechts enkele kleine wijzigingen nodig indien men zich baseert op het ontwerp van een trapsgewijs logisch kader dat werd uiteengezet in punt 6.1.1. Voor elk element van die trap kan een specifiek TFD worden opgesteld zonder dat er dubbel gebruik is op het vlak van middelen, activiteiten of doelstellingen.

Kader 1: Samenvattende gegevens

Titel van de interventie

Nummers en codes toegekend aan de interventie

Belgische organisatie verantwoordelijk voor de uitvoering

Naam, contactgegevens65, rekeningnummer van de interventie

Verantwoordelijke, contactgegevens

Volledige gegevens van de contactpersoon

Lokale partnerorganisatie verantwoordelijk voor de uitvoering

Naam, contactgegevens, rekeningnummer van de interventie

Verantwoordelijke, contactgegevens

Volledige gegevens van de contactpersoon

Budget

Totaalbudget

Budget Belgisch DG-D

Budget Belgische partner

Bijdrage(n) van de lokale partner(s)

Duur

Totale duur

(Geschatte) startdatum

(Geschatte) einddatum

DAC sectorcode

Algemene doelstelling van de interventie / voorziene impact

Specifieke doelstelling(en) van de interventie / voorziene outcomes

65 Contactgegevens = adres, telefoon, fax, e-mail. Voor organisaties: + website. Voor personen: + titel, naam en voornaam.

86

Thematische marker(s) 66

Kader 2: Logisch kader67

Titel van het project:

Interventielogica

(Voorlopige) meetbare of objectief verifieerbare indicatoren

Verificatie-bronnen

Veronder-stellingen & risico's

Algemene doelstelling (impact) Specifieke doelstelling / outcome 1

Resultaat / output 1.1

Resultaat / output 1.2

Resultaat / output 1.3 Activiteiten specifiek voor 1 Middelen specifiek voor 1

…………. ………….. …………….. ………….. Specifieke doelstelling / outcome n

Resultaat / output n.1

Resultaat / output n.2

Resultaat / output n.3 Activiteiten specifiek voor n Middelen specifiek voor n

Voorafgaande voorwaarden

66 2 voor het thema dat het hoofddoel is; = 1 voor thema's die belangrijke secundaire doelen zijn. 67 Het logisch kader is een samenvattend overzicht van de interventie, het hoeft niet uit te wijden over de activiteiten en middelen

Standaardschema van een FTD


Kader 3: Contextanalyse

Algemene context van het land (of de regio) van de interventie (voor de ANGS, verwijzen naar de gemeenschappelijke contextanalyse). De politieke, sociale, culturele en religieuze elementen vermelden die mogelijk een invloed kunnen hebben op de relevantie, doeltreffendheid, efficiëntie, duurzaamheid en impact van de interventie.

Beschrijving van de specifieke problemen die de interventie wil oplossen, van de participatieve wijze waarop die problemen werden bepaald en waarop de strategieën werden aangenomen om ze op te lossen. Problemenboom en doelenboom (in bijlage)

(In het bijzonder) voor de ANGS: Voorstelling van de ANGS en de specifieke vaardigheden die hier de ideale actor van maken om te helpen de vastgestelde problemen op te lossen. Eventueel SWOT-analyse.

Voorstelling van de lokale partnerorganisatie gekoppeld aan de nodige vaardigheden om te helpen de vastgestelde problemen op te lossen. Eventueel SWOT-analyse.

Analyse van de andere stakeholders volgens hun belang in de interventie en hun beslissingsbevoegdheid over de interventie. Indicatoren voor het zich eigen maken van de interventie door die stakeholders.

Beschrijving van de specifieke context in de hoofdsector van de interventie - met inbegrip van het beleid van het partnerland in die sector

Beschrijving van de specifieke context in de secundaire sector(en) van de interventie - met inbegrip van het beleid van het partnerland in die sector(en)

Verband met de algemene prioriteiten

Verband met het PSRP van het partnerland

Verband met de Belgische strategie in de hoofdsector en secundaire sector(en) van de interventie

Verband en mogelijke synergie met andere ontwikkelingsactiviteiten die worden gesteund door internationale of lokale donoren.

Aantonen dat de interventie op geen enkele wijze nadelig is voor eender welk transversaal thema

Aantonen dat er geen risico's met hoge waarschijnlijkheid en grote gevolgen (meer) zijn, noch cruciale veronderstellingen. Aantonen dat er geen risico's met grote gevolgen en gemiddelde waarschijnlijkheid of risico's met grote waarschijnlijkheid en gemiddelde gevolgen (meer) zijn.

88

Kader 4: Operationele beschrijving van de interventie

Algemene doelstelling

Beschrijving van de algemene doelstelling of verwachte impact.

Beschrijving van de SMART-indicatoren die zullen worden gebruikt om na te gaan of de algemene doelstelling werd gehaald met indien dat mogelijk en zinvol is voorlopige basis- en doelwaarden voor die indicatoren68

Beschrijving

• van de risico's en veronderstellingen om de AD te halen vanuit de specifieke doelstelling(en);

• van de gevolgen op de verwachte impact indien de risico's zich werkelijk voordoen of indien de veronderstellingen niet worden bewaarheid op dit niveau.69

Specifieke doelstelling A

Beschrijving van de specifieke doelstelling 1 of van de verwachte outcome.

Beschrijving van de SMART-indicatoren die zullen worden gebruikt om na te gaan of die specifieke doelstelling werd gehaald met indien dat mogelijk en zinvol is voorlopige basis- en doelwaarden voor die indicatoren

Beschrijving

• van de risico's en veronderstellingen om die specifieke doelstelling te bereiken vanuit tussentijdse resultaten (of outputs) die vereist zijn om die specifieke doelstelling te bereiken;

• van de gevolgen voor die specifieke doelstelling indien de risico's zich werkelijk voordoen of indien de veronderstellingen niet worden bewaarheid op dit niveau.

Verwacht resultaat A01

Beschrijving van het verwachte resultaat 1 (of output) dat vereist is om die specifieke doelstelling te bereiken.

Beschrijving van de SMART-indicatoren die zullen worden gebruikt om na te gaan of dit resultaat werd gehaald met indien dat mogelijk en zinvol is voorlopige basis- en doelwaarden voor die indicatoren

Beschrijving

68 Wij zijn van oordeel dat die indicatoren, maar in het bijzonder hun basis- en doelwaarden alleen op participatieve wijze en aan het begin van de uitvoering definitief kunnen worden vastgelegd. 69 De corrigerende maatregelen die moeten worden genomen om de risico's te beperken op dit niveau vallen onder de bevoegdheid van het team voor het beheer van de interventie



• van de activiteiten A0101 tot A01n die moeten worden uitgevoerd om dit resultaat te bereiken.

• van de risico's en veronderstellingen voor het bereiken van dit resultaat vanaf de geplande activiteiten;

• van de gevolgen voor dit resultaat indien de risico's zich werkelijk voordoen of indien de veronderstellingen niet worden bewaarheid op dit niveau.

• van de maatregelen die zullen worden genomen om de gevolgen te beperken indien de risico's zich werkelijk voordoen of de veronderstellingen niet worden bewaarheid op dit niveau.

Verwachte resultaten A02 tot An

Voor elk resultaat beschrijvingen vermelden van dezelfde aard als die voor resultaat A01

Specifieke doelstellingen B tot n

In het geval er een of meer andere specifieke doelstellingen zijn, voor elke doelstelling beschrijvingen vermelden van dezelfde aard als voor doelstelling A

90

Kader 5: Beheerwijze

In de bepaling van de beheerwijze, rekening houden met ownership, participatieve benadering, duurzaamheid, analyse van risico's en veronderstellingen en resultaatgericht beheer.

5.1. Strategisch beheer

Delen van verantwoordelijkheden tussen de partnerorganisaties, de zetel in België, de lokale vertegenwoordiging, de beheereenheid van de interventie, …

5.2. Dagelijks beheer

Delen van technische en operationele verantwoordelijkheden in de planning, uitvoering en eventuele herziening van het activiteitenplan

Delen van verantwoordelijkheden in het beheer van het binnenlands en uitgezonden personeel

Reglementering die zal worden gebruikt in het geval van overheidsopdrachten

Delen van verantwoordelijkheden op het vlak van monitoring van de resultaatindicatoren, opvolging van de evolutie van de context en opvolging van de risico's & veronderstellingen

Delen van verantwoordelijkheden op het vlak van de narratieve en financiële verslagen.

5.3. Financieel beheer

Delen van verantwoordelijkheden op het vlak van verbintenissen. Drempels voor delegatie van bevoegdheden. Wie ondertekent de bestelbonnen en hoe worden ze ondertekend?

Delen van verantwoordelijkheden op het vlak van betalingen. Drempels voor delegatie van bevoegdheden. Wie ondertekent de cheques/overschrijvingen, ... en hoe worden ze ondertekend?



Kader 6: Backstopping, audit, monitoring en evaluatie(s)

6.1. Backstopping

Hier beschrijven wie zal instaan voor de tijdelijke technische ondersteuning van de interventie, en wanneer en hoe die zal plaatsvinden. Meestal gaat het om kortlopende missies uitgevoerd door een technisch medewerker van de zetel of een onafhankelijk deskundige.

6.2. Audit

Hier beschrijven wie zal controleren of de financiële, boekhoudkundige en (eventueel) administratieve kant verlopen volgens de regels en in overeenstemming met de geldende procedures en reglementen en wanneer en hoe die controles zullen gebeuren.

6.3. Monitoring

In dit deel beschrijven:

• hoe de basiswaarden van de indicatoren zullen worden ingezameld en hoe die indicatoren zullen worden opgevolgd;

• hoe de risico's en veronderstellingen worden opgevolgd:

• hoe de evolutie van de context zal worden opgevolgd;

zowel op lokaal niveau (interventie + eventueel vertegenwoordigingskantoor) als op niveau van de zetel (missies voor monitoring, hun frequentie en doelstelling)

6.4. Evaluatie(s)

Aard van de geplande evaluaties (zelfevaluatie, interne, externe, onafhankelijke evaluatie), hun tijdstip (ex ante, halverwege, aan het eind, ex post), hun voorwerp (wat precies er wordt geëvalueerd), hun doelstelling (waarom men evalueert) en hun gebied (tot welk detailniveau zal men gaan?).



Kader 7: Voorlopig activiteitenplan (Gantt-grafiek)

Voor zover er een zekere flexibiliteit bestaat om bepaalde activiteiten te versnellen of te wijzigen, in het bijzonder om de interventie aan te passen wanneer zich een risico werkelijk voordoet, en om de verwachte outcomes te realiseren binnen de geplande termijnen, heeft het geen zin die planning te gebruiken voor een periode die verder gaat dan de 6 eerste maanden van de uitvoering. Onderstaande grafiek is bij wijze van voorbeeld.

Beschrijving van de activiteit

1ste maand

2de maand

3de maand

4de maand

5de maand

6de maand

3de kwartaal

4de kwartaal

3de halfjaar

4de halfjaar Jaar 3 Jaar... Jaar n-1 Jaar n

Activiteit A0101

Activiteit A0102

Activiteit A01…

Activiteit A0201

Activiteit A02…

Activiteit A…01

Activiteit A… …

Activiteit B0101

Activiteit B01…

Activiteit B…01

Activiteit B… …

… Z070101 Organisatie van de monitoring

Z070102 Studie van de baseline Z070103 Lokale monitoring Z0702 Monitoringopdr

94

achten

Z0703 Evaluatie halverwege en op het einde



Kader 8: Uitstapstrategie

Vanaf de opstelling van het TFD en vanaf de uitvoering moet zodra dat mogelijk is worden nagedacht over een uitstapstrategie. De verschillende punten die men in overweging moet nemen bij de voorbereiding van de periode na de interventie zijn70:

De procedure beschrijven voor de overhandiging en overname van uitrustingen en (eventueel) gebouwen.

De procedure beschrijven voor de overhandiging en overname van de financiële middelen op het einde van de interventie (eventueel budgetoverschot; maar vooral garantiefonds, werkkapitaal, …)

Een beschrijving geven van de activiteiten die moeten worden voortgezet of van de nieuwe activiteiten die nodig zullen zijn om de continuïteit van de resultaten te behouden.

De menselijke middelen beschrijven die nodig zijn om de continuïteit van de resultaten te behouden. Beschrijven wat zal gebeuren met de andere nationale personeelsleden betrokken zijn bij de uitvoering.

Beschrijven waar de financiële middelen vandaan zullen komen die nodig zijn

• voor de werking, het onderhoud en de eventuele vervanging van uitrustingen;

• voor het voortzetten van de activiteiten; en

• voor het behoud van de menselijke middelen.

(verlenging, fase 2, integratie van de activiteiten in een andere interventie, overname door een andere donor, financiering door de partnerregering, forfaitaire participatie van de gebruikers, inkomsten uit verkoop, subsidies enz.)

Beschrijven welke institutionele versterking (institutional strengthening) gepland is om de duurzaamheid te garanderen.

Beschrijven welke capaciteitsversterking van menselijke middelen (capacity building) gepland is om de duurzaamheid te garanderen.

Beschrijven hoe de lessen die werden getrokken uit de interventie benut zullen worden ten voordele van de donor, van de stakeholders en van het publiek.

70 Aangepast van "Guide de gestion des programmes", Danida, septembre 2011.



Kader 9: Budget

9.1. Budget per resultaat Belgische

bijdrage

Lokale

bijdrage Jaar 1 Jaar 2 Jaar … Jaar n-1 Jaar n Totaal %

Specifieke doelstelling A

Resultaat A 01

A 01 01 Budget voor activiteit A 01 01


A 01 … Budget voor activiteit A 01 ...

A 01 n-1 Budget voor activiteit A 01 n-1

A 01 n Budget voor activiteit A 01 n

Resultaat A 02


A 02 … Budget voor activiteit A 02 ...

Resultaat A …

A … … …

Resultaat A n-1

A n-1 01 Budget voor activiteit A n-1 01

A n-1 … Budget voor activiteit A n-1 …

Resultaat A n

A n 01 Budget voor activiteit A n 01

A n … Budget voor activiteit A n …

Specifieke doelstelling B

Resultaat B 01

B 01 01 Budget voor activiteit B 01 01

B 01 … Budget voor activiteit B 01 …

B 01 n-1 Budget voor activiteit B 01 n

B … … …

Algemeen totaal



9.2. Budget van de algemene middelen

Belgisc

he

bijdrag

e

Lokale

bijdrag

e

Jaar

1

Jaa

r 2

Jaar

…

Jaar

n-1

Jaa

r n

Tota

al %

Z 01

Personeel

Z 01 01 Technische assistentie

Z 01 02 Lokaal personeel

Z 01 03 Personeel van de zetel

Z 01 04 Technische backstopping

Z 01 05 Andere …

Z 02

Nieuwbouw

Z 02 01 Materialen

Z 02 02 Werkuren

Z 02 03 Andere …

A … … …

Z 03

Investeringen

Z 03 01 Voertuigen

Z 03 02 Uitrustingen (technische

uitrustingen, computeruitrustingen,

meubilair)

Z 03 03

Software (boeken,

softwarepakketten, …)

Z 03 04 Andere …

Z04 Werking

Z 04 01 Communicatie

Z 04 02 Water en energie

Z 04 03 Verbruiksgoederen

Z 04 04 Voertuigen (brandstof,

smeermiddelen, onderhoud en

reparaties)

Z 04 05

Gebouwen (onderhoud en

schoonmaak)

Z 04 06 Bankkosten

Z 04 07 Andere …

Z 05

Informatie en sensibilisering

Z 05 01 Ontwerp van materiaal

Z 05 02 Fabricatie/drukken van materiaal

Z 05 03 Verspreiding van materiaal

Z 05 04 Andere …

Z 06

Opleidingen

Z 06 01 Lokale opleidingen

Z 06 02 Beurzen

Z 06 03 Andere …

Z 07

Monitoring, audit en evaluatie

Z 04 01

Opstelling van een

monitoringsysteem; in het bijzonder

van basiswaarden

Z 04 02 Lokale administratieve opvolging

Z 04 03 Lokale financiële opvolging

Z 04 04 Monitoringopdrachten

Z 04 05 Evaluatieopdrachten

Z 04 06 Auditopdrachten

Z 04 07 Andere …

Totaal



Kader 10: Monitoringkader

Interventie-

logica Indicatoren

Verificatie-

bron +

verantwoorde

lijke voor de

meting

Basiswaard

e van de

indicatoren

Verwachte (a) en geobserveerde

(o) waarden van de indicatoren,

einde … Waarden van de

indicatoren

halverwege

Verwachte (a) en geobserveerde (o)

waarden van de indicatoren, einde …

Waarde van de

indicatoren op het

einde van de

interventie (jaar n) Ex post waarde van de

indicatoren

jaar 1 jaar 2 jaar … jaar … jaar n-2 jaar n -1

a o a o a o a o a o a o a o a o

Impact I1

I2

I3

Outcome 1 I11

I12

I13

Output 1 I111

I112

I113

Output 2 I121

I122

I123

Output … I1…1

I1…2

I1…3

Outcome … I…1

I…2

I…3

Output…1 I…11

I…12

I…13

Output…2 I…21

I…22

I…23

Output… I… … 1

I… … 2

I… … 3

102

In het ideale geval zou het monitoringkader moeten afgewerkt zijn aan het begin van de interventie, in overleg met de stakeholders. Opdat de interventie evalueerbaar zou blijven, mogen zowel de resultaten op het niveau van outcomes en impact als de indicatoren van die resultaten niet worden gewijzigd gedurende twee evaluatieoefeningen. De aard van de interventie, het tijdstip (begin, midden of einde van de interventie) van de meting, of ook de aard van de indicator (impact, outcome of output) kunnen een rechtvaardiging vormen voor71 lange of minder lange tussenpozen tussen twee opeenvolgende metingen van de waarden van de indicatoren. Om dezelfde redenen mag het aantal indicatoren per impact, outcome of output soms lager zijn dan drie.

71 Willekeurig vastgesteld op 1 jaar in het voorbeeld hierboven.


Lijst van bijlagen

Bijlage A1: referentietermen

Bijlage A2: Bibliografie

Bijlage A3: Tabellen van budgetten

Bijlage A4: Gebruikt analyseschema


Bijlage A1: Referentietermen

A1.1. Introductie

A1.1.1. Definities

De evalueerbaarheid van een samenwerkingsactie wordt als volgt omschreven:

“de mate waarin een activiteit of een programma op een betrouwbare en geloofwaardige manier geëvalueerd kan worden”72;

of nog:

“een stelselmatig proces dat het mogelijk maakt om te achterhalen of de evaluatie van een actie gerechtvaardigd, haalbaar is en kan leiden tot nuttige informatie. De evalueerbaarheid toont niet alleen aan of de evaluatie van een actie zinvol is, maar ook of het uitvoeren van de evaluatie bij kan dragen tot de verbetering van het beheer en van de resultaten van de actie.73”

Voor de noden van de studie en overeenkomstig de wettelijke bepalingen, zullen de definities, criteria, principes en regels gebruikt worden die goedgekeurd werden door de DAC- en OESO-lidstaten, die wijdverbreid zijn binnen de bilaterale en multilaterale ontwikkelingsagentschappen en die vermeld worden in volgende documenten: • DAC-principes voor de evaluatie van de ontwikkelingshulp, OESO 1991 74 • Glossarium van de belangrijkste termen betreffende de evaluatie en het resultaatgericht

beheer; DAC-OESO 2002 • Évaluer la Coopération pour le développement – récapitulatif des normes et standards de

référence (Ontwikkelingssamenwerking evalueren – samenvatting van de referentienormen en –maatstaven); tweede uitgave, OESO (tekst ook beschikbaar in het Engels).

• Normes de qualité pour l’évaluation du développement (Kwaliteitsnormen voor de evaluatie van de ontwikkeling); OESO 2010 (tekst ook beschikbaar in het Engels).

• Méthodologie d’évaluation de l’aide extérieure de la Commission européenne (Evaluatiemethodologie van de buitenlandse hulp van de Europese Commissie) (tekst ook beschikbaar in het Engels).

Uit al deze documenten kan duidelijk afgeleid worden dat een actie evalueerbaar is als ze de mogelijkheid biedt aan externe consultants om zich te allen tijde in de interventiecyclus op een onpartijdige, onafhankelijke, geloofwaardige en nuttige manier uit te spreken over haar relevantie, doeltreffendheid (bereiken van onmiddellijke resultaten, op korte en middellange termijn), efficiëntie (value for money), duurzaamheid en impact.

Glossarium van de belangrijkste termen betreffende de evaluatie en het resultaatgericht beheer; DAC-OESO 2002.

Evaluability Assessment : Examining the readiness of a Program for evaluation ; Juvenile Justice Evaluation Center ; Washington D.C.; 2003.

Tekst in het Nederlands is beschikbaar als bijlage aan het KB van 25 Februari 2010 houdende de oprichting van een dienst bijzondere evaluatie van de Belgische ontwikkelingssamenwerking.

106

A1.1.2. Context en bestaansreden van de studie

Zie hoofdstuk 1 (inleiding)

A1.1.3. Wettelijk en reglementair kader

Het Koninklijk Besluit van 25 februari 2010 houdende de oprichting van een Dienst Bijzondere Evaluatie van de Internationale Samenwerking bepaalt in artikel 2, §1, dat “De Dienst Bijzondere Evaluatie bevoegd is voor de evaluatie van de Belgische ontwikkelingssamenwerking”, en in §2, dat “… de Dienst Bijzondere Evaluatie zijn opdrachten uitvoert conform de principes en standaarden die goedgekeurd werden door de lidstaten van de DAC en de OESO.” Bovendien legt de Wet van 19 maart 2013 betreffende de ontwikkelingssamenwerking in artikel 33 vast dat de Koning de nadere regels bepaalt die tot doel hebben deze evaluatiesystemen te harmoniseren en te certificeren. In de memorie van toelichting van deze wet wordt bovendien bepaald dat: “de certificatie een kwaliteitswaarborg beoogt die toevertrouwd zal worden aan de Bijzonder Evaluator…”. Het Koninklijk Besluit van 25 april 2014 tot wijziging van het Koninklijk Besluit van 25 februari 2010 houdende de oprichting van een Dienst Bijzondere Evaluatie van de Internationale Samenwerking bevestigt en verduidelijkt dit mandaat in artikel 2/1. In de 3° van dit artikel wordt er vermeld dat “de Dienst Bijzondere Evaluatie belast is met de ex-post evaluatie van de geharmoniseerde monitoring- en evaluatiesystemen van de actoren van de Belgische Ontwikkelingssamenwerking.” Bepalingen die tot doel hebben om de interne evaluatie en monitoring van de acties en van de resultaten van de BTC, alsook van de indirecte actoren te waarborgen werden daarnaast ook respectievelijk opgenomen in het Koninklijk Besluit houdende instemming met het 4de beheerscontract, in het Koninklijk Besluit betreffende de cofinanciering van de niet-gouvernementele actoren alsook in de strategische nota ‘ontwikkelingsresultaten’.

A1.2. Voorwerp van de studie

Het voorwerp van de studie is de evalueerbaarheid van de interventies, conform de definitie onder punt A1.1.1.

A1.3. Doelstellingen van de studie

De doelstelling van de studie is drieledig: • Samen met de betrokken partners de noodzakelijke, toereikende en realistische

voorwaarden bepalen die het mogelijk maken om samenwerkingsinterventies op een objectieve manier te evalueren;

• Lessen trekken die nuttig zijn voor de harmonisering en de certificatie van de evaluatiesystemen van de actoren waarin voorzien werd door de wetgever; en

• Nagaan in welke mate bovenvermelde evalueerbaarheidsvoorwaarden (al dan niet) overeenstemmen met de voorwaarden die noodzakelijk zijn voor de monitoring en het resultaatgericht beheer van de interventies en met voornoemd wettelijk en reglementair kader.

Op operationeel vlak, dient deze studie nuttig te zijn:

Bijlage A


• Voor de Dienst Bijzondere Evaluatie om deze in staat te stellen de toepassing van de harmonisatiemechanismen waarin voorzien werd door de wetgever te bepalen en vervolgens op te volgen. De toepassing van de geharmoniseerde evaluatiemethodes zal geleidelijk kunnen worden opgenomen in de certificatiecriteria waarin eveneens voorzien werd door de wetgever.

• Voor de diensten van de DG-D en voor de Attachés van de internationale samenwerking. Deze studie zou ze moeten helpen om de voorwaarden te bepalen die toereikend en noodzakelijk zijn voor een goede monitoring van de acties en voor kwaliteitsvolle evaluaties. De studie moet het ook mogelijk maken om te oordelen over het vermogen van de betrokken partijen om de vooruitgang op elk resultaatniveau (output, outcomes, impact) op te volgen en hierover te rapporteren.

• Voor de partnerorganisaties van de bilaterale en niet-gouvernementele samenwerking, om hen de mogelijkheid te geven om de monitoring, het resultaatgericht beheer en de evaluatie beter te integreren nadat de interventies geformuleerd werden.

De algemene doelstelling van de studie bestaat er dus niet in om te bepalen of de huidige acties al dan niet evalueerbaar zijn, maar wel om alle toekomstige acties op een niet al te lange termijn evalueerbaar te maken. De evalueerbaarheid van individuele casestudies is niet een doelstelling van de studie; toch zullen de uitvoerders van de bestudeerde cases op een individuele en vertrouwelijke manier op de hoogte worden gebracht van hun resultaten op het vlak van de evalueerbaarheid.

A1.4. Studiegebied

A1.4.1. Conceptueel kader

Het concept van evalueerbaarheid kan bestudeerd worden op de twee volgende verschillende manieren die elkaar ook aanvullen:

1) De ‘theoretische’ evalueerbaarheid heeft betrekking op het design van het project, met inbegrip van zijn interventielogica / veranderingstheorie. De theoretische evalueerbaarheid nagaan betekent eigenlijk nagaan of het mogelijk is om de actie te beoordelen zoals deze beschreven wordt in het technisch en financieel dossier (TFD), het document waarin de interventie wordt voorgesteld of in om het even welk ander document dat werd opgesteld voor de uitvoering van de interventie. De ‘theoretische’ evalueerbaarheid van een interventie kan bestudeerd worden op basis van een documentatiestudie die nagaat of de doelstellingen en de middelen om hiertoe te geraken duidelijk zijn beschreven. Het onderzoek van de theoretische evalueerbaarheid wordt in deze zin op de volgende manier door de DAC en de OESO verduidelijkt: “de beoordeling van de evalueerbaarheid veronderstelt dat eerst de geplande activiteit bestudeerd moet worden om op die manier na te gaan of de doelstellingen ervan op een gepaste manier gedefinieerd zijn en of de resultaten kunnen worden nagegaan.75”

2) De ‘praktische’ evalueerbaarheid buigt zich over de gegevens die effectief werden verzameld en beschikbaar zijn, alsmede over de geloofwaardigheid en de objectiviteit van deze gegevens. Deze evalueerbaarheid bestudeert ook de gebruikte systemen en de middelen die vrijgemaakt worden om deze gegevens te verzamelen. Ze buigt zich ten slotte ook over de contextuele elementen die de evaluatie kunnen bevorderen, tegenwerken of zelfs onmogelijk maken. Om de praktische evalueerbaarheids-

75 Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats (Glossarium van de belangrijkste termen betreffende de evaluatie en het resultaatgericht beheer); DAC-OESO 2002.

108

voorwaarden te kunnen bepalen, dienen er casestudies te worden uitgevoerd over de realiteit op het terrein.

Om aan de verantwoordelijken van de programmatie de nodige instrumenten te kunnen geven die het mogelijk maken om de ‘monitoring-evaluatie-rapportering van de resultaten’ van interventies te beoordelen en op te volgen, dient er eveneens rekening te worden gehouden met de volgende uitbreidingen van het concept van evalueerbaarheid:

• Onderzoek naar het nut van een evaluatie van een bepaalde interventies.

• Onderzoek van een bepaalde actie om zijn resultaatgericht beheersysteem en systeem van opvolging-evaluatie te kunnen verbeteren.

• Onderzoek van een actie in het kader van een kwaliteitswaarborgproces: indien het onderzoek van de evalueerbaarheid in dit kader wordt uitgevoerd, kan er worden nagegaan of alle elementen aanwezig zijn die noodzakelijk zijn voor de monitoring en voor de evaluatie en kunnen ook de eventuele leemten worden opgevuld.

A1.4.2. Te onderzoeken modaliteiten

De studie zal zich richten op de acties die gefinancierd worden door de Federale Staat en die een fiche hebben in de gegevensbank ODA.BE:

• Individuele projecten

• Programma’s van de niet-gouvernementele actoren

• Programma’s van het Belgisch Fonds voor de Voedselzekerheid

• Sensibiliseringsacties rond ontwikkelingssamenwerking.

• Acties van gedelegeerde samenwerking.

• Beurzen

• Humanitaire hulpacties

• Steunprogramma’s voor de privésector.

Elke samenwerkingsmodaliteit die hierboven niet specifiek vermeld wordt, valt buiten het studiegebied.

A1.4.3. Te onderzoeken actoren

De studie zal zich richten op de actoren van de gouvernementele en niet-gouvernementele samenwerking die bedoeld worden in artikel 2, 4°, 5° en 6° van de wet van 19 maart 2013 betreffende de Ontwikkelingssamenwerking.

Aangezien de programma’s van het Belgisch Fonds voor de Voedselzekerheid echter ook de deelname van een multilaterale organisatie kunnen impliceren, zal de evalueerbaarheid van dit programma echter in haar geheel bestudeerd worden.

Buiten dit specifiek geval, vallen de projecten en programma’s van de multilaterale organisaties en van de ontwikkelingsbanken die ge(co)financierd worden door België uitdrukkelijk buiten het studiegebied.

Bijlage A


A1.4.4. Tijdskader

De beoordeling van de evalueerbaarheid van een specifieke interventie kan op verschillende ogenblikken tijdens het beheer van de interventiecyclus worden uitgevoerd:

1) Bij de formulering. De beoordeling is dan louter theoretisch en heeft tot doel om de kwaliteit van de formulering nog voor de goedkeuring te verbeteren.

2) Bij de implementatie van het monitoring – evaluatiesysteem, tijdens de opstartfase / jaar nul. De beoordeling gaat dan hand in hand met de praktische implementatie van het M-E-systeem om deze op die manier te verbeteren.

3) Net voor een evaluatie. De beoordeling heeft dan tot doel om na te gaan of de interventie een evaluatie waard is en of een evaluatie nuttige inzichten kan verschaffen.

4) Tijdens een evaluatie. Dit wordt bijna door alle evaluatoren gedaan wanneer ze de beperkingen en moeilijkheden van hun mandaat bestuderen. De evaluatieverslagen bevatten waardevolle informatie in dit verband.

De evalueerbaarheid zal bestudeerd worden op basis van een representatieve steekproef van acties die op het ogenblik van de studie aan de gang zijn. De elementen die nodig zijn om de doelstellingen van deze studie te behalen en die een bezoek op het terrein vergen, zullen, in de mate van het mogelijke, bestudeerd worden op basis van acties die over ‘halfweg’ zijn.

A1.4.5 Geografisch kader

De casestudies zullen in overleg met de leden van het begeleidingscomité gekozen worden in België (studiebeurzen, acties ‘noord’, …) en in drie partnerlanden van de bilaterale of niet-gouvernementele samenwerking, met name de Democratische Republiek Congo, Rwanda en Benin.

A1.5. Aanpak en methode

A1.5.1. Algemene aanpak

De studie gebeurt in verschillende fases en buigt zich over de theoretische aspecten en over de implementatie van de monitoring-evaluatie van de interventies die ge(co)financierd worden door de Belgische Ontwikkelingssamenwerking.

De theoretische evalueerbaarheid zal reeds bestudeerd zijn door het documentair onderzoek van technische en financiële dossiers (TFD), van documenten waarin de interventie wordt voorgesteld of van om het even welk ander gelijkaardig document dat werd opgesteld voor de tenuitvoerlegging.

De praktische evalueerbaarheid zal bestudeerd worden via het documentatieonderzoek van de documenten die opgesteld werden tijdens de tenuitvoerlegging en naar aanleiding van missies op het terrein. Belangrijke opmerkingen:

De resultaten van de individuele casestudies zullen enkel kenbaar worden gemaakt aan de uitvoerders van de betrokken interventies.

110

Zowel de documentaire studie als de bezoeken op het terrein dienen zich te beperken tot het verzamelen van informatie die nuttig is om de doelstellingen van de studie te kunnen bereiken en moeten zich tevens uitspreken over de kernvragen.

Op geen enkel ogenblik mag er worden overgegaan tot een eigenlijke evaluatie van de casestudies.

A1.5.2. Steekproeftrekking van de casestudies

De interventies die als casestudie hebben gediend om zich uit te kunnen spreken over de theoretische evalueerbaarheid werden als volgt gekozen:

- Eerst werden alle lopende interventies in 2013 (ofwel 2460 acties) in een lijst opgenomen en genummerd van 1 tot 2460.

- Vervolgens werd een lijst gemaakt van 200 willekeurige getallen tussen 1 en 2460.

- De interventies gelinkt aan de willekeurige getallen, werden achtereenvolgens op de volgende punten getoetst:

o Binnen of buiten het studiegebied dat gedefinieerd werd onder B4. De interventies van core funding voor de multilaterale organisaties of de interventies die gefinancierd worden door de provincies en de gemeenten vallen buiten het studiegebied.

o Beschikbaarheid of potentiële toegang tot de documenten die betrekking hebben op de actie (programmadocumenten, technische en financiële dossiers, activiteitenverslagen…). Indien de interventie betrekking heeft op een project dat deel uitmaakt van een programma, werd er rekening gehouden met het volledige programma. Indien de interventie betrekking heeft op een programma dat in 2013 afgerond werd, dan werd er rekening gehouden met het programma dat in 2014 begon.

o Het land van de interventie. Indien de interventie betrekking had op een (sub-)programma dat deel uitmaakt van een algemeen programma van meerdere landen, dan werd er rekening gehouden met alle landen van het programma.

• De resultaten werden opgenomen in een Excelblad om zo een toereikende lijst te bekomen van interventies die ondernomen werden in 3 samenwerkingslanden – met name Benin, de D.R.C en Rwanda – en in België (activiteiten ‘Noord’ en programmabeheer). Om voor zo veel mogelijk verscheidenheid te zorgen, werd de steekproef van de acties aangevuld door ondervertegenwoordigde samenwerkingsmodaliteiten/ actoren.

De casestudies die tot doel hebben om een oordeel te vellen over de evalueerbaarheid in de praktijk en om de doelstellingen van deze studie te bereiken, zullen worden gekozen in het begin van de derde fase van de studie. Dit zal gebeuren in onderling akkoord tussen de leidende dienst, de leden van het begeleidingscomité en de consultant. Hierbij zal ook rekening worden gehouden met de volgende elementen:

• Geselecteerde landen: Benin, de D.R.C., Rwanda en België.

• Reeds bestudeerde acties in het kader van de theoretische evalueerbaarheid

• Verscheidenheid aan modaliteiten en actoren.

• Een totaal van 40 acties: 10 in België en (gemiddeld) 10 in elk van de bezochte landen.

Bijlage A


A1.6. Studiefases

A1.6.1. Fase 1: Analysekader van de theoretische evalueerbaarheid

Deze fase werd intern uitgevoerd door de Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking. Deze fase bestond uit:

• Het lezen van documenten die het wettelijk en reglementair kader vormen van de Belgische samenwerking op het vlak van monitoring en evaluatie.

• Het lezen van een gespecialiseerde bibliografie over de methodes aangaande de monitoring, de evaluatie en het resultaatgericht beheer en over de beoordeling van de evalueerbaarheid.

• Ontwikkeling van een analysekader van de theoretische evalueerbaarheid van de acties.

• Toetsing van dit analysekader aan een beperkte steekproef van 6 interventies. Deze eerste fase heeft het voorwerp uitgemaakt van een verslag.

A1.6.2. Fase 2: studiefase van de theoretische evalueerbaarheid

Tijdens de studiefase van de theoretische evalueerbaarheid, die eveneens intern uitgevoerd werd door de DBE, werd elke geselecteerde actie, haar context en haar specifiek karakter getoetst aan het analysekader dat in fase 1 ontwikkeld werd. Er werd een theoretische evalueerbaarheidsfiche opgesteld na raadpleging van de documenten en verslagen betreffende de voorbereiding van de interventies (verslag van formulerings- en identificatiemissie, TFD, programmadocumenten van ANGS). Net als bij de eerste fase wordt nu het algemeen resultaat samengevat in een tussentijds verslag. Dit verslag zal met verschillende stakeholders besproken worden in het Begeleidingscomité. Dit tussentijds verslag zal het volgende omvatten: • Een overzicht van de inzichten met betrekking tot de doelstellingen van de studie en die

bekomen werden na het onderzoek van de theoretische evalueerbaarheid. • De assumpties die dienen te worden nagegaan tijdens de missies op het terrein.

A1.6.3. Fase 3: studiefase van de praktische evalueerbaarheid

Deze fase begint met de bepaling van de definitieve steekproef van de interventies waarvan de praktische evalueerbaarheid bestudeerd zal worden en met het opstellen van de fiches/vragenlijsten voor de missies op het terrein. De missies op het terrein zullen worden voorbereid: • aan de hand van interviews van

o DG-D: geografische en thematische diensten die betrokken partij zijn bij de casestudies.

o DG-D: dienst kwaliteit en resultaten.

112

o BTC: geografische en thematische desks die betrokken partij zijn bij de casestudies.

o BTC: verantwoordelijke voor de kwaliteit/evaluatie. o ANGS: beheerders die verantwoordelijk zijn voor de casestudies. o ANGS: personen die verantwoordelijk zijn voor de monitoring-evaluatie.

• Via de bestudering van de voorbereidingsdocumenten en de documenten over de monitoring-evaluatie die beschikbaar zijn voor de casestudies.

• Via een snelle studie van de algemene context van de te bezoeken landen, van de sectorale context van de casestudies en van hun specifieke context.

Eigenlijke missies: • De (lopende) casestudie-interventies observeren en ze beoordelen op het vlak van de reële

evalueerbaarheid op het terrein. • Het vermogen van het project/programma beoordelen om betrouwbare gegevens te

verzamelen en om deze te analyseren, en beoordelen in welke mate het beheer resultaatgericht is.

• De factoren identificeren die de evalueerbaarheid van de interventie beperken en bevorderen.

• De plaatselijke contextuele elementen bestuderen die een invloed hebben op de evalueerbaarheid van de interventies.

• Voor elke casestudie desgevallend bepalen tot op welk niveau (activiteiten, outputs, outcomes, impact) een evaluatie haalbaar, relevant en nuttig is.

• Voor elke casestudie sleutelpersonen ontmoeten die in staat zijn om kritische informatie te verschaffen over de tenuitvoerlegging van het systeem van monitoring-evaluatie: gegevensverzameling, gegevensanalyse, resultaatgericht beheer (nut van de gegevens): beheerders van de (Belgische en/of nationale) acties, technische assistenten, deskundigen, leden van de overlegstructuren, begunstigden.

• Voor elk bezocht land de verschillende personen (buitenlanders of plaatselijke bewoners) ontmoeten die betrokken zijn bij de voorbereiding, de monitoring en de evaluatie van de bestudeerde acties: Attaché Ontwikkelingssamenwerking, relevante ministeries, betrokken plaatselijke overheden.

• De belangrijkste vaststellingen per land voorstellen tijdens een plaatselijke debriefingsvergadering.

• Een definitieve evalueerbaarheidsfiche opstellen per bestudeerde actie. Deze fiche zal enkel bezorgd worden aan de uitvoerders van desbetreffende acties.

A1.6.4. Fase 4: analyse en samenvatting

Op basis van de vorige fases, een voorstel van eindverslag opstellen met daarin: • Een samenvatting van de vaststellingen die werden gedaan op basis van de casestudies:

• De minimale evalueerbaarheidsvoorwaarden bepalen, alsook in welke mate de bestudeerde acties aan deze voorwaarden voldoen.

• De goede praktijken kapitaliseren die vastgesteld werden met betrekking tot de voorbereiding en de tenuitvoerlegging van het systeem van monitoring en evaluatie,

• Een inventaris maken van de slechte praktijken en van de belangrijkste gebreken die werden vastgesteld met betrekking tot de voorbereiding en de tenuitvoerlegging van het systeem van monitoring en evaluatie; de hoofdoorzaken achterhalen die ervoor zorgen dat een actie niet aan de minimale evalueerbaarheidsvoorwaarden voldoet

Bijlage A


(technische expertise, financiële redenen, onnauwkeurigheden in het reglementair kader)

• Een conclusie over alle aspecten van de monitoring-evalueerbaarheid

• Aanbevelingen om de evalueerbaarheid in de toekomst te verbeteren • De inhoud van het verslag moet ook aantonen dat de verschillende doelstellingen van de

studie, die nader bepaald werden onder punt B3, wel degelijk behaald werden

Het ontwerp van eindverslag zal besproken worden in het begeleidingscomité (zie punt B 7.3 hieronder); waarna een definitief eindverslag zal worden opgesteld.

A1.7 Verantwoordelijkheid voor het beheer en de monitoring van de studie

• De Dienst Bijzondere Evaluatie (S4) is de dienst die de studie openbaar zal maken en tevens zal instaan voor de administratieve sturing van het contract. Deze dienst vertegenwoordigt de aanbestedende dienst en is in deze hoedanigheid de leidend ambtenaar van de studie. In die zin, zal deze dienst ook de gelijkvormigheid van de studie nagaan (op basis van het wettelijk kader en van het bestek), alsmede de kwaliteit van het proces en de opleveringen van studie.

• S4 beheert het hele proces van begin tot einde en daarom:

o Is ze verantwoordelijk voor de procedure van de openbare aanbesteding (voorbereiding van het bestek, de gunning van de aanbesteding, machtiging tot uitbetaling van de facturen, enz.)

o Staat ze in voor de gelijkvormigheid en de coherentie van de studie, vanaf de Terms of Reference tot het afdrukken en het verspreiden van het eindverslag.

o Coördineert en stuurt ze de activiteiten van de verschillende actoren (begeleidingscomité en consultantteam); bereidt ze de vergaderingen voor en zit deze ook voor, stelt ze de verslagen ervan op, beheert ze eventuele conflicten, enz.

o Superviseert en controleert ze de kwaliteit van het werk tijdens de verschillende fases (onder andere: zich ervan vergewissen dat de conclusies feitelijk en methodologisch goed onderbouwd zijn)

o Staat ze in voor het goede verloop van de studie (onder andere: het werk van de consultants en hun toegang tot de informatiebronnen bevorderen)

o Staat ze borg voor de onafhankelijkheid van de consultants. Ze vergewist zich er echter ook van dat er rekening wordt gehouden met de opmerkingen en de adviezen van de stakeholders en indien dat niet zo is voor bepaalde opmerkingen of adviezen, zorgt ze ervoor dat de consultants hierop een met reden omkleed antwoord geven.

o Keurt ze het eindverslag goed door gebruik te maken van een evaluatierooster (en keurt ze de laatste betalingen voor geleverde diensten goed).

o Verspreidt ze de resultaten van de studie en vraagt ze een antwoord van het management.

o Organiseert ze de uiteindelijke presentatiesessies.

• S4 is in haar hoedanigheid van leidend ambtenaar als enige verantwoordelijk voor het voeren van deze studie.

114

A1.7.2. Stakeholders (of betrokken actoren)

• De stakeholders zijn de individuen, groepen of organisaties die verantwoordelijkheden en/of rechtstreekse of onrechtstreekse belangen hebben bij het voorwerp van deze studie (project, programma, sector, land, enz.). De resultaten van deze studie kunnen de stakeholders al dan niet aanbelangen. Deze stakeholders worden geraadpleegd tijdens de verschillende fases van de studie om hen de mogelijkheid te geven een advies te geven over de referentietermen en over wat er werd voortgebracht (onder andere: tijdelijke verslagen). In bepaalde gevallen wordt hun medewerking gevraagd voor de informatieverzameling (en voor de organisatie van terreinmissies). Ook kunnen ze bij afwezigheid van de S4 of andere stakeholders geraadpleegd worden door de consultants. Sommige van deze stakeholders kunnen leden zijn van het Begeleidingscomité. Hun selectie/uitnodiging om deel te nemen aan dit comité valt onder de verantwoordelijkheid van de S4.

• Voor deze studie zijn de stakeholders de diensten van de DG-D die de bilaterale en niet-gouvernementele samenwerking beheren, de diensten van de DG-D die instaan voor de controle van de kwaliteit en de resultaten, de verantwoordelijken van de interne evaluatie van de BTC, de federaties van NGO’s en andere actoren uit de niet-gouvernementele samenwerking.

• De Dienst Bijzondere Evaluatie is uitzonderlijk ook een stakeholder bij deze studie.

A1.7.3. Het begeleidingscomité

• De Dienst Bijzondere Evaluatie zal een begeleidingscomité (BC) samenstellen dat bestaat uit vertegenwoordigers van de betrokken actoren en onafhankelijke deskundigen. Dit comité draagt bij tot de kwaliteit, de geloofwaardigheid en het nut van de studie. Het geeft een advies over de overwogen methodologie, de vaststellingen, de conclusies en de aanbevelingen van de studie. Desgevallend verbetert het de informatie van de consultants of vult het deze informatie aan.

• De DBE ziet toe op de gemengde samenstelling van dit comité

• Zullen lid zijn van dit comité

- Minstens twee leden van de Dienst Bijzondere Evaluatie

- Meerdere leden van de DG-D die betrokken en/of geïnteresseerd zijn in het thema (inzonderheid de dienst D4.3).

- Vertegenwoordigers van de BTC en actoren van de niet-gouvernementele samenwerking.

• Het BC wordt samengeroepen, voorbereid en voorgezeten door de Dienst Bijzondere Evaluatie die er ook de verslagen van opstelt.

• Het BC is een ‘technische’ werkgroep die een mandaat heeft gekregen om na te denken en voorstellen te doen. Het comité dient het studieproces op te volgen, te begeleiden en te bevorderen. Door de verscheidenheid in zijn samenstelling, kan het BC het studieproces met zijn verschillende standpunten verrijken. Het BC waarborgt de toegang van de consultants tot de nuttige informatiebronnen (documentatie, gegevensbanken en personen). De leden van het BC spelen de rol van tussenpersoon met de diensten, directies en instellingen waar ze deel van uitmaken (DG-D, BTC, onrechtstreekse actoren). Zo brengen ze hun dienst en/of directie op de hoogte van het proces van de studie en van wat deze studie heeft voortgebracht. Ze bevorderen ook de toegang tot informatie, de organisatie van interviews, enz. Ze dragen actief bij tot de verspreiding van de conclusies en aanbevelingen van de evaluatie.

Bijlage A


• Aangezien de stakeholders deel uitmaken van het BC, worden ze aangespoord om zich de resultaten van de studie eigen te maken. De Dienst Bijzondere Evaluatie zal zorgen voor een evenwicht tussen het participatieve karakter van de studie en de efficiëntie van het proces (er voor zorgen dat de studie tijdig resultaten voortbrengt).

A1.8. Studieteam

Zoals reeds gezegd worden fases 1 en 2 intern uitgevoerd door de Dienst Bijzondere Evaluatie. De prestaties betreffende fases 3 en 4 van de studie dienen te worden uitgevoerd door een team van onafhankelijke consultants en maken het voorwerp uit van deze openbare aanbesteding. Het feit dat deze consultants reeds hebben deelgenomen aan de evaluatie van acties van de Belgische samenwerking en dat ze op die manier ervaring hebben met de vastgestelde moeilijkheden is een pluspunt. De consultants kunnen echter geen casestudie toegewezen krijgen die ze reeds elders geformuleerd of geëvalueerd hebben. De expertise zal zo veel mogelijk kennis moeten combineren • Op het vlak van monitoring & evaluatie van acties, • Met betrekking tot het beheer van de samenwerkingsinterventiecyclus, en • Aangaande de landen en traditionele sectoren waarin de Belgische

Ontwikkelingssamenwerking actief is. De consultants moeten ervaring kunnen voorleggen in evaluaties op het terrein. Om de documenten goed te kunnen begrijpen die werden opgesteld door de Belgische administratie en in de verschillende landen die geselecteerd werden voor de casestudies is het noodzakelijk dat er binnen het consultantteam een actieve kennis is van het Frans, het Nederlands (moedertaalniveau), het Engels (gevorderd niveau) en het Spaans (gevorderd niveau). Dezelfde taalkundige vereisten zijn van toepassing voor de verschillende vertalingen van het definitief eindverslag. Er dient een gemengde samenstelling te zijn binnen het team dat verantwoordelijk zal zijn voor de studie. De team leader moet ervaring hebben in het beheer van vergelijkbare studies en in teammanagement. Hij of zij moet ook op de hoogte zijn van de laatste nieuwe aanpakken op het vlak van beheer, monitoring en evaluatie van interventies (resultaatgericht beheer, outcome mapping, most significant change, theory based evaluation, kwantitatieve methodes, …) In elk van de landen die bezocht worden voor de casestudies is tevens de aanwezigheid van een plaatselijke deskundige vereist.

A1.9. Indicatief chronogram

Fase 1 van de studie werd reeds intern uitgevoerd. Fase 2 (theoretische evalueerbaarheid) wordt momenteel uitgevoerd en zal worden afgerond in december 2014. Het verslag over deze fase zal tijdig worden bezorgd aan de opdrachtnemer. De aanbesteding van de diensten die vereist zijn voor de uitvoering van fases 3 en 4 zal worden gegund aan een externe consultant. De prestaties zullen beginnen in januari 2015.

116

A1.10. Verslagen

B10.1. Aard van de verslagen

De studie zal het volgende voortbrengen:

• Een methodologisch kader op het einde van fase 1

• Een tussentijds verslag en theoretische evalueerbaarheidsfiches voor de acties die bestudeerd werden op het einde van de studiefase (fase 2).

• De praktische evalueerbaarheidsfiches voor de bezochte acties en de PowerPointpresentaties van de debriefings op het einde van de missie (fase 3).

• Een voorstel van eindverslag en een eindverslag (fase 4).

A1.10.2 Structuur van het eindverslag

De gedetailleerde structuur van het eindverslag zal worden afgesproken tijdens de studie. Het overzichtsplan van het verslag dient echter de volgende onderdelen te bevatten:

• Samenvatting

• Context van de studie

• Samenvatting van de antwoorden op de vragen betreffende de evalueerbaarheid van de casestudies.

• Andere vaststellingen

• Lessen (in de zin van de definitie van het Glossarium van de DAC)

• Conclusies

• Aanbevelingen; voornamelijk een voorstel van noodzakelijke en toereikende voorwaarden en van te nemen maatregelen die moeten leiden toe een theoretische en praktische evalueerbaarheid van een actie die door België ge(co)financierd wordt.

• Verplichte bijlage1: Referentietermen

Het eindverslag zal kort moeten zijn (hoogstens 60 pagina’s, bijlagen niet inbegrepen). De extra informatie over de context, het programma of de globale aspecten van de methodologie en van de analyse zal in de bijlagen worden vermeld.

De bijlagen dienen het volgende te omvatten: de methodologie, de vragenlijsten, de evaluatiecriteria, de lijst van personen die ontmoet werden, de documentatielijst met inbegrip van de eventuele bibliografie, de ToR, de opmerkingen die geformuleerd werden met betrekking tot het eindverslag en waarmee geen rekening werd gehouden door de consultants en de redenen waarom ze hier geen rekening mee hebben gehouden, elke andere informatie die belangrijk is voor de analyse of de tabellen.

A1.10.3. Kwaliteit

De verslagen zullen worden opgesteld in de stijl en de lay-out die opgegeven werden door de Leidend Ambtenaar.

De verslagen dienen van hoogstaande kwaliteit te zijn. De resultaten, de analyse, de conclusies en de aanbevelingen zullen uitgediept moeten worden. Deze verslagen moeten

Bijlage A


blijk geven van een methodische aanpak et de verschillende onderdelen van een redenering moeten duidelijk kunnen worden afgeleid.

De verslagen zullen door de leidende dienst aan een kwaliteitswaarborgrooster onderworpen worden dat tijdig aan de consultants zal worden bezorgd.

A1.10.4. Stiptheid

De verslagen die ter evaluatie worden voorgelegd aan de verschillende vergaderingen van het begeleidingscomité moeten in het bezit zijn van de aanbestedende dienst minstens 6 werkdagen voor de datum die in onderling akkoord door het comité werd vastgesteld.

A1.10.5. Taal van de verslagen

De voorlopige verslagen mogen naar keuze van de consultant in het Frans of in het Nederlands worden opgesteld.

Het eindverslag zal in het Frans of in het Nederlands worden opgesteld en vertaald worden in de andere taal.

Een samenvatting van twee pagina’s zal moeten worden voorbereid in het Frans, het Nederlands en het Engels.

De PowerPointpresentaties in België dienen deels in het Frans en deels in het Nederlands te worden gegeven en hierbij zal een zeker evenwicht tussen beide talen moeten worden nageleefd.

De PowerPointpresentaties over de debriefing van de terreinmissies moeten worden gegeven in een internationale taal van het betrokken land.

De vertalingen moeten worden gemaakt door de consultant; voor de Franstalige en de Nederlandstalige versies verplicht door een teamlid waarvan het de moedertaal is.

A1.11. Bibliografie

Zie bijlage A2 hieronder


Bijlage A2: Bibliografie

- DFID Report, 2013. “Planning evaluability assessments. A synthesis of the literature with recommendations.” Report of a study commissioned by the Department of International Development.

- Laura C. Leviton, Laura Kettel Khan, Debra RAD, Nicola Dawkins, and David Cotton; “Evaluability Assessment to Improve Public Health Policies, Programs and Practices”; Annual Review of Public Health, 2010.

- UNIFEM Evaluation Unit ; 12/2009 ; “Guidance Note on Carrying Out an Evaluability Assessment”.

- ADE (Analysis for Economic Decision), CRED (Centre de Recherche en Economie du Développement), 2013. « Evaluation ex-post d’impact de 4 projets de coopération gouvernementale ».

- ITAD ltd, the Overseas Develoment Institue, 2000. “The Evaluability of Democracy and Human Rights Projects: A logframe-related assessment” (Sida studies in evaluation).

- Michael S. Trevitan and Yi Min Huang, Washington state University, Pullman, Washington; “Evaluability Assessment: A Primer”.

- Mott MacDonald Ltd, HLSP, 2010. Evaluability Study of Partnership Initiatives - Norwegian Support to Achieve Millennium Development Goals 4 & 5 (Norad evaluation department).

- Wholey J. S., Hatry H. P., Newcomer K. E., 2010. Handbook of practical program evaluation.

- “Evaluability Assessment: Examining the readiness of a program for evaluation.” http://www.jrsa.org/pubs/juv-justice/evaluability-assessment.pdf

- Wilfreda E. Thurston, Jennifer Graham, University of Calgary, Jennifer Hatfield, “Evaluability Assessment ; A Catalyst for Program Change and Improvement”; June 2003.

- “Evaluability-is it Relevant for EBRD?”, European Bank for Reconstruction and Development, June 2012.

- UN Office for Drugs and Crime: “Evaluability assessment template”.

- “Guidance Note on Carrying Out an Evaluability Assessment”, UNIFEM Evaluation Unit, December 2009.

- “Using the Evaluability Assessment Tool”, International Labour Organization –Evaluation Unit, Guidance Note 11, December 2011.

- “Tools and Guidelines for Improving the Evaluability of INGO empowerment and Accountability Programmes”; Center for Development Impact, March 2013.

- “Strategienota Ontwikkelingsresultaten”, DG-D, Juni 2014

120

- “Checklist M&E system at sector level”, (Powerpoint) Nathalie Holvoet & Liesbeth Inberg, IOB Institute for Development Policy and Management

- “MORE Results. Lignes directrices en matière de monitoring et de revue des résultats. Partie 1 : Monitoring et Evaluation – approche et système” ; CTB Agence belge de Développement ; 2013.

- “MORE Results. Lignes directrices en matière de monitoring et de revue des résultats. Partie 2 : More Results au niveau de l’intervention” ; CTB Agence belge de Développement ; 2013.

- « Indicateurs d’impact des projets de gestion durable des terres »; AFD, Document de travail N°139, septembre 2014

- « Guide d’élaboration d’un Programme Indicatif de Coopération » ; SPF AE, CE et CD, Bruxelles ; décembre 2008.

- Service de l’évaluation spéciale (2013), « Méta-évaluation des programmes des acteurs non-gouvernementaux », SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles.

- « Manuel pour l’application de la planification des interventions par objectifs (PIPO) à l’AGCD » ; deuxième édition, mars 1991.

- “ Promoting a Harmonized Approach to Managing for Development Results: Core Principles “ ; Second international roundtable, Marrakesh 2014.

- “Considérations générales sur l’évaluation de l’impact” , ministère des Affaires étrangères et européenne; République française, 2008.

- « Cheminement d’une action de développement : de l’identification à l’évaluation, Etienne Baudoux et al. ; L’Harmattan ; 1992.

- « Evaluer pour améliorer les actions de développement. Plan d’action 2014-2016 » ; Agence française de Développement ; juillet 2014.

- « Guide de gestion des programmes » ; Ministère des Affaires étrangères danois - DANIDA ; septembre 2011.


Bijlage A3: Tabellen van budgetten

TOTAALBUDGET Uitvoerings-

wijze

TOTAAL-

BUDGET % JAAR 1 JAAR 2 JAAR 3 JAAR 4 JAAR 5

A specifieke doelstelling A

A 01 Resultaat A01

A 01 01 Activiteit A0101


A 02 Resultaat A02



A 03 Resultaat 03



A 04 Resultaat A04



B Specifieke doelstelling B

B 01 Resultaat B01

B 01 01 Activiteit B0101



X Budgetreserve (maximum 5% van het totaal)

X 01 Budgetreserve

Figuur 1: Voorbeeld van een budget per doelstelling voor de interventies van de gouvernementele samenwerking

122

Z

Algemene middelen

Z 01

Personeelskosten

Z 01 01 Technisch assistent

Z 01 02 Premies nationaal personeel

Z 01 03 Consultancies

Z 01 04 Wetenschappelijke ondersteuning

Z 01 05 Opleiding personeel DEP

Z 01 06 Opleidingen - Beurzen

Z 01 07 Technische assistentie en ondersteuning voor CAG

Z 02

Investeringen

Z 02 01 Voertuigen

Z 02 02 Informaticamateriaal

Z 02 03 Uitrustingen

Z 02 04 Heropbouw

Z 02 05 Literatuur

Z 03

Werkingskosten

Z 03 01 Communicatie

Z 03 02 Kantoorkosten

Z 03 03 Kosten voor voertuigen

Z 03 04 Bankkosten

Z 03 05 Diverse kosten

Z 04

Audit, monitoring en evaluatie

TOTAAL

Figuur 2: Voorbeeld van een budget voor de algemene middelen voor de interventies van de gouvernementele samenwerking

Bijlage A3


Land

Specifieke

doelstelling Jaar Investeringen Werking Personeel Totaal DGD

België SD1 2014

2015

2016

Totaal

""" """ 2014

2015

2016

Totaal

TOTAAL LUIK NOORD 2014

2015

2016

Totaal

Land 1

2014

2015

2016

Totaal

Land 2

2014

2015

2016

Totaal

Land …

2014

2015

2016

Totaal

TOTAAL LUIK ZUID 2014

2015

2016

Totaal

BEHEERKOSTEN 2014

2015

2016

Totaal

TOTAAL PROGRAMMA 2014

2015

2016

Totaal

SAMENVATTING

Jaar

Totaal

Programma ANG1 DGD

2

Structurele

kosten 0,0%

Subsidie (=

DGD +FS)

2014

2015

2016

Totaal

Indien er verschillende SD zijn in een land, gelieve deze allemaal te vermelden en het totaal te

maken per land en per jaar.

1Voor de ngo's: 20% van het totaalbudget. Voor de andere ANG: 0%.

2Voor de ngo's: 80% van het totaalbudget. Voor de andere ANG: 100%

Figuur 3: Voorbeeld van een algemeen budget voor de programma's van de ANGS (tabel 1)

124

Budget A1 A2 A3 TOTAAL België

Land a

1. Investeringen

A1 A2 A3 Totaal A1 A2 A3 Totaal

1.1 Onroerend

1.2 Roerend

2. Werking

2.1 Opdrachten

2.2 Monitoring en

Evaluaties

2.3 …..

3. Personeel

3.1 Van de zetel

3.2 Lokaal

3.3 Uitgezonden

TOTAAL

Figuur 4: Voorbeeld van een budget voor de beheerkosten voor de programma's van de ANGS (tabel 2)

Budget Jaar1 Jaar2 Jaar3 TOTAAL

1. Investeringen

1.1 Onroerend

1.2 Roerend

2. Werkingskosten

2.1 Opdrachten

2.2 …

3. Personeel

3.1

3.2

TOTAAL

R1

Rn

Figuur 5: Voorbeeld van een budget voor de operationele kosten voor de programma's van de ANGS in België (tabel 3)

Budget

Specifieke

doelstelling

Indien subregio: Land n

Jaar

1

Jaar

2

Jaar

3 TOTAAL

Jaar

1

Jaar

2

Jaar

3 TOTAAL

1. Investeringen

1.1 Onroerend

1.2 Roerend

1.3 Kredietfonds

2. Werking

2.1

2.2

2.3

3. Personeel

3.1 Lokaal

3.2 Uitgezonden

3.3 Beurzen

TOTAAL

R1

Rn

Bijlage A3


Figuur 6: Voorbeeld van een budget voor de operationele kosten voor de 'landenprogramma's' van de ANGS (tabel 4)

Budget van het project Resultaat

1

Resultaat

2

Resultaat

x

Resultaat

n Totaal

Jaar

1

Jaar

2

Jaar

n

1. Operationele kosten

1.1. Investeringen

Onroerend

Roerend

Kredietfondsen

S/totaal

1.2. Werking

Details

S/totaal

1.3. Personeel

1.3.1 Lokaal

Details

S/totaal

1.3.2 Internationaal

Details

S/totaal

Aantal

medewerkers/maand

1.3.3 Ander uitgezonden

personeel

Details

S/totaal

1.3.4 Totaal personeel

S/totaal

1.4. Totaal operationele kosten

Totaal

2. Beheerkosten

Details

S/totaal

3. Structurele kosten (support costs)

4. Totaal kosten

5. Subsidie gevraagd aan de DGD

6. Eigen bijdrage

Figuur 7: Voorbeeld van een budget voor de operationele kosten van de projecten van de programma's van het BFVZ

126

Budget A1 A2 Jaar TOTAAL België

Coördinatiekantoor

A1 A2 Jaar TOTAAL A1 A2 Jaar TOTAAL

1. Investeringen

1.1 Onroerend

1.2 Roerend

2. Werking

2.1 Opdrachten

2.2 Evaluaties

2.3 …

3. Personeel

3.1 Zetel

3.2 Lokaal

3.3 Medewerkers

TOTAAL

Figuur 8: Voorbeeld van een budget voor de beheerkosten voor de projecten van de programma's van het BFVZ


Bijlage A4: Gebruikt analyseschema

1. Toegankelijkheid van de technische en financiële documenten met betrekking tot de interventie.

2. De mogelijkheid om een evaluatie uit te voeren werd vastgelegd in de documenten

3. Voor de geplande evaluaties halverwege en op het einde is een budget uitgetrokken

4. De financiering voor het systeem om de vertreksituatie (baseline) te bestuderen is gepland

5. De financiering voor het systeem om geregeld de indicatoren te meten + de werkingsmiddelen voor de persoon of personen die belast zijn met de monitoring is gepland

6. De financiering voor het systeem om de context op te volgen + de werkingsmiddelen voor de persoon of personen die belast zijn met de opvolging zijn gepland

7. De financiering voor het systeem om de risico's, voorafgaande voorwaarden en voorwaarden op te volgen + de werkingsmiddelen voor de persoon of personen die belast zijn met de opvolging zijn gepland

8. Er is een gedetailleerde begroting.

9. De tijds-, geografische, financiële, sectorale, thematische enz. limieten van de interventie zijn vastgelegd.

10. De begunstigden (en degenen die niet begunstigd zijn) zijn duidelijk bepaald, en dat op elk niveau (direct, omgeving en uiteindelijk).

11. De partnerorganisaties zijn duidelijk bepaald en het proces om hiertoe te komen werd beschreven.

12. Er is een zekere flexibiliteit mogelijk om de onmiddellijke / kortetermijnresultaten (outputs), activiteiten en toewijzing van middelen opnieuw te bepalen.

13. Het monitoringsysteem is in detail vastgelegd (frequentie, bronnen en verantwoordelijkheden).

14. Het probleem of de problemen die de interventie wil oplossen zijn in detail vastgelegd.

15. Er werd bepaald dat rekening wordt gehouden met gender als transversaal thema.

16. Er werd bepaald dat rekening wordt gehouden met het milieu als transversaal thema.

17. De verwachtingen van de begunstigden evenals de processen die hebben toegelaten om de verwachtingen van de begunstigden te bepalen, zijn beschreven.

128

18. De behoeften van het land ten opzichte van het onderwerp van de interventie zijn beschreven, evenals de processen die hebben toegelaten om die behoeften te beschrijven.

19. Het verband tussen de interventie en de globale prioriteiten is beschreven.

20. Er werd rekening gehouden met de strategische nota voor de interventies in een sector / thema / land / activiteit waarvoor er een Belgische strategische nota bestaat.

21. De verhoudingen tussen de overheid en civiele samenleving werden beschreven ten opzichte van het voorwerp van de interventie.

22. De manier waarop de interventie past binnen de lokale strategie om armoede te verminderen, is beschreven.

23. De activiteiten en doelstellingen van de andere actoren (lokale actoren, Belgische actoren, geldschieters / internationale actoren) in de sector of op het grondgebied van de interventie zijn beschreven en er werd rekening mee gehouden.

24. De voorafgaande voorwaarden, veronderstellingen en risico's in verband met personen en factoren die buiten de interventie staan maar die mogelijk een positieve of negatieve invloed kunnen hebben op het resultaat of de kostprijs werden in detail geanalyseerd.

25. Er is voorzien in een risicobeheer (in termen van beperking van de gevolgen indien de risico's zich werkelijk voordoen).

26. In het geval de standpunten van de stakeholders uiteen liggen, worden die meningsverschillen toegelicht.

27. Er wordt een onderscheid gemaakt tussen (minstens) 3 resultaatniveaus: output (onmiddellijke resultaten, producten, …), outcomes (resultaten op korte of middellange termijn, realisaties, specifieke doelstelling(en), …), impact (resultaten op lange termijn, algemene doelstelling(en)).

28. Er is een causaal verband tussen twee niveaus in de logische keten: middelen � activiteiten �outputs �outcomes �impact.

29. Er is een beschrijving van de eerste twee resultaatniveaus en van hun kwalitatieve en/of kwantitatieve indicatoren met hun basiswaarden en doelwaarden. De indicatoren zijn 'SMART' opgesteld.

30. Er is voorzien in het meten van voldoende gegevensbanken om een vertrekpunt te kunnen bepalen zodat de vorderingen kunnen worden gemeten voor de eerste twee resultaatniveaus (outputs, outcomes)

31. De indicatoren beschikken over verificatiemiddelen: de gegevensbron is gekend, de gegevens kunnen geregeld worden ingezameld tegen een redelijke kostprijs en inspanning.

32. De vorderingen van de (eventuele) kwalitatieve indicatoren is objectief controleerbaar.

33. De indicatoren maken in de mate van het mogelijke deel uit van een bestaand systeem dat ter plaatse al wordt gebruikt.

34. De basis (participatieve workshop, vorige ervaringen, problemenboom…) van de aangenomen logische benadering is beschreven

35. Er werd bepaald dat rekening wordt gehouden met gender als transversaal thema op een dusdanige manier dat het thema geëvalueerd kan worden.

Management response.


36. de basisgegeven zijn opgesplitst volgens gender.

37. Er werd bepaald dat rekening wordt gehouden met het milieu als transversaal thema op een dusdanige manier dat het thema geëvalueerd kan worden.

38. Er is gepland dat er regelmatig een narratief verslag wordt gemaakt over de resultaten / activiteiten.

39. De totale duur van de interventie werd vastgelegd.

40. De begroting is uitgedrukt per resultaat / specifieke doelstelling

41. De nodige middelen om elke geplande activiteit uit te voeren zijn gedetailleerd vastgelegd

42. Er is een regelmatig financieel verslag gepland

43. Dat financieel verslag laat toe om de kostprijs te berekenen van elk behaald resultaat.

44. De manier waarop de interventie zal worden beheerd, is beschreven

45. De persoon (personen) en de instelling(en) die verantwoordelijk zijn voor het verstrekken van financiële, materiële en menselijke middelen zijn geïdentificeerd

46. De informatie voor de monitoring van de resultaatindicatoren na de interventie is beschikbaar.

47. De informatie voor de opvolging van de context (en risico's) na de interventie is beschikbaar.

48. De informatie over het op zich nemen van de (eventuele) investeringskosten na het einde van de interventie is beschikbaar.

49. De informatie over het op zich nemen van de werkings- of beheerkosten tijdens de interventie is beschikbaar.

50. De informatie over het op zich nemen van de werkingskosten na het einde van de interventie is beschikbaar.

51. De informatie over het onderhoud en de maintenance van de uitrustingen tijdens de interventie is beschikbaar.

52. De informatie over het onderhoud en de maintenance van de uitrustingen na het einde van de interventie is beschikbaar.

53. De informatie over het op zich nemen van de beheerkosten na het einde van de interventie is beschikbaar.

54. De informatie over de capaciteitsversterking van het nationaal personeel tijdens de interventie is beschikbaar.

55. De informatie over het statuut van het nationaal personeel tijdens en na het einde van de interventie is beschikbaar.

56. Er zijn voldoende basisgegevens, of het is gepland om die in te zamelen, om een vertrekpunt te bepalen om zo de gerealiseerde vorderingen te kunnen meten op het niveau van de impact / algemene doelstelling.

57. Er is een beschrijving van het derde resultaatniveau (verwachte impacts, algemene doelstelling) en van de kwalitatieve en kwantitatieve indicatoren daarvan, met hun doelwaarden aan het einde en ex post.

130

58. De impactindicatoren zijn gedefinieerd volgens het ‘SMART’-principe, maken deel uit van een systeem dat ter plaatse al bestaat en worden ingezameld door een nationale of internationale instellingen waarvan de betrouwbaarheid wordt erkend.

59. De vorderingen van de (eventuele) kwalitatieve impactindicatoren is objectief controleerbaar.

60. Een evaluatie volgens de quasi-experimentele of gemengde methode werd gepland vanaf het ontwerp van de interventie.

61. De basissituatie van een contrafeitelijke groep zal worden gemeten of kan worden gereconstrueerd.

62. De outcome- et impactindicatoren in die contrafeitelijke bevolkingsgroep kunnen worden gemeten.

63. De financiering voor die voorziening is gepland.

64. De evaluatie zal beantwoorden aan een behoefte om rekenschap af te leggen, kennis te verwerven of beslissingen te nemen.

65. De geplande evaluatie zal handelen over een sector, land, thema, instrument, partner van de uitvoering.

66. De statistieken van de gegevensbank ODA.be worden aangevuld en bijgehouden voor de betreffende sector, het betreffende land, thema, instrument, de partner,...

67. De gegevensbank vermeldt de verwachte resultaten en verkregen resultaten voor de interventies in de betreffende sector, het betreffende land, betreffende thema.

68. De indicatoren met betrekking tot de betreffende sector/thema/land/modaliteit worden internationaal gebruikt en/of zijn geharmoniseerd met de indicatoren van het PRSP en/of zijn opgesplitst per geslacht/regio/socio-economische omstandigheid.

KONINKRIJK BELGIË



dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking

Egmont • Karmelietenstraat 15, B-1000 Brussel • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Wettelijk depotnr: 0218/2015/14

Zijn onze interventies evalueerbaar?

Zijn on

ze interven

ties evalueerbaar?


KONINKRIJK BELGIË



Zijn onze interventies evalueerbaar? · • De evaluatie is een vooraf geplande fase in de...

Documents

Transcript of Zijn onze interventies evalueerbaar? · • De evaluatie is een vooraf geplande fase in de...