· Web viewFederale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en...

96
Federale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking Evaluatie van ontwikkelingseducatie- acties (fase 2): projecten en meerjarenprogramma’s (2014-2017) Resulaten op basis van 6 case studies, een meta-evaluatie van evaluatierapporten en een bevraging onder (ex-) medewerkers van NGO’s, ENABEL en DG Jan Van Ongevalle (HIVA-KU Leuven), Pierre Grega (Dris), Bénédicte Fonteneau (HIVA-KU Leuven), Heidi Knipprath (HIVA- KU Leuven), Nancy Jaspers (Camino)

Transcript of   · Web viewFederale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en...

Federale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking

Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking

Evaluatie van ontwikkelingseducatie-acties (fase 2): projecten en

meerjarenprogramma’s (2014-2017)

Resulaten op basis van 6 case studies, een meta-evaluatie van evaluatierapporten en een bevraging onder (ex-) medewerkers van NGO’s, ENABEL en DG

Jan Van Ongevalle (HIVA-KU Leuven), Pierre Grega (Dris), Bénédicte Fonteneau (HIVA-KU Leuven), Heidi Knipprath (HIVA-

KU Leuven), Nancy Jaspers (Camino)

Juli 2018

De evaluatie werd door HIVA-KULEUVEN, DRIS en CAMINO CONSULT uitgevoerd en werd ondersteund door een begeleidingscomité in Brussel. De Dienst Bijzondere Evaluatie verzekerde de conformiteit van dit evaluatieverslag met de referentietermen.

De meningen die in dit document worden geformuleerd, vertegenwoordigen de standpunten van de auteurs en weerspiegelen niet noodzakelijk de positie van de FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking.

© FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking

April 2018

Drukwerk: Drukkerij FOD

Evaluatie nr. S4/2017/04

Wettelijk depot: xx [bezorgd door S4]

Dit document is tevens beschikbaar in pdf-formaat in + talen op de website https://diplomatie.belgium.be/nl/Beleid/Ontwikkelingssamenwerking/Onze_werkmethoden/Dienst_Bijzondere_Evaluatie/of bij de Dienst Bijzondere Evaluatie.

Het verslag wordt als volgt geciteerd:

Dienst Bijzondere Evaluatie van de Belgische Ontwikkelingssamenwerking/DBE (2018), Evaluatie van ontwikkelingseducatie-acties (fase 2): projecten en meerjarenprogramma’s (2014-2017). Resulaten op basis van 6 case studies, een meta-evaluatie van evaluatierapporten en een bevraging onder (ex-) medewerkers van NGO’s, ENABEL en DGTussentijdse rapportering fase 1, FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking, Brussel.

Voorwoord

………..

Dankwoord

Onze dank gaat uit naar alle organisaties en personen die meegewerkt hebben aan deze evaluatie gedurende de interviews, bij het aanleveren van informatie, het geven van advies alsook het becommentariëren van opeenvolgende drafts van dit rapport. Een speciaal woord van dank gaat uiteraard naar de organisaties die bereid werden gevonden om als case studie te fungeren. Het is onze hoop dat de inzichten vanuit deze evaluatie de strategische aansturing van toekomstige ontwikkelingseducatie acties kunnen voeden.

Inhoudstafel

ContentsVoorwoord....................................................................................................5Inhoudstafel..................................................................................................7Afkortingen...................................................................................................9

Women in Development Europe...............................................................................10Lijst van tabellen en boxes...........................................................................11Samenvatting..............................................................................................13Context van de evaluatie.............................................................................15De onderzoeksmethode...............................................................................17

Inleiding.......................................................................................................................17Het kwantitatief onderzoeksluik...................................................................................17Het kwalitatief onderzoeksluik.....................................................................................17

1. Relevantie............................................................................................211.1. ‘Niche’ werking...................................................................................................211.2. Een actor focussed theory of change..................................................................211.3. Maatwerk............................................................................................................231.4. Een divers bereik en complementaire werking...................................................261.5. Evolueren naar een mondiale rechtenbenadering..............................................28

2. Effectiviteit...........................................................................................332.1. Ampleur et profils des groupes cibles....................................................................332.2. Expertise mieux identifiée et rendue accessible...................................................352.3. Un accompagnement adapté aux besoins et points de vue des groupes-cibles....362.4. Alliances stratégiques avec d’autres acteurs sociaux...........................................382.5. Diversification et renouvellement des supports et méthode de sensibilisation.....402.6. Des changements plus tournées vers l’action.......................................................40

3. Efficiëntie.............................................................................................433.1. Verhoogde efficiëntie van de interventies door het werken met intermediaire doelgroepen.................................................................................................................433.2 Efficientievoordeel via brede netwerking bij beleidsbeïnvloeding..........................473.3. Lerende and adaptatieve aanpak..........................................................................483.4. Synergieën zoeken tussen verschillende programma strategieën........................49

4. Duurzaamheid.......................................................................................514.1. Toewerken naar duurzame resultaten en interventies – een complexe aangelegenheid............................................................................................................514.2. Werken met intermediaire organisaties op een maategrichte manier................524.3. Bevorderen van samenwerkingsverbanden en synergieën.................................544.4. Opvolging van de doelgroepen via natrajecten..................................................554.5. Herkennen en benutten van windows of opportunity.........................................56

5. Impact..................................................................................................575.1. Définitions variées de l’impact..............................................................................575.2. Peu d’informations disponibles par rapport à l’impact........................................585.3. Des changements identifiés auprès de groupes-cibles directs...........................59

5.3.1. Des changements institutionnels et législatifs.............................................595.3.2. Un impact sur les pratiques d’autres acteurs...............................................595.3.3. Des changements de comportement au niveau individuel...........................60

5.4. Impact au niveau européen et international.......................................................626. Cohérence............................................................................................64

6.1. Cohérence par rapport aux cadres de référence des acteurs de la coopération internationale...............................................................................................................64

6.1.1. Cohérence par rapport aux objectifs de l’éducation au développement en Belgique...................................................................................................................646.1.2. Cohérence par rapport aux priorités de la coopération belge.........................656.1.3. Des acteurs ciblés et visés de manière plus cohérente..................................66

6.2. Cohérence dans les approches mises en œuvre.................................................676.2.1. Approches cohérentes intégrant recherche, formation/accompagnement et plaidoyer..................................................................................................................676.2.2. Plus grandes synergies entre acteurs..........................................................686.2.3 Une meilleure implication des acteurs du Sud mais encore à renforcer..........69

7. Conclusies............................................................................................717.1. Pertinence.............................................................................................................717.2. Efficacité.............................................................................................................737.3. Efficience............................................................................................................747.4. Durabilité............................................................................................................757.5. Impact................................................................................................................757.6. Cohérence..........................................................................................................76

8. Recommandations.................................................................................78Bijlagen......................................................................................................83

Afkortingen

ACC Analyse Contextuelle CommuneADG Aide au Développement GemblouxAWID Association for Women's Rights in DevelopmentBAP Brigades d’Action PaysanneCCF Collectif contre la FaimCETRI Centre Tricontinental CIDSE Coopération Internationale pour le Développement et la Solidarité

(international alliance of Catholic development agencies)CIEP Centre d’Information et d’Education PopulaireCNCD-11.11.11. Centre national de coopération au développement,COMEOS fédération du commerce et des servicesCONCORD European confederation of Relief and Development NGOsCPAS Centre Public d'Action SocialeCRB Croix-Rouge de BelgiqueCSC Cadre Stratégique CommunDBA Défi Belgique Afrique DBE Dienst Bijzonder EvaluatieDBOC Don Bosco OnderwijscentrumDGD Directie-Generaal Ontwikkelingssamenwerking en Humanitaire HulpECMS Education à la citoyenneté mondiale et solidaireED Education au Dévelpppement FEVIA Fédération de l'industrie alimentaire belgeFIAN FoodFirst Information and Action Network (ancienne dénomination)FiFF Festival International du Film FrancophoneFPS Femmes Prévoyantes SocialistesFUGEA  Fédération unie de groupements d'éleveurs et d'agriculteurs FWA Fédération Wallonne de l’Agriculture G3W/M3M Geneeskunde voor Derde Wereld/Médecine pour le Tiers-MondeGSK Gemeenschappelijke strategische kaderHOTL4FS Hands on the Land for Food Sovereignty IEV Institut Emile VanderveldeIFSI l’Institut de coopération syndicale internationaleKB-ALC Kleur Bekennen – Annoncer la CouleurLln LeerlingenLLr LeerkrachtenM/F Le Monde Selon les FemmesMASMUT Plateforme belge de Micro-Assurance Santé Mutuelle de SantéMDG Millenium Development GoalsMOvO Mondiale vormingN NombreN Noord (Nord)NGO-ONG Niet gouvernementele organiatie – Organisation non-gouvernemntaleN-Z / N-S Noord-Zuid/ Nord-SudOCDE Organisation de coopération et de développement économiquesOE OntwillekingseducatieOIF Organisation Internationale de la FrancophonieOSC Organisation de la Société CivileOSN Objectif Spécfique NordPAC Politique Agricole CommunePS Parti Socialiste RAAG Réseau d’Action et d’Apprentissage sur le Genre RCN Réseau Citoyen-Citizens Network (RCN) – Justice et Démocratie RDC République Démocratique du CongoRESAP Réseau de soutien à l'agriculture paysanne. RIFS Rencontre Internationale Femmes et SantéRIKOLTO VECO (ancienne dénominationSDG Sustainable Development GoalsSDG Sustainable Development GoalSolSoc Solidarité Socialiste (ancienne dénomination)

T&R Théâtre et RéconciliationTOC Theory of change (veranderingstheorie)UE Union EuropéenneUE Union EuropéenneUNICEF Fonds des Nations Unies pour l’EnfanceVDB VIA Don BoscoVIAA Archief voor onderwijs VlaanderenVPWvo Vlaams Partnerschap Water voor OntwikkelingWIDE Women in Development Europe WSM WereldSolidariteit/Solidarité MondialeZ Zuid (Sud)

Lijst van tabellen en boxes

Tabel 1 Overzicht van geselecteerde organisaties voor de case studies

Tabel 1.1. Diversiteit in bereikte doelgroepen

Tableau 2.1. Aperçu partiel du nombre de personnes/institutions touchées par les actions de sensibilisation des ONG ayant fait l’objet d’études de cas (2014-20215)

Tabel 3.1. Overzicht van toegekende subsidies, totaal budget en bereik binnen de cases (programma’s 2014-2016 voor alle NGOs behalve FIAN : programma 2013-2015)

Tabel 4.1. Een maatgerichte aanpak als bevorderende factor voor duurzaamheid in het Protos en WSM programma

Tableau 5.1. Définitions de l’impact par les ONG.

Tableau 6.1. Aperçu de la contribution des ONG ayant fait l’objet d’étude de cas aux ODD

Box 1.1. Voorbeelden van Niche Werking

Box 1.2. Théorie de changement du Monde Selon Les Femmes.

Box 1.3. Toewerken naar een meer onderbouwde veranderingstheorie – de case van

G3W/M3M – Solidagro – Kiyo.

Box 1.4.  Een maatgerichte aanpak binnen de werking van FIAN rond voedselzekerheid

Box 1.5. De meerwaarde van een verschuiving naar een meer maatgerichte aanpak

Box 1.6. Streven naar complementariteit via thematische focus en specifieke doelgroepen

Box 1.7 Complementaire samenwerkingsverband

Box 1.8. Tegengestelde doelstellingen kunnen samenwerking minder wenselijk maken

Box 1.9. Versterkte relevantie via innovatieve en collective samenwerkingsverbanden

Evaluatie van ontwikkelingseducatie-acties 13

Box 1.10. VDB ism Studio Globo- “Saved by the Bell”

Box 2.1. Favoriser l’engagement des acteurs de l’eau

Box 2.2 Influence sur les acteurs politiques belges

Box 2.3. Capacité à mobiliser concrètement une diversité d’acteurs autour d’enjeux globaux

Box 2.4. Des stratégies multiples et combinées d’accompagnement

Evaluatie van ontwikkelingseducatie-acties14

Box 2.5. Les défis du passage à l’échelle

Box 2.6. Des alliances stratégiques en dehors de la zone de confort des ONG

Box 2.7. Activer des relais parlementaires

Box 2.8. Définir et jouer un rôle supplétif

Box 2.9. Inciter à des engagements concrets

Evaluatie van ontwikkelingseducatie-acties 15

Box 3.1. Belang van een maatgerichte werking voor het bevorderen van efficientie

Box 3.2. Belang van een beperkt aantal specifieke directe doelgroepen voor het bevorderen van efficientie

Box 3.3. Importance de tirer au maximum profit des missions et visites

Box 3.4. Meer efficientie door samenwerkingsverbanden 

Box 3.5. Analyse de l’efficacité des réseaux

Box 3.6. Efficientievoordeel via brede netwerking bij beleidsbeïnvloeding

Evaluatie van ontwikkelingseducatie-acties16

Box 3.7. Streven naar opschaling van duurzame catering bij publieke actoren

Box 3.8. Synergie tussen de interventiestrategieën als efficiëntie bevorderend mechanisme

Box 3.9. Efficientievoordeel halen uit een beter evenwicht tussen acties in de breedte en in de diepte

Box 4.1. Evolueren naar een meer trajectmatige werking

Box 4.2. Werken met intermediaire doelgroepen met multiplicator of hefboom rol

Evaluatie van ontwikkelingseducatie-acties 17

Box 4.2. Bevorderen van samenwerkingsverbanden en synergieën

Box 4.3. Ownerhip van kwaliteitsvolle kennisproducten bevorderen

Box 4.4. Co-constructie van kennis en expertise

Box 4.5. Verduurzaming van de effecten via natrajecten

Box 4.6. Herkennen en benutten van window of opportunity rond duurzame voeding

Evaluatie van ontwikkelingseducatie-acties18

Box 5.1. Contribution aux changements institutionnels et législatifs sur la cohérence des politiques

Box 5.2. Impact d’ONG sur les pratiques d’autres ONG belges

Box 5.3. Impact au niveau individuel

Box 5.4. Impact du plaidoyer au niveau européen et international

Box 6.1. Stratégie coordonnée d’éducation au développement.

Evaluatie van ontwikkelingseducatie-acties 19

Box 6.2. Ciblage plus cohérent des acteurs visés

Box 6.3. Des effets probables du CSC Belgique sur la cohérence et la spécialisation

Box 6.4. Education au développement envers les jeunes

Box 6.5. Stratégies intégrées d’éducation au développement

Box 6.6. De nombreuses synergies porteuses de cohérence

Box 6.7. Des actions et positionnements plus cohérents grâce à l’implication dans des

Evaluatie van ontwikkelingseducatie-acties20

réseaux

Box 6.8. Implication des acteurs du Sud à l’éducation au développement

Box 6.9. Des modalités variées d’implication des acteurs du Sud

Evaluatie van ontwikkelingseducatie-acties 21

Samenvatting

Context van de evaluatie

In de eindpublicatie van het PULSE onderzoeksplatform in 2013 werd gewezen op een aantal belangrijke internationale trends in de aanpak en doelstelling van ontwikkelingseducatie in België. Zo werd een geleidelijke verschuiving vastgesteld van een traditionele ontwikkelingshulpbenadering, naar een economische ontwikkelingsbenadering en verder tot een mondiale rechtenbenadering. Deze verschuiving ging ook gepaard met een aantal kritische debatten rond definities en doelstellingen van ontwikkelingseducatie. Zo was er bijvoorbeeld een sterke consensus dat ‘public relations’ voor de eigen organisatie met het oog op geldinzameling niet als een doel van ontwikkelingseducatie kan beschouwd worden. Ook was er een groeiend bewustzijn over de nood om de doelstellingen van ontwikkelingseducatie duidelijker te formuleren tijdens de planning fase om zo verwarring en moeilijkheden rond resultaatsgericht werken te vermijden. Tevens werd de lineaire benadering van het educatief continuüm (informatie – attitude – gedrag) meer en meer in vraag gesteld. Zo groeide het besef dat de componenten van het educatief continuüm mekaar vanuit verschillende richtingen onderling kunnen beïnvloeden en dat een veelheid van andere individuele en maatschappelijke factoren een rol spelen zoals waarden, emoties, agency, sociale normen en netwerken, socio-economische status, machtsverhoudingen, beleid, etc. Deze ontwikkelingen leidden ook tot een toenemende diversiteit van ontwikkelingseducatie strategieën die zich niet alleen richten op het beïnvloeden van verandering bij individuen of groepen maar ook op verandering van institutionele structuren en beleid. De evaluatie van ontwikkelingseducatie interventies die werden uitgevoerd tijdens de periode 2014-2017, in opdracht van de Dienst Bijzondere Evaluatie (DBE), biedt dan ook een unieke opportuniteit om na te gaan in welke mate sommige van deze trends zich verder hebben gezet en of er nieuwe ontwikkelingen gaande zijn.

Dit rapport betreft de tweede fase1 van een evaluatie van de ontwikkelingseducatie-acties die gefinancierd of gecofinancierd werden over de periode 2014-2017. Het betreft interventies die deel uitmaken van de volgende budgetlijnen

1) basisallocatie 14.54.20.35.60.71 - toelagen aan niet-gouvernementele organisaties - projectfinanciering geïntegreerd in een strategisch kader).

2) basisallocatie 14.54.20.35.60.72 - ondersteuning aan de bijdrage van de organisaties van de civiele maatschappij en van de institutionele actoren in de realisatie van de doelen van de gemeenschappelijke strategische kaders.)

De algemene doelstelling van de evaluatie is tweeledig. In eerste instantie beoogt ze inzicht te verwerven in de doeltreffendheid van de ontwikkelingseducatie acties en in mogelijke pistes om hun doeltreffendheid te versterken. Voorts is het de bedoeling dat de evaluatieresultaten, o.a. via inzichten in ‘good practices’ reflecties en oriëntaties voor de toekomstige ontwikkelingseducatie programma’s kunnen voeden, ondersteunen en ‘evidence based decision making’ mogelijk maken.

De evaluatie omvat een kwantitatief en kwalitatief onderzoeksluik. In dit rapport worden de resultaten van beide onderzoeksluiken op een geïntegreerde manier weergegeven en

1 In de eerste fase van deze evaluatie, waarvan de resultaten worden besproken in een afzonderlijk rapport, werden gefinancierde of gecofinancierde interventies geëvalueerd vanuit de volgende budgetlijnen: basisallocatie 14.54.28.12.11.21 (audio visuele producties zoals TV programma’s en film producties) en basisallocatie 14.54.28.33.00.29 (film festivals, culturele evenementen of andere korte educatieve acties).

besproken. In een apart deelrapport worden de methodologische aanpak en de resultaten van het kwantitatieve onderzoeksluik meer in detail besproken.

Dit rapport is opgebouwd als volgt. De methodologie die werd gebruikt voor de evaluatie woordt eerst beschreven. In de daaropvolgende hoofdstukken worden de gesubsidieerde interventies beoordeeld volgens de volgende evaluatiecriteria: relevantie (hoofdstuk 1), effectiviteit (hoofdstuk 2), efficiëntie (hoofdstuk 3), duurzaamheid (hoofdstuk 4), impact (hoofdstuk 5) en coherentie (hoofdstuk 6). De conclusies en aanbevelingen worden respectievelijk besproken in hoofdstukken 7 en 8. Bijkomend, wordt in bijlage 1 een overzicht gegeven van een aantal recente trends vanuit de literatuur inzake ontwikkelingseducatie.

De onderzoeksmethode

De onderzoeksmethode

Inleiding

In dit hoofdstuk beschrijven we de methodologie die werd gebruikt voor de evaluatie van de ontwikkelingseducatie-acties die gefinancierd of gecofinancierd werden over de periode 2014-2017. Het betreft interventies die deel uitmaken van basisallocatie 14.54.20.35.60.71 (toelagen aan niet-gouvernementele organisaties - projectfinanciering geïntegreerd in een strategisch kader) en basisallocatie 14.54.20.35.60.72 (ondersteuning aan de bijdrage van de organisaties van de civiele maatschappij en van de institutionele actoren in de realisatie van de doelen van de gemeenschappelijke strategische kaders.)

De methodologie voor deze evaluatie omvat een kwalitatief en kwantitatief onderzoeksluik. In het kwalitatief luik werden 6 case studies uitgevoerd alsook een meta-evaluatie van beschikbare evaluaties van interventies die werden uitgevoerd tussen 2014 en 2017 professioneel betrokken zijn (of zijn geweest) in ontwikkelingssamenwerking of, breder gezien, in het bereiken van de SDG doelstellingen (zowel in het Noorden als in het Zuiden). In het kwantitatieve luik werd getracht te achterhalen in welke mate de acties van ontwikkelingseducatie aan de oorsprong liggen van hun engagement of roeping.

Het kwantitatief onderzoeksluikZie rapport van het kwantitatief onderzoeksluik

Het kwalitatief onderzoeksluik In het kwalitatief onderzoeksluik werden 6 case studies uitgevoerd. Binnen elke case werd de veranderingstheorie van de acties gereconstrueerd en werden de volgende evaluatiecriteria onderzocht: relevantie, effectiviteit & impact, efficiëntie, duurzaamheid en coherentie met de doelstellingen van de Belgische ontwikkelingssamenwerking. Naast de interviews met de organisatoren en betrokken medewerkers, vonden ook interviews plaats met externe actoren waaronder de beleidscel van de Minister van Ontwikkelingssamenwerking, verantwoordelijken van DGD die deze vier basisallocaties voor ontwikkelingseducatie beheren, NGO federaties, kleur bekennen en annoncer la couleur en experts in ontwikkelingseducatie (zie interview overzicht in bijlage E).

Bijkomend werd ook een meta analyse uitgevoerd van beschikbare evaluatierapporten van interventies die plaatsvonden in de geëvalueerde periode (2014-2017). Hiervoor werd een oproep om zulke evaluatierapporten door te sturen naar het evaluatieteam via NGO federatie en Acodev rondgestuurd naar hun leden. In het totaal kregen we evaluatierapporten van 31 organisaties. Hiervan hebben we de rapporten van 29 organisaties meegenomen die deel uitmaakten van de DGD referentielijst voor de twee

Evaluatie van ontwikkelingseducatie-acties 27

onderzochte basisallocaties (projecten en meerjarenprogramma’s)2. De meta-evaluatie werd uitgevoerd aan de hand van een analyse matrix met o.a. de volgende categorieën: doelgroepen, type strategieën, alsook good practice en lessons learned voor de verschillende evaluatie criteria.

Selectie van de casesIn eerste instantie werd geprobeerd om via randomisering tot een enigszins kwalitatief representatieve steekproef te komen. Kwalitatieve representativiteit werd beoordeeld aan de hand vaneen aantal indicatoren zoals de omvang van financiering, het onderscheid tussen Onderwijs, 1e & 2e lijn; Beleidsbeïnvloeding, en thematische insteek en het onderscheid tussen project NGO en programma NGOGezien de grote verscheidenheid onder de organisaties en het type interventie bleek, na een aantal pogingen, zulke aanpak niet tot bevredigende resultaten te leiden. Uiteindelijk werd gekozen voor de volgende aanpak:

De organisaties werden verdeeld in 4 groepen op basis van taal en omvang van financiering: 1) ONG francophone de < 1.000.0000 ; 2) ONG bilingue et NL de < 1.000.000 ; 3) ONG francophone de >1.000.000 et 4) ONG bilingue et NL de >1.000.000.

Door een ‘expertenpanel’, bestaande uit de leden van het consortium, werd voor elk van de 4 categorieën een top drie gemaakt van de organisaties die zij het meest interessant (‘information rich’) vonden om mee te nemen in de case studies. Het samenstellen van een top 3 gebeurde telkens op basis van de kennis van de respectievelijke panelleden over de programma’s van de organisaties alsook op basis van bijkomende informatie aangeleverd door DGD (zie info fiche over interventies uit de verschillende budgetlijnen). Panelleden gaven ook telkens aan de hand van een aantal kernwoorden een argumentatie voor hun selectie.

Op basis van het aantal stemmen van de panelleden, en rekening houdend met een aantal indicatoren (Onderwijs, 1e & 2e lijn; Beleidsbeïnvloeding, argumentatie van de panel leden en thematische insteek) leverde dit een eerste selectie op. Deze selectie werd vervolgens voorgesteld en besproken tijdens een meeting van het begeleidingscomité. Hierna kregen de federaties de mogelijkheid om vanuit hun expertise bijkomende suggesties te geven. Dit gebeurde op basis van een systematische aftoetsing van de cases uit de voorgestelde selectie met een categorisatie van de volledige groep van NGO’s volgens een aantal criteria zoals SDG’s, koppeling pleidooi, thematische specialisatie, sociale basis, synergie, gender, diaspora, profit sector, inleefreizen, N-Z partnerschappen). Op basis van deze bijkomende suggesties werden uiteindelijk 1 project NGO geselecteerd en 5 programma NGOs. Tabel xxx geeft een overzicht van de geselecteerd cases alsook een korte beschrijving volgens een aantal van de selectiecriteria.

Tabel 1: overzicht van geselecteerde organisaties voor de case studiesGeselecteerd cases Beschrijving volgens selectiecriteriaProject NGOsFIAN FR-talig/1e en 2e lijn/Beleid/Budget kleiner dan 285.000 Euro/max. 2jaar/Programma NGOsProtos NL-talig/1e en 2e lijn/ Beleid/ Budget tussen 1 en 1,5 Miljoen Euro/WaterVredeseilanden NL-talig / Onderwijs/1e en 2e lijn/Beleid/ Budget hoger dan 1,5 miljoen Euro /

Duurzame voedselketensSOLSOC FR-talig/1e en 2e lijn/ Beleid/ Budget tussen 1 en 1,5 Miljoen Euro/Waardig

werk/ Bewegings NGOVia Don Bosco NL-talig/Onderwijs/ 1e en 2e lijn/ Beleid/ Budget tussen 0,5 en 1 Miljoen

Euro/beroepsonderwijsLe Monde Selon Les Femmes

Fr-talig/1e en 2e lijn/Beleid/Budget tussen 1 en 1,5 miljoen Euro/Gender

2 Dit betreft evaluatierapporten van de volgende organisaties: ADG, CETRI,CNCD-11.11.11, Croix Rouge de Belgique, Entraide et Fraternité, Echos Communication, SOS Faim, DJAPO, Unicef Education, Unicef Plaidoyer, Kiyo, 11.11.11 GROS werking, 11.11.11 4e pijler steunpunt, WSM, Frère des hommes, Miel Maya, ITECO, Service Civil International, DBA, Le Monde Selon les Femmes, Iles de Paix, PROTOS, FOS, OXFAM Wereldwinkels, Vredeseilanden, VIA Don Bosco, TRIAS, Handicap International, OXFAM Solidariteit, G3W

28

De onderzoeksmethode

Aanpak van de case studies

i) Reconstructie van de “Theory of Change (ToC)” – Elke case studie start met het in kaart brengen van de interventies rond een bepaalde case en een analyse van de context waarbinnen deze interventies worden uitgevoerd. De (vaak impliciete) ToC wordt gereconstrueerd waarbij geëxpliciteerd wordt welke veranderingen werden nagestreefd bij welke doelgroepen, wat de “pathways of change” waren, welke activiteiten werden uitgevoerd, wie de belangrijkste actoren waren en welke rol zij gespeeld hebben in het ontwikkelingseducatie- of beleidsbeïnvloedingsproces. De reconstructie van de TOC gebeurde aan de hand van een stakeholder mapping volgens de verschillende invloedssferen van een interventie (controle sfeer, sfeer van directe invloed en sfeer van indirecte invloed).

ii) Beschrijving van de gerealiseerde resultaten – in een tweede stap wordt nagegaan in welke mate de doelstellingen van de actie gerealiseerd werden, met aandacht voor de bedoelde en niet-bedoelde resultaten/veranderingen. Hiertoe wordt voor elke groep van actoren (vb. doelgroepen, intermediairen, partners) de mate van verandering (m.b.t. de doelstelling) beschreven. Informatie werd voornamelijk verzameld via focusgroepen en face to face of telefonische interviews met vertegenwoordigers van de doelgroepen (intermediaire doelgroepen, partners, eindbegunstigden, ….) alsook tijdens interviews met medewerkers van de organisaties die de acties uitvoeren (zie bijlage xxx voor overzicht van de interviews en focusgroepen voor de verschillende case studies)

iii) Analyse van de contributie van de actie tot de behaalde resultaten (vooral op outcome niveau) - Na de beschrijvende fase wordt een analyse gemaakt van de belangrijkste outputs en outcomes van de cases waarbij aandacht besteed wordt aan de positieve en negatieve resultaten en aan de geplande en niet-geplande resultaten. Een contributieanalyse wordt gedaan om na te gaan wat het aandeel is van de actie in deze resultaten. Bij een contributieanalyse worden mogelijke rivaliserende verklaringen of “counterfactuals” in kaart gebracht en geanalyseerd. Counterfactuals zijn factoren in de context of andere actoren buiten de invloedsfeer van de actie die hebben bijgedragen tot de beoogde verandering. Op deze manier kan een genuanceerde inschatting gemaakt worden van de bijdrage van de actie aan de vastgestelde veranderingen.

iv) Analyse van de evaluatie vragen: In deze stap wordt een analyse gemaakt van de evaluatie vragen rond relevantie, doeltreffendheid, efficiëntie, duurzaamheid, impact en coherentie. Dit gebeurde op basis van de evaluatievragen en de beoordelingscriteria (zie projecvoorstel in bijlage xxxx) in de evaluatie matrix en de beschikbare informatie vanuit de surveys, focus groepen, interviews, document analyse en contributieanalyse. Voor elk van de evaluatie criteria werd telkens ook een samenvattende tabel gemaakt die de belangrijkste sterktes/good practices, uitdagingen/zwaktes en belangrijke aanbevelingen samenvat.

Evaluatie van ontwikkelingseducatie-acties 29

1. Relevantie

In dit hoofdstuk bekijken we in welke mate de gesubsidieerde acties die deel uitmaken van de casestudies afgestemd zijn op de realiteit en noden van de doelgroepen. We proberen ook na te gaan in hoeverre de activiteiten en outputs in lijn zijn met de beoogde effecten en doelstellingen. Tevens gaan we na in welke mate de theories of change van de interventies en de onderliggende assumpties duidelijk geëxpliciteerd en realistisch zijn. Hierbij kijken we ook naar de relevantie van de gebruikte strategieën en activiteiten in functie van de verandering die beoogd wordt bij de verschillende doelgroepen.

1.1. ‘Niche’ werkingNaar relevantie toe zien we doorheen de diepte cases aslook op basis van de resultaten van de meta-analyse een duidelijke meerwaarde bij organisaties die zich specialiseren in specifieke thema’s en in het werken met intermediaire doelgroepen waarmee ze een preferentiële en meer langdurige relatie aangaan. Dit laat een specifieke ‘niche‘ werking toe waarbinnen de organisatie voor haar specifieke expertise erkend wordt en hierdoor ook een sterk mandaat krijgt van de doelgroepen waarmee ze samenwerkt.

Box 1.1 - Voorbeelden van Niche Werking

FIAN. Een voorbeeld vanuit de dieptecases is de associatie FIAN die met brede expertise over de problematiek van voedselzekerheid (sinds 1986) coalities aangaat met sociale bewegingen die zich inzetten rond dit thema. Via deze samenwerking probeert FIAN op een meer effectieve manier burgers te mobliseren en zo ook sterker te kunnen wegen op het beleid. Andere voorbeelden zijn Rikolto en Protos die respectievelijk erkend worden als kennisbrokers rond de thema’s duurzame voeding en water. Beide organisaties richten zich eveneens op heel specifieke intermediaire doelgroepen zoals retailers en de federatie van de voedingsindustrie in het geval van Rikolto en lokale besturen en waterbedrijven in het geval van PROTOS.

De good practices rond relevantie die we doorheen deze evaluatie konden identificeren en die in de onderstaande paragrafen beschreven worden komen extra sterk naar voor in de cases die een niche werking vertonen. Tevens, zoals zal blijken in de volgende hoofdstukken, kan een niche werking de andere evaluatie criteria (i.e. effectiviteit, duurzaamheid, impact, etc.) ook ten goede komen.

1.2. Een actor focussed theory of change. ‘There’s nothing so practical as good theory’ (Lewin, 1943).

Het valt op dat de meerderheid van de ‘niche cases’ een meer ‘gesofistikeerde’ theory of change nastreven waarbinnen de actoren die het programma tracht te beïnvloeden een duidelijkere plaats innemen. Zulke theory of change bevat meestal meerdere resultaten niveaus waarbij elke niveau verschillende actoren kan bevatten die de interventie direct of indirect tracht te beïnvloeden of tracht te ondersteunen en via dewelke zij hoopt bij te dragen tot de uiteindelijke doelstelling. Dit zorgt voor een duidelijke link tussen de interventie strategieën en de specifieke noden alsook de verwachte veranderingen bij de

directe en indirecte doelgroepen. Kenmerkend hierbij is dat de intermedaire doelgroepen meestal actoren zijn die een multiplicator of een hefboom rol kunnen spelen om zo een grotere impact te kunnen realiseren zowel wat betreft bereik (bijvoorbeeld werken met lokale associaties om zo meer burgers te mobiliseren) als wat betreft de potentiële invloed op het beleid (bv. werken met parlementairen of welgezinde politieke partijen om zo sterker te kunnen wegen op het beleid). Zulke veranderingstheorie gaat ook voorbij het lineaire educatief continuum maar stemt haar aanpak beter af op de complexiteit van sociale veranderingsprocessen en het belang om via verschillende strategieën en diverse betrokken actoren (bv. Capaciteitsversterking, mobiliseren, sensibiliseren, advocacy, ….) toe te werken naar gedrags- of beleidsverandering. Een uitdaging hierbij is weliswaar dat zulke veranderingstheorie niet altijd volledig geëxpliciteerd is. Uit de case studies en de meta analyse van evaluatierapporten leren we dat de theory of change in een aantal gevallen verduidelijkt diende te worden in de inceptiefase van de evaluaties. Box 1.2.1 illustreert aan de hand van een extract van case studie van Le Monde Selon Les Femmes, hoe de actorgerichte veranderingstheorie van het programma 2014-2016 werd geëxpliciteerd.

Box 1.2. - Théorie de changement du Monde Selon Les Femmes.

Au moment de la formulation du programme 2014-2016, il n’était pas prévu de présenter une théorie de changement explicite. Toutefois, le document de formulation permet de mettre en évidence que, partant de ces trois thématiques centrales (violences faites aux femmes, développement durable et 3M), le M/F postule qu’en articulant de manière systémique ces outils d’intervention prioritaires (formation, recherche et plaidoyer) et en s’adressant en priorité à des acteurs (responsables d’organisation d’une part et réseaux d’autre part) qui possèdent une capacité et un pouvoir de démultiplication, la diffusion du savoir spécifique qu’il construit à partir de la recherche, pourra être diffusée plus largement au sein des ONG actives dans le développement d’abord mais aussi ensuite dans les autres organisations de la société civile et que ce savoir permettra des changements de pratiques dans les organisations qui seront impactées. Le schéma de présentation de la logique d’intervention qui a été établi au moment de la formulation du programme, donne un aperçu incomplet mais déjà explicite de la théorie de changement.

In sommige evaluatierapporten werd ook geconcludeerd door evaluatoren dat het moeilijk te bepalen was hoe een beleidsbeïnvloedingsstrategie juist in mekaar zat. Het niet expliciteren van de verschillende resultatenniveaus binnen de theorie of change kan het resultaatsgericht werken alsook de monitoring en evaluatie processen bemoeilijken (zie effectiviteit hoofdstuk). Het is weliswaar bemoedigend om concrete voorbeelden vast te stellen van organisaties die de pijnpunten en aanbevelingen rond strategievorming die werden meegegeven in evaluaties ook vertalen in aangepaste strategieën in nieuwe programma’s. Dit wordt geillustreerd in Box 1.3. door de case van G3W die op basis van de aanbevelingen van een midterm evaluatie van hun programma (2014-half 2015) een meer onderbouwde strategie uitwerkte in partnerschap met Kyio en Solidagro voor hun nieuwe programma (2017-2020). Zulke tendens draagt zeker bij tot een toenemende professionalisering van de organisaties en toenemende kwaliteit van de ontwikkelingseducatie interventies.

Relevantie

Box 1.3. - Toewerken naar een meer onderbouwde veranderingstheorie – de case van G3W/M3M – Solidagro – Kiyo. In haar programma (2014-2016) organiseerde G3W reeds campagnes, maar nog zonder een sterk onderbouwde strategie. Zo waren er volgens een externe evaluatie wel veel acties maar werd er minder strategisch omgegaan met de resultaten en werd er soms gestart met een volgende campagne zonder de eerste voldoende op te volgen. Tegelijk bleek dat G3W wel ambities koesterde om sterker op te treden als expertisecentrum via vorming, research en met duidelijke campagnemodellen voor de partner-bewegingen waar ze mee samenwerkt. Hierbij stelde zich ook tot doel om campagnes uit te voeren in samenwerking met anderen zodat deze campagnes gedragen zouden worden door meerdere organisaties. Deze aanbevelingen en ambities werden duidelijk meegenomen in het nieuwe programma die G3W samen met Solidagro en Kiyo uitwerkte en dat zich inzet voor het promoten van kinderrechten en het recht op gezondheid en voedsel. Voor elke specifieke doelstelling van het nieuwe programma werd een gedetailleerde veranderings-theorie uitgewerkt. Voor het programma onderdeel ‘youth engagement’ worden de veranderingen bij de verschillende doelgroepen ook via een impactevaluatietraject van nabij opgevolgd. De figuur toont de veranderingstheorie voor het luik ‘youth engagement’ die ook de basis vormt voor de impactevaluatie van dit programmaonderdeel.

1.3. MaatwerkEen derde belangrijke good practice die doorheen de diepte cases alsook uit de meta analyse naar boven komt is een aanpak die nauw afgestemd wordt op de noden en de eigenheid van de specifieke doelgroepen die een programma tracht te ondersteunen of te beïnvloeden. Dit vergt weliswaar een aanzienlijke inspanning van de organisaties en ook de nodige expertise en kennis over de doelgroepen. Dit vraagt immers nauwer en frequenter contact met doelgroepen, meer begeleiding en follow up, gemeenschappelijke activiteiten, alsook de expertise en de middelen om strategieën waar nodig aan te passen aan veranderingen in specifieke noden of contexten. Het maatgericht werken wordt duidelijk geïllustreerd door de FIAN casus (zie Box 1.4) waarbinnen de werking nauw wordt afgestemd op de specifieke doelgroepen zijnde sociale bewegingen en burgergroepen die zich engageren rond de problematiek van voedselzekerheid.

Box 1.4. – Een maatgerichte aanpak binnen de werking van FIAN rond voedselzekerheid

Tant les rapports d’activités et d’évaluation que les interviews menées attestent de la pertinence des actions de FIAN à partir de plusieurs dimensions. Par rapport aux mouvements paysans et sociaux, FIAN a choisi de combiner l’apport d’une informations/expertise (notamment via la réalisation et la diffusion ciblée d’études) et l’accompagnement des acteurs dans la réalisation d’actions conjointes de plaidoyer. L’action de FIAN est jugée très positivement par les mouvements paysans interrogés, particulièrement en raison de la posture adoptée par FIAN. Cette posture se traduit notamment par la construction de relations et de partenariats à long terme et par une expertise apportée par FIAN (en termes d’analyse et de capacités de plaidoyer) aux mouvements sociaux. Ainsi, la majorité des actions mises en œuvre sont développées dans le cadre de relations à long

Evaluatie van ontwikkelingseducatie-acties 33

terme qui perdurent au-delà des actions et campagnes successives. Les mouvements sociaux et autres organisations de la société civile associées n’ont pas l’impression de se faire « instrumentaliser » par FIAN dans le cadre de leurs actions de plaidoyer. Les mouvements sociaux (Interview Confédération Paysanne, France) disent également apprécier les efforts de FIAN pour s’adapter aux réalités et rythmes des mouvements sociaux (qui ne sont pas ceux des ONG ou des organisations professionnelles de plaidoyer). Cette adaptation témoigne selon les mouvements paysans non seulement d’une bonne connaissance et compréhension des dynamiques particulières des mouvements paysans mais également de la volonté de FIAN que les relations et actions conjointes contribuent au renforcement de la légitimité et des capacités de plaidoyer des mouvements paysans.

Gezien het belang van een maatgerichte aanpak is het bemoedigend om vast te stellen dat organisaties inspanningen doen om aanbevelingen hierrond vanuit evaluaties mee te nemen in hun programmatie en werking. Observaties vanuit de dieptecases en de metaevaluatie tonen aan dat zulke inspanningen wel degelijk kunnen bijdragen tot een versterking van de interne expertise binnen de organisatie rond specifieke inhoudelijke thema’s alsook een meer doordachte en onderbouwde veranderingstheorie. Dit vertaalt zich vaak in een verschuiving van zeer ruime (lees ook vage en onrealistische) doelstellingen (bv. verandering bij het brede publiek) naar meer specifieke doelstellingen binnen strategisch gekozen actoren waarmee organisaties op een meer realistische en strategische manier en met kennis van zaken kunnen samenwerken of invloed kunnen uitoefenen. Box 1.5. toont een aantal voorbeelden vanuit de meta-analyse van evaluatierapporten van organisaties die zulke evoluties doormaakten en hier een meerwaarde van ondervonden. Een meer gedetailleerd voorbeeld van deze evolutie overheen verschillende programma’s wordt geillustreerd door de SolSoc case ook in Box 1.5.

Box 1.5. - De meerwaarde van een verschuiving naar een meer maatgerichte aanpak

Rikolto: Overall the relevance of awareness raising and building a strong support basis for sustainable farming in North and South as a goal, and for Vredeseilanden as an organization is not disputed in any way: Despite its limited scale, the relevance of the work with schools is becoming stronger. With the ‘Vierkant voor Vredeseilanden’ approach the work with schools has been upgraded from fragmented informational activities accompanying fundraising to an approach that has more awareness raising potential and gives students an action perspective (e.g. in their role as consumers).

Oxfam Solidariteit: The main change path selected i.e. to participate in a broader ‘movement of active citizens and to collaborate with civil society organizations in order to reach policy changes is relevant and effective.

G3W: de werking van G3W is relevant; ze werkt doelgroepgericht binnen haar samenwerking met doelgroepen en in functie van de noden (redelijk nieuwe approach als NGO). Vooraleer verder te differentiëren: belangrijk om relaties met bestaande en nieuwere doelgroeporganisaties eerst verder te bestendigen (verdiepen wat er is vooraleer verder te verbreden)

Oxfam Wereldwinkels: Oxfam-Wereldwinkels heeft in de periode 2014-2016 de expliciete keuze gemaakt om de focus van eerlijke handel te verleggen naar de wereldhandelsregels, daarrond expertise op te bouwen en campagnes te organiseren. Dit is een relevante keuze gezien de noodzaak voor systeemveranderingen om uiteindelijk eerlijke handel mogelijk te maken. Oxfam-Wereldwinkels heeft gedegen en evidence based achtergronddossiers uitgewerkt en wordt door verschillende actoren erkend omwille van haar keten-specifieke expertise.

SolSoc : La stratégie de SolSoc en matière d’ « éducation au développement» a connu plusieurs évolutions et réorientations durant ces quinze dernières années. Avec son programme 2003-2007, Solsoc a clarifié les concepts de sensibilisation, d’action

34

Relevantie

éducative et de plaidoyer, et les a traduits en trois stratégies distinctes : clarification des publics-cibles, objectifs pédagogiques spécifiques, stratégies éducatives adaptées. Dans le cadre de son programme 2008-2010, Solsoc avait déjà recentré les groupes cibles de son action en Belgique sur son public d’origine qui constitue également son ancrage social, à savoir les organisations de travailleurs, de mutualistes et d’éducation permanente qui appartiennent à sa mouvance (socialiste). Ce recentrage a renforcé la cohérence de son action : public cible plus cohérent, possibilité d’utiliser des outils communs pour ses différents publics, légitimité et visibilité plus grande puisqu’il s’agit d’un public plus proche, idéologiquement. Dans le programme 2010-2013, le volet Nord a été restructuré autour de deux objectifs spécifiques – nord (OSN) plus complémentaires : l’un renforçant l’importance du travail de plaidoyer (OSN1), et l’autre résultant de la fusion des actions de sensibilisation et d’éducation (OSN2), avec une intégration accrue de ces deux OSN avec les activités de partenariat au Sud. Cette réorientation a valorisé les expertises internes puisqu’ainsi les chargés de partenariat étaient plus impliqués dans le travail Nord et y apportaient leurs connaissances thématiques et régionales. Cette évolution répondait au besoin de continuer à renforcer la technicité de l’ONG sur les thématiques qu’elle traite, ce qui était exigé tant par l’évaluation externe réalisée à l’époque que par la DGD. Afin de consolider cette orientation de concentration et de renforcement de sa technicité, SolSoc a inscrit son programme 2014-2016 dans la continuité en termes de partenaires limitrophes et de public cible. Sur base de son expérience antérieure au niveau des partenariats Nord, notamment avec les différentes composantes de l’Action commune socialiste (FGTB, FPS, Mutuelles, IEV, mandataires PS), Solsoc a confirmé son abandon de la stratégie de sensibilisation stricto sensu, vers un public large et diversifié, pour privilégier un travail plus approfondi avec les animateurs des mouvements associatifs, en tant que personnes-relais qui développent, vers leurs propres publics cibles, un travail de sensibilisation aux relations Nord-Sud.

Dans les exemples repris ci-dessus, les concentrations sur des approches plus ciblées ou plus personnalisées de certaines ONG en matière d’éducation au développement se réalise à des niveaux assez différents. Les deux Oxfam (Solidarité et Magasins du monde) ciblent une approche, une stratégie pour modifier les règles, le cadre politique en participant à un mouvement plus large de citoyens actifs pour OXFAM Solidarité et en travaillant les règles du commerce mondial à la lumière du commerce équitable pour les Magasins du monde. Par contre pour G3W et Solsoc, la concentration induit surtout une approche plus ciblée sur un public mieux défini, plus circonscrit ou plus accessible. Cette évolution peut présenter certains risques ou défis qu’il y a lieu de maîtriser et de relever. En choisissant de focaliser son travail d’éducation au développement sur les partenaires de l’action commune (Solsoc) ou des groupes cibles en fonction de leurs besoins (G3W), ces organisations se retrouvent dans une situation de dépendance plus grande à l’égard d’un public-cible plus précis. C’est particulièrement le cas quand on travaille avec des organisations relais à travers lesquelles l’ONG envisage de diffuser ces activités (publications, recherches, formations) d’éducation au développement. Ces organisations ciblées ont généralement des objectifs spécifiques dans des domaines autres que le développement. Celui-ci est pour elles un aspect complémentaire, certes intéressant, souvent innovant mais parfois secondaire. Si des priorités apparaissent plus importantes ou plus urgentes pour ces organisations bénéficiaires, elles risquent de se focaliser ou de consacrer plus de moyens à ces urgences au détriment du travail de fonds sur le développement. L’étude de cas de Solsoc a mis en évidence la difficulté pour l’ONG d’intervenir au sein de certains de ces partenaires, qui concentre plus leur attention sur la situation de la protection sociale en Belgique par exemple. Une interview d’une syndicaliste dans le cadre de l’étude de cas du M/F a mis en évidence l’attention accrue de ceux-ci aux dégradations sociales ici suite aux politiques d’austérité au détriment de l’attention portée à l’atteinte d’une plus grande égalité entre les femmes et les hommes en période d’austérité. Un autre défi lorsqu’on se concentre sur certains groupes cibles parfois proches c’est de parvenir à garder son autonomie d’approche : la proximité renforce souvent la légitimité de l’ONG aux yeux du public mais celle-ci doit rester attentive à préserver une autonomie dans la construction du contenu de l’éducation au développement. La fréquence des interventions, le fait de partager des visions qui sont proches peut inciter l’ONG a formater (trop) le contenu de ce qu’elle apporte, à se mouler aux attentes de ces public-cibles bénéficiaires, réduisant l’apport d’approches

Evaluatie van ontwikkelingseducatie-acties 35

alternatives, de visions plus diversifiées. Ce défi est à relever par un suivi-évaluation de l’approche et du contenu de ces ONG concernées.

1.4. Een divers bereik en complementaire werking

De groeiende ‘niche werking’ die hierboven werd beschreven draagt er ook toe bij dat verschillende organisaties zich specialiseren in het bereiken van verschillende doelgroepen met specifieke strategieën. Dit leidt tot een groeiende diversiteit in de types van doelgroepen (directe en indirecte), hetgeen duidelijk naar voor komt uit de cross analyse van de diepte cases en de resultaten van de meta analyse. Het is eveneens bemoedigend om vast te stellen dat organisaties die rond eenzelfde thema werken tengevolge van hun specialisatie stappen zetten om overlapping bij doelgroepen te vermijden en om eerder complementair te werken. Dit wordt geïllustreerd in Box 1.6. aan de hand van de Via Don Bosco case.

Box 1.6 - Streven naar complementariteit via thematische focus en specifieke doelgroepen

Via don Bosco (VDB): VDB werkt op het thema recht op onderwijs, wat een thema is waar de meeste NGOs niet op werken. Van de 32 andere organisaties die werken rond WBS (volgens de mapping van de NGO-federatie) zijn er 19 met een pedagogisch aanbod voor secundair onderwijs (ook het actieterrein van VDB), waarvan slechts 7 organisaties met een aanbod over het thema ‘onderwijs’. VDB onderscheidt zich met haar aanbod dus van de meeste andere organisaties. Zo blijkt dat de Aanstokerij vaststelde dat het thema en de doelgroep van het educatieve spel E(du)quality zodanig uniek zijn dat ze de vraag stelde aan VDB om het spel in hun permanente promopakket te mogen opnemen. Verder richtte VDB zich tijdens 2014-2016 in toenemende mate op een segment binnen het onderwijs waar de meeste andere NGOs niet actief zijn nl. TSO en BSO, maar waar wel interesse bestaat om rond WBS te werken. In 2016 bestond 67% van de partnerscholen van VDB uit technische scholen wat een verhoging is van 5% tov 2015.

Deze complementariteit inzake doelgroepen en thematische focus biedt dan ook schaalvoordelen in termen van bereik. Tabel 1.1 illustreert de diversiteit in bereikte doelgroepen aan de hand van een aantal organisaties die werken rond het thema landbouw/voedselzekerheid en/of duurzame en eerlijke voedselketens3. Het is belangrijk op te merken dat het overzicht in tabel xxx is niet exhaustief is. Het is immers enkel gebaseerd op de geanalyseerde case studies en de beschibare evaluatierapporten voor de meta-analyse. In verschillende van deze evaluatierapporten werden trouwens ook niet alle doelgroepen van de geëvalueerde organisaties besproken.

Tabel 1.1. Diversiteit in bereikte doelgroepenVoorbeelden van organisaties

Thematische expertise Types van doelgroepen

ADG Landbouw/ voedsel zekerheid

Etudiant(e)s des sections agronomiques des 5 Hautes Ecoles Wallonnes et de la Faculté Gembloux Agro-Bio Tech

Enseignants de ces établissements, Population de Gembloux et de ses environs (depuis 2014).

FIAN Landbouw/ voedselzekerheid

Decideurs politiques Groupes de citoyens et citoyennes Mouvement sociaux

TRIAS Landbouw/ voedselzekerheid

Vlaamse ondernemers, Leden van achterban bewegingen (bv. Markant en KVLV,

…).Rikolto Landbouw/duurzame

voedingsketens/ Retailers, toeleveranciers, federaties van

voedingsindustrie, Scholen, cateringbedrijven voor scholen, … boerenorganisaties

Oxfam Wereldwinkels

Eerlijke handelsketens (inclusief landbouw en

Brede publiek Vrijwilligers en niet-vrijwilligers

3 In het eindrapport zal dit overzicht ook nog aangevuld worden voor de andere thema’s zoals onderwijs, waardig werk, etc.

36

Relevantie

voedingsproducten) Belgische EU-parlementsleden en de Belgische vertegenwoordiger bij de EUvia lokale polici, Vlaamse en federale beleidsmakers (zowel politieke actoren, technisch personeel en ambtenaren).

Oxfam solidariteit

Eerlijke en duurzame landbouw en voedingsketens

Young people, supporters, volunteers and educational actors

Belgian, European and international networks Movements of small holders

M/F Développement durable et accès aux ressources agricoles des femmes

Conseil Consultatif Femmes et Développement Les membres ou responsables d’ONG belge

PROTOS Eau Acteurs de l’eau Communes Ecoles

Zoals we eerder reeds stelden kan een een groeiende specialisatie rond specifieke thema’s en specifieke doelgroepen leiden tot een versterking van de eigen interne expertise binnen de organisatie. Uit de diepte cases en de meta-evaluatie leren we evenwel dat zulke tendens ook aanleiding kan geven tot diepere inzichten rond de eigen beperkingen wat betreft interne expertise om op een effectieve en efficiënte manier bij te dragen aan de doelstellingen van het programma. Dit is op zich niet negatief en kan eerder een sterkte zijn, zeker indien zulk inzicht leidt tot een gepast antwoord. In dat geval kan het immers gezien worden als een teken van een sterke adaptieve capaciteit van de organisaties die de relevantie van hun programma’s sterk kan bevorderen. Het is dan ook bemoedigend om op basis van de diepte cases alsook de meta-evaluatie vast te stellen dat meerdere organisaties samenwerkingsverbanden opzoeken met actoren die specifieke expertise of capaciteit kunnen binnenbrengen die de organisaties zelf niet in huis hebben (Box 1.7).

Box 1.7 – Complementaire samenwerkingsverband

Studio Globo en Via Don Bosco - Samenwerking tussen beide organisaties bij de organsiaties van het ‘Save the Bell’ evenement in scholen bleek een aantal belangrijke voordelen te bieden: 1) groter bereik zowel in de Nederlandstalige scholen van studio globo als de franstalige scholen van Via Don Bosco, 2) sterkere gemeenschappelijke beleidsbeïnvloedingsacties (bv. Engagementsverklaring van parlementaire onderwijscommissie rond SDG4 – recht op onderwijs), 3) faciliteren van toegang tot jongeren in beroepsscholen van VDB hetgeen een moeilijker bereikbare doelgroep is, ….

PROTOS travaille en synergie avec d’autres acteurs (Djapo et Ecolife). Ces collaborations de long terme et appréciée positivement par PROTOS devrait permettre à PROTOS de travailler de manière plus efficace, en laissant à Djapo et Ecolife la mise en œuvre d’appuis (long terme, pédagogique) sur lesquels ils ont plus d’expériences et d’expertise. In een externe evaluatie van het

Unicef België werd tijdens een evaluatie aanbevolen om de focus op het aanbieden van leermaterialen rond kinderrechten te verschuiven naar het ondersteunen van de leerkrachten bij het vertalen en verankeren van kinderrechten in het volledige schoolgebeuren en vooral in scholen met leerlingen vanuit een moeilijke socio-economische context. Hiertoe werd eveneens aanbevolen om veel sterker in partnerschap en synergie met andere KRE organisaties te werken zoals bijvoorbeeld Plan international.

Rikolto. De keuze voor een aanpak van het beginnen met een pilootproject naar het kapitaliseren, trekken van lessen en tenslotte op te schalen van de praktijk is een beproefde methode uit de innovatie. Door zich in een multistakeholder-aanpak in te schrijven en zich te laten begeleiden door participatie-experten en een universiteit die onderzoek doet naar multi-stakeholder-dynamieken, verhoogt Rikolto haar legitimiteit om veranderingsprocessen te stimuleren bij andere actoren. Rikolto liet een impact-evaulatie uitvoeren, dat hun in staat stelde de doelstellingen van multistakeholdersamenwerkingen te verscherpen.

Evaluatie van ontwikkelingseducatie-acties 37

Het valt wel op dat zulke samenwerking niet noodzakelijk wordt opgezocht tussen de organisaties die betrokken zijn binnen het gemeenschappelijk strategisch kader (GSK) voor ontwikkelingseducatie. Veeleer groeien zulke verbanden tussen specifieke actoren die een specifieke complementaire expertise kunnen bieden zoals bepaald door de specificiteit van de behandelde thema’s, doelgroepen en context. Tegelijkertijd kunnen tegengestelde belangen of doelstellingen tussen betrokken organisaties een samenwerking ook minder wenselijk maken. Dit wordt geïllustreerd door de Rikolto case in Box 1.8.

Box 1.8. - Tegengestelde doelstellingen kunnen samenwerking minder wenselijk maken

Rikolto. De keuze van Rikolto om te werken met de actoren uit de retail-sector (Colruyt, LIDL, etc.) is gezien de macht die deze hebben in het voedselsysteem zeer relevant. De niches met kleine schaal zoals stadslandbouw en lokale verkoop zullen 15% van het voedsel leveren, de rest zal via supermarkten blijven gebeuren. Dit zorgt voor een spanningsveld met andere NGO’s. Bij het uitwerken van een gemeenschappelijk strategisch kader met onder andere Wervel en Bioforum rond de verduurzaming van de voedselketen zijn deze er uitgestapt, omdat ze vrezen dat door een samenwerking met regimespelers zoals de supermarkten er zich geen systeemverandering zal voltooien en zij hun eigen meerwaarde niet meer kunnen uitspelen.

Op basis van de meta-analyse en de diepte cases konden er slecths weinig voorbeelden vastgesteld worden van samenwerking tussen de DGD gesubsidieerde programma’s en de audio-visuele producties of de korte acties en evenementen. Nochtans konden we een aantal van zulke samenwerkingsverbanden wel vaststellen tijdens de eerste fase van deze evaluatie. Voorbeelden hiervan zijn de samenwerking tussen verschillende NGOs en het FIFF filmfestival alsook de samenwerking tussen ‘Théatre et Réconciliation’ en verschillende NGOs voor de realisatie van het theaterproject ‘Le Ring de l’Agro’.

Zoals werd aangegeven in phase 1 van deze evaluatie liggen er binnen zulke samenwerkingsverbanden belangrijke opportuntiteiten die meer systematisch kunnen aangesproken worden, bijvoorbeeld rond het werken met specifieke finale doelgroepen die moeilijker bereikbaar zijn zoals kansarme jongeren, migranten, ouderen, etc. Alhoewel er wel degelijk organisaties zijn die specifiek inzetten op deze moeilijk bereikbare groepen (bv. Privé-sector in het geval van Rikolto, Migranten in het programma van Frères des Hommes of ouderen via de samenwerking tussen WSM en OKRA, leerlingen uit het beroepsonderwijs in het programma van Via Don Bosco) lijken deze groepen doorheen de meerdereheid van de cases en de metaevaluatie toch minder prominent aan bod te komen. Dat blijft een aandachtspunt voor de toekomst. Tegelijkertijd leeft er bij verschillende NGOs wel degelijk de vraag hoe ze op een meer diepgaande manier doelgroepen kunnen bereiken die niet uit eigen beweging of uit interesse zullen deelnemen aan ontwikkelingseducatie activiteiten (bv. Via Don Bosco, Unicef). Er is dus wel degelijk een draagvlak bij de NGOs om hier werk van te maken. Dit biedt dan ook een interessant werkpunt dat kan aangemoedigd en opgevolgd worden door de subsidiegever.

1.5. Evolueren naar een mondiale rechtenbenaderingUit die dieptecases en de meta-evaluatie zien we duidelijke aanwijzingen dat de gesubsidieerde ontwikkelinseducatie interventies doorheen de opeenvolgende programma’s in toenemende mate evolueren naar een mondiale rechtenbenadering. Dit is een positieve evolutie die erkenning verdient en verder aangemoedigd mag worden. Zulke benadering manifesteert zich immers in interventies die dieper ingaan op de onderliggende oorzaken van mondiale onrechtvaardigheid. Zij beogen ook vaker een leerproces dat gericht is op kritisch denken en omvatten ook politieke pleidooiacties die de oorzaken van oneerlijke situaties trachten aan te pakken. Deze benadering zet zich dan ook af tegen een traditionele N-Z tegenstelling en benadrukt de onderlinge

38

Relevantie

afhankelijkheid tussen wat er gebeurt op lokaal en mondiaal niveau en hoe dagdagelijkse activiteiten een invloed kunnen hebben op mondiale uitdagingen. Deze evolutie wordt tevens gekenmerkt door een sterk actiegerichte focus waarbij zowel individuele als collectieve actie wordt gepromoot bij de diverse doelgroepen. Dit leidt dan ook tot innovatieve innitiatieven en samenwerkingsverbanden die gezamenlijk diverse doelgroepen op een meer diepgaande en duurzame manier kunnen bereiken. De voorbeelden in Box 1.9 illustreren hoe deze evolutie vorm aannneemt in de programma’s van verschillende organisaties.

Box 1.9. - Versterkte relevantie via innovatieve en collective samenwerkingsverbanden

WSM. ‘Allereerst dient opgemerkt te worden dat er in algemene termen ten aanzien van het Noordprogramma van WSM over de periode 2014 – 2016 sprake is van een recent, uiterst relevant, ambitieus en goed uitgevoerd programma dat op basis van deze aanpak (integratie van aandacht voor mondiale vraagstukken binnen sociale bewegingen) als voorloper binnen de Belgische ontwikkelingsgemeenschap gepositioneerd kan worden en waarvan de eerste resultaten veelbelovend zijn. Het programma positioneert zich, … binnen de traditie dat maatschappelijke problemen wereldwijd samenhang vertonen en systemisch van aard zijn. Dat vanuit hoge inkomenslanden een belangrijke bijdrage kan worden geleverd aan veranderingsprocessen op mondiaal niveau en in lage- en middeninkomenslanden, door veranderingen in de maatschappelijke ordening in hoge inkomenslanden (in casu België) mede te bewerkstelligen.’ (extract rapport externe evaluatie programma 2014-2016 p.42).

PROTOS. Une évaluation du programme 2008-2014 relevait que l’accent en termes de sensibilisation était plutôt mis sur la problématique telle que vécue au Sud et moins sur la responsabilisation de ces groupes-cibles par rapport aux enjeux globaux liés à l’eau. Ces constats ont donc amené PROTOS à redéfinir son approche afin de rendre ses actions vis-à-vis des groupes-cibles plus pertinentes. Le programme 2017-2021 traduit concrètement la redéfinition de cette approche : d’une part en adoptant une approche globale par rapport à la problématique de l’eau (sortant du paradigme classique Nord/Sud) et d’autre part en révisant la théorie de changement en redéfinissant les groupes-cibles, en définissant leur fonction-clé (par rapport à d’autres acteurs) et en formulant plus précisément les changements auxquels PROTOS souhaite contribuer chez ces acteurs (i.e. acteurs de l’eau/waterbedrijven, communes en scholen). Protos a adopté une approache ‘recherche action’ pour développer des plans d’actions realistes et en phase avec le contexte des groupes cibles et pour suivre l’efficacité de ces stratégies.

FIAN. Comme ONG de plaidoyer, FIAN a également la caractéristique de travailler systématiquement en partenariat avec d’autres organisations (autres FIAN nationaux, ONG et autres 0SC). Depuis 2017, FIAN a plus explicitement développé la stratégie et l’objectif de participer à la construction d’un mouvement paysans, en mobilisant des courants différents : mouvement pour la sécurité alimentaire (mené notamment par l’organisation international La Via Campesina), syndicats paysans belges (FUGEA, RESAP, etc. ), mouvements de la transition et le mouvement pour la justice sociale (et alimentaire). Cette mobilisation de courants différents amènent une plus grande diversité de mouvements et de base sociale qui défendent, avec des points de vue particulier, le droit à l’alimentation et le droit des paysans. Cette tendance est déjà clairement visible dans l’approche mise en œuvre et les résultats atteints par le projet 2015-2016 et encore plus explicite dans le programme 2017-2021.

SOLSOC. Sur base de son expérience antérieure au niveau des partenariats Nord, notamment avec les différentes composantes de l’Action commune socialiste (FGTB, FPS, Mutuelles, IEV, mandataires PS), Solsoc a confirmé son abandon de la stratégie de sensibilisation stricto sensu, vers un public large et diversifié, pour privilégier un travail plus approfondi avec les animateurs des mouvements associatifs, en tant que personnes-relais qui développent, vers leurs propres publics cibles, un travail de sensibilisation aux relations Nord-Sud. Dans le prolongement de cette évolution, SolSoc voulait franchir un nouveau pas vers un travail plus politique. Le plaidoyer constitue, donc dans ce dernier programme (qui est aussi l’objet de notre évaluation) un axe de travail dans lequel

Evaluatie van ontwikkelingseducatie-acties 39

SolSoc a progressivement développé une expertise qui semble aujourd’hui mieux reconnue par ses partenaires Nord et Sud ainsi que par un certain nombre de mandataires politiques qui font appel à ses services pour alimenter leurs argumentaires.

De hierboven geschetste evolutie gaat gepaard met een aantal belangrijke maar tegelijk interessante uitdagingen waarop organisaties in lopende en toekomstige programma’s op een adaptieve en lerende manier antwoorden zullen moeten vinden. Zo blijkt dat een meer gerichte focus op een kleiner aantal strategisch gekozen intermediaire doelgroepen de ambitie van de programma’s niet verkleint. In tegendeel. Uit de dieptecases en de meta-analyse leren we dat deze evolutie juist leidt tot meer ambitieuze programma’s waarbij er gewerkt wordt naar meer diepgaande en duurzamere veranderingen bij een breed en divers publiek. Zoals we reeds in een vorige paragraaf aangaven vraagt dit voor een meer procesmatige aanpak waarbij er meer intensieve en maatgerichte ondersteuning en begeleiding nodig is voor de directe doelgroepen. Hierbij dient er ook op meer en meer rekening gehouden te worden met de complexiteit van sociale veranderingsprocessen binnen de organisaties die fungeren als intermediaire doelgroepen. Dit is een werk van lange adem waarbij ook strategisch moet nagedacht worden op welke manier deze ambitie kan waargemaakt worden op langere termijn. Dit heeft de volgende praktische implicaties:

Zo moet er voldoende budgettaire ruimte zijn om een meer procesmatige werking met intermediaire doelgroepen mogelijk te maken doorheen een langere tijd. Dit bleek een uitdaging te zijn bij een aantal cases waar interessante trajecten niet konden verdergezet worden omwille van budgetaire beperkingen of ten gevolge van niet-structurele samenwerkingsverbanden.

Tevens is het bij deze aanpak essentieel om het intermediaire resultatenniveau, namelijk de veranderingen bij de intermediaire doelgroepen waar het programma hoopt toe bij te dragen, duidelijk uit te klaren. Op die manier kan er op een actor-gerichte manier gemonitored worden of het programma inderdaad bijdraagt tot deze veranderingen. Op basis daarvan is het dan mogelijk om tijdens het programma bij te sturen indien nodig. Uit de casestudies en de meta-analyse blijkt dat een meerderheid van de organisaties enerzijds wel stappen vooruit zet rond het versterken van hun monitoring systemen (bv. uitwerken van theories of change, outcome mapping, etc.) maar anderzijds toch nog praktische uitdagingen ondervindt bij het opzetten en implementeren van zulke actor-gerichte monitoring systemen. Ainsi des ONG comme PROTOS (par rapport aux communes et aux acteurs de l’eau) ou FIAN (par rapport aux mouvements paysans notamment) par exemple seront amenés à devoir adapter et renforcer leurs dispositifs de suivi-évaluation afin de pouvoir apprécier l’évolution des changements induits en termes de mobilisation des acteurs, de changements de pratiques et d’effets multiplicateurs par rapport aux autres groupes-cibles.

Gezien de complexiteit van de veranderingsprocessen waarnaar gestreefd wordt dienen organisaties over de nodige expertise te beschikken (inhouse of door samenwerking met andere organisaties) om gaandeweg tijdens het programma de theory of change te verfijnen. Zo beogen verschillende interventies verandering op organisationeel niveau bij hun intermediaire doelgroepen. De bedoeling is dan dat zij zelf sensibiliserende acties naar hun achterban of medewerkers kunnen opzetten of hun manier van werken met actoren uit landen in ontwikkeling aanpassen. Naargelang de context en de eigenheid van de doelgroepen zullen zich verschillende theories of change kunnen uittekenen die mogelijk kunnen verschillen van deze die bij het begin van het programma werd vooropgesteld. Deze validering of verdieping van theories of change lijkt nog een uitdaging te zijn voor een meerderheid van de cases. Dit hangt natuurlijk samen met de uitdagingen rond monitoring en evaluatie die hierboven ook werden geduid.

Eenmalige adhoc sensibiliseringsacties kunnen binnen deze evolutie naar een mondiale rechtenbenadering nog steeds een belangrijke rol spelen maar dienen wel gelinkt te worden aan andere processen of trajecten. Dit kan weliswaar een uitdaging zijn voor organisaties die doelgroepen proberen te bereiken die niet

40

Relevantie

noodzakelijk vragende partij zijn of interesse hebben voor zulke procesmatige werking. Het blijft dan ook een uitdaging voor organisaties om een mondiale rechtenbenadering tot bij zulke moeilijk te bereiken doelgroepen te brengen. Uit de cases leren we dat de adhoc sensibiliseringsacties wel potentieel hebben om deze doelgroepen te bereiken weliswaar vaak op een ludieke en eerder oppervlakkige manier. De uitdaging is dan ook om manieren te exploren waarbij en combinatie van adhoc activiteiten en procesmatige activiteiten kunnen gecombineerd worden om deze moeilijk te bereiken doelgroepen toch in een dieper leeerproces te betrekken. Box 1.10 biedt hier een voorbeeld van aan de hand van het ‘Save the Bell’ project dat wordt uitgevoerd in samenwerking tussen Via Don Bosco en Studio Globo

Box 1.10 - VDB ism Studio Globo- “Saved by the Bell”

Via Don Bosco. ‘Saved by the Bell’ is een actie die oproept tot het recht op onderwijs overal en voor iedereen. Ze vindt plaats op 5 oktober, dag van de Internationale Leerkracht, en bestaat uit drie korte activiteiten. In 2014 vond op vraag van een aantal scholen een verdieping plaats van deze activiteit door er een extra spel aan te koppelen ‘Wegwijs in Onderwijs’: een soort ganzenbord waar leerlingen kennis maken met verschillende soorten onrecht en maatregelen die een land kan nemen om deze uit de weg te ruimen. Voor 2015 lag de focus van de sensibilisering op ‘iedereen naar school’. De SDG’s hebben deze focus doen verschuiven naar ‘iedereen recht op een ‘goede’ school’. Ook de Mininster van Ontwikkelingssamenwerking en van Onderwijs werden uitgenodigd in 2016 om een ‘belmoment’ mee te maken en op die manier ook het beleid ‘warm’ te maken voor de thema’s die op die dag aan bod te komen. Ze ondertekenden een engagementsverklaring om onderwijs te verdedigen en te bevorderen zodat België een rol kan vervullen in het realiseren van de SDG met name SDG4.Het voordeel van “Saved by the Bell” is dat het zeer laagdrempelig is om bij scholen ‘binnen te geraken’. Een andere voordeel is dat het elk jaar opnieuw kan plaatsvinden omdat het gelinkt wordt aan de Internationale Dag van de Leerkracht. Sensibilisering kan dus over een langere periode plaatsgrijpen indien de school dit elk jaar opnieuw doet, en hoeft niet beperkt te blijven bij 1 keer. Op die manier kan de boodschap op de duur wel blijven hangen. Een bijkomend voordeel is dat deze korte actie toelaat om in contact te komen met scholen die niet noodzakelijk zelf sterke interesse tonen in ontwikkelingseducatie. Dit biedt dan een opening om opportuniteiten voor verdere samenwerking in de diepte met deze scholen te exploreren.

Evaluatie van ontwikkelingseducatie-acties 41

2. Effectiviteit

La question centrale de ce critère d’évaluation est de se demander dans quelle mesure les actions des ONG contribuent à des changements chez les groupes-cibles visés. La capacité à répondre à cette question est de manière générale dépendante de plusieurs facteurs : que les ONG aient une théorie de changement explicite sur les changements auxquels elles espèrent contribuer, qu’elles aient un dispositif de suivi-évaluation et l’utilisent pour apprécier les changements induits, disposer d’évaluation (ou enquêtes) sur les changements observés. Par ailleurs, la mesure de l’efficacité d’actions d’éducation au développement est également rendue plus difficile selon le type d’action d’éducation au développement. Ainsi, l’efficacité d’actions de plaidoyer est toujours difficile à apprécier : d’une part parce que cette efficacité se traduit souvent en « petites avancées vers le changement » et d’autre part parce que l’influence des ONG est parfois difficile à isoler dans des processus de décisions politiques. En matière de sensibilisation et de prise de conscience, la difficulté tient aussi aux méthodes de mesure (enquêtes individuelles, observations) qu’il faudrait mettre en place pour pouvoir générer des résultats probants et de long terme (de l’efficacité à l’impact).

Dans ce chapitre, nous aurons d’abord une appréciation par rapport à l’ampleur des acteurs touchés par les actions et à leurs profils spécifiques, puis sur un ensemble de mécanismes qui tendent à rendre les ONG efficaces, particulièrement en termes d’induction de changements auprès de leurs groupes-cibles.

2.1. Ampleur et profils des groupes cibles Le tableau 2.1. donne un aperçu de l’ampleur et des profils des acteurs atteints par les actions d’éducation au développement des ONG étudiées. Il faut bien noter que cet aperçu n’est que partiel en raison de la méthodologie de l’évaluation qui s’est concentrée sur certaines stratégies et/ou groupes-cibles pour chacune des ONG.

Tableau 2.1. Aperçu partiel du nombre de personnes/institutions touchées par les actions de sensibilisation des ONG ayant fait l’objet d’études de cas (2014-20215)

Groupe Cible Nombre de personnes/institutions touchées entre 2014 et 2016/2017Ecoles Via Don Bosco

-      Leerlingen bereikt met pedagogisch aanbod: 41.764 (jaar 1), 18043 (jaar 2), 26874 (jaar 3)

-      Leerkrachten bereikt: 105 (jaar 1), 118 (jaar 2), 336 (jaar 3)- Scholen bereikt: 73 (jaar 1), 73 (jaar 2), 133 (jaar 3

PROTOS- 262 professeurs formés- 4004 élèves du secondaire engagés dans des Waterprojecten (ism met

Djapo en Ecolife)Institutions Publiques PROTOS

- 4 communes accompagnés pour jouer un rôle moteur auprès des institutions et populations

Rikolto- 4 Gemeenten

Entreprises du secteur privé ou apparentées

PROTOS- 20 acteurs de l’eau sensibilisés et accompagnés (exemple : Farys,

Watergroep)Rikolto

- 3 regime spelers : Fevia, Comeos, Boerenbond- Catering in 25 publieke instellingen (vanaf 2017 ook keukens van

scholen)

- 40 bedrijven (leden van Fevia)Mouvements sociaux FIAN 

- 56 organisations soutiennent la campagne pour la Déclaration des Droits des Paysans

SolSoc - Syndicats : 8 structures de la FGTB (CGSP, centrale de Horval, secteur

Papier, Régionales de Namur, Tournai, Liège et Mons Borinage, IFSI)- Mutuelles : 4 structures (Solidaris/ANMC, trois fédérations régionales)- FPS : 7 structures (services d’études et de communication, Régionales

d’Evere, centre/Soignies, Wavre, Nivelles, Namur)- Parti Socialiste : service d’Etude

ONG Le Monde Selon les Femmes- 14 ONG accompagnées

Grand Public FIAN- 7783 personnes touchées directement- 1354 personnes ayant posé un acte citoyen - 425 personnes formées

Le Monde Selon les Femmes - 1077 publicaties besteld via website- 4153 publicatie downloads- 7000 facebook sympathisanten- 36601 bezoekers internet- 8000 publicaties uitgedeeld tijdens trainingen

En termes de profil des acteurs ciblés, ces données confirment le travail de niche des ONG envers des acteurs plus stratégiquement choisis et porteurs d’effets multiplicateurs sur d’autres acteurs (institutionnels et individus). On retrouve ainsi moins d’actions tournées vers « le grand public » sachant que celui-ci est plus élusif et plus difficile à mobiliser dans la durée pour pouvoir induire des effets durables. A l’inverse, on retrouve beaucoup d’acteurs institutionnels avec lesquels les ONG travaillent, généralement dans des processus de longue durée, pour induire des effets et des changements en leurs sein propre mais aussi pour inciter à ce que ces derniers jouent un rôle moteur par rapport à d’autres acteurs et individus avec lesquelles ils sont en relations directes. Cet aperçu démontre également des choix stratégiques fait par les ONG pour cibler des acteurs avec lesquels ils ont une proximité en termes de domaines d’activités (Rikolto, FIAN, VIA Don Bosco, PROTOS) ou/ou de valeurs (SolSoc). Bien que cela reste un aspect à renforcer, on observe une meilleure prise en compte d’acteurs moins souvent touchés par des actions d’éducation au développement comme les entreprises privées (allant de fermes agroécologiques à des acteurs conventionnels de la grande distribution) ou des acteurs publics située en dehors du champs de la coopération internationale (communes, institutions publiques). Egalement, le monde scolaire a toujours été ciblé mais l’évaluation montre une évolution vers des segments du monde scolaire (enseignement technique et professionnels) particulièrement délaissés par l’éducation au développement (Vaes & Van Ongevalle, 2013).

Au niveau quantitatif, il est difficile de donner une appréciation globale du niveau d’efficacité des ONG sur base de ces chiffres. Les rapports narratifs des ONG traduisent dans la quasi majorité des cas une atteinte des résultats prévus dans les programmes et projets soumis à la DGD. Le changement d’approche des ONG vers un travail de plus long terme envers une sélection plus ciblée d’acteurs réduit quantitativement à court terme le nombre de personnes/institutions touchées. Par contre, l’approche est plus prometteuse en termes d’efficacité que des approches antérieures visant à un travail plus en largeur qu’en profondeur (voir également chapitre sur l’efficience).

2.2. Expertise mieux identifiée et rendue accessible La tendance vers un travail de niche se traduit également en termes d’efficacité dans le sens où les acteurs ciblés par les actions des ONG se disent être plus répondantes en raison de l’expertise pointue qu’ont certaines ONG sur les sujets traités et parviennent à rendre cette expertise accessible. Ceci se vérifie dans plusieurs des cas étudiés : FIAN (sur les problématiques globales de droit à l’alimentation et des droits des paysans) par

Effectiviteit

rapport aux mouvements de paysans, PROTOS (sur les questions autour de l’eau ; voir Box 2.1) par rapport aux acteurs de l’eau belge), Rikolto (sur les chaines d’approvisionnement équitable) par rapport aux acteurs belges de la distribution alimentaire, Le Monde Selon les Femmes comme ONG travaillant sur le genre par rapport aux autres ONG belges, ainsi que VDB, une des rares ONG qui travaille sur le thème de l’éducation.

Box 2.1. - Favoriser l’engagement des acteurs de l’eau

PROTOS. Quand PROTOS, qui travaille depuis plus de 40 sur les questions de l’eau, dialogue avec des acteurs de l’eau en Belgique, ces derniers reconnaissent non seulement l’expertise de PROTOS en la matière mais également leur grande connaissance des logiques et contraintes des acteurs de l’eau, tant au Sud qu’au Nord. Au fil d’une collaboration de longue durée avec PROTOS et des actions menées dans une perspective globale, certains acteurs de l’eau reconnaissent être passé d’une approche caritative vis-à-vis de l’éducation au développement (ou de leur engagement dans certains projet « Sud ») à un approche plus engagée (sans l’appui de PROTOS). Selon leurs propres dires, l’accompagnement de PROTOS leur a permis de comprendre qu’ils avaient plus à offrir et à recevoir de leur collaboration avec PROTOS et avec des acteurs de l’eau au Sud. Donner de l’argent et de l’expertise était un premier pas mais cet action prend plus de sens quand elle s’inscrit dans la volonté de l’entreprise de traduire de manière plus cohérente ses préoccupations autour des problématiques globales de l’eau.

L’expertise thématique de certaines ONG n’a pas uniquement une plus-value en termes de crédibilité (cf. pertinence) mais également en termes d’efficacité. Cette expertise se base souvent sur la qualité et la diversité des compétences au sein des équipes ainsi que sur des stratégies intégrées combinant études, mobilisation et plaidoyer.

Box. 2.2. - Influence sur les acteurs politiques belges

FIAN. Ainsi, concernant les décideurs politiques, on observe que les actions de FIAN ont directement contribué à certaines changements concrets tels que des dispositifs permettant de renforcer la cohérence des politiques (en faveur du développement : instauration du Conseil Consultatif pour la cohérence des politiques en faveur du développement, comité interministériel, etc. L’action de FIAN a pris place dans une période (à partir de 2007) marquée par des initiatives internationales (OCDE), européennes (UE), nationales visant plus de cohérence dans les politiques en faveur du développement mais au niveau belge, l’expertise et le rôle unique joué par FIAN (et le CNCD/11.11.11) sur ces questions ont sans aucun doute permis de faire avancer les discussions pour se doter de dispositifs concrets.

Dans le cas de FIAN comme dans d’autres ONG (par exemple Le Monde Selon les Femmes), l’expertise repose particulièrement sur une pluralité de savoirs et de savoirs-faire au sein de l’équipe: des personnes du monde académique mais non déconnectées du terrain, des analystes pointues, des stagiaires stimulés à la recherche et à l’analyse, des analystes du Sud. Au sein d’ONG petites en nombre de personnel comme FIAN ou le Monde Selon les Femmes, l’efficacité réside également dans le fait que les stratégies (études/recherches, mobilisation, plaidoyer) sont portées et mises en œuvre de manière intégrée par l’ensemble des membres des équipes.

2.3. Un accompagnement adapté aux besoins et points de vue des groupes-cibles

L’une des tendances qui se dégage de l’évaluation est l’évolution des pratiques d’éducation au développement vers des formes d’accompagnement de plus long terme, adaptées aux besoins des groupes cibles et tenant compte de leurs perspectives spécifiques. Pour les ONG, ce type d’accompagnement exige une capacité à s’adapter (contenu, rythme, approche) en fonction de chaque groupe-cible (voire de chaque sous-groupe-cible : par exemple de chaque commune si « les communes » sont le groupe-cible visé). Mettre en œuvre ce mécanisme pourrait relever de l’évidence pour atteindre

Evaluatie van ontwikkelingseducatie-acties 45

plus d’efficacité. Toutefois, ce mécanisme se traduit par ce qui pourrait être qualifiés « d’ingénierie relationnelle » qui renforce clairement l’efficacité des ONG.

Box 2.3. - Capacité à mobiliser concrètement une diversité d’acteurs autour d’enjeux globaux

FIAN. Ainsi, l’approche de mobilisation de mouvements paysans belges et européens mis en œuvre par FIAN pour contribuer à construire un mouvement collectif global autour du droit à l’alimentation et du droit des paysans est rendue possible par les efforts fait par FIAN pour s’adapter aux réalités et rythmes des paysans engagés à titre bénévole dans les mouvements sociaux qu’ils et elles représentent. Cette adaptation se traduit en une attention particulière dans l’anticipation des dates de réunion (permettant la planification), une prise en compte des heures de réunions (heures que les paysans ne peuvent pas consacrer à leurs exploitations agricoles), prise en charge des frais de déplacement (ne pouvant être pris en charge par certains mouvements sociaux), etc.

Cette adaptation témoigne selon les représentants des mouvements paysans d’une bonne connaissance et compréhension des dynamiques particulières des mouvements paysans (qui ne sont pas ceux des ONG ou des organisations professionnelles de plaidoyer). Mais cette adaptation reflète également de la volonté de FIAN que les relations et actions conjointes contribuent au renforcement de la légitimité, de l’engagement et des capacités de plaidoyer des mouvements paysans belges.

VIA Don Bosco ziet zichzelf als kwaliteitsvolle facilitator en kennisdeler. Veranderingen in scholen, leerkrachten en leerlingen worden niet ‘an sich’ gerealiseerd. Het is belangrijk dat de verschillende geledingen ondersteund, gestimuleerd en gemotiveerd worden (faciliteren en niet ‘het in de plaats doen van’) zodat wereldburgerschapseducatie een plaats krijgt in hun dagelijkse werkzaamheden. Het initiëren en sturen van deze verandering is de specifieke functie die VIA Don Bosco op zich neemt. Ze realiseren hier voornamelijk een rol als facilitator en kennisdeler (vooral via de School2School initiatieven en de inleefreizen tijdens het 2014-2016 programma.

Cet accompagnement se traduit également par la combinaison de stratégies vis-à-vis de mêmes groupes-cibles. On retrouve ainsi de moins en moins de formations dispensées de manière isolées à des groupes-cibles institutionnels sans que celles-ci n’entrent dans un accompagnement de (plus ou moins) longue durée au sein duquel une diversité d’approches sont proposées : sensibilisation, formation, coaching, réseautage, etc. La Box 2.4. en détaille quelques exemples.

Box 2.4. - Des stratégies multiples et combinées d’accompagnement

Le Monde Selon les Femmes opte dès le départ pour une combinaison permanente entre formation et accompagnement :  les formations dispensées s’accompagnent de la mise en place d’une approche genre structurée dans l’organisation : formation général, puis formation par département pour voir comment prendre en compte le genre selon les métiers (genre et communication, genre et éducation, genre et plaidoyer, genre et projets, etc.) et accompagnement de ces organisations dans la mise en place de ces pratiques nouvelles. Ainsi, constatant que le genre était absent dans leur stratégie, l’ONG RCN Justice et Democratie a demandé à bénéficier d’un tel accompagnement et de formation ; ce qui a permis d’élaborer et de mettre en place (avec l’appui du M/F) une stratégie genre adaptée à l’ONG.

PROTOS. Le même constat peut être fait dans le cas de PROTOS par rapport aux communes. L’accompagnement des communes par PROTOS passe par des moments de formation mais surtout par un appui (technique, méthodologique et pédagogique) à la définition et à la mise en œuvre de nouvelles pratiques conçues et mises en œuvre par les communes elles-mêmes. La mise en œuvre de cet accompagnement « sur mesure » a permis dans le nouveau programme 2017-2021 que les communes cibles (4) s’engagent rapidement et concrètement dans l’élaboration et la mise en œuvre de plans d’action pluriannuels autour des questions de l’eau. Le processus d’élaboration des plans d’action est le fruit d’un travail collectif impliquant une diversité de fonctionnaires et

46

Effectiviteit

services communaux n’ayant pas forcément l’habitude de travailler ensemble. La mise en œuvre de ces plans d’action est stratégique car il ne s’agit pas uniquement d’engager les services communaux à modifier leurs utilisations directe et indirecte de l’eau mais également faire jouer aux communes un rôle-moteur dans la sensibilisation et l’engagement d’autres acteurs (écoles, populations, etc.). Les communes interrogées témoignent que la qualité et la nature de l’accompagnement méthodologique et pédagogique de PROTOS leur a permis de rapidement déterminer les domaines sur lesquels ils voulaient travailler en priorité selon la dynamique de la commune.

Dans des ONG comme SolSoc (voir Box 2.7) ou WSM, le fait de faire partie de mouvements sociaux (respectivement socialistes et travailleurs chrétiens) permet également de faire d’assurer un travail de proximité et basée sur le sentiment d’appartenir à une même communauté.

Même mis en œuvre de manière inductive, un accompagnement adapté aux besoins et points de vue des groupes-cibles exige d’avoir d’une part une vision claire sur les changements que l’on espère voir ces acteurs opérer (même si les chemins de ces changements ne sont pas encore connus, ni généralisables) et d’autre part un dispositif de suivi-évaluation qui permettent d’apprécier au fur et à mesure comment chaque acteur visé répond aux stratégies proposées. Sans cela, il est très difficile pour les ONG de pouvoir piloter de manière efficace et efficiente l’accompagnement des acteurs et de pouvoir en tirer des leçons. Or, il ressort de l’évaluation que toutes les ONG étudiées ne sont pas encore toujours dotées de théories de changements explicites, ni de dispositif de suivi-évaluation permettant d’apprécier l’évolution des changements chez des acteurs visés et accompagnés.

Les conditions sous-tendant le rôle multiplicateur que l’on espère voir jouer par les acteurs visés demande également à être mieux définies et anticipées pour parvenir à plus d’efficacité. Dans le cas de Rikolto par exemple, 30 à 40 entreprises de l’industrie alimentaire membres de FEVIA s’étaient montrées intéressées à s’engager vers des pratiques plus durables. Or, il s’est avérée rapidement que FEVIA n’avait pas les ressources humaines suffisantes pour pouvoir accompagner les changements auprès de ses membres.

Un autre défi à relever est celui du passage à l’échelle d’actions visant certains acteurs. Dans certains cas (PROTOS), le caractère novateur de certaines approches envers des acteurs démultiplicateurs comme les communes ne permet pas encore de savoir si et comment le passage à l’échelle (couvrir plus de communes) sera possible. Pour PROTOS, le travail sur les 4 communes dans le cadre du programme 2017-2021 fait partie d’une recherche-action qui permettra notamment d’envisager le passage à l’échelle. Dans le cas de Rikolto, le passage à l’échelle fait partie également de l’approche mais les résultats dépendent d’un acteur à l’autre selon sa volonté et/ou les capacités dont il dispose. Pour d’autres ONG (SolSoc, voir ci-dessous), un passage à l’échelle pourrait plus facilement être envisagé en raison des liens structurels avec les autres mouvements de l’action commune socialiste.

Evaluatie van ontwikkelingseducatie-acties 47

Box 2.5. - Les défis du passage à l’échelle

SolSoc. Pour les organisations comme SolSoc qui joue sur la proximité de mouvement avec les acteurs ciblés, on observe également que des efforts devraient être faits pour parvenir à toucher de manière plus égale les différentes organisations constitutive du mouvement socialiste. On observe en effet des différences dans la portée de SolSoc par rapport à certaines organisations ou régions. L’explication réside dans le fait que SolSoc travaille avec les organisations sur une base volontaire mais on peut penser que l’incitation et les opportunités pourraient être renforcées par le fait même de faire partie d’un même mouvement.

L’efficacité de l’accompagnement d’acteurs dans la durée se base souvent sur des relations interpersonnelles de confiance faites d’une très bonne connaissance mutuelle des logiques et dynamiques de chacun. Ces facteurs sont donc intrinsèquement fragiles (départ de certaines personnes, maintien des équipes et des compétences) et exigent une attention particulière pour permettre et préparer une continuité dans le travail d’accompagnement.

2.4. Alliances stratégiques avec d’autres acteurs sociauxLes ONG construisent de plus en plus des alliances stratégiques avec d’autres acteurs sociaux. Ces alliances stratégiques s’observent particulièrement dans les stratégies de plaidoyer qui sont de moins en moins mises en œuvre par des ONG individuelles. En termes d’efficacité, ces alliances ont un caractère stratégique dans le sens où elles permettent d’une part d’avoir une portée plus grande et plus ciblée et d’autre part parce qu’elle permettent de renforcer l’assise sociale derrière les actions de plaidoyer.

Box 2.6. - Des alliances stratégiques en dehors de la zone de confort des ONG

FIAN. L’évaluation 2015-2016 relève que FIAN a certainement contribué à faire de certaines questions (droits à l’alimentation, droits des paysans, propriété foncière, accaparement des terres agricoles) des sujets de débat public, y compris au sein d’instances de décisions officielles. Cette efficacité de FIAN tient d’une part au fait que l’ONG fasse partie d’un réseau international (au sein duquel la section belge est très active) et que la section belge soit parvenue à créer des alliances efficaces avec des acteurs-clés, comme Olivier De Schutter, rapporteur spécial des Nations-Unies sur le droit à l'alimentation entre 2008 et 2014 et professeur à l’Université Catholique de Louvain. Durant la période 2014-2017, FIAN a particulièrement renforcé ses alliances avec des mouvements paysans en Belgique en vue de contribuer à construire un mouvement paysan. En termes d’efficacité, les alliances avec les mouvements paysans belges (surtout francophones jusqu’à présent) ont été stratégiques car elles permettent à FIAN de pouvoir se positionner au nom d’une base sociale et également de pouvoir étendre ses capacités de mobilisation (tant de ces mouvements paysans belges que de citoyens individuels en Belgique). Cette stratégie est jugée positivement par les évaluations et les personnes et organisations interrogées car elle a permis de renforcer la crédibilité de FIAN (notamment en se distinguant d’ONG souvent accusées – à tort ou à raison – de ne représenter qu’elles-mêmes). Pour FIAN, cette stratégie traduisait également la volonté d’être plus cohérente avec son discours autour des mouvements sociaux et de sortir d’une certaine « zone de confort » en n’étant auparavant qu’en dialogue avec des organisations paires (ONG, organisations professionnelles de plaidoyer, etc.). Du côté des mouvements paysans, le travail avec FIAN est ressenti comme efficace car il permet d’appuyer leur travail en Belgique (par l’apport de stratégies et d’argumentaires additionnels) et de lui donner une perspective internationale.

48

Effectiviteit

Le caractère stratégique des alliances entraine parfois de ne pas travailler avec certains acteurs. Concernant les droits des paysans (et l’adoption d’une Déclaration des Droits des Paysans), les décideurs belges n’ont jusqu’à présent pas réellement été sensibles aux arguments de FIAN. Du côté wallon, le ministre en charge de l’agriculture ne se dit pas opposé à une telle déclaration des paysans mais souhaiterait avoir l’aval des fédérations agricoles « classiques » comme la Fédération Wallonne de l’Agriculture (FWA). Or, les pratiques majoritaires représentées au sein de ces fédérations sont en opposition à celles prônées par FIAN et d’autres fédérations et mouvements paysans (FUGEA, RESAP). Des actions de plaidoyer envers la FWA seraient envisageable mais FIAN ne souhaite pas les porter car il leur semble plus efficace ce se centrer sur des alliances avec acteurs porteurs de changements à plus long terme.

PROTOS. Dans le cadre de son travail avec les acteurs de l’eau, PROTOS s’est notamment fortement investi dans la plateforme VPWvo (Vlaams Partnerschap Water voor Ontwikkeling) mis en place par le département « milieu » du gouvernement flamand. Cette plateforme rassemble divers acteurs flamands (administration, entreprises publiques et privées active dans le secteur de l’eau, monde académique, ONG et associations) (Rapport Externe Evaluatie, 2015, p12). La plateforme permet également à des acteurs flamands de développer des projets autour de la problématique de l’eau. Au sein de cette plateforme, PROTOS a toujours joué un rôle actif et est reconnu, tant par l’administration que par les entreprises, comme l’un des experts sur la problématique de l’eau, particulièrement au Sud. Comme ONG spécialisée sur la problématique de l’eau et grâce à son implication dans ce réseau (comme dans d’autres réseaux), PROTOS est parvenu à construire des bonnes relations avec une très grande diversité d’acteurs dans le secteur de l’eau. Les entreprises interrogées (Farys, Watergroep) relève le professionnalisme et l’expertise de PROTOS ainsi que sa capacité à dialoguer, au Nord comme au Sud, avec les acteurs-clés de la problématique de l’eau : autorités, utilisateurs et entreprises. Selon ces entreprises, il leur est facile de travailler avec PROTOS (et probablement plus facilement qu’avec des ONG plus généralistes ou « politiques »).

Par rapport aux décideurs politiques, certaines ONG expliquent leur efficacité est souvent freinée par le caractère changeant du monde politique et institutionnel, rendant difficile un travail dans la continuité auprès de personnes en particulier et par le caractère parfois insaisissables du fondement de leurs décisions. Toutefois, certaines ONG parviennent à interagir de manière presque structurelles avec des relais parlementaires.

Box. 2.7 - Activer des relais parlementaires

Envers les décideurs politiques, SolSoc dispose d’un atout évident de par ses connections avec certains mandataires socialistes au niveau belge et au niveau européen. Elle a décidé d’en faire un atout stratégique en faisant jouer un rôle de relais par les mandataires politiques socialistes, ce qui assure une entrée dans les cénacles de prise de décision et permet une relative continuité dans le travail. Ainsi, certains parlementaires au niveau régionaln, belge et européen (Marie Arena ou Elio Di Rupo, par exemple) disent consulter SolSoc de manière proactive quand ils sont sollicités pour commenter ou participer à des prise de décision (notamment sur les accords commerciaux avec certains pays) .

L’un des mécanismes qui sous-tend l’efficacité de ces approches multi-acteurs réside dans la capacité des ONG à définir et à jouer un rôle supplétif par rapport aux autres acteurs, à savoir « suppléer à un manque ou à un besoin qui n’est assumé par personne mais qui rend service à l’action et à tout le monde concerné par la bonne issue de l’action » (De Leener, 2015). Ce constat est fait pour plusieurs ONG étudiées (FIAN, PROTOS, Rikolto) ainsi que par la méta-analyse. La Box 2.8 en donne des illustrations plus détaillées.

Box 2.8. - Définir et jouer un rôle supplétif

FIAN. Tous les interlocuteurs interrogés reconnaissent que l’une des raisons qui explique la qualité des partenariats avec FIAN et de la conduite des actions menées

Evaluatie van ontwikkelingseducatie-acties 49

ensemble tient au fait que FIAN apporte une expertise (en termes d’analyse et de stratégies/capacités de plaidoyer) que les autres acteurs n’ont pas. Les autres acteurs ne se sentent pas instrumentalisés dans ces partenariats mais au contraire renforcé par l’apport de FIAN. Dans le cas de FIAN, le fait d’apporter de jouer ces jouer supplétif a renforcé l’efficacité de la mobilisation d’autres acteurs dans les actions de plaidoyer et a permis à FIAN que les campagnes de plaidoyer menée soient portées par plus de 50 autres organisations belges.

RIKOLTO. Nous avons déjà relevé plus haut que les acteurs de la distribution reconnaissent l’expertise et les réseaux apporté par Rikolto en matière de chaine d’approvisionnement équitable et durable (expertise que ces acteurs n’ont pas ou pas avec la même profondeur). Au-delà, Rikolto joue également le rôle stratégique de l’ami critique. Contrairement à l’approche d’autres ONG, les acteurs de la distribution alimentaire voient en Rikolto un acteur essayant d’améliorer les pratiques d’autres acteurs sans « attaquer » ou les soumettre à de nouvelles normes. Ce rôle est source d’efficacité en termes de dialogue avec les acteurs de la distribution mais également pour les amener à élargir leurs perspectives dans des domaines qu’ils pensent pouvoir améliorer uniquement en interne. Ainsi, en interpellant des acteurs de la distribution alimentaire à signer un engagement de « 9 To-do’s vers plus d’achats durables » : certains acteurs ont souscrit à cet engagement tandis que d’autre (COMEOS) ne l’ont pas fait car ils étaient en désaccord avec l’une des recommandation sur la formation des prix. Ce processus peut être vu comme un échec partiel mais aussi comme la possibilité d’entrer en dialogue avec ces acteurs sur ce facteur de blocage. De même, si certains acteurs de la distribution disent vouloir en interne améliorer leurs pratiques en termes d’équité et de durabilité, le rôle d’ami-critique joué par Rikolto permet à ces acteurs d’être incités à aller plus loin en termes de changements que ce qu’ils n’auraient fait uniquement sur base d’une dynamique interne.

2.5. Diversification et renouvellement des supports et méthode de sensibilisation

Ces dernières années, les ONG font preuve d’innovation en s’efforçant clairement de diversifier et renouveler les supports et méthodes d’éducation au développement.

En termes de support pédagogique, on peut relever les efforts de toutes les ONG étudiées pour mettre à jour et digitaliser des supports existants (PROTOS, Le Monde Selon Les Femmes, CETRI), pour réaliser des études (Le Monde Selon les Femmes, FIAN, CNCD-11.11.11), pour avoir recours à la production et réalisation de supports audio-visuels (FIAN, SolSoc), pour accompagner et coacher des associations (Le Monde Selon les Femmes, CETRI) et pour parvenir à une diffusion plus large des supports produits. VDB heeft vanaf 2017 (eerste jaar programma 2017-2021) voorzien om bepaalde vernieuwingen te brengen binnen haar bestaande aanbod door vb. een app te ontwikkelen van “Wegwijs in onderwijs”. Dit spel is reeds doeltreffend gebleken bij de leerlingen, leerkrachten en in het kader van het programma Kleur Bekennen. Het idee is om constante updates te bieden en de mogelijkheden die de nieuwe technologieën bieden beter te benutten. Verder is ook gepland om  deel te nemen aan de Sustainable development data digest, een initiatief van het Instituut voor Statistiek van de Unesco om de doelstelling van duurzame ontwikkeling te meten. Het idee is om alle nodige gegevens voor het monitoren van de voortgang te verzamelen, knelpunten te identificeren en het beleid op het gebied van educatie te verfijnen. Cette évolution est aussi à mettre en lien avec le changements d’approche (en profondeur plus qu’en largeur) des ONG.

2.6. Des changements plus tournées vers l’action L’évaluation montre clairement une tendance des ONG à proposer des actions d’éducation au développement qui permettent aux acteurs visés d’être informés et conscientisés mais aussi de s’engager concrètement à partir de leurs positions d’acteurs

50

Effectiviteit

belges. Cette évolution contribue clairement à l’efficacité des actions d’éducation au développement car elle répond à une demande tant d’acteurs institutionnels que d’individus. Cette demande peut être décrite comme le souhait de pouvoir porter des actions concrètes traduisant la prise de conscience du caractère global des problématiques sur lesquelles les ONG font de l’éducation au développement. Plusieurs illustrations issues des études de cas démontrent l’efficacité de cette approche (Box 2.9).

Box 2.9. - Inciter à des engagements concrets

Les actions d’éducation au développement de SolSoc envers les organisations et leaders de l’action commune socialiste a été clairement renforcée par ces approches incitants à un engagement concret : mobilisation de fonds structurels dans les centrales syndicales (verre, bâtiment) pour des actions au Sud, initiatives identiques pour des régionales des mutuelles (plaidoyer des mutuelles belges pour le financement par le gouvernement d’un programme MASMUT, programme d’appui aux mutuelles de santé en Afrique; initiative régionales d’appui à des projets de mutuelle au Burundi), etc. Ces actions concrètes renforcent les effets de la sensibilisation : intérêt renouvelé pour les questions soulevées après une visite, possibilité de contacts, meilleure compréhension des problématiques, etc.

Le succès des Brigades d’Action Paysanne initiées par FIAN et Quinoa en 2016-2017 démontre également que ce dispositif répond à un besoin d’organisations belges et d’individus de se voir proposer des opportunités d’engagements de nature diverse autour des questions du droit à l’alimentation et des droits des paysans : organisation de chantiers de travail dans des fermes agroécologiques belges, participation à des actions de désobéissance civile dans le cadre de plaidoyer envers des décideurs politiques ou entreprises privées, opportunité de pouvoir s’impliquer dans des actions de sensibilisation, etc. Bien que le processus n’en soit qu’à ses débuts, tant Quinoa que FIAN relèvent un démarrage très positif. Ainsi, après une petite année d’existence, la page Facebook des BAP compte presque autant de « likes » (1230 fin mai 2018) que celle de FIAN Belgique (1673 à la même date). Il est estimé 163 personnes se sont mobilisées à 251 reprises de avril 2017 à février 2018. Selon Quinoa (qui co-anime la plateforme avec FIAN), les BAP ont fait arriver des personnes qui n’ont pas le profil type de celles qui participent aux chantiers (voyages d’immersion) organisées par Quinoa. Cela permet à des publics différents de se rencontrer. Du côté des paysans également, les BAP ont généré beaucoup d’enthousiasme (beaucoup de propositions pour faire des chantiers/formations dans leurs fermes). Selon FIAN et Quinoa, cet enthousiasme fait que l’offre dépasse parfois la demande (difficile de trouver des participants en nombre suffisant pour tous les chantiers proposés).

Evaluatie van ontwikkelingseducatie-acties 51

3. Efficiëntie

In dit hoofdstuk bekijken we in welke mate de doelstellingen van de gefinancierde of gecofinancierde acties op een economische manier werden omgezet in resultaten. We kijken hierbij ook naar de factoren die efficiëntie kunnen bevorderen of belemmeren en proberen een kosten baten analyse te maken op basis van de geïnvesteerde middelen en de bereikte resultaten.

Vanuit de meta-evaluatie valt het op dat een meerderheid van de evaluatierapporten zo goed als niet ingaat op het efficiëntie criterium. Dit was het geval bij 17 van de 28 evaluatierapporten. Dit kan te maken hebben met het feit dat organisaties vaak zelf een specifiek onderwerp voor de evaluatie kozen en vaak niet (alle) standaard DAC criteria volgden. Desalniettemin konden we op basis van de evaluaties die hier wel op ingingen alsook op basis van de dieptecases een aantal interessante tendensen observeren zowel wat betreft good practices als uitdagingen die nuttig kunnen zijn om in overweging te nemen bij toekomstige interventies.

3.1. Verhoogde efficiëntie van de interventies door het werken met intermediaire doelgroepen

Vooreerst lijkt de toenemende tendens om te focussen op een beperkt aantal specifieke intermediaire doelgroepen te kunnen bijdragen aan een verhoogde efficiencie van de interventies door het werken met intermediaire doelgroepen. Zoals eerder reeds aangegeven, kan zulke specificiteit een sterkere kennis van de doelgroepen en een maatgerichte aanpak bevorderen die nauwer aansluit bij de specifieke noden en eigenheid van de doelgroepen. Uit de meta-evaluatie blijkt dat het ontbreken van zulke maatgerichte aanpak een belangrijke belemmerende factor kan zijn voor de efficiëntie van ontwikkelingseducatie interventies. Dit kan het gevolg zijn van een onduidelijke of te brede definiëring van de doelgroepen (6 cases), een gebrek aan interne capaciteit vis-à-vis het aantal directe doelgroepen (5 cases) of een gebrek aan onderliggende strategie of veranderingstheorie (4 cases). Het belang van een maatgerichte aanpak voor het bevorderen van efficiëntie wordt geïllustreerd in Box 3.1. (extract vanuit evaluatie rapport meegenomen in meta-analyse), Box 3.2. (PROTOS).

Box 3.1. - Belang van een maatgerichte werking voor het bevorderen van efficientie

FOS. ’Tot nu toe is er vooral gestuurd op output in termen van aantallen en minder gelet op vragen zoals: waar vragen de verschillende … organisaties in de provincie om, wat is het rendement, wat is het daadwerkelijke gebruik en de bijdrage aan het bereiken van de doelstellingen van de verschillende materialen? (Of zoals verschillende respondenten zeggen: ‘We doen het juiste, maar niet altijd op de juiste manier’). De efficiëntie wordt verder mede negatief beïnvloed door de observatie dat het materiaal niet altijd voldoende aansluit bij de doelgroep; niet systematisch en bewust in samenspraak met potentiële gebruikers wordt ontwikkeld en daardoor een aanbod gericht karakter krijgt. Met de beschikbare middelen (in termen van menskracht, financiële middelen en vooral het sociaal kapitaal waarover de organisatie beschikt, d.w.z. het grote netwerk van de achterban zou een grotere efficiëntie bereikt kunnen worden. ‘’ (extract evaluatierapport vanuit de meta-analyse)

Box 3.2. - Belang van een beperkt aantal specifieke directe doelgroepen voor het bevorderen van efficientie

PROTOS. L’évaluation externe de 2015 relevait certaines préoccupations par rapport à l’efficience de PROTOS, en particulier dans le travail déployé auprès des écoles. Comme on le voit dans le budget 2014-2015, le budget consacré aux travail auprès des écoles représentaient un peu moins de la moitié du budget total. Ce budget couvrait à la fois un travail sur les supports pédagogiques (digitalisation et mise à jour) et un accompagnement des écoles réalisé par une équipe d’approximativement 2,5 FTE. l’évaluation relevait aussi que les collaborateurs « Nord » de PROTOS ne pouvaient pas toujours travailler efficacement en raison du nombre de groupes-cibles et de stratégies à mettre en œuvre (en plus du travail administratif inhérent à la gestion de programmes cofinancés). L’évaluation de 2015 attirait notamment l’attention sur le fait que le travail envers le “grand public” devrait être remis en question en raison de la faible capacité de PROTOS de mener des actions significatives par rapport au grand public et en raison de la dispersion supplémentaire que le travail envers ce groupe-cible impliquait pour l’équipe de PROTOS. L’approche mise en œuvre dans le programme 2017-2021 devrait conduire à plus d’efficience par un accompagnement plus ciblé d’un nombre plus réduit de groupes-cibles (communes et acteurs de l’eau) par rapport aux changements que ces derniers pourraient induire sur d’autres acteurs sociaux. Aussi, PROTOS travaille maintenant en synergie avec d’autres acteurs (Djapo et Ecolife) pour les activités avec les écoles. Ces collaborations de long terme et appréciée positivement par PROTOS devrait permettre à PROTOS de travailler de manière plus efficace, en laissant à Djapo et Ecolife la mise en œuvre d’appuis (long terme, pédagogique) sur lesquels ils ont plus d’expériences et d’expertise.

L’implication des acteurs du Sud (et des missions des ONG) est une composante importante de l’éducation au développement. Toutefois, on observe que les cadres permettant cette implication devraient parfois être définis et utilisés de manière plus efficiente en fonction des objectifs des programmes Nord (voir Box 3.3).

Box 3.3. - Importance de tirer au maximum profit des missions et visites

SolSoc. Il est certes pertinent de prévoir des rencontres entre les acteurs Nord et Sud dans une perspective de sensibilisation et de renforcement des capacités pour autant que, derrière ces rencontres, des objectifs précis et mesurables (et… mesurés) soient définis en adéquation avec les résultats attendus du programme. Organiser de tels déplacements grève considérablement le budget (et mobilise grandement les ressources internes de l’ONG). Il faut donc fixer un cadre plus structuré et plus défini qui justifierait de dépenser une part significative du budget à ces voyages au Sud de manière à pouvoir très concrètement focaliser les déplacements sur des outcomes communément identifiés avec chacun des partenaires (conception, création et réalisation d’outils didactiques par exemple).

Tegelijkertijd zien we dat een focus op een beperkt aantal intermediaire doelgroepen dankzij de maatgerichte aanpak zoals hierboven besproken, efficiëntievoordelen biedt voor het bereik in de diepte. En dit voordeel hoeft niet noodzakelijk ten nadele te gaan van efficiëntie in termen van het bereik in de breedte. Dit wordt geïllustreerd door onderstaande tabel waarin een inschatting wordt gemaakt voor het bereik in de diepte en in de breedte voor de verschillende diepte cases. Hieruit blijkt dat verschillende cases op een indirecte manier toch een groot aantal actoren kan bereiken. Een belangrijk element hierbij is dat dit indirect bereik tot stand komt door het engagement van de intermediaire actoren die de interventie ondersteunt of beïnvloedt. Dit biedt natuurlijk grotere kansen voor duurzame ontwikkelingseducatieprocessen wanneer deze gedragen worden door deze intermediaire actoren. Op die manier is er meer kans dat zulke processen ook kunnen blijven verder gaan na de interventie. Dit is een belangrijke factor die de kosten baten analyse in positieve zin kan beïnvloeden.

Tabel 3.1. Overzicht van toegekende subsidies, totaal budget en bereik binnen de cases (programma’s 2014-2016 voor alle NGOs behalve FIAN : programma 2013-2015)

Efficiëntie

DGD subsidie €

DGD subsidie (gebruikt)

Bereik (in de diepte) Bereik (in de breedte)

PROTOS 1.248.225 92% Waterbedrijven/actoren (20)

(vanaf 2017 ook lokale besturen)

Leerkrachten (262) & Leerlingen (4004) (ism. met Djapo and Ecolife)

VIA Don Bosco

590.378 80% 472.302 4 Inleefreizen: per keer 16 leerlingen en 4 leerkrachten uit 4 scholen

School twinning : een pool met 4 Belgische scholen en 4 congolese scholen & een pool met 4 Belgische en 2 Indische scholen

Saved by the Bell-activiteit:- in 2013 15 scholen, - in 2014 59 lkr/Fr-talige scholen (39.633 lln); in 2014 werd het ‘ochtendwoordje’ waarmee het event telkens start, 92x gedownload (wordt niet gedaan bij Studio Globo), betrekken van 12 Z-scholen uit verschillende landen; Wegwijs in Onderwijs 250x gedownload,- in 2015 30 lkr/scholen (Frtalig) en 17.389 lln + 5NL talige scholen bereikt;  betrekken van 13 Z-scholen; 278 unieke bezoekers op de Saved by the Bell-website. (minder scholen in 2015 bereikt maar meer verdieping door meer keer het spel Wegwijs in Onderwijs eraan te koppelen),- in 2016 546 scholen (154.500 lln. en 8595 lkr).

Rikolto 77.227 100% 1 retailer : Colruyt

2 sectororganisaties : Fevia, , Boerenbond

2 toeleverings/verwerkers : Special Fruit en AgroFair

23 gedocumenteerde producten met grootkeulkens in de sociale catering

4760 consumenten die stem uitbrachten op website ‘ik ben meer dan mijn kasticket’

40 bedrijven (ism Fevia)

FIAN 192.329, 99,9% 56 verenigingen

425 personen getraind

7783 bereikt op directe manier

1354 personen die zich engageerden in een ‘burgerschaps’ activiteit.

Monde Femmes

1.285.664 1.285.664 (100%)

14 organisaties begeleid 1077 publicaties besteld via website

4153 publicatie downloads

7000 facebook sympathisanten

36601 bezoekers internet

8000 publicaties uitgedeeld tijdens trainingen

SOLSOC 1.289.560 1.258.366 98%

Organisaties vanuit de socialistische beweging (cijfers nog aanvullen)

Leden organisaties (cijfers nog aanvullen)

1) Ook het aangaan van strategische samenwerkingsverbanden en het werken in alliantie met andere actoren lijken voordelen rond efficiëntie op te leveren zowel wat betreft bereik als de mogelijke invloed die zulke allianties of samenwerkingsverbanden kunnen opleveren. Deze samenwerkingsverbanden of

Evaluatie van ontwikkelingseducatie-acties 55

allianties kwamen niet per sé tot stand via de GSK, maar startten veelal al vroeger. Ook het kunnen leunen op reeds bestaande samenwerkingsverbanden in het uitwerken van nieuwe interventies kan een belangrijk efficiëntievoordeel opleveren. Een groeiende professionalisering rond specifieke thema’s en doelgroepen kan het aangaan van zulke samenwerkingsverbanden eveneens bevorderen. Zulke professionalisering kan immers gepaard gaan met een sterkere capaciteit om in te schatten wanneer het opportuun is om met andere organisaties samen te werken indien een bepaalde expertise of capaciteit intern niet aanwezig is. In verschillende cases leidde dit tot concrete samenwerkingsverbanden die de kostefficiëntie (alsook de effectiviteit) kunnen bevorderen. Box 3.4 geeft enkele duidelijke voorbeelden van. In het voorbeeld van Monde selon Les Femmes (Box 3.5) is er tevens een goed-gesystematiseerd monitoring & evaluatie systeem van de selectiestrategie van de allianties die ze aangaan.

Box 3.4. - Meer efficientie door samenwerkingsverbanden 

WSM. ‘’Een belangrijk punt in verband met efficiëntie is de samenwerking met andere actoren: de manier waarop WSM coalitie maakt met CIEP en met andere NGO’s (bijv. CNCD) rond sociale bescherming zorgt ervoor dat de organisatie meer kan bereiken, meer kracht kan geven aan haar agenda en boodschap met dezelfde middelen. Overigens is er ook grote appreciatie van deze andere actoren voor de expertise van WSM inzake campagne en het materiaal dat wordt ontwikkeld. In dit verband moet opgemerkt worden dat de WSM provinciale medewerkers veelvuldig functioneel samenwerken met andere (lees van buiten Beweging.net) organisaties en dat dit in potentie bijdraagt aan efficiency en effectiviteit van het programma.’’ (extract evaluatierapport WSM Noord programma 2014-2016).

FIAN. Les évaluations externes (2017 sur le projet 2015-2016) menées sur les programmes de FIAN apprécient très positivement le degré d’efficience de FIAN : « on ne peut être qu’admiratif qu’avec si peu de moyens tant ait été réalisé ». Selon le staff de FIAN, ce souci d’efficience est inscrit « dans leur gènes » : on fait beaucoup avec peu de moyen, on recycle, on travaille avec d’autres. Selon l’évaluation externe du projet 2015-2016, la clé de l’efficience de FIAN tient en effet à l’approche de collaborations et de synergies systématiquement mises en œuvre par FIAN dans toutes ses actions et à « la capacité collaborative des membres de l’équipe : faire avec, collaborer – au sens de co-élaborer – permet de démultiplier les forces et d’obtenir beaucoup avec peu ». Selon FIAN, la petite taille de l’équipe de FIAN ainsi que sa stabilité sont jugées comme des atouts en termes d’efficience et d’efficacité. Cet atout se traduit concrètement dans l’expertise développée, dans la capacité de construire et d’entretenir des partenariats sur le long terme, des relations de confiance, etc. La taille de l’ONG n’est donc pas vécue comme une contrainte mais comme un choix de pouvoir continuer à maîtriser les engagements et les couts. Ce choix est ressenti comme allant à contre-courant des « la course à la croissance » et à la recherche de financement observés chez d’autres ONG et poussés par la DGD.

VIA Don Bosco. Tijdens 2014-2016 was VDB lid van de Coalitie 2015 de Tijd Loopt, en verder ook van de NGO-Federatie, Acodev en Educaid.be. Via deze netwerken probeert ze haar stempel door te drukken in het beleid en toe te kijken op de uitvoering ervan. VIA Don Bosco geniet ook van een rijke, salesiaanse voedingsbodem en is lid van het Don Bosco Netwerk. De jeugddienst van Don Bosco was ook een belangrijk klankbord bij de analyse van de noden van jongeren in verband met ontwikkelingseducatie en bij de ontwikkeling van nieuw educatief materiaal. VIA Don Bosco werkt tevens intensief samen met de pedagogische diensten van alle Don Bosco scholen in Nederlandstalig België, het Don Bosco Onderwijscentrum (DBOC). Aan Franstalige zijde bestaat een dergelijke koepelorganisatie niet, maar er werden in 2016 wel stappen ondernomen naar autoriteiten van Franstalige Don Boscoscholen. Verder werkte VDB tussen 2014-2016 op een complementaire manier samen met Studio Globo rond het educatief aanbod in de breedte ‘Saved by the Bell’: VDB richtte zich op de Franstalige scholen en SG op de NL-talige. Voor wat betreft de inleefreizen tussen 2014-2016 was Broederlijk Delen de

56

Efficiëntie

partner voor VDB. Lokale medewerkers van BD hielpen de inleefreizen mee in goede banen leiden  (VDB heeft zelf geen lokaal personeel in dienst, enkel contactpunten).

Box 3.5. - Analyse de l’efficacité des réseaux

Le Monde Selon les Femmes. Il y a les nombreux réseaux et instances dans lesquels le M/F est présent (Conseil consultatif femmes et développement, CNCD-11.11.11, Plateforme Femmes et santé, La marche mondiale des femmes, ACODEV, CCF, etc.) afin de démultiplier l’approche vers les différents membres de ces réseaux et d’insérer systématiquement l’approche genre dans les prises des positions de ces réseaux. Une analyse annuelle systématique de l’efficacité d’investir ces différents réseaux permet au M/F de déterminer et d’ajuster ces participations prioritaires qu’il adapte chaque année.

3.2 Efficientievoordeel via brede netwerking bij beleidsbeïnvloeding

Specifiek voor beleidsbeïnvloedingsstratgieën lijkt het werken via brede netwerken een belangrijk efficiëntievoordeel op te leveren. Dit wordt duidelijk geïlllustreerd door de cases en het werk van CNCD-11.11.11., E&F, M/F en VDB binnen regionale, nationale en/of internationale netwerken. Ces réseaux peuvent se structurer autour de thématique spécifique comme la plateforme sur le changement climatique du CNCD-11.11.11 ou s’appuyer sur des partenaires de proximité quand les ONG sont parties prenantes de certaines internationales dans lesquelles elles trouvent aussi des sources d’inspiration, de documentation ou d’argumentation comme E&F. Parfois pour alimenter leur plaidoyer en recherches et argument, certaines ONG vont tisser des réseaux ad hoc avec leurs partenaires du Sud, ce qui est le cas de E&F.

Box 3.6. - Efficientievoordeel via brede netwerking bij beleidsbeïnvloeding

CNCD-11.11.11. En 2008 une première campagne a été lancée et la coalition climat (réseau très large) a été installée. Cette coalition a comme objectif la sensibilisation (organisation des campagnes grand public comme “Sing for the climate”) et d’organiser “climate express”, (groupe de volontaires pour organiser des activités autour de la COP 21). En 2011-12 la plateforme justice climatique qui fait le plaidoyer a été installée. En termes d’efficience, la composition de la plateforme a été importante (organisations environnementales, syndicats, ONG) ainsi que la niche spécifique choisie par le CNCD-11.11.11 : la justice climatique. …En outre, le CNCD-11.11.11 est membre du Climate Actio Networkl Europe et actifs dans ses groupes thématiques. Cette participation est importante car elle permet de se construire une expertise dans cette niche bien spécifique “financement climat et développement”. (Extrait Evaluation mi-parcours du programme 2016).

Entraide &Fraternité. Le travail en réseau permet une plus grande cohérence dans l’approche politique. La plupart des décideurs politiques interrogés lors de cette évaluation soulignent la pertinence d’une interpellation plus groupée de la part des ONG : une telle démarche permet un apport d’informations solides, confirmées par plusieurs et structurées qui est plus directement utilisable par le monde politique. L’apport d’E&F est reconnu par les réseaux eux-mêmes. Au sein de certains réseaux, le travail de l’ONG est jugé comme étant plus pointu sur des thématiques, telles que le genre, ou l’accaparement des terres… En termes de durabilité du plaidoyer, une autre valeur ajoutée du programme est son approche fondée sur une collaboration à la fois aux niveaux local et international. Cette double approche est également un facteur de durabilité : les liens internationaux constants avec des réseaux mondiaux comme la CIDSE et la disponibilité d’un tissu de groupes locaux sont des éléments qui permettent que les questions et revendications qui ressortent de ce programme pourront perdurer dans le temps au-delà de la durée d’exécution de celui-ci (Extrait de l’évaluation du programme 2011-14).

Evaluatie van ontwikkelingseducatie-acties 57

Le Monde Selon les Femmes. Avec ses partenaires sud (Bolivie, Pérou, Sénégal, RDC), M/F a convenu de la mise en place d’un réseau d’action et d’apprentissage en genre (thématique et formatif) dénommé « Réseau d’action et d’apprentissage sur le genre – RAAG ». avec comme support une plateforme WEB (Moodle) qui héberge aussi le Réseau Genre et Agro écologie (France, Mexique, Belgique, Sénégal, Brésil, Tunisie, Madagascar, Algérie, Burkina Faso, Etats Unis) réseau pluri-acteurs du milieu de la recherche (centres académiques, centres/instituts de recherche), ONG, mouvements sociaux.

VIADon Bosco. Om ook inbedding van OE-activiteiten in scholen te garanderen, of met andere woorden niet enkel te werken aan de OE-aanbodzijde maar ook aan de randvoorwaarden voor OE, participeert VDB in de MoVo werkgroep (onder 11.be) wat resulteerde in het (momenteel) uitwerken van een document ism Kleur Bekennen over ‘wat is een succesvol OE- traject zodat inbedding ook nadien gegarandeerd wordt ?’ (zonder daarom OE te willen standaardiseren of een identieke aanpak per school voor te willen stellen).

3.3. Lerende and adaptatieve aanpakEen lerende en adaptieve aanpak kan eveneens een belangrijke efficiëntiebevorderende factor zijn zoals blijkt uit verschillende diepte cases en evaluaties vanuit de meta-analyse. Een lerende aanpak houdt in dat organisaties op een kritische en systematische manier proberen na te gaan in welke mate en op welke manier hun interventies bijdragen tot verwachte en onverwachte resultaten. Dit kan gebeuren via opeenvolgende monitoring cyclussen of tijdens evaluatiemomenten. Tevens worden de inzichten of aanbevelingen die dit oplevert vertaald in zichtbare aanpassingen aan de planning of de gebruikte strategieën. In bepaalde gevallen liet zulke lerende aanpak toe om nieuwe strategieën op kleine schaal uit te testen en daarna op te schalen indien deze succesvol bleken. Dit wordt geïllustreerd door het voorbeeld van Rikolto (zie Box 3.7). De lerende houding en aanpak van Rikolto bevordert de efficiëntie van de opgeschaalde initiatieven. Door in te zetten op experimenten op kleine schaal, zijn de kosten van mislukken laag. Door daarna de good practices op te schalen kunnen de baten een grotere impact hebben.

Box 3.7 - Streven naar opschaling van duurzame catering bij publieke actoren

Rikolto. In Rikolto’s strategie rond het verduurzamen van catering bij publieke actoren, werd een heel leertraject afgelegd. Zo kon de interventiestrategie bij concrete samenwerkingen belangrijke vooruitgang boeken. Zo bleek de begeleiding door Rikolto van twee catering actoren Komida en Ter Groene Poorte bij te dragen tot een duurzame verandering. Dit illustreerde het potentieel van een dergelijke begeleiding. De problemen om op te schalen bleven weliswaar een uitdaging bij andere catering actoren. Bij OCMW’s was het niet gelukt om op te schalen via een contractcateraar. Bij keukens van kinderdagverblijven is het wel gelukt omwille van de samenwerking met Gezond Leven wat resulteerde in een publicatie die gebruikt wordt door de kinderdagverblijven om hun menu op te stellen. Op basis van deze inzichten in het nieuwe programma (2017-2021) heeft Rikolto in 4 Vlaamse centrumsteden school food councils opgericht met vertegenwoordigingen van directies, jongeren, Kleur Bekennen, Milieuzorg op school, lokale verenigingen. Deze denken na over strategieën om verduurzaming op te schalen naar andere scholen. Hier wordt de link gelegd met Food Smart Cities vanuit het Milan Food Pact dat 120 steden sloten om strategieën uit te werken om steden duurzaam te voeden in de toekomst. Binnen dit kader worden pilootprojecten uitgewerkt. De keuze voor een aanpak van het beginnen met een pilootproject naar het kapitaliseren, trekken van lessen en tenslotte op te schalen van de praktijk is een beproefde methode uit de innovatie. (Rikolto case studie)

58

Efficiëntie

3.4. Synergieën zoeken tussen verschillende programma strategieën

Efficiëntie kan ook bevorderd worden door op een systematische manier synergieën te zoeken tussen verschillende programma strategieën. Op die manier wordt een gefragementeerde aanpak vermeden en wordt met eenzelfde inspanning een groter effect bereikt wat een betere kosten/baten analyse oplevert. De case van Le Monde selon Les Femmes biedt hier een mooi voorbeeld van (zie Box 3.8). Ook het voorbeeld van VDB (Box 3.9) illustreert hoe de organisatie een efficientievoordeel beoogt door enerzijds jaarlijkse acties gericht op een breed bereik (i.e. Save the Bell actie) verder te stimuleren maar anderzijds sterker in te zetten op acties (bv. School 2 school programma) die een dieper leerproces beogen en een sterkere verankering binnen de scholen.

Box 3.8. – Synergie tussen de interventiestrategieën als efficiëntie bevorderend mechanisme

Le Monde Selon Les Femmes. L’interaction réciproque entre formations, recherche et plaidoyer permet également une efficience accrue : les résultats des recherches sont utilisés en formation, dans les plaidoyers, dans les prises de position dans les plateformes ; la recherche s’alimente également des retours de la formation, des partenaires de l’ONG, etc. Aussi, la méthodologie développée par M/F en formation accorde du poids aux savoirs acquis par l’expérience, aux différents vécus et intègre activement les participants dans la construction du projet de formation. La méthodologie est appréciée pour sa rigueur, sa transversalité, sa diversité ainsi que son côté ludique et participatif. Elle permet l’émergence d’une richesse d’échanges de savoirs et d’une variété de cas travaillés et de thèmes proposés. Elle permet d’une meilleure efficience de ces activités de formation.

Box 3.9. - Efficientievoordeel halen uit een beter evenwicht tussen acties in de breedte en in de diepte

VIA Don Bosco. Hoewel de resultaten van de jaarlijkse ‘Save the Bell’ actie overwegend positief zijn, heeft VDB toch beslist deze OE-sensibiliserende activiteit niet mee te nemen naar het nieuwe programma 2017-2021. VDB stimuleert haar scholen nog wel om in samenwerking met Studio Globo een belmoment te doen op 5 oktober (zonder expliciete ondersteuning van VDB) en staat er nog steeds achter, maar ondersteunt het niet meer expliciet. Redenen hiervoor: de kosten wegen niet op tegen de baten; en het kost veel tijd en energie om te ondersteunen. Hierdoor kan VDB zich meer focussen op acties die een dieper leerproces beogen en een sterkere verankering in de scholen.

Evaluatie van ontwikkelingseducatie-acties 59

4. Duurzaamheid

In dit hoofdstuk gaan we na in welke mate de verwezenlijkingen van de ontwikkelingseducatie acties een blijvende invloed hebben op de doelgroepen. Tevens kijken we naar de factoren die de duurzaamheid van deze acties kunnen bevorderen of belemmeren. Tenslotte gaan we ook na op welke manier de duurzaamheid van de acties versterkt kan worden.

4.1. Toewerken naar duurzame resultaten en interventies – een complexe aangelegenheid

In het algemeen kunnen we op basis van de diepte cases stellen dat de good practices die we in sterke mate naar voren zien komen bij organisaties met een welbepaalde ‘niche’ werking ook voordelen opleveren voor duurzaamheid. Dit blijkt ook uit de vergelijkende analyse van huidige en voorgaande programma’s, hetgeen duidt op een bemoedigende en vernieuwende trend die zich binnen de ontwikkelingseducatiesector heeft ingezet die ook de duurzaamheid van de acties en de resultaten ervan kunnen bevorderen. Het toont ook aan dat organisaties aan de slag gaan met de evaluatieaanbevelingen rond duurzaamheid. Deze vertaling wordt duidelijk geïlustreerd door de Protos case in Box 4.1.

Box 4.1. – Evolueren naar een meer trajectmatige werking

PROTOS. L’évaluation de 2015 avait attiré l’attention sur le fait que l’approche mise en œuvre précédemment par PROTOS présentaient quelques faiblesses en termes de durabilité, p.ex. approche trop ad-hoc des écoles (un ou deux ateliers) et la durabilité des actions de sensibilisation restait trop limitée à ceux qui était directement impliqué dans la collaboration avec PROTOS. Le programme 2017-2021 a concrètement traduit les recommandations du rapport d’évaluation de 2015. “Het huidige programma kiest niet voor individuele activiteiten in gemeenten, scholen of in waterbedrijven, maar voor een trajectwerking, om zo een betere verankering in de werking van de gemeenten, scholen en waterbedrijven te bekomen. Op deze wijze beschikken de verschillende actoren over de vaardigheden, de hulpmiddelen en de relaties om na het beëindigen van de interventie verder in te zetten op bewust direct en indirect watergebruik en –gedrag.

Bijdragen tot duurzame resultaten in ontwikkelingseducatie blijft echter een grote uitdaging en een zeer complexe aangelegenheid. Zo toont onderzoek aan dat de redenen waarom individuen een bepaald engagement of gedragsverandering aangaan even complex zijn als de redenen waarom mensen een bepaald engagement of gedragsverandering zouden stopzetten (Brodie et al. 2009). Sommige onderzoekers geven ook aan dat het weinig zinvol is om te zoeken naar één specifieke factor die bepalend zou zijn voor het opnemen of stopzetten van persoonlijk engagement (Locke et al., 2003: 95). Een veelheid aan persoonlijke, organisationele en institutionele factoren4 gelinkt aan de persoonlijke levensgeschiedenis van mensen kunnen hierbij een belangrijke rol spelen. Wat betreft persoonlijke factoren kan het gaan om gezinssituatie, onderwijs niveau, attitudes, werksituatie, socio economische situatie, etc. Bij

4 Voorbeelden van factoren die duurzaamheid van engagement en gedragsveranderingkunnen beïnvloeden (niet exhaustief): 1) persoonlijke factoren: gezinssituatie, onderwijsniveau, attitudes, werksituatie, socio-economische situatie, … ; 2) organisationele & institutionele factoren: manier van communicatie met vrijwilligers, interesse in het werk van de organisatie, interesse in het type van engagement die de organisatie aanbiedt, ondersteuningsmodaliteiten zoals training, mate van autonomie die de organisatie toelaat voor haar vrijwilligers, … (Brodie et al. 2009).

organisationele en institutionele factoren kan het gaan om manieren van communicatie met vrijwilligers, het thematische werking van de organisatie, het type van engagement die de organisatie aanbiedt, ondersteuningsmodaliteiten zoals training, mate van autonomie die de organisatie toelaat aan haar vrijwilligers of achterban, etc. (Brodie et al. 2009). Daarenboven is er geen consensus in de literatuur op welke manier en in welke mate deze factoren mekaar beïnvloeden. Dit kan immers sterk verschillen van persoon tot persoon als gevolg van ieders specifieke levensgeschiedenis en ervaringen (ibid). Een gelijkaardige complexiteit vinden we terug bij veranderingsprocessen binnen organisaties. Ook hier is er geen specifieke factor die bepalend is of een organisatie al dan niet een blijvend engagement zal willen opnemen. Een veelheid aan factoren kunnen een bepalende rols spelen waardoor elk organisatiesveranderingsproces een onvoorspelbaar en niet lineari proces zal zijn.

Tegelijkertijd, is er binnen de literatuur rond resultaatsgericht management een belangrijke stroming die een lineaire benadering, gebaseerd op een voorspelbare link tussen oorzaak en gevolg, sterk in vraag stelt voor het opzetten van programma’s die complexe veranderingen beogen. Dit is zeker relevant voor ontwikkelingseducatie programa’s gezien de complexe veranderingsdoelstellingen die deze nastreven. In die zin is het nuttig om na te gaan in welke mate de groeiende ‘niche’ werking binnen de ontwikkelingseducatie interventies antwoorden kan bieden aan de uitdagingen inzake duurzaamheid die het complexe karakter van zulke programma’s met zich meebrengt.

4.2. Werken met intermediaire organisaties op een maategrichte manier

Zoals reeds in de vorige hoofdstukken vastgesteld, gaat een ‘niche werking’ vaker gepaard met een specifieke focus op intermediaire actoren waar de interventie op een directe manier mee samenwerkt. De intermediaire doelgroepen zijn ook meestal actoren die een multiplicator of een hefboom rol kunnen spelen en dus op hun beurt een groter bereik en potentieel een bredere impact kunnen realiseren. Naar duurzaamheid toe kan zulke strategie belangrijke voordelen opleveren. Indien de ontwikkelingseducatie interventie er immers in slaagt om duurzame verandering teweeg te brengen binnen de intermediaire doelgroepen dan kunnen deze ook blijven bijdragen aan de doelstelling van de interventie nadat zij reeds afgelopen is. Het voordeel van werken met intermediaire organisaties die een multiplicator of hefboom functie kunnen opnemen wordt geïllustreerd door de cases van WSM en VIA Don Bosco in Box 4.2.

Box 4.2. - Werken met intermediaire doelgroepen met multiplicator of hefboom rol

WSM. De vraag naar de blijvende invloed van het programma op de capaciteit van organisaties inzake internationalisering van hun beleid en engagement in ontwikkelingseducatie is in deze fase van het programma a priori moeilijk te beantwoorden. Dit komt omdat het hierbij om een zeer relevant, doch ambitieus en complex programma gaat dat betrekking heeft op verschillende niveaus (van individuele competenties, tot capaciteit van organisaties en de oriëntatie van de Christelijke Arbeidersbeweging in zijn totaliteit) én inhoudelijk een sterke innovatie voorstaat (van klassieke Noord – Zuidbenadering naar een geïntegreerd concept van ontwikkeling). Bovendien wordt er intensief samengewerkt met andere organisaties en ligt het gebruik van de producten en diensten van WSM buiten de controle en invloedssfeer van WSM. Desalniettemin kan reeds in deze fase van het programma opgemerkt worden dat de programma uitvoering met betrekking tot OKRA in Vlaanderen in potentie zeer succesvol is, en dat elementen van dit organisatieveranderingstraject als inspiratiebron kunnen dienen voor andere trajecten met organisaties van Beweging.net. Als het WSM en de betrokken organisaties (inclusief OKRA) lukt dat WSM in de loop van de komende jaren haar rol kan veranderen van initiator, aanjager en co-uitvoerder naar facilitator, mentor en coach is het programma vanuit institutionele optiek en inhoudelijk zeer duurzaam te maken. (extract evaluatie rapport WSM, 2014-2016)

Duurzaamheid

VIA Don Bosco. Op basis van inzichten vanuit het vorige programma wil VDB in haar niewe programma (2017-2012) sterker inzetten op de doelstelling dat leerkrachten zich competenter voelen in het integreren van wereldburgeschapseducatie in hun lessen. Echter, opdat leerkrachten ten volle wereldburgerschapseducatie zouden kunnen integreren in hun klaspraktijk is het nodig dat hiertoe een ondersteunende schoolomgeving wordt gecreëerd door de directies. VDB definieert hen als een nieuwe doelgroep in het programma 2017-2021. Ze willen dat scholen het draagvlak voor het integreren van wereldburgerschapseducatie in het pedagogisch project van de school opnemen en op die manier top down de impact en de duurzaamheid van de interventie vergroten. Hiertoe werkt VDB momenteel een werkdocument uit rond ‘wat is een succesvol traject zodat inbedding ook gegarandeerd wordt?’Dit geberut met de werkgroep mondiale vorming onder 11.be.

Tevens laat het werken met een beperkt aantal intermediaire groepen ook beter toe om maatgericht te werken. Uit de diepte cases en de metaevaluatie blijkt dat zulke maatgerichte aanpak een belangrijke voorwaarde is om bij te dragen tot meer duurzame resultaten. Tegelijkertijd, hebben we in vorige hoofdstukken reeds opgemerkt dat een maatgerichte aanpak heel intensief is zowel qua tijd als expertise. Uit de diepte cases en de metaevaluatie blijkt dan ook dat het een uitdaging kan zijn voor organisaties om zulke aanpak op te schalen of gedurende lange tijd aan te houden. Tabel 4.1. illustreert voor de PROTOS en WSM case wat zulke maatgerichte aanpak kan inhouden en wat de uitdagingen hierbij zijn. Het is belangrijk dat organisaties de ambities van hun doelstellingen alsook hun strategieën hierop afstemmen. Zo werd in één van de evaluatierapporten vanuit de metaevaluatie aanbevolen om ‘’alternatieve strategieën te ontwikkelen waarbij via nieuwe media ook naar andere (meer eigentijdse) handelingsperspectieven gezocht kan worden.’’. Twee evaluatie rapporten zagen ook opportuniteiten voor de ontwikkeling van innovatieve verdienmodellen op basis van de trainingen en begeleidingstrajecten die in de programma’s werden ontwikkeld en die mogelijk ook interssant zouden zijn voor andere actoren. Zulke modellen zouden kunnen helpen om de afhankelijkheid van fondsenwerving en van overheidssubsidies op termijn te verminderen.

Tabel 4.1. Een maatgerichte aanpak als bevorderende factor voor duurzaamheid in het Protos en WSM programma

Protos Elementen van maatgerichte aanpak: 1) Waarderend onderzoek, 2) Co-creatie, waarbij de betrokken actoren mee de trajecten ontwikkelen, opvolgen en bijsturen; 3) Combinatie van educatieve activiteiten maar ook structurele maatregelen; 4) Niet alleen sensibilisatie, bewustmaking en inzicht, maar ook activering zodat gemeenten en scholen al aan verandering van gedrag werken tijdens de interventie; 5) Capaciteitsversterking, zodat de betrokken actoren (bv. NZ/ duurzaamheids- ambtenaren, leerkrachten) in staat zijn om hun rol in de begeleiding en promotie van bewust watergebruik en – gedrag te spelen; 6) Ontwikkeling van een stimulerende omgeving, door gemeenten, scholen en leveranciers van water- en sanitatiediensten samen te brengen; 7) Integratie in het beleid (zowel in de gemeente als in de scholen). Daarnaast streeft het programma ook naar uitwisseling tussen de verschillende actoren, zowel op gemeentelijk als intergemeentelijk vlak om een lerende omgeving te creëren”.

Uitdagingen: Er is not geen exit strategie aangezien deze aanpak zich nog in een exploratieve fase bevindt. In de loop van het programma zal er moeten ogevolgd worden in welke mate en hoe de intermediaire doelgroepen verder hun enagement zullen kunnen opnemen en zelf ook andere intermediaire doelgroepen zullen kunnen begeleiden (bv. Andere stadsbesturen en waterbedrijven?). Een actor gericht monitoring en evaluatiesysteem zal nodig zijn om deze veranderingen te kunnen opvolgen en om zo de programmastrategie en onderliggende assumpties te kunnen testen.

WSM Elementen van maatgerichte aanpak bij begeleiding van ouderenorganisatie OKRA bij het promoten van internationalisering binnen de organisaties van beweging.net : 1) Langdurige en geduldige samenwerkingsrelaties op alle niveaus tussen OKRA en WSM; 2) Vraag in plaats van aanbod gestuurd samen werken; 3) een duidelijk handelingsperspectief bieden; 4) Ondersteuning

Evaluatie van ontwikkelingseducatie-acties 63

op strategische niveau door leiders van de betrokken organisaties (in dit geval OKRA en WSM); 5) Een partnerschap dat gebaseerd is op gelijkwaardigheid en wederzijds herkenbare inhoud; 6) Inleefreizen met voor- en na- traject en ontmoetingsweek.

Uitdagingen: mogelijkheden tot uitbreiding naar meerder organisaties is beperkt gezien de duur en complexiteit van de beoogde organisatieverandering, expliciteren van tussenstappen in de veranderingstheorie voor het beoogde organisatieveranderings proces, afstemming en coordinatie tussen medewerkers N. en Z. dienst van WSM.

4.3. Bevorderen van samenwerkingsverbanden en synergieën

Zoals we eerder reeds stelden kan een niche werking bijdragen tot een betere zelfkennis en een inschatting van de aanwezige expertise en capaciteit binnen de organisatie. Dit betekent ook dat men in zulk geval beter kan inschatten wanneer het nodig is om met andere organisaties samen te werken indien bepaalde expertise of capaciteit ontbreekt. Uit de diepte cases alsook de metaevaluatie blijkt dat zulke samenwerkingsverbanden een sterk bevorderende factor kan zijn voor de duurzaamheid van de interventies. Rode Kruis, Protos en Rikolto vormen hier voorbeelden van (zie Box 4.2).

Box 4.2. - Bevorderen van samenwerkingsverbanden en synergieën

La Croix Rouge de Belgique (CRB): La proposition d’une offre structurée autour d’un thème intégrant le DIH et différentes thématiques de l’ECM permet à la CRB d’apporter une expertise particulière et à la fois complémentaire avec celles d’autres partenaires institutionnels. Ceci permet non seulement d’augmenter le nombre de personnes touchées, mais aussi de participer à la réflexion et à la mise en place des stratégies sectorielles de long terme (extract evaluatierapport).

PROTOS: Door samen te werken met Djapo en Ecolife en via lokale besturen, kan PROTOS in haar nieuwe programma bijdragen aan een meer diepgaande en procesmatige werking in de scholen. Via de verankering van deze educatieve werking in de scholen is er ook meer kans op duurzame resultaten van de acties.

Rikolto. De benadering van Rikolto is gebaseerd op een multistakeholderaanpak waarbij Rikolto de rol van facilitator/broker neemt, en het ownership voor verandering bij de actoren zelf laat. Dat laatste lijkt belangrijk te zijn voor duurzame resultaten. Voor de verduurzaming van de retail wordt er actief afgestemd met andere stakeholders, maar dat zijn niet noodzakelijk de andere actoren van de Belgische Ontwikkelingssamenwerking. Er is 1 keten waarin er samenwerking is met Trias. Hoewel er is geparticipeerd in het gemeenschappelijk strategisch kader (GSK) voor de noordwerking is dit voor Rikolto minder relevant gebleken. Voor de verduurzaming van de catering van scholen bijvoorbeeld wordt er actief afgestemd met volgende actoren: via de school food councils wordt er lokaal afgestemd met lokale medewerkers van Kleur Bekennen, Milieuzorg op School, lokale milieuverenigingen, socio-culturele verenigingen, lokale cateraars, directeurs, ouders, lokaal gezondheidsoverleg (LOGO’s), provinciale vertegenwoordigers en lokale jongeren. Op educatief vlak stemt Rikolto af met Good Planet en FairTrade Belgium. Voor de fairtradegemeente-campagne stemt Rikolto af met 11.11.11, Oxfam Wereldwinkels, en FairTrade belgium. Voor beleidswerk wordt afgestemd met Bond Beter Leefmilieu en aanbevelingen worden gedeeld met VVSG, Vlaamse scholierenkoepel, ministerie onderwijs, ministerie gezondheid en ministerie milieu.

64

Duurzaamheid

Tevens kon in verschillende programma’s worden vastgesteld dat een sterke thematische expertise aanleiding kan geven tot kwaliteitsvolle kennisproducten in de vorm van tekstuele of audiovisuele publicaties of methodieken en tools die ook door andere organisaties gebruikt kunnen worden. Op die manier kan bepaalde informatie of expertise door verschillende organisaties over een langere periode verspreid en gebruikt worden bij meerdere doelgroepen (zie CETRI case in Box 4.3).

Box 4.3. - Ownerhip van kwaliteitsvolle kennisproducten bevorderen

CETRI. Le CETRI assure une certaine durabilité de son intervention en favorisant l’appropriation de ses productions de différentes manières: 1) Références et mises à disposition de militants et volontaires; 2) Utilisation pour des formations internes des ONG; 3) Sources pour de multiples textes et ouvrages (mémoires, recherches, articles de presse, plaidoyers, etc.) élaborés par différentes organisations.

Ook konden duurzaamheidsbevorderende effecten vastgesteld worden in cases waar landurige synergieën konden tot stand komen met diverse actoren waardoor op een complementaire manier kennis en expertise kon geproduceerd worden alsook een co-constructie mogelijk werd van de interventiestrategieën (zie de cases van CNCD-11.11.11 en FIAN in Box 4.4.).

Box 4.4. – Co-constructie van kennis en expertise

CNCD-11.11.11. Dans le cas de la campagne climat, l’évaluation a identifié les éléments contributifs suivants pour la durabilité: 1) La longue durée, l’historique, l’enchainement des actions et le fait que cette campagne internationale était portée par beaucoup d’organisations ont contribué au succès de la campagne. 2) La campagne s’est appuyée sur une réflexion de long terme qui a démarré en 2000 et qui est portée par les médias depuis lors : ceci permet de maintenir une attention presque permanente sur le sujet et peut en renforcer la durabilité. Aussi la sensibilisation des médias aux campagne a aidé à accrocher les médias qui ont pris référence de la campagne et de ceux qui la portent : appels réguliers à des acteurs de la campagne pour réaliser des interviews, participation de ceux-ci à des débats en TV ou radio, ce qui prolonge la diffusion de l’information autour de cette campagne (CNCD-11.11.11).

FIAN: L’approche partenariale de FIAN est un autre garant de la durabilité des actions et changements induits avec la contribution de FIAN. Comme mentionné plus haut, ces partenariats sont envisagés dans le long terme et au-delà d’une thématique ou d’une action en particulier. La complémentarité et les synergies se développent et se testent dans la durée. Les organisations de la société civile et mouvements paysans interrogés relèvent cette qualité de FIAN d’envisager et d’entretenir des relations dans la durée, au-delà des actions ou dossiers suivi ponctuellement ensemble. Il en ressort la construction d’une connaissance et une confiance mutuelle ainsi que la capacité à idenfier et co-construire les stratégies à mettre en œuvre. Cette co-construction est également rendue possible par le fait que FIAN ne s’engage en partenariat avec d’autres acteurs que dans le cas où ces actions les thématiques sont déjà portées par les acteurs partenaires.

4.4. Opvolging van de doelgroepen via natrajecten. Verschillende organisaties zetten ook in op het verduurzamen van de effecten bij de doelgroepen via natrajecten na een interventie. Uit de diepte cases en de metaevaluatie blijkt dat zulke natrajecten een belangrijke bevorderende rol kunnen spelen voor de duurzaamheid van de resultaten van een interventie. Tegelijkertijd bieden ze de mogelijkheid aan de doelgroepen om zelf bij te dragen aan de verdere ontwikkeling van de interventie. Dit wordt geïllustreerd aan de hand van de Monde Selon Les Femmes case in Box 4.5.

Box 4.5. - Verduurzaming van de effecten via natrajecten

Evaluatie van ontwikkelingseducatie-acties 65

Le Monde Selon les Femmes. Les formations du M/F c’est une démarche de l’ordre de l’éducation permanente, c’est une démarche de transformation de comportement au niveau professionnel, mais aussi personnel (prise de confiance en soi, établissement de réseau avec d’autres formées, etc.). Et le M/F propose aux personnes formées annuellement un moment pour faire le point : les formées sont invitées à se réunir tous les ans et à réfléchir sur leur pratique autour d’une étude de cas, c’est en outre l’occasion pour le M/F de présenter de nouveaux outils qu’ils ont conçus. Chacun amène ses expériences, qui sont confrontées et discutées avec une recherche de solutions toutes ensemble : c’est un continuum très important. La durabilité des effets se montre aussi par le fait que l’attitude de ‘’ faire le gender car c’et un theme transversal obligatoire’’ semble progressivement être dépassé par une integration dans la pratique même des ONG. Le travail de plaidoyer du M/F a aussi abouti à des inscriptions de l’approche genre dans différents documents officiels (comme par exemple : thème transversal dans la loi de coopération, note stratégique genre, implication du genre dans l’ECMS avec Acodev, etc. Ceci est une certaine garantie de durabilité.

4.5. Herkennen en benutten van windows of opportunityDe thematische specialisatie en expertise rond bepaalde doelgroepent die gepaard lijkt te gaan met een groeiende ‘niche werking’ lijkt in bepaalde cases de organisaties ook te helpen om ‘windows of opportunity’ te herkennen en te benutten. Voorbeelden hiervan worden geboden door de Rikolto case waarbij Rikolto de algemene verduurzamingstrend in de voedingsindustrie herkende als een window of opportunity waarbij zij zichzelf kon positioneren als facilitator van veranderingsprocessen en broker met een eigen netwerk en ervaring inzake het verduurzamen van voedselsystemen. Een tweede voorbeeld betreft de case van VIA Don Bosco die mee op de kar is gesprongen van het innovatielab van kleurbekennen rond het uitwerken van good practices voor het opzetten van ontwikkelingseducatie trajecten op school met het oog op een meer duurzame verankering.

Box 4.6. - Herkennen en benutten van window of opportunity rond duurzame voeding

Rikolto. De verduurzamingstrend begon niet en zal niet eindigen bij Rikolto, maar Rikolto biedt voor regimespelers in de retail een belangrijke invulling om verduurzaming te realiseren. Via dialoog en concrete projecten worden regimespelers beïnvloed om verduurzaming op een zinvolle en niet-cosmetische manier concreet te maken. Rikolto wordt ook uitgenodigd om input te geven aan het duurzaamheidsbeleid van de regimespelers.

VIA Don Bosco. Om ook inbedding van OE-activiteiten in scholen te garanderen, of met andere woorden niet enkel te werken aan de OE-aanbodzijde maar ook aan de randvoorwaarden voor OE, participeert VDB in de MoVo werkgroep wat resulteerde in het (momenteel) uitwerken van een document ism Kleur Bekennen over ‘wat is een succesvol OE- traject zodat inbedding ook nadien gegarandeerd wordt ?’ (zonder daarom OE te willen standaardiseren of een identieke aanpak per school voor te willen stellen).

66

5. Impact

Dans le cadre de cette évaluation, nous nous sommes centrés sur trois questions : 1/la manière dont l’impact est défini et les informations disponibles sur l’impact des actions des ONG ; 2/la mesure dans laquelle les actions des ONG contribuent à des changements auprès des groupes-cibles directs et indirects et 3/dans quelle mesure les actions de plaidoyer ont un impact au niveau européen et international.

5.1. Définitions variées de l’impact Des théories de changements, on peut identifier directement (ou de manière dérivée) comment les ONG étudiées définissent l’impact auquel elles souhaitent contribuer. Dans la dernière colonne du tableau, nous reprenons un aperçu des indices d’impact identifiés par les études de cas. Certains exemples seront détaillées plus loin.

Tableau 5.1. Définitions de l’impact par les ONG. ONG Description de la sphère

d’intérêt/impact Indices d’impact

PROTOS (Programme 2017-2021)

In België wil PROTOS een bijdrage leveren aan bewuster direct en indirect watergebruik op gemeentelijk niveau bij bestuur, bedrijven en kantoren en bij directies, leerkrachten en leerlingen van scholen in die gemeente

Initiative autonome d’acteurs de l’eau accompagnés par PROTOS: processus de réflexion sur utilisation directe et indirecte de l’eau en interne et engagement dans un partenariat avec des acteurs malgaches.

Rikolto De verduurzaming van het voedselsysteem in zijn geheel. Good practices met regimespelers en nichespelers gecombineerd met een sterke multi-stakeholderdynamiek zorgen voor een verduurzamingstrend die een systemische verandering te weeg brengt (bv. transparanter voedingsysteem, nieuwe manier van zaken doen).

Gemeenschappelijk definities van impact met andere actoren Publicaties die het leren capteren vb. https://www.rikolto.be/nl/savethefoodture; ook artikels vb. http://www.vilt.be/nl_BE/search?q=rikoltohttp://www.vilt.be/nl_BE/search?q=vredeseilanden (relevant zijn artikels van 17/10/2017, 22/01/2018, 05/02/2018

FIAN Eradication de la faim dans le monde Changement de paradigme pour une transition vers des systèmes alimentaires durables

Interpellation de la Belgique par le conseil des droits ESC des Nations-Unions sur sa politiques d’agro-carburants

Prise d’initiative de parlementaires européens suite à la campagne Hands on the Land for Food Sovereignety 

SolSoc Militants et membres des organisations de l’action commune socialisteParlement et gouvernement belge Opinion publique belge

Réactivité et suivi des/par les (jeunes) députés socialistes par rapport aux questions internationalesAugmentation du nombre d’articles sur les questions internationales dans les publications des organisations du mouvement socialiste (sans intervention directe de SolSoc)Prémisses de prises de position de la FGTB par rapport à la situation en Palestine.

Le Monde Les acteurs de la coopération Gnre est retenu comme « trajet d’apprentissage » par

Selon les Femmes

belge ont des pratiques et des politiques égalitaires en termes de genre

les ONG belges et élaboration d’une charte du genre pour cadrer le travail du secteur de la coopération en matière d’ECMS.Changements de pratiques et politiques internes en termes de genre dans certaines ONG belges

VIA Don Bosco

Jongeren en jongvolwassenen in Noord en Zuid leiden een beter leven en zijn in staat bij te dragen tot de ontwikkeling van een meer rechtvaardige wereld.

% leerlingen dat dankzij pedagogisch aanbod VIA Don Bosco kritisch nadenkt over ‘thema’s;% leerlingen dat zich dankzij pedagogisch aanbod van VIA Don Bosco solidair voelt met jongeren in het zuiden;% leerlingen dat dankzij pedagogisch aanbod van VIA Don Bosco een solidaire actie heeft ondernomen rond één van ‘onze’ thema’s

Dans cet ensemble, on retrouve donc généralement des individus regroupés en catégories bien définies (jeunes, jeunes adultes, militants et membres d’organisation, élèves, enseignants, direction d’écoles) et des acteurs institutionnels spécifiques (regimespelers en nichespelers in de voedingsindustrie, acteurs de la coopération belge, parlement, gouvernement, communes, écoles, entreprises). Les ONG mènent donc nettement moins d’actions destinées au « grand public », sachant que celles-ci ne conduisent pas forcément à des changements de grande ampleur ni durables en raison des ressources dont il faudrait disposer pour faire de telles campagnes. Le chapitre consacré à la pertinence a montré les efforts faits par les ONG pour mieux cibler leurs actions sur des acteurs intermédiaires pouvant avoir des effets multiplicateurs sur d’autres acteurs. Cette évolution a également entrainé des changements de stratégies allant vers des accompagnements de plus long termes. Cette évolution est importante en termes d’impact car elle repose sur l’hypothèse que les acteurs intermédiaires pourront avoir une influence plus forte sur les individus et institutions ultimement visés.

5.2. Peu d’informations disponibles par rapport à l’impact

Tant l’analyse des rapports d’évaluation des ONG que les études de cas permettent de constater le peu d’information disponible par rapport à l’impact des actions d’éducation au développement. L’impact est souvent abordée de manière indirecte et superfielle dans les rapports d’évaluation généraux et peu de rapports d’évaluation portant spécifiquement sur l’impact ont pu être dénombrés. Comme nous le relevions dans l’introduction du chapitre sur l’efficacité, la mesure de l’impact des actions d’éducation au développement requiert des approches méthodologiques particulières (approche longitudinale, identification de changements durables aux niveaux collectif et individuel). Certains rapport intitulés « Evaluation de l’impact » portent en fait plutôt sur les processus de changements induits (outcomes) sur les acteurs visés directement (exemple : Rikolto Impactrapport Noordprogramma 2014-2016). Dans d’autres cas, les rapports d’évaluation analysés n’abordent souvent pas l’impact de manière spécifique.

Les budgets alloués à la réalisation de ces évaluations et/ou les timings ne permettent probablement pas toujours la mise en oeuvre de telles méthodologique pour évaluer l’impact de manière rigoureuse. Par ailleurs, nous avons déjà relevé la faiblesse des dispositifs de suivi-évaluation des ONG pour pouvoir apprécier de manière systématique et dans la durée les changements induits auprès des groupes-cibles directs et indirects dans les programme Nord. Certaines ONG (Rikolto) sont familières avec des méthodes (SenseMaker, Outcome Mapping, Most Significant Change) qui constituent de bonnes bases pour capter des indices d’impact. Mais ces méthodes ne sont hélas peu appliquées sur les programmes d’éducation au développement.

Conclusies

5.3. Des changements identifiés auprès de groupes-cibles directs

Dans cette section, nous reprenons un ensemble d’indices qui démontrent comment se traduit l’impact des ONG étudiées. Bien qu’il n’existe pas toujours de données d’évaluation sur les changements auprès des groupes-cibles finaux (sphère d’intérêt/changement), on peut toutefois déjà apprécier des indices d’impact de différentes natures et à différents niveaux.

5.3.1. Des changements institutionnels et législatifs

Pour les ONG de plaidoyer, le fait de contribuer à induire des changements institutionnels et législatifs peut être interprété comme un impact dans le sens où des décisions sont prises par un ensemble d’acteurs dont seuls une partie a été directement influencées par l’ONG. Ces changements législatifs et institutionnels (promulgation de loi ou arrêtés royaux, mise en place de nouveaux mécanismes ou institutions) ne sont bien évidemment pas un fin en soi puisque leur existence n’est pas (encore) une garantie de changements significatifs dans les pratiques. Mais il s’agit bien là, de changements qui permettent d’avoir des cadres de suivi et/ou outils contraignants, éléments souvent incontournables dans les processus de changements. La Box 5.1. donne une illustration significative d’influence sur des décisions politiques au niveau belge.

Box 5.1. - Contribution aux changements institutionnels et législatifs sur la cohérence des politiques

FIAN. En matière de cohérence des politiques en faveur du développement, l’ONG FIAN a joué ces dernières années un rôle déterminants dans l’existence et la mise en place d’outils et de mécanismes spécifiques : adoption de 3 arrêtés Royaux instituant des mécanismes visant à rendre effective la cohérence des politiques en faveur du développement , création d’un conseil consultatif sur la cohérence des politiques en faveur du développement (02/04/2014), création d’une commission interdépartementale sur la cohérence des politiques en faveur du développement (02/04/2014). Depuis 2011, FIAN fait en effet un travail de fond sur la cohérence des politiques en faveur du développement au moyen d’une dizaine d’études spécifiquement consacrées à ce sujet (réalisées par FIAN Belgique et/ou dans le cadre de partenariats avec d’autres ONG (CONCORD, Hands on the Land, 11.11.11, Coalition contre la Faim). Certaines de ces études portent directement sur les pratiques belges (Aide publique de la Belgique pour l’agriculture (et la sécurité alimentaire et nutritionnelle) : bilan, Septembre 2016. A côté de ces études, FIAN a mené (avec CNCD/11.11.11) des actions de plaidoyer spécifiques vers la mise en place d’instruments favorisant la cohérence des politiques en faveur du développement.

5.3.2. Un impact sur les pratiques d’autres acteurs

Certains changements auxquels les ONG espèrent contribuer auprès des acteurs intermédiaires directement accompagnés relèvent de l’impact dans le sens où elles contribuent à ce que des acteurs sociaux modifient leurs pratiques (voir Box 5.2). Dans certains cas, ces changements sont induits par une internalisation de certaines problématiques (comme l’eau, le genre, la justice sociale, la protection sociale, l’alimentation et le droit des paysans) dans leurs propres pratiques et politiques. Dans le cas du Monde Selon les Femmes comme dans le cas de PROTOS par exemple, cet impact est rendu possible par des stratégies et une offre de services concrets tournées vers l’action (combinant un bilan, plan de formation, différentes formes d’accompagnement, évaluation régulière, etc.) et mobilisant un paradigme global sur les problématiques de développement (non exclusivement centrées sur le Sud). Ainsi, l’entreprise intercommunale De Watergroep et la commune de Bierbeek a entamé un travail pour

Evaluatie van ontwikkelingseducatie-acties 69

diminuer leur utilisation directe et indirecte de l’eau. Dans d’autres cas (11.11.11 Steunpunt 4de Pijler), c’est par une diversité de stratégies (helpdesk, website, newsletters, formations, moments de rencontres, contact avec les communes, les provinces, les GROS) que 11.11.11 est parvenu à faire évoluer les pratiques de coopération internationale des acteurs du 4ème pilier.

Box 5.2. Impact d’ONG sur les pratiques d’autres ONG belges

Le Monde Selon les Femmes. L’impact du M/F sur la prise en compte du genre par les acteurs du développement belge est, aux dires des acteurs interrogés, considérable, particulièrement ces trois dernières années. Ainsi, par rapport au secteur des ONG dans son ensemble, le Monde selon les Femmes a fait un travail de plaidoyer à l’adresse des coupoles et fédérations, dans le CSC Belgique. Le genre est retenu comme « trajet d’apprentissage » ce qui a conduit à l’élaboration d’une charte du genre pour cadrer le travail du secteur de la coopération en matière d’ECMS. Cette charte a été discutée largement et va être adoptée prochainement par les conseils d’administration des 2 coupoles et 2 fédérations : ce processus commun sera ainsi adopté par tous, puis des processus seront développés par métier (enseignement général, technique, professionnel, etc.). Cela permettra d’avoir un guide pour l’insertion du genre dans la pratique de chacun. Encore une fois, ces processus et chartes ne sont pas une fin en elles-mêmes mais elles reflètent l’obtention d’une adhésion consensuelle dans tout le secteur des ONG, par rapport à une approche qui ne fait pas souvent l’objet de consensus quand il touche aux pratiques et contenus des ONG.

Le 11.11.11 Steunpunt 4de Pijler est également parvenu à influencer les pratiques des acteurs de développement du 4ème pilier. Er is sprake van “kwaliteitsverbetering” op verschillende vlakken: interne werking, fondsenwerving & communicatie bij achterban, en werking in het zuiden (kritisch in vraag stellen en bijsturen vaak op vlak van inbedding & duurzaamheid). Er is eveneens sprake van concrete resultaten op het vlak van netwerking & samenwerking tussen 4de pijlers onderling. Een niet geplande impact is dat er een groepsgevoel of solidariteit ontstaat binnen de 4de pijlers. Hierdoor eisen ze ook steeds meer hun plaats op en worden ze zich hoe langer hoe meer bewust van hun mogelijk toegevoegde waarde. De groeiende vraag naar belangenverdediging is daar zeker ook een gevolg van.

L’impact de certaines ONG se traduit aussi par des initiatives prises de manière autonome par les acteurs visés, sans que celles-ci ne soient suggérées ou accompagnées par les ONG. On peut ainsi mentionner le cas de Watergroep qui a décidé en 2016 de poursuivre le partenariat avec un groupe d’acteurs à Madagascar (JIRIMA) autour des questions de l’eau. Dans le milieu scolaire, on observe aussi dans certaines écoles sensibilisées par Entraide et Fraternité la prise d’initiatives locales à petite échelle dans le domaine de l’agroécologie : tri des déchets, potager scolaire, etc.

5.3.3. Des changements de comportement au niveau individuel

De meta-evaluatie, alsook de case studies en de bevraging bij medewerkers van organisaties die zich inzetten voor ontwikkelingssamenwerking en de SDGs leveren een aantal interessante observaties over de mogelijke impact van ontwikkelingseducatie op individueel niveau. Dans le milieu scolaire, les rares informations disponibles au travers des études de cas et la méta-analyse permettent d’identifier un certain nombre d’indices d’impact sur le comportement au niveau individuel de participants à des actions de sensibilisation de forte intensité, comme des voyages d’insertion ou des projets de long terme.

Box.5.3. – Impact au niveau individuel

DBA. Un enquête menée auprès des participants au projet Do it with Africa (voyage d’immersion et processus préparatoires organisés en 2013, 2014 et 2015) par DBA avec la collaboration de La Libre Belgique a permis notamment de constater que la quasi-

70

Conclusies

totalité des jeunes (91%) considèrent que le projet leur a permis de se rendre compte que l’action individuelle peut avoir des conséquences et a contribué de façon significative à susciter un changement de d’attitudes, de valeurs et de comportements dans la vie quotidienne du jeune (85,4%) et dans une moindre mesure dans celle de son entourage.

Echos Communication. Le projet de “ l’Ecole du Vivre Ensemble “ de Echos Communication a été mis en œuvre dans 15 écoles de Bruxelles, du Brabant Wallon et du Hainaut et a touché 43 classes, 278 enseignants/éducateurs direction et 764 enfants. Le projet était construit en 2 parties: un temps de formation de base aux enseignants axée sur la déconstruction des préjugés et dans un deuxième temps la mise en œuvre d’animations avec les élèves. Une évaluation d’impact a été menée de manière systématique sur les équipes pédagogiques (auto-évaluation menée sur base d’un questionnaire remis en fin de formation + évaluation qualitative externe menée quelques mois après la formation) et sur les enfants (mesure sur une période T0-T1 de l’évolution des représentations des ressentis des enfants par rapports à qques critères axés sur stéréotypes, mesure des ressentis des enfants à travers un formulaire et un diagnostic participatif et mesure qualitative d’une évaluation externe par interview de 84 personnes (12 chefs d'établissements, 37 enseignants et 35 élèves).

Eléments clés de l’impact au niveau des enseignants : 1/Augmentation de la bienveillance, de l’empathie ainsi que de la tolérance entre les membres de l’équipe pédagogique et les directions ; 2/ Amélioration des relations interpersonnelles entre enseignants ; 3/ augmentation de la solidarité entre les différents acteurs de l’école ; 4/ stimulation de la recherche de solutions entre les enseignants qui rencontraient des difficultés relationnelles ou comportementales avec les enfants ; 5/Prise de conscience des préjugés qui sont à l’œuvre par rapport aux parents et diminution des jugements de valeurs sur la différence culturelle et éducative ; 6/Augmentation de l’empathie vis-à-vis des parents.

Elément clés de l’impact au niveau des élèves : 1/augmentation de la confiance en soi et dans le groupe ; 2/Libération de la parole et un meilleur positionnement dans la prise de parole ; 3/Meilleure écoute des uns et des autres ; 4/Forte prise de conscience des préjugés ; 5/Développement de la notion de responsabilisation chez certains enfants pour améliorer le climat dans la classe ; 6/Amélioration des échanges relationnels entre l’enseignant et les enfants.

Le Monde Selon les Femmes. L’impact se vérifie également chez des personnes ayant suivi des formation du Monde : prise de confiance en soi, établissement de réseau avec d’autres formées et partage d’expériences avec d’autres personnes actives dans des associaitons, transformation de comportement, etc.

Uit de bevraging van de medewerkers leren we dat een veelheid van redenen hen motiveerden om zich professioneel te engageren rond ontwikkelingssamenwerking of the SDGs. Persoonlijke interesse en engagement lijken doorslaggevend, maar ook de invloed van de eigen kring en familie, de school, de jeugdbeweging, de opleiding en werkgever is niet onbelangrijk.Ook ontwikkelingseducatie acties blijken een rol te spelen. Zo kunnen actieve ervaringen door ontmoetingen (bv. tijdens inleefreizen) alsook door activiteiten en projecten bewustzijn en gevoelens creëren, meer nog dan passief luisteren of kijken naar een audiovisuele productie of lezing.

"Lors d'un voyage de 6 mois au Sénégal, je me pose plein de questions sur la manière dont fonctionne la coopération au développement et je tombe à mon retour sur une ONG qui travaille justement la dynamique du regard dans le cadre de ces relations de coopération."

“Reizen in ontwikkelingslanden doet vanzelf je ogen open gaan.”

"Des activités actives de création, d'expression artistique, de collaboration, de partage, d'expression d'émotions, de mises en situation, de visualisation, de

Evaluatie van ontwikkelingseducatie-acties 71

construction collective d'un projet, de vécu d'un partenariat ou d'un échange, etc. sont pourtant beaucoup plus à même de produire des effects de conscientisation que des activités passives et intellectuelles comme visionner un film ou écouter une conférence."

Uit de toelichting die de respondenten gaven is het duidelijk dat de verschillende redenen of aanleidingen niet los van elkaar plaatsvinden. Vaak is het een interactie tussen persoonlijkheid, interesse en andere aspecten zoals ontwikkelingseducatie-acties die de motivatie versterken. Het is daarom niet altijd even gemakkelijk voor respondenten om aan te geven wat eerst kwam of wat precies de motivatie heeft veroorzaakt. Soms wordt ook aangegeven dat de interesse er was sinds jonge leeftijd of dat men besloot op een dag zich te willen inzetten voor SDG’s of ontwikkelingssamenwerking (cf. Gretry, 2014). Tegelijkertijd kunnen mensen die aanvankelijk niet geïnteresseerd zijn in ontwikkelingssamenwerking, door ontwikkelingseducatie geïnspireerd worden (cf. Gretry, 2014). Zoals we in de eerste fase van de evaluatie gezien hebben, kunnen sensibiliserende acties wel gevoel van onrechtvaardigheid opwekken, wat op langere termijn mogelijk tot engagement kan leiden.

“Ik denk dat die beslissing een verzameling van heel veel dingen was, maar bovenal een resultaat van een inherent deel van mijn persoonlijkheid, namelijk het hebben van een groot gevoel voor rechtvaardigheid en geëngageerd genoeg zijn om hier iets mee te doen. Ik denk dat ontwikkelingseducatie hoofdzakelijk resoneert bij jongeren met dit profiel (als het doel tenminste is om voor een NGO te werken) en dat dan de vraag is of ze sowieso hun weg hiernaartoe niet zouden vinden. Als het gaat om algemene gedragsverandering en een meer systematisch begrip over zaken als bv. ongelijkheid, vluchtelingen en ecologie is het iets anders natuurlijk, dan is wereldburgerschapseducatie zeer nuttig geloof ik.”

Ook de interviews met medewerkers uit de zes dieptecases tonen aan dat ontwikkelingseducatie wel degelijk een rol speelt. Er is sprake van een zeker verlangen naar betrokkenheid, en deze kan ontstaan vanuit een specifieke trigger, bv. een actie, een inleefreis, een uitwisseling met een persoon, een getuige, het waarnemen van onrechtvaardigheid. Maar ontwikkelingseducatie-acties kunnen ook bestaande betrokkenheid versterken en structureren. Soms is de betrokkenheid namelijk eerder emotioneel en deze afwijkende emotionele betrokkenheid kan door ontwikkelingseducatie-acties meer gestructureerd, doordachter en duurzamer gemaakt worden.

5.4. Impact au niveau européen et international Les ONG qui peuvent démontrer un impact au niveau européen et international sont celles qui mènent des actions à ces niveaux, généralement en coalition avec d’autres acteurs. Dans les 6 études de cas, seules FIAN et Le Monde Selon les Femmes répondent à ce profil : FIAN étant la branche belge d’un réseau international (basé à Heidelberg) et Le Monde Selon les Femmes faisant partie et jouant un rôle moteur dans des coalitions internationales comme La Marche Mondiale des Femmes. Dans les deux illustrations à partir du cas ce FIAN Belgique, on observe que le mécanisme à la base des indices d’impact identifiés est clairement le fait de faire partie d’une organisation internationale ayant statut d’observateur au Conseil des Droits Economiques Sociaux et Culturels des Nations Unies et de s’engager dans les campagnes internationales avec d’autres ONG et acteurs sociaux.

Box 5.4. - Impact du plaidoyer au niveau européen et international

FIAN. En termes de plaidoyer, les actions de FIAN ont sans aucun doute un impact au niveau européen et international. En matière de cohérence des politiques en faveur du développement, FIAN Belgique a contribuer (en remettant et présentant un rapport aux Nations-Unies) à faire interpeller la Belgique par le Conseil des Droits Economiques

72

Conclusies

Sociaux et Culturels des Nationaux Unies (E/C.12/BEL/CO/45) pour sa promotion des agro carburants en contradiction avec ses obligations en matière de droit à l’alimentation.

FIAN fait également partie de la HotL4FS Alliance avec laquelle elle mène une campagne intitulée « Hands on the Land for Food Sovereignety ». Cette campagne vise à faire prendre conscience aux citoyens et décideurs politiques des questions liées à l’utilisation et à la gouvernance des terres, de l’eau et d’autres ressources naturelles ainsi que sur ses effets en termes de droits à l’alimentation et souveraineté alimentaire en Europe comme dans le Sud. Ce alliance est constituée de 16 partenaires de profils divers (mouvements paysans, ONG, organisations des droits humains, monde de la recherche). L’évaluation externe de cette campagne (Groverman & Quiroz, 2017) a identité plusieurs signes concrets démontrant l’impact de la campagne : changements de perspective actions concrètes de parlementaires européens sur les questions foncières et droits humains, par exemple actions concrètes. « We refer to the acceptance of the own initiative report on access to land/land grabbing in Europe by the European parliament (April, 2017) and the resolution by the EP concerning the human rights situation of the Guarani and Kaiowá, calling upon the Brazilian state to act in compliance with its human rights obligations (December, 2016)” (Groverman & Quiroz, 2017).

5https://tbinternet.ohchr.org/_layouts/treatybodyexternal/Download.aspx?symbolno=E/C.12/BEL/CO/4&Lang=Fr

Evaluatie van ontwikkelingseducatie-acties 73

6. Cohérence

La cohérence des actions d’éducation au développement des ONG belges sera ici appréciées par rapport à deux critères principaux : 1/cohérence par rapport aux cadres de références établis par la coopération belges (Note stratégiques, thèmes prioritaires) et les ONG (CSC6) ; 2/cohérence dans les approches d’éducation au développement mises en œuvre par ONG. De manière générale, les études de cas et la méta-évaluation permettent d’affirmer que ce critère n’est pas systématiquement pris en compte dans les rapports d’évaluation. Et quand il est pris en compte, il n’est pas toujours abordé de manière standardisée (avec des accents sur la cohérence interne ou sur la cohérence avec les actions ou stratégies d’autres acteurs selon les cas).

6.1. Cohérence par rapport aux cadres de référence des acteurs de la coopération internationaleL’éducation au développement en Belgique est encadrée par différents documents de référence établis par les acteurs de la coopération belge : Loi sur la coopération internationale (2016), note stratégique «   éducation au développement   » (DGD, 2012), cadre stratégique commun « Belgique » (2015).

6.1.1. Cohérence par rapport aux objectifs de l’éducation au développement en Belgique

L’éducation au développement est définie par les acteurs belges comme « une des composantes de l’éducation à la citoyenneté mondiale dont l’objectif général est de concourir à un monde plus juste et solidaire empreint des valeurs démocratiques. L’éducation au développement a comme spécificité de mettre en exergue les relations Nord/Sud. Dans un contexte d’interdépendance entre les enjeux globaux et la vie quotidienne d’individus et de communautés, l’éducation au développement est un processus qui a pour but de : 1/ favoriser la compréhension globale des enjeux internationaux et du développement et l’acquisition d’un regard critique ; 2/ provoquer des changements de valeurs, attitudes et comportements sur les plans individuels et collectifs ; 3/susciter l’exercice actif des droits et responsabilités aux niveaux local et global » (ACC Nord, 2015, p. 12).

L’évaluation montre que les actions des ONG belges traduisent concrètement cette définition. Les ONG développent en effet des stratégies visant l’acquisition de connaissance et de regard critique, offrent des opportunités concrètes de pouvoir les confronter à l’analyse de leurs propres comportements ainsi que de ceux qui les entourent (institutions, entourage, société) et des incitations à l’engagement via l’ONG ou non. Les pratiques d’éducation au développement sont également devenues plus cohérentes dans le fait d’aborder les problématiques de développement de manière globale (et non pas uniquement par rapport aux pays du Sud) et d’inciter à des

6 Nous avons pris en compte le critère “CSC” tout en étant bien conscient que les CSC et ACC n’existaient pas en 2014 au démarrage des programmes analysés et nous ne le considérons donc pas comme un critère auquel il y a lieu de se conformer nécessairement. Mais ce regard permet de vérifier dans quelle mesure cette analyse et ce cadre retenu correspondent et ont été alimentés par la pratique effective de ces ONG.

74

Conclusies

changements de comportement et à des engagements concrets par rapport aux contextes locaux et particuliers des groupes-cibles (Voir Box 6.1).

Box 6.1. - Stratégie coordonnée d’éducation au développement.

Le Monde Selon les Femmes. Le travail d’éducation au développement du M/F dans son programme 2014-2017 s’inscrit dans une stratégie clairement coordonnée. Les activités de formations, basées notamment sur un travail de recherche approfondi et permanent en relation étroite avec le monde académique, sont proposées aux acteurs du monde de la coopération mais également au monde de l’éducation permanent ou autres acteurs de la société civile belge en général : cette diversité d’intervention permet au M/F de porter la problématique du genre et de l’égalité femmes-hommes dans le cercle de la coopération bien entendu mais également dans le monde syndical, au niveau du Conseil d’avis sur l’égalité Hommes femmes au sein du parlement bruxellois en collaboration avec la Marche mondiale des femmes, etc. La prise en compte du genre est abordée alors de manière globale au travers de toutes ses thématiques : que ce soit l’agriculture durable, l’accès aux ressources, la violence faites aux femmes, etc. toutes ces questions sont analysées dans leur dimension Nord et Sud. Ces formations permettent de sensibiliser le personnel des organisations mais imprime aussi régulièrement, au-delà de l’apprentissage individuel, une démarche de prise en compte de la thématique du genre dans l’approche générale de l’organisation induisant des changements dans ses pratiques, dans son fonctionnement ou dans ses structures : ce qui renforce la cohérence de la démarche du M/F. En outre, au niveau de son plaidoyer que le M/F fonde également sur son travail de recherche, la stratégie est également de développer une approche de cohérence, d’aborder les mêmes thématiques dans leur impact tant au Nord qu’au Sud au sein de tous les organes dans lesquels le M/F s’implique : le Conseil consultatif Genre et Développement, le Conseil d’avis régional Bruxellois sur l’égalité Hommes/femmes, les différentes plateformes dans lesquelles le MS/F est présent, etc.

6.1.2. Cohérence par rapport aux priorités de la coopération belge

L’ensemble des ONG s’inscrivent pleinement dans les priorités belge et internationale en matière de coopération au développement et de développement durable. Sur base des documents des ONG, le tableau ci-dessous donne un aperçu des Objectifs de Développement Durable auxquels les ONG considèrent contribuer directement via leur programmes Nord. Dans la pratique, il est clair que d’autres objectifs plus transversaux (objectif 1, objectif 5 objectif 10) font également partie des contenus abordés par les actions d’éducation au développement.

Tableau 6.1. Aperçu de la contribution des ONG ayant fait l’objet d’étude de cas aux ODD

Objectif 1. Éradication de la pauvretéObjectif 2. Lutte contre la faim Rikolto

FIAN

Objectif 3. Accès à la santé SolSocObjectif 4. Accès à une éducation de qualité VIA Don BoscoObjectif 5. Égalité entre les sexes Le Monde Selon les Femmes

VIA Don Bosco

Objectif 6. Accès à l'eau salubre et à l'assainissement PROTOSObjectif 7. Recours aux énergies renouvelables PROTOSObjectif 8. Accès à des emplois décents SolSocObjectif 9. Bâtir une infrastructure résiliente, promouvoir une industrialisation durable qui profite à tous et encourager l’innovationObjectif 10. Réduction des inégalités Le Monde Selon les FemmesObjectif 11. Villes et communautés durables Rikolto

PROTOSObjectif 12. Consommation et production responsables Rikolto

FIAN

Objectif 13. Lutte contre les changements climatiques

Evaluatie van ontwikkelingseducatie-acties 75

Objectif 14.Conserver et exploiter de manière durable les océans et les mers aux fins du développement durableObjectif 15. Vie terrestreObjectif 16. Justice et paixObjectif 17. Partenariats pour la réalisation des objectifs Rikolto

PROTOSFIANLe Monde Selon les Femmes VIA Don BoscoSolSoc

6.1.3. Des acteurs ciblés et visés de manière plus cohérente

Bien que l’éducation au développement s’adresse à l’ensemble de la population, la note stratégique éducation au développement de la DGD (2012) comme le cadre stratégique commun « Belgique » élaboré par les ONG (2015) mettent l’accent sur la nécessité d’orienter les actions vers des groupes cibles multiplicateurs (décideurs politiques, faiseurs d’opinion, media, professeurs/étudiants des écoles normales supérieures et les enseignants) ainsi que sur les jeunes en raisons des rôles futurs qu’ils joueront dans la société. Dans le chapitre sur la pertinence et l’efficacité, nous avons déjà relevé les efforts faits par les ONG pour avoir une approche plus ciblée des acteurs. Dans toutes les ONG ayant fait l’objet d’études de cas, les ONG orientent en effets leurs actions vers des acteurs porteurs d’effets multiplicateurs (communes et acteurs de l’eau pour PROTOS, organisation de l’action commune socialiste pour SolSoc, acteurs-clés en termes d’alimentaire chez Rikolto). Le choix des acteurs visés traduit également des efforts vers plus de cohérence par rapport aux réseaux organiques au sein desquels s’inscrit chaque ONG ainsi que par rapport aux thématiques portées.

Box 6.2. - Ciblage plus cohérent des acteurs visés

SolSoc. Dans le cadre de son programme 2008-2010, Solsoc avait déjà recentré les groupes cibles de son action en Belgique sur son public d’origine qui constitue également son ancrage social, à savoir les organisations de travailleurs, de mutualistes et d’éducation permanente qui appartiennent à sa mouvance (socialiste). Ce recentrage a renforcé la cohérence de son action : public cible plus cohérent, possibilité d’utiliser des outils communs pour ses différents publics, légitimité et visibilité plus grande puisqu’il s’agit d’un public plus proche, idéologiquement.

PROTOS a toujours été cohérente dans le choix des groupes-cibles par rapport auxquels elle développaient des actions de sensibilisations par rapport à la problématique de l’eau. Par contre, l’approche précédemment mise en œuvre était peu cohérente en termes d’approches et de stratégies mises en œuvre par rapport à ces différents groupes cibles. Ces stratégies ne permettaient en effet pas à PROTOS de travailler de manière efficace, efficiente et durable par rapport aux rôles spécifiques que chacun de ces acteurs pourraient jouer par rapport à la problématique de l’eau (par exemple, ne pas être uniquement sensibiliser mais également changer de comportements) et par rapport à d’autres acteurs (effets démultiplicateurs). La nouvelle théorie de changement de PROTOS est dans ce sens nettement plus cohérente et plus explicite sur les hypothèses qui sous-tendent les stratégies mises en œuvre et les changements que PROTOS espère induire auprès de ses groupes-cibles.

A cet égard, on peut faire l’hypothèse que le développement des ACC et CSC Belgique semble inciter certaines ONG à renforcer leur complémentarité, parfois même en s’associant pour présenter un programme 2017-2021 commun. Une telle évolution pousse chaque ONG partenaire d’un programme commun ou qui participe à une collaboration renforcée à mieux cibler les priorités partagées en fonction des différents publics ciblés, ce qui tend à accentuer la spécialisation du travail de ces ONG. Compte tenu de la mise en œuvre toute récente des ACC et CSC, leurs effets sont encore assez

76

Conclusies

difficiles à déceler et ils devraient sans doute faire l’objet d’une analyse plus précise soit à mi-parcours soit en fin de parcours de ces programmes 2017-2021 pour qu’on puisse valider de manière plus assurée cette hypothèse que nous formulons ici (Box 6.3).

Box 6.3. - Des effets probables du CSC Belgique sur la cohérence et la spécialisation

SolSoc. La formulation des ACC et CSC Belgique a poussé l’organisation à présenter un programme 2017-2021 commun avec FOS (l’homologue flamande de Solsoc) et IFSI (l’Institut de formation syndicale internationale de la FGTB). Solsoc avait déjà, durant son programme 2014-2017, développé certaines collaborations avec ces deux organisations mais cette évolution tend à se renforcer. Ils ont décidé de rendre encore plus complémentaire le travail de ces trois organisations en définissant et présentant à la DGD un vrai programme en commun. Ce souci de cohérence s’est également traduit par la participation de SolSoc au programme MASMUT, initié par les mutuelles belges de santé en collaboration avec d’autres ONG active dans ce section. Pour une ONG comme SolSoc, de telles opportunités permettent non seulement de renforcer technicité des approches et la cohérence sur des thématiques communes dans de mêmes pays du Sud.

Le Monde selon les femmes. Les démarches d’ACC-CSC ont également poussé l’organisation à introduire à la DGD un programme 2017-2021 en commun avec le CNCD-11.11.11. Par ailleurs plusieurs publics cibles du Monde selon les femmes signalent que l’organisation avait développé une véritable stratégie systématique pour que, grâce à son apport très spécialisé, dans un maximum de CSC la problématique genre ait une place très significative et très cohérente en tant que thème transversal. Ceci étant particulièrement vrai pour le CSC Belgique. Cet apport traduit la cohérence de l’approche du Monde Selon les Femmes de voir à la fois influencer les visions et pratiques des acteurs du développement en termes de genre tout en les accompagnent et en les outillant pédagogiquement pour que l’intégration du genre puisse mener à des changements concrets.

Les jeunes continuent à faire l’objet d’actions directes d’éducation au développement par des ONG dont c’est la nature même (VIA Don Bosco) ou d’ONG ayant construit une longue tradition d’actions envers ce groupes-cibles (PROTOS). Toutefois, les stratégies vis-à-vis de ce groupe-cible évoluent par l’implication d’acteurs multiplicateurs (comme les communes dans le cas de PROTOS ou les enseignants dans le cas de VIA Don Bosco) et par la recherche de plus de cohérence et d’interconnections entre les différentes actions menées envers de même groupes-cibles (VIA Don Bosco) afin de les rendre plus porteuses de changements.

Box 6.4. - Education au développement envers les jeunes

VIA Don Bosco richt zich met haar OE-werking voornamelijk op werkgroepen van leerkrachten en directies in het secundair onderwijs, een doelgroep met een duidelijk multiplicatoreffect. Voor een deel van de activiteiten (met name School-to-School, s2s) is het bovendien de bedoeling dat de leerkrachten op termijn autonoom worden in het omkaderen van de eindbegunstigden, een doelstelling die ook gedeeld wordt door ngo’s in de strategienota van Acodev. Die eindbegunstigden zijn steeds jongeren uit het secundair onderwijs, met speciale aandacht voor jongeren uit TSO en BSO.

6.2. Cohérence dans les approches mises en œuvre

6.2.1. Approches cohérentes intégrant recherche, formation/accompagnement et plaidoyer

La cohérence des actions d’éducation au développement est renforcée dans certaines ONG par des stratégies combinant recherche, formation/accompagnement et plaidoyer.

Evaluatie van ontwikkelingseducatie-acties 77

Ces trois stratégies sont souvent présentes dans les ONG mais l’évaluation a permis d’identifier des pratiques visant clairement à mettre en œuvre ces stratégies de manière intégrée et de conduire ainsi à plus de cohérence. Les études de cas et la méta-évaluation ont permis de dégager de telles pratiques dans des ONG comme FIAN, Le Monde Selon les Femmes, Entraide et Fraternité, CNCD-11.11.11. Le fait de produire et d’utiliser de même contenus d’analyses ou de recherches pour mener tant le travail de sensibilisation/formation que le travail de plaidoyer rend l’approche plus cohérente.

Box 6.5. - Stratégies intégrées d’éducation au développement

L’éducation au développement d’ONG comme FIAN ou le Monde Selon les Femmes est mis en œuvre par des stratégies intégrées combinant, sur une même thématique, la réalisation de recherches et d’étude, la formation/l’accompagnement d’acteurs et la conduite d’actions de plaidoyer. Dans le cas du Monde Selon Les Femmes, cette cohérence apporte comme résultat un certain renforcement de capacité en intégration de l’approche genre pour les ACNG ou OSC qui accepte de bénéficier de cette offre globale et multifacette.

6.2.2. Plus grandes synergies entre acteurs

La note stratégique sur l’éducation au développement incitait les ONG et autres acteurs du développement à favoriser la collaboration et les partenariats dans une logique de complémentarité, en particulier dans le travail dans les écoles et dans le travail d’influence sur les politiques. L’évaluation confirme que les synergies entre acteurs deviennent plus la norme que l’exception en matière d’éducation au développement. Ces synergies se traduisent de différentes manières.

1) Par rapport au travail dans les écoles, les ONG travaillent en effet presque systématiquement en partenariat avec des acteurs détenant une expertise en termes de contenu et de pédagogie (Djapo, Ecolife) ou étant connectés à d’autres réseaux (Broederlijk Delen pour l’enseignement néerlandophone catholiques). Ces partenariats permettent aux ONG d’offrir directement aux acteurs de l’enseignement des outils et des accompagnements pédagogiques adaptées. De telles synergies se retrouvent également avec des acteurs multiplicateurs (comme la plateforme VVOB pour l’enseignement) pour renforcer une atteinte plus globale et structurée au niveau meso des groupes cibles scolaires.

Box 6.6. - De nombreuses synergies porteuses de cohérence

VIA Don Bosco werkt nauw samen met Broederlijk Delen voor de implementatie van de (kerstvakantie)inleefreis voor leerkrachten en leerlingen. Het voortraject wordt gezamenlijk georganiseerd, de werving van scholen gebeurt complementair (VIA Don Bosco werft Don Bosco-scholen) en tijdens de inleefreis is VIA Don Bosco, i.s.m. zijn Zuid- partners, de trekker achter de organisatie van een Jongerenforum. VIA Don Bosco werkt ook samen met VVOB, die – als organisatie die op (Vlaams) meso-niveau werkt – een impuls en omkadering wil bieden aan alle initiatieven op vlak van banden tussen Vlaamse scholen en scholen in het Zuiden (via website, nieuwsbrief en een subsidiefonds). VIA Don Bosco deelt deze informatie met de s2s-scholen en is van plan via het VVOB-platform bij te dragen tot de kennisontwikkeling en ontwikkeling van goede praktijken voor s2s / scholenbanden door tijdens PRG 2014-2016 een “handleiding” s2s te produceren en delen.

Rikolto. Voor de verduurzaming van de catering van scholen wordt er bij Rikolto actief afgestemd met andere actoren. Via de school food councils wordt er lokaal afgestemd met lokale medewerkers van Kleur Bekennen, Milieuzorg op School, lokale milieuverenigingen, socio-culturele verenigingen, lokale cateraars, directeurs, ouders, lokaal gezondheidsoverleg (LOGO’s), provinciale vertegenwoordigers en lokale jongeren. Op educatief vlak stemt Rikolto af met Good Planet en FairTrade Belgium. Voor de fairtradegemeente-campagne stemt Rikolto af met 11.11.11, Oxfam Wereldwinkels, en FairTrade belgium.

78

Conclusies

2) Par rapport au plaidoyer politique, les ONG travaillent quasi systématiquement avec d’autres acteurs, tant au niveau national qu’au niveau européen et international. Cette approche semble une tendance forte au sein des ONG devant le constat que les actions individuelles n’ont que peu d’effet pour influencer des processus de décisions politiques. Ce travail de plaidoyer multi-acteurs se caractérise également par l’implication d’acteurs situés en dehors de la sphère de la coopération internationale ; signe à nouveau de l’adoption et la mise en œuvre d’approche globale par rapport au développement.

Box 6.7. - Des actions et positionnements plus cohérents grâce à l’implication dans des réseaux

FIAN. Toutes les stratégies de FIAN (mobilisation sociale, plaidoyer) sont mises en œuvre au travers de partenariats avec d’autres acteurs venant tant du monde des ONG que de plus en plus du monde paysan. Ces partenariat multi-acteurs sont non seulement pertinent par rapport aux objectifs poursuivis (contribuer à construire un mouvement paysan) mais également en termes de cohérence entre discours et pratiques. Cette cohérence se traduit également dans la posture adoptée par FIAN en termes d’expertise. Cette dernière fait un travail de fond pour argumenter les positions des mouvements paysans par rapport à certaines questions mais FIAN ne semble pas se substituer à la légitimité du monde paysan de porter son propre discours et ses revendications dans les instances influentes au niveau européen et au niveau international. Cette posture est non seulement cohérente mais semble également plus efficace par rapport aux décideurs et contribuent à renforcer la participation citoyenne et politique du monde paysan aux décisions qui les concerne.

Le Monde Selon les Femmes. Les stratégies de plaidoyer du M/F s’inscrivent également dans des logiques de réseaux. Le M/F alimente par son expertise transversale du monde selon les femmes sur les questions de genre différentes plateformes de plaidoyer, tant au niveau national (Collectif contre la faim, plateforme Afrique centrale du CNCD-11.11.11) qu’au niveau international (WIDE, RIFS, le réseau égalité de l’OIF, AWID).

VIA Don Bosco is lid van de Coalitie 2015 – DE TIJD LOOPT (i.h.b. de werkgroep actie & communi- catie); op deze manier volgen wij de stand van zaken van het beleid en internationaal kader omtrent de MDGs op; de Milleniumbal en de actie Saved by the Bell kaderen binnen de initiatieven van dit consortium. Beleidswerk van Rikolto wordt ook wordt afgestemd met Bond Beter Leefmilieu en aanbevelingen worden gedeeld met VVSG, Vlaamse scholierenkoepel, ministerie onderwijs, ministerie gezondheid en ministerie milieu.

6.2.3 Une meilleure implication des acteurs du Sud mais encore à renforcer

La note d’orientation stratégique des ONG (2013-2018) relevait la nécessité d’avoir des approches plus cohérentes d’éducation au développement en veillant notamment à impliquer de manière structurelle les acteurs du Sud dans la conception, mise en œuvre et évaluation de l’action éducative. Les ONG faisaient en effet le constat que le manque de communication qui existent parfois entre les équipes « Nord » et les équipes « Sud » au sein des ONG, le manque de ressources financières humaines et pédagogique ne facilite pas toujours l’élaboration d’approche cohérente.

L’évaluation permet d’observer des évolutions positives dans ce sens mais également d’identifier des défis à relever, tant du côté des ONG que du côté de la DGD. Ainsi, on observe du côté des ONG des efforts pour mettre en lumière l’action des partenaires Sud et les partenaires aux-mêmes aux stratégies d’éducation au développement.

Evaluatie van ontwikkelingseducatie-acties 79

Box 6.8. - Implication des acteurs du Sud à l’éducation au développement

Frères des Hommes. L’action d’éducation au développement de Frères des Hommes est appréciée comme parfaitement cohérente avec son action de partenariat dans le Sud, tant sur le plan des thématiques et des partenariats/publics cibles, que de la façon de conduire l’action. Les partenaires Sud sont consultés lors de la conception et de la préparation du « volet Nord » du programme, et ils y participent activement. À plusieurs reprises les partenaires du Sud interviennent dans les formations. Des échanges et des transferts de savoirs et d’expériences ont lieu régulièrement entre organisations paysannes, qui débouchent sur des projets concrets de collaboration (notamment sur les systèmes de certification SPG).

VIA Don Bosco tracht zijn partnerschappen met het Zuiden zo veel mogelijk te valoriseren, zowel in de boodschappen die de ngo uitdraagt als in de educatieve methodes die worden gehanteerd. Een belangrijk accent van hun OE-werking ligt op de dialoog mét het Zuiden in plaats van enkel praten “over” het Zuiden. Het netwerk in het Zuiden is ruimer dan de partnerorganisaties van de Zuid- werking. Zo wordt er i.h.k.v. s2s samengewerkt met secundaire scholen in India en DR Congo die voldoen aan de criteria die nodig zijn om het project te doen slagen, en de beoogde resultaten in het Noorden te bereiken. Ook bij andere OE-activiteiten wordt het Zuiden zo veel mogelijk betrokken. Voor Saved by the Bell bijvoorbeeld worden zowel Belgische scholen als scholen in het Zuiden gemobiliseerd om samen actie te voeren voor het recht op onderwijs. VIA Don Bosco is voortdurend op zoek naar de beste manieren om de dialoog en samenwerking met het Zuiden concreet vorm te geven en exploreert in dit kader ook de mogelijkheden van nieuwe media zoals bijvoorbeeld het gebruik van Facebook in het kader van het s2s-project of Saved by the Bell.

Pour certaines ONG, il y a encore de nombreux défis à relever dans la mise en œuvre (FOS) ou la prise de conscience de la nécessité d’être plus cohérent en matière d’implication des partenaires Sud dans les actions d’éducation au développement. Le cas de FIAN (voir Box 6.9 ci-dessous) permet de mettre en lumière que de l’implication des partenaires Sud aux stratégies d’éducation au développement est parfois rendues plus difficile en raison du cloisonnement Nord/Sud qui persistent dans le financement par la DGD des programmes « Nord » des ONG.

Box 6.9. - Des modalités variées d’implication des acteurs du Sud

La théorie de changement de FIAN est basée sur la complémentarité d’action de plaidoyer, d’études de cas et de mobilisation sociale (mouvements et citoyens). Dans le programme 2015-2016, les actions relatives aux études de cas (visant à documenter des cas de violations des droits des paysans en y associant des mouvements) étaient prévues mais été refusées par la DGD car considérées comme étant des actions « Sud ». Selon FIAN, ce cloisonnement Nord/Sud de la DGD n’aide pas : « on ne peut pas vraiment soutenir les mouvements sociaux dans la globalité de leurs problèmes si cela ne concerne pas le Sud ». En 2017-2021, les actions liées aux études de cas ont été acceptées grâce à un cadrage permettent de répondre aux exigences réglementaires de la DGD.

Enfin, notons en conclusion de ce chapitre que le principal défi des ONG tient à la capacité à maintenir des approches cohérentes au fil des programmes et des thématiques, notamment car la mise en œuvre de cette cohérence tient beaucoup au personnel des ONG, à leurs réseaux et expertises propres. Certaines dimensions transversales comme l’environnement ou le genre sont présentes dans les programmes mais pas toujours intégrées de manière cohérente ou suffisante par rapport aux thématiques abordées. Par rapport à des groupes qui sont moins régulièrement touchés par l’éducation au développement, le défi pour les ONG qui le font (VIA Don Bosco par rapport à l’enseignement professionnel et technique ou Rikolto par rapport au secteur

80

Conclusies

privé) consiste à pouvoir adapter leur offre aux caractéristiques des acteurs visés. D’autres ONG, nombreuses, doivent encore faire un travail de réflexion – et probablement de partenariat avec d’autres acteurs - savoir comment touchés ces groupes-cibles moins visés par l’éducation au développement.

7. Conclusies

L’évolution récente des interventions d’éducation au développement des ONG tend à confirmer les tendances qui ont été constatées au niveau international par la plateforme de recherche PULSE en 2013 :

- L’éducation au développement délaisse l’approche d’une présentation traditionnelle de l’aide au développement pour développer une approche plus globale que ce soit au plan économique, politique ou des droits. Une mise en avant de la généralisation et de la mondialisation des problématiques temps à aborder les questions de justice, de pauvreté, de souveraineté alimentaire, de droit humanitaires, de climat, etc. comme question de société tant au Sud qu’au Nord de la planète.

- La clarification des objectifs de l’éducation au développement se renforce régulièrement : la promotion des activités des ONG elles-mêmes et la sollicitation des récoltes de fonds sont de plus en plus clairement écartées du périmètre de l’éducation au développement.

- Les ONG ciblent de manière de plus en plus précise les cibles de leurs interventions d’ED : le temps de la sensibilisation tous azimuts et grand ou large public peu défini semble révolu. Les ONG identifient des publics porteurs ou qui leur sont proches tablant sur le fait que cette proximité ou cette délimitation plus précise du public cible rend plus efficace leur travail. Une attention particulière est accordée à des publics cibles démultiplicateur qui sont approchés pour être des diffuseurs plus larges des contenus de l’ED (enseignants dans les écoles ; militants et bénévoles des organisations de coopération ; permanents et responsables d’organisations sociales, mutualiste ou féministes ; journalistes ; etc.).

- L’approche linéaire et attributive d’une intervention d’éducation au développement est explicitement remise en cause. L’activité d’ED contribue à une prise de conscience ou à une évolution des bénéficiaires dans un contexte où une multiplicité de facteurs interviennent. L’ED est un paramètre parmi d’autre qui contribue à des changements qui ne sont pas linéaire mais plutôt progressif, évolutif. C’est en s’appuyant sur ces différents facteurs du contexte que l’ED consolide son efficacité.

We stellen vast dat deze evolutie gepaard gaat met een groeiende ‘niche werking’, waarbij de ngo’s zich specialiseren in specifieke thema’s en in het werken met intermediaire doelgroepen waarmee ze een preferentiële en meer langdurige relatie aangaan. Dit laat een specifieke ‘niche‘ werking toe waarbinnen de organisatie voor haar specifieke expertise en hierdoor ook een sterk mandaat krijgt van de doelgroepen waarmee ze samenwerkt. Het valt op dat de verschillende good practices die bevorderend werken voor de verschillende evaluatiecriteria en die we doorheen deze evaluatie konden observeren, vooral sterk naar voor komen bij organisaties die zulke ‘niche werking’ nastreven. Dit lichten we in de rest van dit hoofdstuk toe aan de hand

Evaluatie van ontwikkelingseducatie-acties 81

van de onderzochte evaluatiecriteria: relevantie, effectiviteit, efficiëntie, impact, duurzaamheid en coherentie.

7.1. PertinenceEn termes de pertinence, l’évaluation a permis de dégager 5 types de bonnes pratiques.

Des théories de changements centrées sur les acteurs. Il apparait de manière évidente et encourageante que la majorité des ONG qui font un travail de niches ont développé des théories de changements élaborées qui permet de clarifier les acteurs et les niveaux (directs et indirects) envers lesquels les ONG souhaitent induire des changements qui eux même pourront avoir un effet sur les objectifs finaux. Ces théories de changements permettent de faire un lien plus direct entre les stratégies d’interventions et les résultats attendus selon les groupes-cibles (directs et indirects). On observe également que la plupart des groupes-cibles intermédiaires sont des acteurs porteurs d’effets multiplicateurs ou d’effets de levier. Ce type d’acteurs est stratégiques pour avoir un impact plus important tant en termes d’outreach (travail en largeur) que d’effets potentiels (travail en profondeur). Certaines théories de changement pourraient être plus explicites (en termes de niveaux de résultats ou de groupes-cibles spécifiques) pour permettre un travail plus axé sur les résultats et qui faciliterait également le suivi-évaluation des actions.

Travail sur mesure. L’évaluation a montré que le travail de niche permet l’élaboration d’approches plus en phases avec les besoins et les caractéristiques des groupes-cibles spécifiques que les programmes veulent soutenir et influencer. Cela exige de la part des ONG une expertise et une très bonne connaissance des groupes-cibles et présente un changement majeur par rapport aux approches vis-à-vis du grand public (approches souvent vagues et peu réalistes). Les objectifs et les stratégies par rapport à ces groupes d’acteurs choisis stratégiquement sont formulés de manière plus précise. L’enjeu lié à cette approche est que l’éducation au développement n’est pas toujours une priorité permanente pour les organisations intermédiaires. On court donc le risque que cette thématique disparaisse de l’agenda des organisations intermédiaires et soit remplacé par une autre. Il faut également veiller à ce que le travail sur mesure, notamment envers des groupes-cibles dont l’ED n’est pas la priorité, ne se fasse pas au détriment de la propre autonomie et vision de l’ONG. Travailler sur mesure ne signifie pas forcément de devoir se conformer à ce que les organisations intermédiaires souhaitent (notamment par rapport aux bénéficiaires finaux). Par ailleurs, les ONG doivent également tenir compte dans ce travail sur mesure des points de vue et demandes des partenaires du Sud qu’elles représentent.

Une couverture diverse et un travail complémentaire. Une meilleure connaissance de sa propre expertise va souvent de pair avec une travail complémentaires avec d’autres acteurs, soit par rapport à de mêmes thématiques, soit par rapport à de mêmes groupes-cibles. De telles complémentarités mènent à des économies d’échelle et réduit les risques de fragmentation, de redondances ou de superpositions. La complémentarité, l’interaction et la collaboration entre les activités d’ED financées par les différentes lignes budgétaires de la DGD (à savoir les programmes pluriannuels, les productions audiovisuelles et les projets courts) restent relativement limitées. Les acteurs intervenants dans des différentes lignes distinctes, se connaissent peu ou surtout ne mettent en place qu’à de rares exceptions des collaborations structurées, stratégiques et de longue durée. On observe également que si des efforts sont envers certains groupes moins ciblés par l’ES (jeunes défavorisés, migrants, personnes âgées), ces derniers demeurent moins présents dans la majorité des programmes.

Evolution vers une approche globale basée sur les droits. L’évaluation a permis d’identifier qu’au fur et à mesure, les programmes évoluent vers une approche plus globale de l’éducation au développement (donc moins Nord/Sud) et vers des approches plus basées sur les droits. Deze evolutie was reeds aan de gang voor de overgang van MDGs naar SDGs ; de SGDs versterken dit proces verder. Cela se traduit notamment par

82

Conclusies

des interventions qui approfondissent les causes sous-jacentes à l’injustice globale. Ces approches prennent plus souvent la forme de processus d’apprentissage axé sur la pensée critique (approches incluant également des actions de plaidoyer politique abordant des situations particulière d’inégalités ou d’injustices).

Un défi important (et intéressant) émerge de ces différentes évolutions, à savoir que les programmes deviennent plus ambitieux : travailler à des changements durables et profonds, faire un travail sur mesure incluant l’accompagnement de processus de changements sociaux complexes auprès d’acteurs intermédiaires, complexité des processus d’influences des politiques, etc. Les ONG devront à ce niveau adopter des approches permettant l’apprentissage et l’adaptation pour pouvoir réaliser ces ambitions dans la durée.

7.2. Efficacité

En termes d’efficacité, l’évaluation a permis de faire 5 grands constats et bonnes pratiques.

Des groupes-cibles intermédiaires variés. En termes de profil des acteurs ciblés, les données relatives à l’efficacité confirment la tendance des ONG de travailler en priorité avec des acteurs porteurs d’effets multiplicateurs sur d’autres acteurs (institutionnels et individus) et moins d’action tournées vers « le grand public ». Les organisations intermédiaires sont souvent des acteurs institutionnels avec lesquels les ONG s’engagent généralement dans des processus de longue durée, pour induire des effets et des changements en leur sein propre mais aussi pour inciter à ce que ces derniers jouent un rôle moteur par rapport à d’autres acteurs et individus avec lesquelles ils sont en relations directes. Les profils des acteurs visés montrent une assez grande diversité (acteurs privés, acteurs publics, acteurs situés en dehors du champ de la coopération au développement) ainsi que certains segments du monde scolaire (enseignement technique et professionnels), souvent délaissés par l’éducation au développement. Au niveau quantitatif, on observe que les ONG atteignent les indicateurs annoncés dans leurs programmes. De manière globale, les chiffres ne permettent pas de donner une appréciation générale de l’évolution du niveau d’efficacité des ONG. Ce qui est clair, c’est que le changement d’approche (travail de niche auprès d’acteurs intermédiaires) va entrainer une diminution numérique du nombre d’acteurs envers lesquels les ONG agissent directement. Par contre, l’approche est plus prometteuse en termes d’efficacité et d’impact que des approches antérieures visant à un travail plus en largeur qu’en profondeur.

Expertise mieux identifiée et rendue accessible. Le travail de niche conduit les ONG à mieux exploiter leurs propres expertises thématiques et à les transmettre de manière plus accessible et adaptée. Daardoor wotdt ook duidelijker was precies de toegevoegde waarde van de NGOs is of kan zijn voor andere sectoren zoals bv. de privésector. Cette évolution renforce l’efficacité des actions d’éducation au développement car elle rend les ONG plus crédibles auprès des organisations intermédiaires, particulièrement quand cette expertise se base sur la qualité et la diversité des compétences au sein des équipes ainsi que sur des stratégies intégrées combinant études, sensibilisation/accompagnement et plaidoyer.

Un accompagnement adapté aux besoins et points de vue des groupes-cibles. L’évaluation confirme qu’un accompagnement adapté aux besoins et points de vue des groupes-cibles conduit à plus d’efficacité en termes de réception positive par les groupes-cibles. Les facteurs d’efficacité résident dans la bonne connaissance et l’adaptation (contenu, rythme, approche) en fonction de chaque groupe-cible ainsi qu’à une « d’ingénierie relationnelle » qui se construit dans la durée et est facteur de confiance.

Evaluatie van ontwikkelingseducatie-acties 83

Des alliances plus stratégiques. Particulièrement dans les actions de plaidoyer politique, les ONG construisent de plus en plus des alliances stratégiques avec d’autres acteurs sociaux dans le secteur du développement, comme en dehors de celui-ci, sortant ainsi d’une certaine zone de confort. En termes d’efficacité, ces alliances ont un caractère stratégique dans le sens où elles permettent d’une part d’avoir une portée plus grande et plus ciblée et d’autre part parce qu’elles permettent de renforcer l’assise sociale derrière les actions de plaidoyer.

Des pratiques plus tournées vers l’action. L’évaluation a permis d’identifier une tendance claire à inciter les acteurs visés à prendre des engagements concrets pour traduire une prise de conscience et une adhésion par rapport aux problématiques abordées par l’éducation au développement. Ces actions concrètes peuvent se traduire par rapport aux problématiques et acteurs dans le Sud mais aussi – et c’est une évolution importante – par rapport aux pratiques quotidiennes (relevant de la sphère privée ou professionnelle). L’incitation et l’accompagnement à ces changements concrets (qui peuvent être simples comme plus complexes ou de long terme) renforcent l’efficacité des ONG car cela permet aux groupes-cibles (particulièrement les organisations intermédiaires) de traduire concrètement et de manière visible leur prise de conscience du caractère global des problématiques de développement. Cette évolution est particulièrement porteuse auprès des organisations intermédiaires car cela renforce la crédibilité de leur engagement par rapport aux acteurs qu’elles pourront à leur tour influencer.

7.3. EfficienceLes bonnes pratiques identifiées en termes de pertinence et d’efficacité se traduisent également en termes d’efficience, particulièrement dans les organisations qui de plus en plus font ce travail de niche.

Efficience plus grande des interventions. La concentration des interventions envers des acteurs intermédiaires sélectionnés peut conduire à une plus grande efficience. Cette meilleure efficience est rendue possible par une meilleure connaissance des groupes-cibles et des approches sur mesure plus adaptées à chaque acteur. L’évaluation a également montré cette concentration ne se fait pas au détriment de l’efficience en termes d’ampleur des groupes-ciblés touchés (travail en largeur) en raison du caractère démultiplicateur des organisations intermédiaires choisies. Il s’agit là d’un facteur qui peut influencer positivement le rapport coût/efficacité.

Les partenariats stratégiques et les alliances avec d’autres acteurs semblent également générer une plus-value en termes d’efficience, tant en termes de couverture qu’en termes d’influence. Les ACC et CSC ont contribué à mieux structurer certains liens préexistants. Ces approches multi-acteurs permettent aussi de renforcer la professionnalisation autour de certaines thématiques ou de certains groupes-cibles. En cascade, cette professionnalisation permet de renforcer l’aptitude à apprécier dans quelle mesure il est opportun de travailler avec d’autres organisations si certaines expertises ou capacités ne sont pas présentes en interne.

Efficience du travail en réseaux. Particulièrement pour les stratégies de plaidoyer, le travail en réseaux (au niveau régional, national et/ou international et y compris avec les partenaires du Sud) est porteur d’efficience. Ces réseaux peuvent se structurer autour de thématique spécifique ou s’appuyer sur des partenaires de proximité quand les ONG sont parties prenantes de certaines internationales dans lesquelles elles trouvent aussi des sources d’inspiration, de documentation ou d’argumentation. Ce travail de réseau s’vère d’autant plus efficient quand il permet de travailler avec des acteurs en dehors de la coopération au développement.

Une approche combinant apprentissage et capacité d’adaptation est également un facteur renforçant l’efficience que l’on commence à observer chez certaines ONG. Une approche d’apprentissage implique que l’on analyse de manière critique et systématique dans quelle mesure les interventions contribuent à des résultats attendus comme

84

Conclusies

inattendus. Les leçons tirées de cet analyse critique peuvent se traduire en adaptations des stratégies. L’évaluation a montré que de telles approches permettent de tester des nouvelles stratégies menées à petite échelle et d’envisager un passage à l’échelle si celles-ci s’avèrent efficaces. Les “erreurs” de ces expérimentations à petite échelle sont alors de faible cout et par la suite, les bonnes pratiques peuvent être diffusées en limitant les risques financiers.

Recherche de synergies entre les différentes stratégies des programmes. La recherche de stratégies entre les différentes stratégies d’un même programme permet aux ONG d’être plus efficiente. De cette manière, on évite les approches fragmentées et on peut, dans un même effort, atteindre plus de résultats. L’évaluation confirme aussi l’importance accrue des outils digitalisés pour assurer une plus large et plus rapide diffusion (avec un prix réduit) des productions d’ED (recherches, publications, outils de formation, etc.).

7.4. Durabilité

De manière générale, il y a peu (voire pas) d’exemples de réelle stratégie de sortie en ED. L’approche est à considérer sous son angle contributif : il est indéniable que différentes problématiques de coopération (sécurité alimentaire, commerce équitable, micro-crédit, etc.) sont aujourd’hui appropriées par le grand public, en partie grâce à la contribution de l’ED à ce niveau, même s’il est difficile de mesurer la part de cette conscientisation qui est à attribuer à ces activités d’ED. Les évolutions observées dans les pratiques des ONG présentent des avantages particuliers en termes de durabilité.

Le travail sur mesure avec des organisations intermédiaires. La permanence et la récurrence des activités d’ED peuvent garantir partiellement leur durabilité. Mais un facteur important de durabilité est le profil du public atteint : le centrage d’une partie importante du travail en ED des ONG sur les publics démultiplicateurs contribue à la durabilité des effets de ces interventions. Quand des interventions parviennent à induire des changements durables chez des groupes-cibles intermédiaires, ces derniers peuvent continuer à contribuer à l’objectif, même quand l’intervention a pris fin. En termes de durabilité, il faut toutefois relever que cette approche est particulièrement intensive et les ONG cherchent encore comment elles pourront la mettre en œuvre à plus grande échelle et sur le long terme.

Encourager les synergies et les partenariats. Les synergies et partenariats au travers desquels une plus-value complémentaire peut être offerte est un factor important de durabilité des interventions et des résultats/changements induits. L’évaluation a montré que l’on retrouve particulièrement ce type de situation quand les partenariats permettent de combiner expertise thématique et expertise pédagogique et/ou d’accompagnement processuels. Dans d’autres cas, cela se vérifie quand ces partenariats permettent que des supports pédagogiques (contenus) soient utilisés dans d’autres contextes et/ou par d’autres interventions ou acteurs. Cela contribue également à la durabilité des résultats d’une intervention.

Suivi des groupes-cibles via des parcours a posteriori. L’évaluation a montré que les ONG parviennent à induire des changements plus durables quand elle s’implique dans des parcours a posteriori (natrajecten) auprès des groupes-cibles. Ces parcours jouent un rôle important en termes de durabilité et permettent aux groupes-cibles de contribuer eux-mêmes au développement futur de l’intervention.

Reconnaitre et mettre à profit des fenêtres d’opportunité. La spécialisation thématique et l’expertise sur certains groupes-cibles qui va de pair avec l’émergence croissante d’un travail de niche semblent également permettre à ce que les ONG identifient mieux et plus rapidement des fenêtres d’opportunité (par exemple, un intérêt croissant pour l’alimentation locale et durable, la création du cours de citoyenneté) qu’elles peuvent mettre à profit dans leurs stratégies d’éducation au développement.

Evaluatie van ontwikkelingseducatie-acties 85

7.5. ImpactDe manière générale, tant l’analyse des rapports d’évaluation des ONG que les études de cas permettent de constater le peu d’information disponible par rapport à l’impact des actions d’éducation au développement. On remarque également que l’impact est défini de manière très variée au sein des ONG. Ce constat doit être mis en perspective avec l’approche récemment mise en œuvre envers des acteurs intermédiaires plus stratégiquement sélectionnés. L’évaluation a montré que cette approche est sous-tendue par des théories de changements plus explicites mais parfois encore à préciser. La période couverte par l’évaluation (2014-2017) représente aussi une phase de transition pour les ONG, entre la préparation vers cette nouvelle approche et sa mise en œuvre (qui pour certaines n’est effective que depuis 2017). La mise en pratique de cette approche devrait permettre aux ONG d’arriver à mieux faire la distinction entre ce qui relève des changements sur des organisations intermédiaires (« outcomes ») et de ce qui relève de l’impact auprès de groupes-cibles « indirects ». Sur cette base, elles pourront alors reformuler des théories de changement reflétant mieux la réalité et en faire un suivi-évaluation plus ciblé.

Toutefois, l’évaluation a déjà permis d’identifier plusieurs formes d’impact auxquels les ONG ont directement contribuées.

Des changements institutionnels et législatifs. Pour les ONG de plaidoyer en particulier, le fait de contribuer à induire des changements institutionnels et législatifs peut être interprété comme un impact dans le sens où des décisions sont prises par un ensemble d’acteurs dont seuls une partie ont été directement influencés par l’ONG. Au niveau national, l’évaluation a notamment permis d’identifier des changements et évolutions politiques par rapport à des questions liées à cohérences des politiques en matière de genre.

Des changements de pratiques des acteurs. Dans certains cas, des changements se traduisent par une internalisation de certaines problématiques (comme l’eau, le genre, la justice sociale, la protection sociale, l’alimentation et le droit des paysans) dans les propres pratiques et politiques des organisations intermédiaires. L’impact de certaines ONG se traduit aussi par des initiatives prises de manière autonome par les acteurs intermédiaires, sans que celles-ci ne soient suggérées ou accompagnées par les ONG.

Des changements au niveau individuel. Le volet quantitatif de l’étude a permis d’identifier que l’éducation au développement joue un rôle dans les choix professionnels de travailler dans la coopération, particulièrement chez les plus jeunes et toujours en combinaison avec d’autres engagements, valeurs et caractéristiques personnelles. Dans le milieu scolaire, les rares informations disponibles permettent d’identifier un certain nombre d’indices d’impact sur le comportement au niveau individuel de participants à des actions de sensibilisation de forte intensité, comme des voyages d’insertion ou des projets de long terme ou à des formations (genre) dispensées de manière à pouvoir à la fois acquérir de nouvelles connaissances et les mettre rapidement en pratique dans la sphère privée et professionnelle.

Au niveau international. Les ONG qui peuvent démontrer un impact au niveau européen et international (Parlement européen et Nations-Unies) sont celles qui mènent des campagnes en coalition avec d’autres acteurs au niveau international autour d’objectifs ciblés et/ou qui font partie d’organisations ou de réseaux bénéficiant par exemple de statut d’observateur dans des instances internationales.

7.6. Cohérence En matière de cohérence, on observe à la fois des efforts de cohérence par rapport aux cadres de références des acteurs belges de la coopération internationale et par rapport à

86

Conclusies

la cohérence (interne et externe) des approches mises en oeuvre et des groupes-cibles visés.

Cohérence par rapport à la définition et aux approches recommandées de l’éducation au développement. Conformément aux cadres de la coopération belge et des ONG, les ONG développent des stratégies visant l’acquisition de connaissance et de regard critique, offrent des opportunités concrètes de pouvoir les confronter à l’analyse de leurs propres comportements ainsi que de ceux qui les entourent (institutions, entourage, société) et des incitations à l’engagement via l’ONG ou non. Les pratiques d’éducation au développement sont également devenues plus cohérentes dans le fait d’aborder les problématiques de développement de manière globale. Le travail envers des acteurs ciblés et sélectionnés (par rapport à l’expertise et au profil de chaque ONG) en fonction de leur potentiel démultiplicateur et le travail envers des profils de jeunes moins souvent touchés par l’éducation au développement fait partie de ces efforts vers plus de cohérence.

Cohérence par rapport aux priorités de la coopération belge. L’ensemble des ONG s’inscrivent pleinement dans les priorités belge et internationale en matière de coopération au développement et de développement durable (en particulier les objectifs 2, 3, 4, 5, 6, 7, 8, 11, 12 et 17).

Approches cohérentes intégrant recherche, formation/accompagnement et plaidoyer. La cohérence des actions d’éducation au développement est renforcée dans certaines ONG par des stratégies combinant recherche, formation/accompagnement et plaidoyer. Le fait de produire et d’utiliser de même contenus d’analyses ou de recherches pour mener tant le travail de sensibilisation/formation que le travail de plaidoyer rend l’approche non seulement plus efficiente mais aussi plus cohérente.

Plus grandes synergies entre acteurs. La plus-value du travail en synergie et en partenariat a déjà été relevée en termes d’efficacité, d’efficience, de durabilité et d’impact. Cela se vérifie également en termes de cohérence dans le travail dans les écoles et dans le travail de plaidoyer, notamment par une implication plus grande d’acteurs situés en dehors de la sphère de la coopération internationale. Les fédérations et plateformes belges d’ONG ainsi que les cadres de concertation créés à l’occasion des formulations des ACC et CSC apparaissent clairement comme des lieux qui ont contribué à plus de cohérence.

Une meilleure implication des acteurs du Sud mais encore à renforcer. L’évaluation permet d’observer des évolutions positives dans ce sens mais également d’identifier des défis à relever, tant du côté des ONG que du côté de la DGD. Ainsi, on observe du côté des ONG des efforts pour mettre en lumière l’action des partenaires Sud et les partenaires eux-mêmes aux stratégies d’éducation au développement mais également la difficulté de faire reconnaitre par la DGD certaines formes d’implication des partenaires du Sud aux actions de plaidoyer en particulier.

Evaluatie van ontwikkelingseducatie-acties 87

8. Recommandations

1. La transition que font les ONG vers un travail de niche adaptés à différents des groupes-cibles (surtout organisations intermédiaires) choisies de manière plus stratégiques et cohérente est une évolution positive mais qui demande à faire l’objet d’attention particulière sur une certain nombre de point : capacité à maintenir de telles approches intensives dans la durée, capacités à adopter des postures d’apprentissage et à procéder aux ajustements nécessaires, veiller à ne pas se conformer systématiquement aux souhaits des groupes-cibles, etc (nous reviendrons sur certains de ces points dans des recommandations spécifiques). Les ONG elles-mêmes ont une grande responsabilité dans la mise en œuvre de ces points d’attention. Leurs efforts doivent également faire l’objet d’un accompagnement et d’un suivi par les fédérations pour pouvoir, au fur et à mesure des processus, tirer des leçons utiles à l’ensemble des acteurs. Ces leçons permettront également d’engager un dialogue avec la DGD sur les éventuelles adaptations à opérer dans les modalités d’octroi et d’évaluation des programmes cofinancées afin que celles-ci soient plus en phase avec les besoins de cette nouvelle approche (notamment en termes de capacité d’adaptation des ONG) et à sa diffusion plus large.

2. Les ONG ont développé des théories de changement qui leur permettent d’avoir une vision plus claire et réaliste sur les acteurs envers lesquelles elles veulent/peuvent mener des actions et les changements qu’elles espèrent induire. Ces théories de changement devraient devenir des outils de référence et de travail pour les ONG et utilisée de manière interactive avec les dispositifs de suivi-évaluation (nous y reviendrons). Elles devraient également faire l’objet de plus d’explicitation par rapport aux niveaux de changements et aux types de changements attendus par rapport à des groupes-cibles particuliers.

3. Le travail de niche envers des acteurs intermédiaires repose sur l’hypothèse que ces derniers ont un effet démultiplicateur potentiel envers d’autres acteurs. Dans chaque cas, cette hypothèse devrait faire l’objet d’un diagnostic et d’un dialogue plus clair sur et avec chaque organisation intermédiaire dont on attend ce rôle. Cette phase est fondamentale pour pouvoir atteindre l’impact espéré mais également pour être plus réaliste par rapport aux attentes et pouvoir mieux accompagner ces acteurs dans le rôle que l’on souhaite leur faire jouer. Ces acteurs intermédiaires ne sont plus uniquement des « cibles », ils devraient également - idéalement - devenir des alliés. Les leçons tirées de ces processus permettront également de faciliter le passage à l’échelle.

4. L’accompagnement d’acteurs dans la durée se base souvent sur des relations interpersonnelles de confiance faites d’une très bonne connaissance mutuelle des logiques et dynamiques de chacun. Ces facteurs sont donc intrinsèquement fragiles (départ de certaines personnes, maintien des équipes et des compétences) et exigent une attention particulière pour permettre et préparer une continuité dans le travail d’accompagnement.

5. Par rapport aux groupes délaissés par l’éducation au développement, on ne peut qu’encourager les ONG et les fédérations à poursuivre les efforts déjà engagés. Les ONG doivent également continuer à veiller à adapter leurs approches d’éducation au développement par rapport à ces groupes et à nouer des

88

Conclusies

partenariats avec des acteurs (en dehors du monde de la coopération) plus aptes à identifier et travailler avec ces derniers.

6. Les actions envers le grand public, y compris par des actions one-shot, ne devraient pas être complètement abandonnées mais devraient par contre être fondamentalement repensées, tant en termes d’objectifs que de stratégies et d’acteurs à impliquer. Une approche multi-acteurs est dans tous les cas incontournable dans ces actions envers le grand public. A ce titre, il nous semble notamment que les collaborations avec des producteurs audio-visuels et les autres acteurs bénéficiant de d’autres lignes de financement (événements, etc.) pourraient être intensifiées (notamment par la DGD).

7. Ontwikkelingseducatie is met name zinvol om het zaadje dat reeds bestaat voor engagement te doen ontspruiten en te doen groeien opdat emoties omgezet kunnen worden in duurzame, gestructureerde betrokkenheid. Maar ontwikkelingseducatie kan ook een trigger tot emoties zijn. Belangrijk om mee rekening te houden is dat werknemers in de ngo-sector net als vrijwilligers het belangrijk vinden om een job of taak te kunnen uitvoeren in functie van de eigen ontwikkeling en niet louter in functie van de andere. Hier ligt mogelijk een sleutel om jongeren en (jong)volwassenen te overtuigen zich in te zetten voor ontwikkelingssamenwerking en SDG’s. Want engagement is belangrijk voor de andere, maar biedt ook tegelijkertijd een meerwaarde voor zichzelf (cf. Gretry, 2014).  Ontwikkelingseducatie heeft dus wel degelijk zin, maar neemt bij voorkeur plaats door middel van (middel)lange, participatieve activiteiten of activiteiten die gekaderd worden (bv. reflectie n.a.v. het bekijken van een documentaire). Die kadering is belangrijk opdat men niet in stereotypen vervalt of men enkele een leuke activiteit kan beleven zonder de andere te helpen. Net inleefreizen blijken namelijk een grote impact te kunnen hebben en (bestaande) emoties en betrokkenheid te kunnen versterken, maar zijn ook steeds meer onderwerp van kritiek (denk maar aan het vrijwilligerstoerisme en de UNICEF-campagne7).

8. En matière d’impact, plusieurs recommandations sont faites.

a. Les ONG devraient arriver à mieux distinguer – dans la nouvelle approche de niche envers des acteurs intermédiaires – ce qui relève des changements (outcomes) de l’impact.

b. Les ONG, les fédérations et la DGD devraient (faire) mener plus systématiquement des études d’impact sur les actions d’éducation au développement. Ce type d’études requiert des approches méthodologiques et des temporalités particulières qu’il est important de prendre en compte en termes de planning et de ressources financières.

9. Il y a encore de nombreux défis à relever dans la mise en œuvre et/ou la prise de conscience de la nécessité d’être plus cohérent en matière d’implication structurelle des partenaires Sud dans les actions d’éducation au développement. Du côté des ONG, cela demande de poursuivre les efforts, notamment en termes de meilleur dialogue entre les équipes « Nord » et les « équipes « Sud » (voire à rompre avec cette distinction). Du côté de la DGD, cela demande également de réfléchir à la pertinence de cette distinction entre programmes Nord programmes Sud, afin de mieux rencontrer les approches globales liées au développement durable, notamment en facilitant l’implication des acteurs du Sud dans les actions de sensibilisation et de plaidoyer ici au Nord et en favorisant l’usage au sud des outils d’éducation au développement disponibles ou développés au Nord.

10. Dispositifs de suivi-évaluation centrés vers les acteurs. L’évaluation a permis d’identifier des faiblesses par rapport aux dispositifs de suivi-évaluation. Toutes les ONG disposent de dispositifs de suivi-évaluation mais tous ne sont pas

7 http://thinkchildsafe.org/about-us/

Evaluatie van ontwikkelingseducatie-acties 89

adaptés à pouvoir suivre les changements auprès des acteurs visés et accompagnés. Les théories de changements constituent des bases utiles pour adapter les dispositifs de suivi-évaluation, y compris en adoptant des approches plus pertinentes en termes de processus complexes de changement social. De tels dispositifs doivent être à la fois efficient et simple à utiliser pour les ONG tout en permettant de capter (même de manière partielle) si et comment s’opèrent les changements auprès des différents groupes-cibles. De tels dispositifs s’avèrent d’autant plus important considérant 1/les accompagnements plus intensifs et de long terme que les ONG mettent actuellement en œuvre dans l’éducation au développement et 2/les adaptations de stratégies que cela va engendrer pour renforcer l’efficacité par rapport aux effets démultiplicateurs attendus des organisations intermédiaires.

11. Certaines dimensions transversales comme l’environnement ou le genre sont présentes dans les programmes mais pas toujours intégrées de manière cohérente ou suffisante par rapport aux thématiques abordées.

90

Bijlagen