Rapporteren

over

Resultaten

Jaarvergadering CBF December 2012

Prof. dr. Ruerd Ruben

Directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB)

Verantwoording van Resultaten

2

1. CBF : ‘weet waarvoor je geeft’ – Zo zorgt het CBF ervoor …. dat we erop kunnen vertrouwen dat goede doelen verstandig (met de giften) omgaan.

2. Legitimiteit en Vertrouwen - van ‘rechtmatigheid’ naar ‘doelmatigheid’ + ‘doeltreffendheid’

3. Evalueren = Systematisch verzamelen, interpreteren en presenteren van informatie teneinde de waarde van een programma te bepalen.

5 belangrijke lessen

3

1. Effectiviteit is een noodzakelijke voorwaarde voor maatschappelijk vertrouwen

2. Programma’s worden beoordeeld op ‘value for money’

3. Evaluatie begint bij de start van het programma

4. Impactmeting kan in bijna elk project

5. Evaluatie is een investering, geen ‘overhead’

4

Over IOB

Mandaat & Werkwijze

• Beoordeling van de beleidseffectiviteit

• Leren van ervaringen

• Verbeteren ‘evidence-based’ beleidsvoering

Verantwoording afleggen aan Parlement, Publiek en Samenleving

Bijdragen aan Transparantie & Vertrouwen

5

Context: Afnemend vertrouwen (2005-2011)

Donateurs vertrouwen

Consumenten vertrouwen

Reputatie & Vertrouwen

“Trust me”

Tell me” “Show me”“Show

me”

“Trust me”

Inzicht in effectiviteit is een noodzakelijke (maar niet voldoende) voorwaarde voor

maatschappelijk vertrouwen

“Tell me”

7

B&M Gates Foundation: ‘Innovation with Impact’

8

Informatie over goede doelen

9

Leren van fouten

Effectiviteit = Value for Money

• Zinvolle resultaten (‘meaningful results’)

• Netto effecten (bijdrage van het project)

• Kosten-effectiviteit (efficiency)

• Attributie/Contributie

• Additionaliteit

• Zakelijkheid

Kosten van evaluatie: max 1-2 %

Quality at Entry (Q@E)

12

1. Heldere resultaatketen

2. Haalbare doelen

3. Meetbare indicatoren

4. Zicht op risico’s

5. Eerlijke Kosten/baten

Van Input naar Impact

Outreach = aantal clienten

Robuuste impactmeting

Impact meting = vergelijking van:

• voor/na interventie (over de tijd)

• met/zonder interventie (counterfactual)

Verschillende methoden beschikbaar(e.g. story harvesting, outcome mapping, SROI, etc)

(Zie: NONIE Guidelines ; 3ie)

Tijd

Doel

zonder

met

T=0 T=1

Difference – in – Difference

Vooraf Achteraf

Met

Programma A B

Zonder

Programma C D

16

Lessen uit Impact evaluaties (1)

E-coli in rurale waterbronnen (Benin) – bron: IOB

Impact meting:

● Meting van Waterkwaliteit

● Interactie Water-Sanitatie

● Infrastructuur + Gedrag

Geleerde Lessen:

● Output is o.k.

● Impact verdwijnt

● Integraal beheer nodig

● Samenwerking meerdere partners

17

Lessen uit Impact evaluaties (2)

Cost effectiveness Impact meting:

● Meting van schoolresultaten

● Kosteneffectiviteit

● Verschillende investeringsopties

Geleerde Lessen:

● Genoeg schoolgebouwen

● Tekort aan leermiddelen

● Voldoende leraren

● Gebrekkige aanwezigheid docenten

Effecten van onderwijsinvesteringen (Oeganda) – bron: IOB

Keuze van methoden

Story harvesting

Outcome mapping

Robuuste Impact studies

Experimenten (RCTs/Real-time evaluation)

Systematische Reviews (Campbell protocol)

Thematische studies (Kritische succes factoren)

Experimenten (RCTs)

● Nadruk op (kleinschalige) experimenten

● A-selecte keuze van deelnemers

● Uitzoeken ‘wat werkt’

● Geen selectie-effecten

● Toepassingen: trainingen

schooldeelname

individuele/groepsleningen

‘Results-based’ financiering

- Gebaseerd op achteraf betaling (cash on delivery)

- Voor/mede-financiering door clienten

- Combinatie van lening & schenking

- Onafhankelijke verificatie / transparantie

- Lokale uitvoerings verantwoordelijkheid

- Toepassingen in onderwijs, wegenonderhoud, drinkwater, ed.

Frontloading: resultaten naar voren halen

22

Evaluatie hulpmiddelen

Belangrijkste Uitdagingen

Onafhankelijkheid van de Evaluatiefunctie

Focus op Evalueerbaarheid (Q@E)

Deelname van lokale partners (RCTs)

Open datasystemen (bv. Ngo-database.nl; Kennisbank filantropie.nl)

Openheid over Successen én Mislukkingen

Uitzicht bieden op duurzame netto effecten

Veel succes gewenst …