Resultaat- en Impactmeting voor goede doelen

Resultaat- en Impactmeting voor goede doelenOp weg naar beter evalueren, meten en verantwoorden van bestedingen

Auteurs:drs. E.M. Ten Hoorndrs. W.M. Stubbe

Vlinderend geefgeld

Schenkt het beste uit onszelf

Effect van vertrouwen

Resultaat- en Impactm

eting voor goede doelen

1 2 3 4 5 6 7 8 9 10

VOORWOORD | 3

gen aan de hand van de strenge criteria, die ook betrekking hebben op de bestedingen. Het doel van deze publicatie is om de kwaliteit van de bestedingen en de verantwoording daarvan door de goededoelenorganisaties te verhogen. Het CBF-Keur gaat immers om zowel verantwoorde fondsen-werving als bestedingen. In het Register goede doelen op www.cbf.nl treft u daarover informatie aan.

Het meten van resultaten en impact maakt soms al deel uit van de evaluaties die goededoelenorganisaties uitvoeren. Toch is er nog veel te winnen op dit gebied en geven veel goededoelenorganisaties aan dat zij hierin willen doorontwikkelen.Het CBF wil goededoelenorganisaties graag deze publica-tie aanbieden voor het verder stimuleren en ontwikkelen van resultaat- en impactmeting. Hiermee wil het CBF een brug slaan naar de praktijk. Vragen die veel goededoelenorgani-saties hebben, zijn bijvoorbeeld:• Waaromeninwelkematezijnresultaat-enimpactme-

ting belangrijk voor mijn organisatie?• Hoebeginikmetresultaat-enimpactmetingenhoe

voer ik dit uit?• Zijnermodellenofinstrumentendieikkantoepassen?• Kanikextrafondsenwervenvoorevaluaties?• Watleverenresultaat-enimpactmetingop?• Watkanikdoenmetpositieveeneventuelenegatieve

uitkomsten?

Op deze en andere vragen probeert deze publicatie een antwoord te vinden vanuit het gezichtspunt van goede-

verhoging van de administratieve lastendruk. Voor met name kleinere en beginnende goededoelenorganisaties kan het lastig zijn om investering in evaluaties te legitimeren bij hun achterban. Dit mag echter geen reden zijn om helemaal niet te werken aan resultaat- en impactmeting en het communice-renvanresultatenaandonateurs.ZoalsSwanborn(2007)inhet handboek Evalueren aangeeft is er geen enkele algeme-ne methode voor een bepaalde situatie alleenzaligmakend. Elke evaluatie dient afgestemd te worden op de situatie en vaak is een meervoudige aanpak het beste om het evaluatie-onderzoek te verbeteren. Vanuit het donateursbelang bepleit het CBF dat alle goededoelenorganisaties het evalueren seri-eus op blijven pakken en dit (blijven) ontwikkelen.

Evaluaties zijn sinds 2001 een belangrijk aspect binnen het CBF-Keur, bijvoorbeeld als onderdeel van goed bestuur, de beleidscyclus en de verantwoording over bestedingen. Impactevaluaties zijn echter geen verplichting binnen het CBF-Keur. Na de vervlechting van de Code Wijffels met het CBF-Keur in 2008 zijn aan het keurmerk drie ‘principes’ toegevoegd waarin goededoelenorganisaties uiting kunnen geven aan hoe zij blijven werken aan goed intern bestuur, effectiviteit en efficiency van bestedingen en de omgang met de belangrijkste belanghebbenden. Deze publicatie sluit met name aan bij het tweede principe, dat goededoelenorga-nisaties continu werken aan een optimale besteding van de middelen, zodat effectief en doelmatig gewerkt wordt aan het realiseren van de doelstelling. In het kader van het toe-zicht visiteren de medewerkers van het CBF jaarlijks tiental-len goededoelenorganisaties en beoordelen zij de instellin-

Voorwoord

In de afgelopen decennia is het belang voor goededoelen-organisaties om resultaten inzichtelijk te maken gegroeid. Dit belang komt onder meer voort uit een aanhoudende vraag van institutionele en private donateurs om transparantie en een heldere verantwoording van de resultaten. De laatste tijd, en voor organisaties in de ontwikkelingssamenwerking al langer, is daar de vraag bijgekomen hoe de resultaten onderbouwd kunnen worden door metingen en welke verdere effecten en impact goede doelen hebben op hun doelgroep en de maatschappij. Een klein gebaar kan een groot effect hebben. Dit symboliseert de vlinder op de voorkant van deze publicatie. Kleine vlinderslagen kunnen meer impact hebben dan wij soms kunnen waarnemen. Het traditionele geven (doe goed en zie niet om) neemt bij som-mige donateurs af. Men geeft niet louter vanuit het hart. In toenemende mate worden vraagtekens gezet bij de effectivi-teit van schenkingen. Heeft al dat geven wel nut? De laatste meting van het Nederlandse Donateurspanel laat zien dat mensen kiezen voor een goed doel op basis van het onder-werp, maar dat mensen overwegen om te stoppen met geven als het goede doel niet laat zien dat het geld goed besteed is of wanneer het werk niet tot concrete resultaten leidt. De onderzoekers pleiten ervoor dat goededoelenorga-nisaties in hun communicatie laten zien wat de impact is van donateursgiften en wat met dat geld bereikt wordt (WWAV, 2013). Voor goededoelenorganisaties is dit een moeilijk dilemma, want meer rationele overwegingen bij donateurs leiden waarschijnlijk niet tot een verhoging van het filantropi-sche schenkvolume. Daarnaast leiden de evaluatie- en rap-portage-eisen van de diverse institutionele donoren tot een

1 2 3 4 5 6 7 8 9 10

4 | VOORWOORD

de sector): Fabio Poelhekke, senior beleidsmedewerker bij Wilde Ganzen; Mirjam Locadi, Evaluation Manager bij Partos; Marianne Gybels, Manager Program Development bij1%CLUB;PeterSchoof,directeurHersenstichtingenbestuurslidSamenwerkendeGezondheidsFondsen;LuukvanKempenenLauSchulpen,Researchers/Lecturersver-bondenaanCIDIN;KellieLiket,PhD-StudentenKarenMaas,AssistantProfessorverbondenaanhetECSP;CecileKusters, docent verbonden aan Wageningen UR Centre for Development Innovation. Drs. A.J.J. KempsDirecteur CBF

Het CBF wil graag iedereen bedanken die heeft bijgedra-gen aan de totstandkoming van deze publicatie. Te begin-nenmetdeauteursdrs.WendyStubbe,seniorconsultantbijCSRAcademy,endrs.EstherTenHoorn,seniorcontrolleren beleidsmedewerker bij het CBF. Deze publicatie is onder verantwoordelijkheid van het CBF uitgegeven. Ook aan de andere medewerkers van het CBF die hun input hebben gegeven bij het schrijven en redigeren van de publicatie wordt dank uitgesproken.

Hartelijk dank aan prof. dr. Ruerd Ruben, verbonden aan het Centre for International Development Issues Nijmegen (CIDIN) van de Radboud Universiteit Nijmegen en directeur Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB)vanhetministerievanBuitenlandseZaken,voorhetschrijven van een inleiding en het geven van inhoudelijke adviezen.

In het bijzonder gaat dank uit naar Rian Fokker, directeur van Heifer Nederland, Rien Timmer, directeur van Vereniging SamenwerkingsverbandExodusNederlandenRiekjedeVries,bestuursvoorzittervanStichtingProjectenZuid-Afrika,omdat zij in interviews hun ervaringen met resultaat- en impactmeting wilden delen en zij voor de publicatie foto’s beschikbaar hebben gesteld. Daarnaast bedankt het CBF de wetenschappers, branche-organisaties en goededoelenorganisaties die een bijdrage hebben geleverd aan deze publicatie door hun inspirerende ervaringen en zienswijzen met betrekking tot dit onder-werp te geven (zie het hoofdstuk Visies en ervaringen uit

doelenorganisaties. Uiteraard zijn er allerlei manieren om informatie over resultaat- en impactmeting te bundelen. Deze publicatie heeft dan ook geenszins het uitgangspunt om hierin volledig te zijn. Deze publicatie is bedoeld als aanvul-ling op en bundeling van bestaande publicaties.

Het CBF richt zich met name op het toezicht op verant-woorde fondsenwerving en verantwoorde besteding. De voorliggende publicatie is vooral bestemd voor de directeu-ren, projectleiders en andere medewerkers van goededoe-lenorganisaties die zich bezighouden met het evalueren en verantwoorden van bestedingen. Daarnaast is deze publica-tie ook nuttig voor branche- of koepelorganisaties en andere belanghebbenden. Hierin is de keuze gemaakt om alle keurmerkhouders aan te spreken, zowel kleine, middelgrote als grotere goededoelenorganisaties en minder om volledig tezijnindewetenschappelijkeenmeercomplexeaspectenvan impactevaluaties voor grote projecten. Deze publicatie sluit aan op de handleiding bij het Reglement CBF-Keur en bevat een begrippenkader en beschrijving van instrumenten die als hulpmiddel gebruikt kunnen worden bij de kwaliteitsverbeteringen zoals die vereist worden in het CBF-Keur. Keurmerkhouders kunnen hiervan gebruik maken bij het schrijven van de periodieke verantwoordingsverklaring en de bespreking hiervan met het CBF als onderdeel van de periodieke beoordeling door het CBF.

1 2 3 4 5 6 7 8 9 10

SAMENVATTING | 5

Samenvatting

In deze publicatie worden tien stappen voorgesteld als leidraad voor goededoelenorganisaties om resultaat- en impactmeten te ontwikkelen en uit te voeren. Deze tien stap-pen zijn verdeeld in drie fasen: voorbereiden, meten en verantwoorden.

Beide uitgangspunten kunnen door goededoelenorganisaties worden gehanteerd. Belangrijk is dat goededoelenorganisa-ties in discussies en rapportages helder laten blijken wat zij onder impact verstaan.

STAP

Hoofdstuk II Voorbereiden 1 Keuze wat evalueren + wat wil ik bereiken (Theory of Change)

2 SMART-doelstellingen + prestatie-indicatoren

3 Nulmeting en betrekken belanghebbenden hierbij

4 Context en attributie: wat doen anderen en wat is mijn bijdrage

5 Meetmodel beschrijven

Hoofdstuk III Meten 6 Meetinstrument kiezen

7 Gegevens verzamelen en analyseren

Hoofdstuk IV Verantwoorden 8 Evaluatie rapportage

9 Leren van evalueren

10 Communiceren van de bevindingen aan belanghebbenden

Het belang voor goededoelenorganisaties om resultaten en ‘impact’ te meten groeit. In deze publicatie wordt daarom uitgebreid stilgestaan bij de verschillende achtergronden van het ‘impactdenken’ en wat veelgebruikte begrippen, zoals resultaten, output, outcome en impact betekenen. Ook wor-den vele tips en voorbeelden gegeven aan goede doelen waar zij op kunnen letten bij het voorbereiden en uitvoeren van resultaat- en impactmeting. Na een introducerend hoofd-stuk met achtergrondinformatie, wordt in tien stappen uitge-legd hoe goededoelenorganisaties resultaat- en impactmeten kunnen ontwikkelen en uitvoeren.

Impact kan op verschillende manieren worden gedefinieerd. In de wetenschappelijke literatuur zijn grofweg twee stromin-gen hierin (White, 2009): • Impactalsdeduurzame,langetermijnveranderingenals

gevolg van een activiteit. In lijn met deze stroming is de DAC-definitie van impact: ‘positieve en negatieve, primaire en secundaire langetermijneffecten die het resultaat zijn van een interventie, direct of indirect, bedoeld of onbedoeld’ (OECD-DAC, 2002:24, vrij vertaald uit het Engels).

• Impacteffectenalsdeveranderingdietotstandisgebracht door de activiteit minus ‘wat er toch al aan veranderingen zou hebben plaatsgevonden’ (Clark et al., 2004). Het verschil met de eerder beschreven stroming is dat met name het toewijzen van het effect aan een activiteit centraal staat. Dit wordt ook wel attributie genoemd.

1 2 3 4 5 6 7 8 9 10

6 | SAMENVATTING

Voorbereiden

De eerste vijf stappen zijn voorbereidende stappen, die voor het meten van resultaten en impact van belang zijn nog vóór dat de activiteit wordt uitgevoerd. 1. Impact meten begint met het maken van de keuze of er

wordt geëvalueerd op project-, programma- of organi-satieniveau, gevolgd door het beschrijven van het denk-model hoe de beoogde veranderingen tot stand gaan worden gebracht. Dit heet ook wel de verandertheorie, veranderboom of ‘Theory of Change’. In dit denkmodel wordt de waardeketen van de beoogde veranderingen uitgeschreven: benodigde middelen (inputs), beoogde resultaten (outputs), beoogde effecten van die resultaten (outcomes) en het beoogde mogelijke langetermijn-netto-effect van positieve, negatieve, bedoelde, onbedoelde, directe en indirecte effecten en in hoeverre deze zou-den kunnen worden toegeschreven aan de activiteiten (impact).

2. DetweedestapishetformulerenvanSMART-doelstel-lingen en het benoemen van prestatie-indicatoren. De lettersvanSMARTstaanvoor:Specifiek,Meetbaar,Acceptabel, Realistisch en Tijdgebonden.

Met behulp van prestatie-indicatoren kan de organisatie de voortgang van haar prestaties meten en beoordelen. Prestatie-indicatoren zijn variabelen om prestaties van organisaties, beleid, programma’s, projecten of activitei-ten te analyseren. Een prestatie-indicator is een meetbaar getal dat aan-geeft of de doelstellingen worden behaald, vaak een bedrag, een percentage, een aantal of een tijdseen-heid. In deze publicatie worden diverse voorbeelden

De vergelijking in de tijd kan door gegevens uit de nul-meting te vergelijken met de situatie na afloop van het project. Het vergelijken van de uitkomsten met of zonder activiteit doet men door dezelfde gegevens te verzame-lenondereengroep/populatiediegeendeeluitmaaktvan het project (de controlegroep).

5. De vijfde stap is het beschrijven van hoe de resultaten en impact worden gemeten in een meetmodel. Het meetmodel geeft meer duidelijkheid in hoe de organi-satie wil meten of resultaat- en impactmeting haalbaar is en waarover de organisatie wil communiceren. Een belangrijk onderdeel van het meetmodel is het bepa-len of de gegevens die nodig zijn voor de evaluatie bereikbaar of beschikbaar zijn of hoe en wanneer deze kunnen worden verzameld. Voor het verzamelen van gegevens zijn diverse methoden beschikbaar, zoals interviews, focusgroepen, vragenlijsten en dossieronder-zoek. Het kan ook wenselijk zijn om te beschrijven of er additionele fondsen dienen te worden geworven voor de evaluatie en welke mogelijkheden en verwachtingen hiervoor zijn.

gegeven van goede en minder goed geformuleerde SMART-doelstellingenenprestatie-indicatoren.

3. De derde stap bestaat uit het bepalen van de beginsitu-atie (nulmeting) en het betrekken van belanghebbenden daarbij. Op basis van de beginsituatie kan achteraf beter worden bepaald welke veranderingen als gevolg van de activiteit hebben plaatsgevonden bij de doel-groep of in de maatschappij. Dit kan een behoeftepei-ling onder de doelgroep zijn, het verzamelen van basis-gegevens over de doelgroep of een omgevingsanalyse.

4. Devierdestapbestaatuithetomschrijvenvandecontextwaarin de meting wordt verricht. Het is raadzaam om na te gaan wat andere organisaties die vergelijkbare activiteiten uitvoeren al hebben gedaan en gemeten op dit gebied. Door gebruik te maken van informatie die al voorhanden is, kunnen tijd en kosten bespaard worden.Ook is het goed om van tevoren al na te denken over hoe aannemelijk kan worden gemaakt dat de beoogde impact het gevolg is geweest van de geïmplementeerde activiteit of welk aandeel in de verandering kan worden toegeschreven aan de activiteit (attributie). Dit kan wor-den gedaan door beschrijving van het speelveld waarin wordt gewerkt, welke andere organisaties actief zijn op hetzelfde terrein, hun invloed op de doelgroep en door te meten:

1. Vergelijking van de situatie vóór en na de activiteit (analyse in de tijd).

2. Vergelijking van de situatie met en zonder activiteit (counterfactual analysis).

1 2 3 4 5 6 7 8 9 10

SAMENVATTING | 7

Stap 1: Theory of Change

Stap 2:SMART/indicatoren

Stap 3:Beginsituatie

Stap 4:Context/Attributie

Stap 5:Meetmodel

SROI +++ +++ + +++ ++

SIA +++ ++ ++ +++ +

PVS ++ +++ + + ++

PIA +++ +++ ++ +++ +++

BoP ++ +++ + + +++

Logframe +++ +++ +++ ++ +++

Kenmerken van meetinstrumenten

6. Het kiezen van een meetinstrument. Er zijn talloze instrumenten voorhanden om de prestaties

en resultaten van een organisatie inzichtelijk te maken. Het is niet verplicht om gebruik te maken van instrumen-ten, alhoewel sommige financiers wel een model kun-nen voorschrijven. In deze publicatie is ervoor gekozen om slechts een aantal veelgebruikte meetinstrumenten telatenzien.Genoemdworden:deMostSignificantChange Method, Timeline Analysis, Participatory Assessment of Development, Result Chain Analysis, Outcome Mapping, Theory Based Evaluation, Bench-marking,RandomizedControlledTrialenQuasi-expe-rimentele Methoden. Op zes methoden wordt dieper ingegaan,namelijkSocialReturnonInvestment(SROI),SocialImpactAssessment(SIA),PublicValueScorecard(PVS),ParticipatoryImpactAssessment(PIA),Baseofthe Pyramid Impact Assessment Framework (BoP) en het Logical Framework (Logframe). Een belangrijke vraag is welk instrument het meest geschikt is voor de evaluatie die gaat worden uitgevoerd. Hiervoor is gekeken naar in hoeverre de meetinstrumenten aandacht geven aan de vijf voorbereidende stappen in deze publicatie. Dit resulteert in het overzicht hiernaast.

7. Het verzamelen en analyseren van gegevens. Bij meten wordt al gauw in getallen gedacht, maar het

meten van resultaat en impact beperkt zich hier niet toe. De gegevens die gebruikt worden in een evaluatie kunnen zowel kwalitatief als kwantitatief van aard zijn of een combinatie van beide.

Meten

1 2 3 4 5 6 7 8 9 10

Verantwoorden

8 | SAMENVATTING

Kwalitatieve onderzoeksmethoden Kwantitatieve onderzoeksmethoden

Storytelling Vragenlijsten per post, e-mail, internet of telefoon

Bijeenkomsten en workshops Door de onderzoeker afgenomen enquêtes

Informele gesprekken Informatie uit registratie

Visitaties Informatie uit dossiers en documenten

Observaties, beschrijvend Observaties, tellend

Eén-op-één interviews, gestructureerd of semi-gestructureerd Vertalen van verhalen naar scores, cijfers, percentages

Focusgroepen Indexen,ranglijsten

Participatieve methoden

Kwalitatieve en kwantitatieve onderzoeksmethoden

Het proces van data-analyse is een ingewikkeld proces, dat dient te worden uitgevoerd door iemand die bekend is met het construeren van verhaallijnen, grafieken en tabellen en het analyseren van gegevens, of er sprake is van samen-hang tussen gegevens. Het is hierbij van groot belang om aandacht te geven aan zowel positieve als negatieve uit-komsten en bedoelde en onbedoelde resultaten en effecten.

8. Rapporteren. Nadat de evaluatie is uitgevoerd en de uitkomsten be-

kend zijn, komt de vraag op wat kan worden gedaan met alle bevindingen. Er is geen eenduidige manier om te rapporteren over evaluaties. Er worden enkele voorbeelden en suggesties gegeven voor het opstellen vaninterneenexternerapportages.Belangrijkhierbijis onder meer voor welke doelgroep de rapportage wordt geschreven, dat aandacht wordt gegeven aan zowel cijfermatige als verhalende bevindingen, dat aandacht wordt gegeven aan in hoeverre de vooraf bedachte Theory of Change in de praktijk is waarge-maakt met referentie aan de van tevoren opgestelde prestatie-indicatoren. Om maatschappelijk draagvlak te creëren kan belanghebbenden de mogelijkheid worden geboden opmerkingen te maken over de bevindingen, de conclusies en de aanbevelingen.

9. Leren van evalueren. Naast de verantwoording aan bijvoorbeeld financiers

kan een andere waardevolle doelstelling van evalueren ook zijn om te leren wat goed en wat minder goed werkt in de praktijk. Deze laatste stap, het leren van evalueren, wordt vaak overgeslagen in evaluatietrajecten, terwijl het leren van evaluaties juist kan helpen om te komen tot een betere of vernieuwde uitvoering van activiteiten en projecten in de toekomst en efficiënter gebruik van beschikbare middelen. Leren van evalueren kan vorm krijgen door brainstormsessies te organiseren, discus-siebijeenkomsten of workshops met medewerkers en belanghebbenden van de organisatie.

1 2 3 4 5 6 7 8 9 10

SAMENVATTING | 9

proportie dienen te zijn met de omvang van de te evalueren activiteit. Voor grote projecten met veel begunstigden kan het relevant en haalbaar zijn om de attributie (toewijzing) van effecten en impact aan de activiteiten te meten. Activiteiten van kleine omvang kunnen vaak volstaan met eenvoudiger methoden om hun maatschappelijke bijdrage inzichtelijk en aannemelijk te maken op output- of outcome-niveau. Het is van belang dat goededoelenorganisaties hier op de voor hen gepaste wijze aan blijven werken.

Het CBF heeft de volgende aanbevelingen voor de sector:Aanbeveling 1: Veranker resultaat- en impactmeting in

de organisatiecultuur.Aanbeveling 2: Maak budget vrij voor resultaat- en

impactmetingAanbeveling3:Zetookeenvoudigeinstrumen-

ten en best-practices op de onderzoeksagenda

Aanbeveling 4: Leer van elkaars ervaringen en werk samen

10. Communiceren van de uitkomsten aan belanghebben-den en donateurs. Goededoelenorganisaties dienen zelf de afweging te maken of en op welke wijze over de resultaten van impact wordt gecommuniceerd. Veel goededoelenor-ganisaties houden de uitkomsten van hun evaluaties liever intern. Echter, de uitkomsten van evaluaties kunnen een goede aanvulling zijn in het afleggen van verantwoording over bestedingen aan belanghebben-den, zoals donateurs, de overheid en de doelgroep. Doorexterneninzichttegevenindeuitkomstenvanevaluaties, kunnen zij beter geïnformeerde keuzen ma-ken. Daarnaast zou het communiceren van uitkomsten bij kunnen dragen aan het verzamelen van ‘bewijs’ welke activiteiten beter of minder goed werken, waar-door binnen de sector betere keuzen gemaakt kunnen worden in welke activiteiten te investeren en kunnen besparingen gerealiseerd worden. De informatie die gecommuniceerd wordt, dient volledig, begrijpelijk, accuraat en toegankelijk te zijn en toegespitst op de doelgroep en hun informatiebehoefte. Hierbij is op te merken dat er diverse typen donoren zijn, waarbij de traditionele donoren meer op basis van vertrouwen doneren en sturende donoren meer waarde hechten aan aangetoonde resultaten en impact.

Voor het toepassen van de genoemde tien stappen voor resultaat- en impactmeten is het belangrijk om deze in de juistecontextteplaatsen.Eenbelangrijkenotieisdatdeomvangencomplexiteitvanresultaat-enimpactmetingin

1 2 3 4 5 6 7 8 9 10

10 | INHOUDSOPGAVE

Inhoudsopgave

Voorwoord 3

Samenvatting 5

Inhoudsopgave 10

Inleiding 13

Hoofdstuk I Achtergrond van resultaat- en impactmeting 151.1. Achtergrond van het ‘impactdenken’ 151.2. Van input naar impact 161.3. Wat is impact? 181.4. Wat zijn resultaat- en impactmeting? 201.5. Waarom resultaat- en impactmeting? 211.6. Leeswijzer: tien stappen voor resultaat- en impactmeting 21

Hoofdstuk II Voorbereiden van resultaat- en impactmeting 232.1. Evalueren op project-, programma- of organisatieniveau? 242.2. Theory of Change 252.3.SMART-doelstellingen 262.4. Prestatie-indicatoren 292.5. Bepalen van de beginsituatie: de nulmeting 322.6. Betrekken van belanghebbenden en doelgroep 332.7.Contextennagaanvanattributie 342.8.Ontwikkelenvaneenmeetmodel 37

1 2 3 4 5 6 7 8 9 10

INHOUDSOPGAVE | 11

Hoofdstuk III Meten van resultaten en impact 393.1. Meetinstrumenten 40 3.1.1.SocialReturnonInvestment 41 3.1.2.SocialImpactAssessment(SIA) 43 3.1.3.PublicValueScorecard 44 3.1.4. Participatory Impact Assessment (PIA) 46 3.1.5. Base of the Pyramid Impact Assessment Framework 48 3.1.6 Logical Framework 50 3.1.7Keuzewelkmeetinstrument 513.2. Kwalitatieve en kwantitatieve onderzoeksmethoden 523.3. Interpreteren en analyseren van de gegevens 55 3.3.1.Attributieenexternefactoren 56 3.3.2.Correlatieencausaliteit 573.4. Positieve en negatieve, bedoelde en onbedoelde effecten 603.5. Uitdagingen bij het meten van resultaten en impact 62

Hoofdstuk IV Verantwoording en leren van resultaat- en impactmeting 634.1. Rapporteren van evaluatie-uitkomsten 644.2.Lerenvanevalueren 674.3. Communiceren met belanghebbenden 694.4.Communicerenmetdonateurs 71

Hoofdstuk V Discussie en aanbevelingen 735.1.Gradatiesvanresultaat-enimpactmeting 735.2.Aanbevelingen 735.3.CBF-perspectief 75

1 2 3 4 5 6 7 8 9 10

12 | INHOUDSOPGAVE

Visies en ervaringen uit de sector 77WildeGanzen 77ErasmusCentreforStrategicPhilanthropy 79SamenwerkendeGezondheidsFondsen/Hersenstichting 81Centre for International Development Issues (CIDIN) 831%CLUB/AmLab 85Partos–BrancheverenigingvoorInternationaleSamenwerking 87Centre for Development Innovation 88NCDO 90

Begrippenkader 92

Trefwoordenregister 95

Literatuurlijst 96

Colofon 99

1 2 3 4 5 6 7 8 9 10

INLEIDING | 13

Inleiding

ook meer proces-georiënteerd en vraagt om een bredere samenwerking. De evaluatieliteratuur kent een gelijksoortige ontwikkeling van paradigma’s waarbij nieuwe vragen en bijbehorende methoden worden geïntroduceerd. Guba & Lincoln (1989) karakteriseren vier generaties van evaluatiestudies, waar-bij de focus zich langzaam maar zeker verbreedt van het ‘meten’ en ‘beschrijven’ van de resultaten van interventies naar het ‘waarderen’ en ‘reconstrueren’ van het interventie-proces. Daarbij is het vooral van belang om inzicht te ver-werven in de specifieke rol en bijdrage (de ‘meerwaarde’) van elk van de (lokale en internationale) partners in het samenwerkingsproces.

De verschillende benaderingswijzen en evaluatiemethoden die in deze publicatie worden genoemd, dragen – elk op hun eigen wijze – bij aan een beter begrip van de effectivi-teit en efficiency van de activiteiten van goededoelenorga-nisaties. Voor de potentiële gebruikers is het zaak om een doelbewuste combinatie te maken van de geschikte metho-den die het beste aansluiten bij de doelstelling en werkwijze van de eigen organisatie.

Deze publicatie is natuurlijk vooral bedoeld om de discussie over het ‘waarom’ en ‘hoe’ van verantwoorde resultaatme-ting binnen de goededoelenorganisaties te bevorderen. Het is verstandig om dan ook gelijk een aantal praktische rand-voorwaarden in ogenschouw te nemen. Ik noem daartoe een vijftal uitgangspunten die behulpzaam kunnen zijn bij de keuze van de geëigende evaluatieaanpak:

Effectmeting kent een lange geschiedenis en wordt geken-merkt door een steeds bredere keuze aan benaderingen en methodieken. Vragen over de effectiviteit van interventies worden al sinds mensenheugenis gesteld, vooral in de (para)medische sector. Na de Tweede Wereldoorlog is de aan-dacht voor evaluaties van effectbereik sterk toegenomen, mede onder invloed van de ontluikende management- en bestuurswetenschappen. Met de toegenomen rol van publieke en semipublieke organisaties waaraan steeds meer maatschappelijke taken worden opgedragen, komen ook vragen naar de effectiviteit en de verantwoording steeds meer centraal te staan. Professioneel toezicht wordt daarbij gehanteerd om organisaties scherp gericht te houden op marktoriëntatie en prestatielevering.

Onderzoek naar de effecten en resultaten van goededoe-lenorganisaties is van recentere oorsprong en kent ook een aantal specifieke uitdagingen. Deze hebben vooral te maken met een steeds bredere definitie van doelen en resultaten en de veranderende verhouding tussen goededoelenorganisaties en hun lokale partners. Korten (1990) onderscheidt in dit ver-band vier generaties van niet-gouvernementele organisaties (NGO’s) met uiteenlopende visies ten aanzien van werkwijze en interventiestrategie. De eerste en tweede generatie orga-nisaties leggen vooral nadruk op noodhulp (logistieke steun) en lokale projecten gericht op dorpsontwikkeling waarvan effecten min of meer eenduidig traceerbaar zijn. De derde en vierde generatie van organisaties definiëren hun rol eer-der als ‘katalysator’ of ‘mobilisator’ en richten zich meer op (inter)nationale systeemverandering. Effectmeting wordt hierbij

Het is verheugend dat het Centraal Bureau Fondsenwerving (CBF) de laatste jaren steeds meer aandacht is gaan vragen voor het verrichten van geloofwaardig effectenonderzoek bij de organisaties die het CBF-Keur dragen. Daardoor is er – naast de toetsing op rechtmatigheid – ook noodzaak om de criteria van doeltreffendheid en doelmatigheid nader in te vullen. Deze brochure biedt daartoe een aantal zeer nut-tige bouwstenen en praktische aanbevelingen.

Het meten van resultaten van goededoelenorganisaties is om drie redenen van belang. In de eerste plaats verwacht het publiek een duidelijk inzicht in de wijze waarop de ingezamelde middelen worden besteed. Het is niet meer voldoende om alleen de doelstellingen van de organisatie te communiceren, maar er wordt ook verwacht dat er toezicht wordt gehouden op de gerealiseerde resultaten. In de twee-de plaats wordt om resultaatmeting gevraagd omdat er een steeds grotere keuze en variëteit bestaat tussen verschillende goededoelenorganisaties die werkzaam zijn in dezelfde sec-tor.Steedsmeer–groteenkleine–instellingenpresenterenzich aan het publiek en stellen daarbij specifieke resultaten in het vooruitzicht. Inzicht in het resultaatbereik wordt daarbij van belang geacht voor het vergroten van de transparantie van de sector. In de derde plaats is resultaatmeting van belang om te kunnen leren van en communiceren over de – al dan niet – bereikte resultaten, zodat er ook lessen kun-nen worden getrokken over de werkwijze van de betrokken organisatie. Goede evaluaties zijn nodig voor het tijdig bij-stellen van de activiteitenkeuze of de interventiestrategie van elke goededoelenorganisatie.

1 2 3 4 5 6 7 8 9 10

14 | INLEIDING

organisatie. Daarmee wordt mogelijke vooringenomen-heid bij de evaluatieopzet en -uitvoering voorkomen en dat zal de betrouwbaarheid van de uitkomsten ten goede komen.

Ik ben ervan overtuigd dat de CBF-organisaties deze publi-catie zullen weten te benutten voor een verdere discussie en reflectie over het gebruik van resultaat- en impactmeting bij het verantwoorden, leren en communiceren over de doeltref-fendheid en doelmatigheid van hun activiteiten in de dage-lijkse praktijk.

Prof. dr. Ruerd RubenHoogleraar Effectiviteit van OntwikkelingsbeleidRadboud Universiteit Nijmegen&Directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB),MinisterievanBuitenlandseZaken

1. Selectiviteit: niet alles behoeft geëvalueerd te worden. Van vele interventies is het resultaatbereik genoegzaam bekend (bijvoorbeeld door de beschikbaarheid van systematisch effectenonderzoek). Er zijn veelal betere lessen te trekken uit evaluaties die zich richten op interventies waar de onzekerheid van resultaatbereik het grootst is.

2. Proportionaliteit: een beperkt gedeelte van het beschik-bare budget kan gewoonlijk ten behoeve van evaluaties worden ingezet. Voor veel kleine projecten is grootscha-lig effectenonderzoek gewoonweg te kostbaar en lig-gen eenvoudiger methoden van ‘monitoring’ meer voor de hand. Maar als men welbewust wil uitvinden ‘wat werkt’ is een grotere investering in resultatenonderzoek juist gewettigd.

3. Kwaliteit: beter geen evaluatie dan een slechte evalu-atie. Veel evaluaties voldoen uiteindelijk niet aan de mi-nimumkwaliteitscriteria (bijvoorbeeld vanwege ondeug-delijke indicatoren, te kleine steekproef of afwezigheid van controlegroep). Dergelijke studies kunnen dan beter achterwege worden gelaten.

4. Creativiteit: evaluaties zijn geen standaardproduct maar moeten zich aanpassen aan de specifieke situatie van interventies. Een blauwdrukbenadering doet geen recht aan de diversiteit van mogelijke resultaten. Het combi-neren van kwantitatieve en kwalitatieve methoden levert veelal het beste inzicht in het resultaatbereik.

5. Onafhankelijkheid: evalueren is een vak en de uitvoe-ring van kwalitatief hoogstaande evaluaties kan het beste worden toevertrouwd aan een onafhankelijke

1 2 3 4 5 6 7 8 9 10

ACHTERGROND | 15

Hoofdstuk I Achtergrond van resultaat- en impactmeting

telijk kunnen maken. De onderliggende gedachte is dat het meten van impact inzichten geeft in de handvatten voor verbeteringen, en positief bij zal dragen aan het publieks-vertrouwen in de sector. Echter, in de praktijk blijkt dat veel goededoelenorganisaties het nog lastig vinden er concreet vorm aan te geven. Vanuit historisch perspectief is de sector ontwikkelingssamenwerking, gedreven door institutionele donoren zoals de overheid, hier al het langst mee bezig en er daarom ook het meest in ontwikkeld.

Veel goededoelenorganisaties verzamelen informatie over hunprestaties.Zijdoenditvaakvoorinternedoeleinden.Het blijkt echter uit diverse studies van goededoelenorgani-satiesinonderanderedeVerenigdeStatenenhetVerenigdKoninkrijk, dat hoewel de druk met betrekking tot het ver-zamelen van informatie over de resultaten en de behaalde impact toeneemt, organisaties zich nog beperkt bezighou-denmetresultaat-enimpactmeting(Carman,2007;NíÓgáin et al., 2012). De mate waarin wordt geïnvesteerd in resultaat- en impactmeting ligt besloten in de keuzen die goededoelenorganisaties maken in het alloceren van beste-dingen voor hun activiteiten. Goededoelenorganisaties zijn hier lang niet altijd vrij in: vele donateurs, zowel institutioneel als privaat, beïnvloeden – op directe of indirecte wijze – de ruimte die goededoelenorganisaties hebben om fondsen te besteden aan het meten van de resultaten. Organisaties verzamelen nog beperkt gegevens over het daadwerkelijke effect van hun activiteiten op de maatschappij. Naast de beperkte fondsen die goededoelenorganisaties tot hun beschikking hebben voor het uitvoeren van resultaat- en

woording over de uitgevoerde activiteiten. Verantwoording wordt afgelegd in specifieke maatschappelijke jaarversla-gen of geïntegreerde jaarverslagen, op websites, andere communicatie-uitingen en in gesprekken met stakeholders. De overheid besteedt in haar subsidievoorwaarden voor goededoelenorganisaties ook aandacht aan het rapporteren en het meten van resultaten. Toenemende druk van buitenaf, van media, publiek en poli-tiek en een dalend maatschappelijk vertrouwen zijn van invloed op de wijze waarop en de mate waarin goededoe-lenorganisaties verantwoording afleggen aan hun belang-hebbenden (Maas, 2009). Maar intern groeit er bij goede-doelenorganisaties ook een interesse naar het verkrijgen van inzicht in de effectiviteit van de projecten die zij uitvoeren en het uiteindelijke maatschappelijke verschil dat zij maken (Liket en Maas, nog te verschijnen). Deze ontwikkelingen hebben alle aanzet gegeven tot het denken in termen van impact. Hierbij wordt steeds meer aandacht gegeven aan het meten van resultaten en impact. Dit blijkt ook bijvoorbeeld uit de thema’s van de Transparantprijs op initiatief van PwC en de annual letter van de Gates Foundation (2013), waar Bill Gates een heel duidelijk manifest uitspreekt voor het selecteren van de juiste indicatoren om inzicht te krijgen in de progressie en veranderingen die het gevolg zijn van ieder maatschappelijk initiatief.

Veel goededoelenorganisaties zijn geïnteresseerd in de wijze waarop ze de resultaten van hun fondsenwerving, bestedingen en activiteiten het beste kunnen meten en inzich-

De aandacht voor het meten van resultaten en het bepalen van de ‘impact’ van activiteiten van goededoelenorganisa-ties neemt toe. Maar wat zijn resultaat- en impactmeting en waarom is het belangrijk? In het eerste deel van deze publi-catie wordt ingegaan op de achtergrond van resultaat- en impactmeting. In de komende hoofdstukken wordt aandacht besteed aan de achtergrond (Paragraaf 1.1), het verklaren van de gebruikte terminologie (Paragrafen 1.2, 1.3 en 1.4) en het waarom van resultaat- en impactmeting (Paragraaf 1.5).

1.1. Achtergrond van het ‘impactdenken’Goededoelenorganisaties leggen zich al decennia lang toe op het leveren van een maatschappelijke bijdrage. Het belang voor goededoelenorganisaties om prestaties, resultatenenimpacttemetengroeit.Sindsdejaren’90van de vorige eeuw is de aandacht voor transparantie – de zichtbaarheid en kwaliteit van het rapporteren – en accountability – het afleggen van rekenschap en verant-woording – gegroeid. De vraag om transparantie heeft zichontwikkeldvanTRUSTMEnaarTELLMEnaarSHOWME en uiteindelijk naar PROVE ME en INVOLVE ME. De aandacht voor transparantie groeit en dat is ook duidelijk te zien in initiatieven als de publieke managementletter van de Nederlandse Beroepsorganisatie van Accountants voor de goededoelensector (NBA, 2012), de GRI-richtlijnen (Global Reporting Initiative) voor jaarverslaglegging en talrijke andere initiatieven. In de afgelopen decennia zijn steeds meer organisaties zoals bedrijven, gemeenten, scholen en ziekenhuizen gewend geraakt aan het afleggen van verant-

1 2 3 4 5 6 7 8 9 10

16 | ACHTERGROND

betreffende input. Deze activiteiten worden ook wel gezien als de doelbestedingen. Voorbeelden van activiteiten zijn: hulpverlening, voorlichting, belangenbehartiging, bewust-wording, wetenschappelijk onderzoek.

Outputs zijn de meetbare directe resultaten als gevolg van de ontplooide activiteiten. Aan de hand van de eerder geformuleerde prestatie-indicatoren kan geëvalueerd worden of de gestelde doelen behaald zijn. Voorbeelden van out-puts: het aantal daklozen in regio X dat behuisd, verzorgd en gevoed is of het aantal blindengeleidehonden dat is getraind in het afgelopen jaar. Of bijvoorbeeld het aantal

die worden doorlopen bij het nadenken over en meten van impact:

INPUTS ACTIVITIES OUTPUTS OUTCOMES GOAL ALIGNMENTS

WHAT IS PUT INTO THE VENTURE

VENTURE’SPRIMARYACTIVITIES

RESULTS THAT CAN BE MEASURED

CHANGES TOSOCIAL SYSTEMS

ACTIVITY AND GOAL ADJUSTMENT

WHAT WOULDHAVE HAPPENDANYWAY

= IMPACT

Figuur 1: Impact Value Chain (Clark et al., 2004)

De belangrijkste gedachte achter het Impact Value Chain-model is het onderscheid tussen output en outcome en de definiëring van impact als effecten als gevolg van een acti-viteit ‘minus wat er toch al aan veranderingen zou hebben plaatsgevonden’.

Inputs zijn alle middelen die een organisatie inzet om de doelstellingen te realiseren. Voorbeelden van inputs zijn: geld, materiaal, kennis, netwerken en uren.

Activiteiten zijn alle activiteiten die leiden tot het realiseren van de doelstellingen van de organisatie met gebruik van de

impactmetingen is een tweede oorzaak voor het tekort aan deze metingen de beperkte kennis over het belang en de uit-voering hiervan. Het CBF ervaart dat bij goededoelenorga-nisaties vaak het geloof bestaat dat het mogelijk is om een concrete en eenduidige set aan indicatoren en methodieken te identificeren waarmee de maatschappelijke impact van de goededoelenorganisaties inzichtelijk gemaakt kan wor-den. Het zal in deze publicatie duidelijk worden dat resul-taat-enimpactmetingzeercontextafhankelijkzijn;daardoormoet er voor iedere meetvraag opnieuw nagedacht worden en moeten (soms moeilijke) keuzen gemaakt worden.

1.2. Van input naar impact In het praten over impact komt een aantal begrippen naar voren, die wellicht enige verheldering vragen. Een veelge-bruikt begrip in de discussies over impact is de waardeke-ten. Dit is de keten van waardecreatie die loopt van inputs (de middelen die men inzet), de activiteit (in deze publicatie een breed begrip waar ook project, programma en interven-tie onder vallen), de outputs (de directe meetbare resultaten), de outcomes (de directe effecten op de doelgroep), naar ten slotte impact. Het valt tevens op dat woorden als resul-taten, output, outcome en impact vaak door elkaar worden gebruikt. Men zou kunnen zeggen dat output (directe resul-taten) en outcome zich onderscheiden van impact doordat ze zijn gerelateerd aan de leverancier van het product, de activiteit of de dienst, terwijl impact vooral samenhangt met de gebruiker (Kolodinsky et al., 2006). Het Impact Value Chain-model (Impactwaardeketen-model) van onderzoekers Clark et al. (2004) beschrijft vijf stadia

1 2 3 4 5 6 7 8 9 10

ACHTERGROND | 17

Resultaten hoeven niet lineair te zijn, zo kan een activiteit lei-den tot meerdere outputs en deze kunnen elk ook tot meerde-re outcomes leiden. Impacteffecten kunnen maatschappelijke veranderingen zijn op bijvoorbeeld ecologische, sociale, technologische,politiekeen/ofeconomischegebieden. Voorbeelden van waardeketens:

Het Impact Value Chain-model voegt vervolgens nog een laatste stap toe, waarin beoordeeld wordt of resultaten en effecten overeenkomen met oorspronkelijke doelstellingen. De informatie uit deze evaluatie en terugkoppeling kan leiden tot een verbetering in toekomstige doelstellingen en activiteiten.

vogels dat is geteld, het aantal congressen dat is georgani-seerd en het aantal deelnemers dat daarop aanwezig was.

Outcomes zijn de ultieme veranderingen die een organisatie tot stand probeert te brengen in de wereld. Hierbij wordt een stap verder gekeken dan alleen naar direct, concreet resultaat. Niet voor iedere organisatie zal dit noodzakelijk zijn, dit hangt ondermeer af van de gestelde doelen van de organisatie. Voorbeelden van outcomes: verbetering van de onderwijsprestaties van deelnemers aan de betref-fende onderwijsactiviteit of verhoogde biodiversiteit in een bepaald gebied.

Impact: de outcomes minus wat er sowieso aan verande-ringen zou hebben plaatsgevonden. Bij impact gaat het volgens het Impact Value Chain-model vooral om het isoleren van dat deel van de outcomes waarop de unieke bijdrage van de organisatie invloed heeft gehad. Het gaat over dat gedeelte van de totale uitkomst dat is ontstaan als gevolg van de activiteit van de organisatie, bovenop hetgeen er zonder die activiteit zou zijn ontstaan (meer informatie hierover in Hoofdstuk2.7 en Hoofdstuk 3.3). Meer over de mogelijke definities van impact volgt in de volgende paragraaf.

INPUTSACTIVITEITEN

OUTPUTS

OUTCOMES

IMPACT

Aantal leraren dat is getraind, aantal schoolboeken dat is uitgedeeld of aantal gebouwde schoolgebouwen.

Verbeterde kwaliteit van het onderwijs voor kinderen tussen X en Y jaar oud in de regio Z, een verhoogd kennisniveau van de schoolverlaters, verbeterde kansen op voortgezet onderwijs of hogere arbeidsparticipatie.

Op lange termijn kan verbeterde kwaliteit van onderwijs leiden tot een verbeterde positie van jonge vrouwen. Een hogere arbeidsparticipatie kan leiden tot minder armoede.

Het geven van trainingen aan basisschoolleraren, het uidelen van schoolboeken, het bouwen van schoolgebouwen in regio Z.

Geld, mensuren, kennis van opgeleide vrijwilligers, gedoneerde schoolboeken, bouwmaterialen.

Het aantal ex-gedetineerden dat een vaardighedentraining heeft gevolgd.

Het organiseren van een vaardighedentraining voor ex-gedetineerden.

Locatie die ter beschikking is gesteld, mensuren, trainingsmaterialen.

Toegenomen vaardigheden die kunnen leiden tot een afname in criminaliteit en recidive.

Lagere maatschappelijke kosten in verband met criminaliteit. Onbedoeld negatief bijeffect van het investeren in vaardigheden van ex-gedetineerden kan echter ook zijn dat er sociaal vaardiger criminelen ontstaan, waardoor een andere criminaliteits-problematiek ontstaat.

INPUTSACTIVITEITEN

OUTPUTS

OUTCOMES

IMPACT

1 2 3 4 5 6 7 8 9 10

18 | ACHTERGROND

1.3. Wat is impact? Impact is een populair begrip geworden in de goededoe-lensector. Uit documentatie en praktijkervaringen van goe-dedoelenorganisaties blijkt dat de term ‘impact’ op allerlei manieren geïnterpreteerd wordt en kan worden, waarbij de ene interpretatie niet per definitie beter is dan de andere. Het is opvallend dat goededoelenorganisaties, wetenschap-pers, financiers en andere partijen veel verschillende beteke-nissen geven aan impact. Ook worden dit begrip en syno-niemen als ‘effect’ en ‘invloed’ op allerlei manieren gebruikt. Het gebruik van verschillende definities van impact zorgt voor verwarring bij het toepassen van (instrumenten voor) resultaat- en impactmeting. Daarnaast ontstaan er variaties als gevolg van verschillende wetenschapsgebieden zoals bedrijfskundig, sociaal, economisch en strategisch (Maas en Liket, 2010).

In de wetenschappelijke literatuur zijn grofweg twee stromingen die ieder een eigen kijk hebben op defini-ties van impact (White, 2009). Er is een stroming die impact ziet als het hoogste niveau van de waardeketen. In deze stroming wordt impact gezien als de duurzame langetermijnveranderingen.

In lijn met deze stroming is de kijk op impact door organi-saties zoals het Development Assistance Committee (DAC) van de OECD. Het DAC definieert impact als de ‘positieve en negatieve, primaire en secundaire langetermijneffecten die het resultaat zijn van een interventie, direct of indirect,

Het mag duidelijk zijn dat directe resultaten (outputs) vaak gemakkelijk waarneembaar en meetbaar zijn, maar dat voor het inzichtelijk maken van de verdere effecten op de doelgroep (outcomes) en langetermijneffecten dan wel het toewijzen van die effecten aan de activiteiten (impact) diep-gaander onderzoek nodig is.

Bedenk als goededoelenorganisatie of het vanuit de sta-tutaire doelstellingen én de wensen van belanghebben-den wenselijk is om naast het meten van directe resulta-ten ook de verdere effecten en impact van die resultaten te onderzoeken. Tot hoever wil en kan de organisatie gaan in het meten van outputs, outcome en/of impact?

Het aantal getrainde blindengeleidehonden.

De verbeterde ervaring van de blinde persoon door de blindengeleidehond.

Het verbeterende leven en maatschappelijke bijdragen van de blinde persoon door de blindengeleidehond.

Fokken, verzorgen en trainen van honden, cursus geven aan gebruikers van blindengeleidenhonden.

Giften, uren van trainers en gastoudergezinnen, materialen.

INPUTSACTIVITEITEN

OUTPUTS

OUTCOMES

IMPACT

Toename aantal hectare beschermd zeegebied in regio X.

Lobby bij de overheid om zeegebied te beschermen, samenwerken met andere natuurbeschermers en lobbygroepen, petitie online verspreiden, afbakening van een kustgebieden.

Netwerken, mensuren, giften.

Verbeterde kwaliteit van water, lucht en bodem in regio X.

Verbeterde kwaliteit van leven voor mens en dier in regio X.

INPUTSACTIVITEITEN

OUTPUTS

OUTCOMES

IMPACT

1 2 3 4 5 6 7 8 9 10

ACHTERGROND | 19

doelgroep die zij wil bedienen). Een goededoelenorganisatie kan bijvoorbeeld als doel hebben om wereldwijd malaria te bestrijden. Haar missie-impact is in dit geval de duurzame ver-mindering in malaria-infecties. Haar maatschappelijke impact reikt echter verder en betreft ook zaken zoals de besparing in maatschappelijke gezondheidskosten. Inzicht in de missie-impact van een goededoelenorganisatie is een maatstaf voor de effectiviteit van projecten en de organisatie. Inzicht in de maatschappelijke impact van een goededoelenorganisatie is een maatstaf voor de effectiviteit van goededoelenorganisa-ties ten opzichte van de maatschappij, ongeacht hun missie.

Een andere stroming die vooral in de laatste jaren veel terrein heeft gewonnen, bijvoorbeeld bij de Wereldbank, en die ook wordt gehanteerd bij de Inspectie Ontwikkelings-samenwerking en Beleidsevaluatie (IOB) van het ministerie

bedoeld of onbedoeld’ (OECD-DAC, 2002: 24 vrij vertaald uit het Engels). ‘Interventie’ is een vrij brede term die betrekking kan hebben op een project, activiteit, programma of beleid.

Liket en Maas (nog te verschijnen) maken een onderscheid tussen missie-impact en maatschappelijke-impact. De eerste vorm, missie-impact, betreft louter de impacteffecten die rela-teren aan de missie van de organisatie. Daarentegen betreft de maatschappelijke impact alle impacteffecten, ongeacht de missie, wat dus ook negatieve en onbedoelde effecten meeneemt. Een voorbeeld ter verduidelijking. Iedere goede-doelenorganisatie maakt een keuze om zich te richten op een bepaald maatschappelijk probleem en formuleert een duidelijke afbakening van de maatschappelijke verandering die zij beoogt in haar missie (en in sommige gevallen de

Inputfondsen,tijd,expertise

ActiviteitUitdelen vangratisklamboes

OutputAantal klamboesuitgedeeld

OutcomeΔ klamboe-gebruik door de doelgroepMaatschappelijke

Dilema’s enProblemen

MissieMalariavoorkomen

MaatschappelijkeImpactΔ Maatschappelijke

gezondheidskosten

Missie Impact

Missie

Missie ImpactΔ infecties Missie

Maat-schappij

Figuur 2: Waardeketen missie-impact en maatschappelijke impact (Liket en Maas, nog te verschijnen)

© Auke Herrema

1 2 3 4 5 6 7 8 9 10

20 | ACHTERGROND

begin van dit proces zullen strategische plannen gemaakt worden om te bepalen waar middelen worden ingezet, welke activiteiten zullen worden uitgevoerd en waar, voor wie, waarom etc. Aan het einde van het proces dient dui-delijk te worden of de beoogde doelstellingen zijn behaald. Het gehele proces van organisatie-inrichting, processen bewaken, gegevens verzamelen en bijhouden tot en met het rapporteren en strategische doelen bijstellen, wordt ook wel ‘monitoren en evalueren’ genoemd. Resultaat- en impact-meting zijn het deel van het evalueren waarbij onderzoek wordtuitgevoerdnaarderesultateneninterneenexterneeffecten van activiteiten met als doel inzicht te krijgen in hetgeen er is bereikt. Waarom een onderscheid tussen het meten van ‘resultaat’ en ‘impact’? Omdat er een onder-scheid kan worden gemaakt tussen enerzijds onderzoek naar concrete, directe, meetbare resultaten en anderzijds de langetermijneffecten als gevolg van een activiteit – de impact – op de doelgroep en maatschappij. Bij een meting kan onderscheid gemaakt worden tussen onderzoek op het niveau van separate programma’s, pro-jecten en activiteiten en onderzoek op het niveau van de gehele organisatie. Door verschillende soorten gegevens te verzamelen en deze te analyseren, kan worden aangetoond wat de resultaten en het effect van de resultaten van een project of organisatie zijn geweest op de doelgroep, de maatschappij en de organisatie zelf en wat in de toekomst beter kan. In deze publicatie zullen verschillende stappen, raamwerken en methoden worden geïntroduceerd die goe-dedoelenorganisaties op weg kunnen helpen in het handen en voeten geven aan resultaat- en impactmeting.

het gezondheidsfonds op directe en indirecte gezondheids-kosten (bestaande uit ziekenhuiskosten, kosten gemaakt in de andereschakelsindezorgketenendekostenvanextraman-telzorg), het productiviteitsverlies, de kwaliteit van leven van patiënten en de levensduur van patiënten (Maas et al., 2011). De uitkomsten van dit onderzoek geven inzicht in de geschatte maatschappelijk impact van het gezondheidsfonds ten aanzien van het herkennen en behandelen van beroertes, onder meer uitgedrukt in het aantal euro’s dat de maatschappij bespaard wordt door de activiteiten van deze goededoelenorganisatie. Dit alles met de kanttekening dat er vele partijen van invloed zijn op dit thema en de resultaten niet volledig aan het gezond-heidsfonds kunnen worden toegewezen.

Daarnaast spreekt bijvoorbeeld een klein cultuurfonds zich uit over zijn impact bij de aankoop van een aantal belang-rijke historische kunstwerken, zonder daar een gedegen onderzoek naar uit te voeren om deze impact concreet te maken.Hetzalduidelijkzijndatdecontextenladingvanhet woord impact anders is in deze twee voorbeelden. Wellicht is er in dit laatste voorbeeld eerder sprake van directe resultaten (ook wel output genoemd) en is nog geen inzicht gegeven in verdere effecten van de aankoop, zoals bijvoorbeeld het stimuleren van cultureel aanbod, en wat dit betekent op maatschappelijk niveau (impact).

1.4. Wat zijn resultaat- en impactmeting? Een centrale vraag voor organisaties in het toepassen van resultaat- en impactmeting is: “Wat willen we bereiken en wat is onze strategie om ons doel te bereiken?” Aan het

vanBuitenlandseZaken,zietimpacteffectenalsdeverande-ring die tot stand is gebracht door de activiteit minus ‘wat er toch al aan veranderingen zou hebben plaatsgevonden’ (Clark et al., 2004). Het verschil met de eerder beschreven stroming is dat met name het toewijzen van het effect aan een activiteit centraal staat. In essentie draait dit om het beantwoorden van de vraag wat de toegevoegde waarde is van de activiteit, door nauwkeurig te bestuderen of de gevonden resultaten daadwerkelijk door de activiteit kwa-men. Dit wordt ook wel attributie genoemd. Meer hierover in hoofdstuk2.7 en 3.3.

Nietalleimpactispositief.Sommigegoededoelenorganisa-ties hebben bijvoorbeeld gerapporteerd dat hun activiteiten niet de gewenste uitkomsten hadden. Voorbeelden hiervan zijn dat de mentale gesteldheid van de doelgroep is ver-slechterd ondanks de voor hen georganiseerde activiteiten, of dat de kennis en bewustwording bij de doelgroep over een bepaalde ziekte juist waren afgenomen ondanks de gevoerde campagnes. Dit kan liggen aan (onbedoelde) bijeffectenofdeinvloedvanexternefactorendieroetinheteten gooien. Impact gaat verder dan de specifieke doel-groep waarvoor de activiteit in beginsel is bedoeld en kijkt ook naar de effecten op maatschappelijk niveau.

Een voorbeeld ter verduidelijking van de diverse interpretaties van het woord impact in de praktijk van goededoelenorganisa-ties: een groot gezondheidsfonds heeft zijn impact laten meten ten aanzien van het herkennen en behandelen van beroertes. Hiertoe is uitgebreid onderzoek verricht naar de effecten van

1 2 3 4 5 6 7 8 9 10

ACHTERGROND | 21

De beweegreden voor resultaat- en impactmeting is van belang voor de verdere opzet en invulling van de evaluatie. Wanneer de nadruk meer ligt op verantwoording kan het zijn dat er meer harde cijfers en bewijzen gevraagd wor-den, terwijl een evaluatie waarbij de nadruk ligt op leren wellicht meer oplevert als juist de verhalen achter de cijfers worden bestudeerd. Het is belangrijk om verantwoorden en leren in goed evenwicht te laten zijn binnen de organisatie.

1.6. Leeswijzer: tien stappen voor resultaat- en impactmetingIn deze publicatie worden tien stappen voor resultaat- en impactmeting geïntroduceerd. De gedachte achter dit model is dat iedere organisatie elke stap kan doorlopen, maar dat de mate waarin een stap wordt uitgevoerd, van een-voudigtotcomplex,afhangtvandegrootteencomplexiteitvan de organisatie en de activiteit die wordt geëvalueerd. Enkelevandestappen,zoalshetformulerenvanSMART-doelstellingen en het opstellen van prestatie-indicatoren, zijn onderdeel van de criteria van het CBF-Keur en CBF-Certificaat. Andere stappen in het hier gepresenteerde model zijn niet verplicht, maar kunnen bijdragen aan de verdere professionalisering van goededoelenorganisaties.

groeit het belang van transparantie en inzicht in wat goede doelen bereiken. Dit blijkt ook uit onderzoek in het Verenigd Koninkrijk, waar goededoelenorganisaties die voornamelijk gefinancierd worden vanuit overheidssubsidies in toene-mende mate inzetten op het meten van resultaten en impact. Goededoelenorganisaties die voornamelijk gefinancierd wordendoorindividueledonorenzijnveelminderexterngedrevenomimpacttemeten(NíÓgáinetal.,2012).Dehuidige bezuinigingen op ontwikkelingshulp, bijvoorbeeld, hebben grote gevolgen voor de budgetten van goededoelen-organisaties. Voorheen hadden veel ontwikkelingsorganisaties één belangrijke financier: de overheid. Nu halen deze orga-nisaties hun geld bij andere donateurs, zoals de Verenigde Naties, internationale overheden, (vermogens)fondsen, bedrijvenenandereinstellingen.Zoweldeoverheidalsdeze‘nieuwe’ institutionele gevers vragen meer op het gebied van projectbeschrijvingen, rapportages, monitoring en controle. Analyse op het gebied van resultaat en impact kan zowel goededoelenorganisaties als institutionele gevers helpen om beter te worden in wat ze doen, maar kan ook helpen om deze alternatieve financieringsbronnen aan te boren.

1.5. Waarom resultaat- en impactmeting?Men zou kunnen zeggen dat het meten van en rapporteren over de resultaten en effecten van activiteiten voor goede-doelenorganisaties een strategische noodzaak is. Er kunnen zowelinternealsexternedoelenmeebehaaldworden.Op het interne vlak kunnen metingen leiden tot het verbete-ren van eigen prestaties op organisatie- en projectniveau en het verhogen van het kennisniveau over een specifiek thema of gebied. De uitkomsten maken het voor organisaties moge-lijk beter onderbouwde keuzen te maken in activiteiten. Het uitvoeren van een gedegen meting helpt organisaties om de eigen meerwaarde aan de maatschappij te bepalen en preciezer vast te stellen waar de organisatie het verschil kan maken. Het helpt de sterke en zwakke punten te identifice-ren, meer inzicht te krijgen in wat werkt en wat niet en waar-om, en te leren hoe prestaties verbeterd kunnen worden. Resultaat- en impactmeting zijn een manier om processen en activiteiten te verbeteren en efficiënter te maken.

Ophetexternevlakkunnenevaluatiesleidentothetverho-genvanheteffectvanactiviteitenopdedoelgroepen/ofmaatschappij. Goed onderbouwde resultaatmeting kan ook leiden tot meer draagvlak bij en aandacht en vertrouwen van institutionele gevers en individuele donateurs die het steeds belangrijker vinden om te weten wat er met hun donaties gebeurt en of het goede doel transparant is (Midgley, 2012). Met name institutionele gevers, zoals financiers en subsidie-verstrekkers, vragen steeds meer naar inzicht in resultaten. Misschien is voor individuele donateurs het goede gevoel wel het belangrijkst, maar ook binnen deze groep donateurs

Breng uw potentiële financieringsbronnen in kaart en vergelijk welke verwachtingen zij hebben ten aanzien van het inzichtelijk maken van uw impact.

Bedenk van tevoren vanuit welke beweegreden de resul-taat- en impactmeting worden uitgevoerd en hoe dit de opzet beïnvloedt.

1 2 3 4 5 6 7 8 9 10

22 | ACHTERGROND

STAP











Deze tien stappen zijn verdeeld in drie fasen: voorbereiden (hoofdstuk 2), meten (hoofdstuk 3) en verantwoorden (hoofd-stuk 4). De hoofdstukken zijn ingedeeld in paragrafen. Vaak vormen twee of meerdere paragrafen samen één stap uit het model.

Stap 1: paragraaf 2.1 en 2.2



Stap 4: paragraaf2.7

Stap 5: paragraaf 2.8


Stap 7: paragraaf3.2t/m3.5




1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 23

Hoofdstuk II Voorbereiden van resultaat- en impactmeting

Resultaat- en impactmeting beginnen met de basisvraag: waarom wil ik impact meten en wat wil ik doen met de resultaten? Meten om het meten is zinloos. Ondanks dat het niet altijd eenvoudig is om resultaten meetbaar te maken, is ditgeenredenomernietaantebeginnen!Sterkernog:hetis voor iedereen binnen een organisatie zeer aantrekkelijk om na te denken over het nut en de impact van de orga-nisatie en het zichtbaar maken van dat nut en die impact. Het dwingt een organisatie na te denken over de missie en strategie en om concrete doelen te stellen.

In dit tweede hoofdstuk worden de eerste vijf stappen van resultaat- en impactmeting benoemd. Deze stappen zijn gebaseerd op de ‘Quality at Entry’-onderdelen van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie vanhetministerievanBuitenlandseZaken(interviewmetprof. dr. R. Ruben, 26 februari 2013) en de Handleiding evalueren van NONIE (Leeuw en Vaessen, 2009).

1. Impact meten begint met het maken van de keuze of er wordt geëvalueerd op project-, programma- of organisa-tieniveau (Paragraaf 2.1), gevolgd door het beschrijven van het denkmodel hoe de beoogde veranderingen tot stand gaan worden gebracht. Dit heet ook wel de verandertheorie, veranderboom of ‘Theory of Change’ (paragraaf 2.2).

2. DetweedestapishetformulerenvanSMART-doelstel-lingen (Paragraaf 2.3) en het benoemen van prestatie-indicatoren (Paragraaf 2.4).

STAP











1 2 6 7 8 9 10

24 | VOORBEREIDEN

3 4 5

Het is belangrijk om, voor dat met het project wordt aange-vangen, de keuze te maken welk project zal worden geëva-lueerd. Voor aanvang kan men namelijk nog eerst in kaart brengen wat de doelstellingen precies zullen zijn, hoe deze gemeten kunnen worden en wat de beginsituatie is voordat het project nog enige invloed heeft gehad op de doelgroep of populatie.

tot het meten van de resultaten en impact van meerdere en/ofcomplexereprojecten.Doormetingeneenintegraalonderdeel uit te laten maken van projecten, activiteiten en programma’s, kunnen tot slot uitspraken worden gedaan over de resultaten en impact van de gehele organisatie, alhoewel hier wel ook meer bij komt kijken.

3. De derde stap bestaat uit het bepalen van de begin-situatie middels een nulmeting (Paragraaf 2.5) en het betrekken van belanghebbenden daarbij (Paragraaf 2.6).

4. De vierde stap bestaat uit het omschrijven van de contextwaarindemetingwordtverrichtinvergelijkingtot anderen en het nadenken over welk aandeel van de veranderingen aan de activiteiten zouden kunnen worden toegeschreven (attributie) (Paragraaf2.7).

5. De vijfde stap is het beschrijven van hoe de resultaten en impact zullen worden gemeten in een meetmodel (Paragraaf 2.8).

2.1. Evalueren op project-, programma- of organisatieniveau?Het meten van resultaten en impact is een grote uitdaging. Des te meer programma’s, projecten en activiteiten een organisatieheeft,destecomplexerhetmetenvanresultatenop strategisch organisatieniveau wordt. Activiteiten kunnen daarnaast uiteenlopen van eenvoudige initiatieven tot com-plexebeleidsvraagstukkenwaardiversebelanghebbendenbij zijn betrokken. Ook is het mogelijk om naast activiteiten ten behoeve van de doelstelling, de resultaten van fondsen-wervende of marketingactiviteiten te meten.

Zekerwanneerernietzoveelmiddelenterbeschikkingzijn,is het van belang om te beginnen met een enkel project dat eenniettegroteomvangencomplexiteitkent.Paswanneerde resultaten en impact van een enkel project of activiteit zijn gemeten en er voldoende middelen zijn, kan men overgaan

Voorbeeld over meten op verschillende niveaus“StichtingProjectenZuid-Afrika(SPZA)richtzichopkans-arme kinderen en jongeren die opgroeien in townships enopboerderijeninZuid-Afrika.SPZAwildezekinderenen jongeren door beter onderwijs een kansrijke toekomst bieden.DeactiviteitenvanSPZAzijnverdeeldoverdrieprogramma’s: • ProgrammaBuitenschoolseOpvang(BSO)• ProgrammaBeterBasisonderwijs• ProgrammaStudiefinancieringBinnen deze programma’s worden diverse projecten van partnerorganisatiesuitZuid-Afrikaondersteund.SPZAevalueert resultaten en impact op het niveau van afzon-derlijke projecten en op het niveau van programma’s. DaarvoormaaktSPZAgebruikvandeinformatiedieZuid-Afrikaansepartnersaanleveren.Hetmetenvanimpact op het niveau van de projecten kan met namevoor de partnerorganisaties administratief zeer belas-tendzijn.SPZAiszichervanbewustdatdeinspan-

ning die geleverd moet worden voor de resultaat- en impactmeting in verhouding moet staan tot die voor het project zelf en de hoogte van de financiële bijdrage.” Interview met Riekje de Vries, Stichting Projecten Zuid-Afrika.

NaschoolseopvanginZwelihle(foto:SPZA)

1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 25

doelenorganisatie dan voor de andere. Met andere woor-den: het specifieke niveau van een organisatie heeft invloed op welke aanpak van meten het meest geschikt of van toe-passing is. Het is belangrijk om te meten op de manier die pastbijdeorganisatieendecontextenomzoveelmogelijkgebruik te maken van bestaande methodieken, maar ook te zoeken naar maatwerk.

nen zijn en of deze kunnen worden toegeschreven aan de organisatie (impact). Dit wordt ook wel Theory of Change genoemdoflogischmodel:eencomplexgeheelvanveron-derstellingen en verwachtingen hoe activiteiten kunnen lei-den tot bepaalde resultaten en welke verdere effecten deze weer kunnen hebben op de doelgroep en de maatschappij. Het betreft in feite een invulling van de impactwaardeketen. Meer informatie hierover vindt u op www.theoryofchange.org.

Vaak is het lastig om effecten duidelijk toe te schrijven aan een specifieke activiteit, zeker op de lange termijn. Het is echter wel van belang een aannemelijke uitleg te formuleren over hoe het project zou kunnen bijdragen aan het bereiken van een (langetermijn)doelstelling en hoe aannemelijk kan worden gemaakt wat de bijdrage van de organisatie hier-aan is geweest. Daarbij is het van belang om ook aandacht te besteden aan de invloed van andere partijen en ontwik-kelingen(externefactoren)opdeteverwachteresultatenenimpact.

Het meten van resultaten en impact kan in gradaties gaan. Zozaleenkleineorganisatiedienetbegintmetenkeleprojecten niet meteen uitgebreid investeren in een impactme-ting, maar eerst beginnen met het bepalen van de directe resultaten (output). En pas later, wanneer de organisatie is gegroeid en er meer budget is, ook aandacht gaan geven aan de verdere effecten (outcomes) of andere bijkomstige en/ofblijvendeeffectenvanhaaractiviteitenopdedoel-groep en maatschappij (impact). Daarnaast zal het ene instrument of aanpak meer geschikt zijn voor de ene goede-

Het is ook mogelijk om op organisatieniveau impact te meten. Hier komt echter meer bij kijken dan de optelsom van afzon-derlijke projecten en programma’s. Organisaties hebben ook andere effecten op hun omgeving, niet alleen op de doel-groep. Denk bijvoorbeeld aan het verschaffen van werkgele-genheid en opleidingsplekken aan jongeren of de grootte van de ecologische footprint als graadmeter voor milieu-impact.

2.2. Theory of Change Goededoelenorganisaties zullen veelal met hun activiteiten een verandering (verbetering) of instandhouding nastreven op sociaal, ecologisch, politiek of ander gebied. Er zal ook altijd een logica, een denkmodel, zitten achter de na te stre-ven verandering. Voordat wordt begonnen met het uitvoeren van een activiteit is het aan te raden om dit denkmodel uit te schrijven.Somsgebeurtditookalin(meerjaren)beleidsplan-nen.Hetdenkmodelbeschrijftdeexplicieteenimplicietever-onderstellingen over het project of de activiteit. Als een orga-nisatie de resultaten, effecten en impact van haar projecten en activiteiten wil bepalen, dient het eerst duidelijk zijn hoe de effecten zijn te bereiken. Het denkmodel beschrijft met welke middelen (inputs), activiteiten en resultaten (outputs) de doelstelling van het project kan worden bereikt. Het model is van doorslaggevende betekenis voor het bepalen en ana-lyserenvansuccessenenuitdagingenofleerpunten.Zelfsals de prestaties in de eerste plaats worden gemeten op het outputniveau, is er behoefte aan een redenering (hypothese) die beschrijft welke effecten er kunnen zijn op de doelgroep (outcomes). En daarna wat de netto-effecten (positieve, negatieve, bedoelde, onbedoelde, directe en indirecte) kun-

Organiseer een brainstormsessie met uw personeel en/of belanghebbenden om per activiteit of project de verwachte inputs, outputs, outcomes en impact te beden-ken. Laat iedereen ideeën op post-its schrijven en plak deze op. Zo ontstaat een Theory of Change-schema. Gebruik bijvoorbeeld ook informatie uit projectvoorstel-len en andere beleidsdocumenten als input. Ook is van belang dat het gewenste niveau van resultaat- en impact-meting in het meetmodel wordt benoemd

1 2 3 4 5 6 7 8 9 10

26 | VOORBEREIDEN

2.3. SMART-doelstellingenDe tweede stap in het meten van resultaten en impact is het vertalen van de missie, visie en strategie van de organisatie in concrete, meetbare doelen. Het doel van een project vormt de schakel tussen de directe resultaten en effecten en de overkoepelende organisatie-doelen. Het doel van een project beschrijft de outcome van een project: de positieve verandering die wordt verwacht ten bate van de doelgroep (mensen, onderzoeken, flora, fauna e.d.). De woorden “Het project zal bijdragen aan...” worden hier vaak gebruikt. Het effect en de impact van een project of activiteit kunnen alleen worden beoordeeld en geverifieerd als duidelijk is welke geplande effecten van het project voor ogen worden gehouden en als er meetbare doelstellingen zijn geformuleerd.

De doelstelling beschrijft de uitkomst(en) van het project: de beoogde en directe, korte- en middellangetermijneffecten op de doelgroep. De doelstelling van het project moet binnen de scope van het project liggen, zodat een organisatie de effecten direct toe kan schrijven aan het project. Hiervoor is het noodzakelijk dat in de doelstelling van het project ook het beoogde effect voor de doelgroep is opgenomen. In de praktijk is het vaak niet zo eenvoudig de effecten van een project te onderscheiden van de directe resultaten. Goed geformuleerde doelstellingen voor effect en impact van het project zijn daarom van groot belang voor betekenisvolle resultaat- en impactmeting.

Bron: www.theoryofchange.org(Rechthebbenden kunnen zich melden bij het CBF.)

Bron: http://archives.frederatorblogs.com/nicktoons/category/uncategorized/page/2/

http://archives.frederatorblogs.com/nicktoons/category/uncategorized/page/2/

http://archives.frederatorblogs.com/nicktoons/category/uncategorized/page/2/

1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 27

Om resultaten goed te kunnen vaststellen is het nodig SMART-doelstellingenteformuleren.DelettersvanSMARTstaan voor:• Specifiek:isdedoelstellingeenduidig?• Meetbaar:onderwelke(meetbare/observeerbare)

voorwaarden of vorm is het doel bereikt?• Acceptabel:isdezeacceptabel(wenselijk)genoeg

voordedoelgroepen/ofdeorganisatie?• Realistisch:ishetdoelhaalbaar?• Tijdgebonden:wanneerofbinnenwelketijdsperiode

dient het doel bereikt te zijn?

In plaats van ‘Acceptabel’ wordt ook vaak ‘Aanvaardbaar’, ‘Ambitieus’ (bewerkstelligt het doel wel een echte veran-dering?), of ‘Aanwijsbaar’ (wie wijs je aan die het doel nastreeft?) gebruikt. In plaats van ‘Realistisch’ wordt ook wel ‘Resultaatgericht’ gehanteerd.

Goede voorbeelden van SMART-doelstellingen:

Sector gezondheid: het aantal geregistreerde patiënten met hart- en vaatziekten in 2013 in Nederland terugdringen met 5%. •Specifiek:hetaantalgeregistreerdepatiëntenmethart-envaatziektenin2013inNederland.•Meetbaar:metingnaaraanleidingvanderegistratievanpatiëntenmethart-envaatziekten;minimaal-5%isde

streefwaarde.•Acceptabel:allebetrokkenpartijenkunnenzichvindenindedoelstellingenwillenhiermeeaandeslag.•Realistisch:metdeinzetenmiddelenvandebetrokkenpartijenishetmogelijkomdedoelstellingtebehalen.•Tijdgebonden:deperiodewaarindedoelstellingbereiktmoetworden,isduidelijkafgebakend(hetjaar2013).

Sector natuur & milieu: Het terugdringen van de uitstoot van fijnstof door de Nederlandse industrie met 25% tussen 2012 en 2015 zodat de luchtkwaliteit verbetert.•Specifiek:deuitstootvanfijnstofdoordeNederlandseindustrietussen2012en2015.•Meetbaar:metingvandeuitstootvanfijnstofdoordeindustrie.•Acceptabel:allepartijenzienhetbelangvandedoelstellinginendezepastbinnenhetkadervandebetreffende

Europese richtlijn. •Realistisch:geziendehuidigetechnologischeveranderingenophetgebiedvanluchtzuiveringishetmogelijkomde

uitstoot van fijnstof terug te dringen. •Tijdgebonden:deperiodewaarindedoelstellingbereiktmoetworden,isduidelijkafgebakend(tussen2012en

2015).

Fondsenwerving: In 2013 5% meer inkomsten werven bij institutionele donateurs.•Specifiek:inkomstenvaninstitutioneledonateurs.•Meetbaar:metingvandetoenameindeinkomstenuiteenspecifiekebron,namelijkinstitutioneledonateurs.•Acceptabel:allepartijenzienhetbelangvandedoelstellingin.•Realistisch:geziendebeschikbaregeldenbijinstitutionelefondsenendenieuwaangesteldefondsenwerverzouhet

mogelijk moeten zijn om de inkomsten uit deze bron in geringe mate te verhogen. •Tijdgebonden:deperiodewaarindedoelstellingbereiktmoetworden,isduidelijkafgebakend(hetjaar2013).

1 2 3 4 5 6 7 8 9 10

28 | VOORBEREIDEN

Slechte voorbeelden van SMART-doelstellingen:

Fondsenwerving: het werven van een zo groot mogelijke achterban dit jaar.•Specifiek:nietgeheel.Alhoewelhetduidelijkis

dat het gaat om de achterban van de organisatie, is onduidelijk om welke doelgroep(en) het gaat. Tevens is niet duidelijk wat de organisatie van de achterban wil: een bepaalde hoeveelheid fondsen werven, de vrijwillige inzet verhogen of maatschap-pelijk draagvlak creëren?

•Meetbaar:nee.Erwordtgeenmeetlatgenoemdwaar de verhoging tegen kan worden afgezet en gemeten.

•Acceptabel:ja.Ditiseenbelangrijkmiddelvoordemaatschappelijke verankering en financiering van goededoelenorganisaties en daarmee een belang-rijk aspect van fondsenwerving.

•Realistisch:ja.Eenzogrootmogelijkaantalmensenkan nooit niet gehaald worden, want wat mogelijk is, dat is mogelijk.

•Tijdgebonden:enigszins.Erisgeenconcretetijds-periode genoemd, maar wel dat het het huidige jaar (van het jaarplan of iets dergelijks) betreft.

Sector welzijn: zoveel mogelijk mensen bewustmaken van het belang van cultureel erfgoed.•Specifiek:nee.Erwordtgeenspecifiekegroepmensenaangeduid,zoals‘kinderentussen12en18jaar’of‘alle

pensioengerechtigden’. Noch wordt aangeduid hoeveel mensen bereikt dienen te worden, bijvoorbeeld minimaal 25.000 kinderen op basisscholen of het geregistreerd museumbezoek 10% verhogen.

•Meetbaar:nee.Erwordtgeenmeetlatgenoemdwaardeverhogingtegenkanwordenafgezetengemeten.•Acceptabel:ja.Hetisaannemelijkdatveelpartijenhetbelangvandedoelstellinginzien.•Realistisch:ja.Zoveelmogelijkmensenkannooitniet gehaald worden, want wat mogelijk is, dat is mogelijk.•Tijdgebonden:nee.Erisgeentijdsperiodegenoemd.

Sector natuur & milieu: het beschermen van natuurgebied de Veluwe.•Specifiek:nee.Hetiswelduidelijkomwelkgebiedhetgaat,maarnietomwelkeaspectenvanhetgebied,zoalsde

stand van bepaalde flora of fauna, de bodemkwaliteit, luchtkwaliteit of in hoeverre er afval in het gebied te vinden is. De manier waarop uiting kan worden gegeven aan ‘beschermen’ wordt niet gespecificeerd.

•Meetbaar:nee.Hetisnietduidelijkhoekanwordengemetendatdebeschermingheeftplaatsgevondenenbescher-ming van wat precies.

•Acceptabel:ja.Debetrokkenpartijenzullenhetbelangzienvandebeschermingvanditnatuurgebied,datvoorzowel mens als natuur een belangrijke functie vervult.

•Realistisch:nee.Beschermeniseenbreedbegripenhierkanvanallesondervallen.Bovendienhebbenveelpartijenbelang bij de bescherming, op welke wijze dan ook, van dit gebied en dit maakt het niet realistisch om het doel uit te voeren.

•Tijdgebonden:nee.Erisgeentijdsperiodegenoemd.

1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 29

2.4. Prestatie-indicatorenEen van de kernvragen van resultaat- en impactmeting is: “Wat moeten we meten om te weten of we de doelstel-lingbereikthebben?”HetisdaaromnodigaanSMART-doelstellingen prestatie-indicatoren te koppelen. Een belang-rijk kenmerk van een prestatie-indicator is dat het informatie bevat over de bron en de methode voor het verzamelen van data omtrent resultaten. Dit zorgt ervoor dat de doelstel-ling meetbaar wordt. Prestatie-indicatoren zijn variabelen om prestaties van organisaties, beleid, programma’s, projecten of activiteiten te analyseren. Aan de hand van

zal worden beschreven, is een combinatie van meetbare en beschrijvende uitkomsten het meest informatief. Een ander voorbeeld van een activiteit, waarbij het belang-rijkisomSMART-doelstellingenteformuleren,isophetgebied van bewustwording, voorlichting, preventie en der-gelijke. Het ‘creëren van meer bewustwording’ klinkt heel vaag en dit kan concreter worden geformuleerd als precies wordt genoemd op welke gebied men bewustwording wil creëren. Als men weet wat de beginsituatie was (het ken-nisniveau voor aanvang van de voorlichtingsactiviteit), dan kan ook worden aangegeven hoeveel procent meer kennis van een onderwerp de doelgroep beoogd wordt te hebben nadeactiviteiten/campagneofhoeveelmensendienente worden bereikt in diverse leeftijdscategorieën. Er zijn diverse onderzoeksmethoden om te onderzoeken of er een verandering is opgetreden in bijvoorbeeld het kennisniveau of gedrag van de doelgroep op een bepaald gebied, bij-voorbeeld door met vragenlijsten te werken. Meer informatie over onderzoeksmethoden volgt in Hoofdstuk 3.

MetdoelstellingendieSMARTzijn,kanrelatiefobjectiefeenoordeel vastgesteld worden door de prestaties te meten. AlseendoelstellingnietSMARTisgeformuleerd,isobjectiefmanagen op prestaties lastig. Er zal dan vertrouwd moeten worden op het subjectieve gevoel van de uitvoerende orga-nisatie ten aanzien van prestaties en effecten. Organisaties kunnenbovendienlerendoorhetformulerenvanSMART-doelstellingen. Om als organisatie het werk te willen verbe-teren, is het belangrijk om te weten wat er te verbeteren valt en daarvoor is eerlijke en betrouwbare informatie nodig.

Voor de ene soort activiteit zal het makkelijker zijn om SMART-doelstellingenteformulerendanvoordeandere.Zozal de doelstelling van een activiteit als ‘het verlenen van noodhulp’ in vrij concrete (tastbare) bewoordingen te formu-leren zijn, in de vorm van bijvoorbeeld ‘het aantal mensen dat noodhulp zal ontvangen en welke noodhulp zij gaan ontvangen’. Aan de andere kant zal bijvoorbeeld het formu-lerenvanSMART-doelstellingenvoorlangetermijnonderzoeknaar een behandelmethode voor een ongrijpbare ziekte minder voor de hand liggend zijn. Met andere woorden, er is voor goededoelenorganisaties een verschil tussen tastbare en minder tastbare activiteiten. Dit wil echter niet zeggen dat het niet mogelijk of de moeite waard is om voor min-dertastbareactiviteiteneenheldereSMART-doelstellingteformuleren.

In het voorbeeld van onderzoek naar een behandelmethode voor een bepaalde ziekte kan wellicht niet realistisch worden ingeschat dat er bijvoorbeeld een nieuwe behandelmethode of direct toepasbare kennis over preventie uit het onderzoek gaat komen, maar men kan wel subdoelen stellen om een minimaal aantal publicaties te realiseren, een leerstoel op terichten,eenPhD-studentaftelatenstuderenen/ofomhetkennisniveau van de onderzoekers op een bepaald gebied te verhogen. Dit zijn aspecten die in meetbare eenheden, zoals aantallen en percentages, uit te drukken zijn. Ook zou een beschrijving van de beoogde langetermijndoelstellingen (zoals een nieuwe behandelmethode) met een update van de progressie en de uitdagingen hierbij complementair kun-nenzijnaandemeertastbaredoelstellingen.Zoalslater

Voorbeelden van SMART-doelstellingen voor minder tastbare activiteiten:Voorlichting: het kennisniveau op het gebied van ziekte X onder mensen tussen 45 en 65 jaar in Nederland vergroten met 25% op minimaal drie van de tien aspecten van onze bewustwordingscampagne in 2013, vergeleken met het kennisniveau in 2011.

Preventie: het aantal geregistreerde gevallen van tand-erosie onder kinderen van 6 -12 jaar met 10% terug-dringen in 2013, vergeleken met het aantal in 2012.

Onderzoek: in de komende vijf jaar (2013-2018) minimaal drie (vervolg- of PhD-)onderzoeken naar ziekte Y financieren, op het gebied van het ontstaan en de sociale en emotionele aspecten van de ziekte en de patiëntenomgang met de ziekte.

1 2 3 4 5 6 7 8 9 10

30 | VOORBEREIDEN

Een prestatie-indicator kan resultaat- en procesgericht zijn, zoals: het uitvoeren van een X-aantal onderzoeken in het komende jaar (resultaatgericht) of de doorlooptijd van een subsidieaanvraag (procesgericht). Een prestatie-indicator kan ook samengesteld zijn uit meerdere indicatoren, zoals het uitvoeren van vijf wetenschappelijke onderzoeken over de sociale en maatschappelijke opvang van dak- en thuislozen gedurende de looptijd van het project. Een prestatie-indica-tor kan zowel subjectief zijn, bijvoorbeeld de tevredenheid van de bezoekers van de binnenstad over het winkelaan-bod, als objectief, bijvoorbeeld het aantal werkzame perso-nen in een bepaalde sector.Het kan noodzakelijk zijn om een aantal prestatie-indicatoren voor een doelstelling te definiëren. In de praktijk worden hier-bij vaak kwantitatieve (uitgedrukt in getallen) en kwalitatieve (uitgedrukt in woorden, beschrijvend) prestatie-indicatoren gecombineerd. Wanneer blijkt dat het verzamelen van gege-vens omtrent een prestatie-indicator moeilijk uitvoerbaar is, kan de indicator worden vervangen door een vereenvoudig-de of kan overwogen worden voor het verzamelen van data

De prestatie-indicator dient dan ook te zijn het uitvalpercen-tage meisjes op een bepaalde school en niet het uitvalper-centage meisjes in het hele dorp of de regio.

Er kan onderscheid worden gemaakt in een aantal typen prestatie-indicatoren (Ahaus, 2005):• Resultaatindicatorenenprocesindicatoren• Enkelvoudigeofsamengesteldeprestatie-indicatoren• Objectieveensubjectieveprestatie-indicatoren

(SMART-)doelstellingenkaneenorganisatiebeoordelenofzij er in slaagt om de geplande strategie waar te maken. Met behulp van prestatie-indicatoren kan de organisatie de voortgang van haar prestaties meten en beoordelen. Goededoelenorganisaties kennen een aantal activiteiten zoals voorlichting, fondsenwerving, en onderzoek. Prestatie-indicatoren kunnen gekoppeld worden aan deze activiteiten. Een prestatie-indicator is een meetbaar getal dat aangeeft of de doelstellingen worden behaald. Voorbeelden van prestatie-indicatoren zijn: een bedrag, een percentage, een aantal of een tijdseenheid.

Het is belangrijk dat prestatie-indicatoren betrekking hebben opdegenen/datgenevoorwieofwathetprojectbestemdis en om de prestatie-indicatoren op het juiste schaalniveau te formuleren. Dit dient het niveau te zijn waar de activiteit nog invloed op heeft. Bijvoorbeeld, een natuurbeschermings-project heeft ten doel om de biodiversiteit in een lokaal bos te verhogen. Mogelijke indicatoren voor verhoogde biodi-versiteit zijn dan bijvoorbeeld het aantal bepaalde dier- of plantensoorten per hectare in dat specifieke stuk bos. Het is dan van belang dat de prestatie-indicator betrekking heeft op de diersoorten in dat specifieke stuk bos en niet op het aantal van een bepaalde diersoort in de aangrenzende wei-landen, kwelders, provincie of nog wijdere omgeving. Een tweede voorbeeld: Een ontwikkelingsorganisatie heeft ten doel het verlagen van het uitvalpercentage van meisjes.

Goede voorbeelden van prestatie-indicatoren:•%basisschoolkinderendateenlespakketheeft

ontvangen•Aantalex-gedetineerdendateenopleidingheeft

afgerond•Aantalminutendatnodigisommedischevoorzie-

ningen te bereiken•Inkomstenin€uiteenbepaaldeinkomstenbron•Aantalbezoekersvaneennatuurgebied•%mensenineenbepaaldewijkdateensportschool

bezoekt•Aantalvogelsvaneenbepaaldesoortperhectare•Aantalnieuwedonateurs•Aantaltelefonischeenschriftelijke

informatieverzoeken•Aantalartikelengepubliceerdinrelevanteweten-

schappelijke vakbladen naar aanleiding van onderzoek

Slechte voorbeelden van prestatie-indicatoren:•Leefomstandighedenophetplatteland•Natuurgebruikterrecreatie•Historischepandenaankopen•Meermensenbewustmaken•Zoveelmogelijkbijbelsverstrekken

1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 31

Tabel 1: Voorbeeld van gebruik ‘doelstelling’ en ‘prestatie-indicator’

Voorbeeld 1 Doelstelling Prestatie-indicator

Impact In 2015 is de kindersterfte minder dan 15% Kindersterfte (cijfer)

Effect (Outcome) 90% van de huishoudens in land X heeft in 2015 toegang tot schoon drinkwater

% van huishoudens in land X dat toegang heeft tot een waterput op minder dan 15 minuten loopafstand

Resultaat (Output) Het creëren van 100 waterputten Aantal waterputten dat in gebruik is

Tabel 2: Voorbeeld van gebruik ‘doelstelling’ en ‘prestatie-indicator’

Voorbeeld 2 Doelstelling Prestatie-indicator

Impact In 2015 is de algehele volksgezondheid in Nederland verbeterd met 5%

Statusvolksgezondheid(NationaalKompasVolksgezondheid, RIVM)

Effect (Outcome) De structurele sportparticipatie in Nederland isin2015gestegennaar75%

% van de Nederlanders dat structureel sport

Resultaat (Output) 10% van de Nederlanders ouder dan 15 jaar aan het sporten krijgen

Aantal Nederlanders ouder dan 15 dat in het betreffende jaar is begonnen met sporten

een beroep te doen op bestaande informatiebronnen zoals nationale statistieken of gegevens van partnerorganisaties.

In de praktijk worden de termen ‘doelstelling’ en ‘prestatie-indicator’ vaak verschillend gedefinieerd en gebruikt. Ter illu-stratie zijn enkele voorbeelden weergegeven van de wijze waarop onderscheid gemaakt kan worden tussen ‘doelstel-ling’ en ‘prestatie-indicator’ op het niveau van resultaten, effecten en impact.

Idealiter komen de doelstellingen en prestatie-indicatoren die worden benoemd samen in meerjarenbeleidsplannen en jaarplannen. Een van de belangrijkste instrumenten van het bestuur om de doelstelling van de instelling gericht na te streven, is het vaststellen van het beleid. Door te verlangen dat het beleid wordt vastgelegd in een beleidsplan krijgt het beleidsplan een functie bij het nemen van verantwoor-delijkheid door het bestuur. Toegevoegde waarde van een meerjarenbeleidplan is dat het inzicht geeft in de continuïteit van de activiteiten, de effectiviteit daarvan en in voorko-mende gevallen aangeeft waarom bepaalde activiteiten zijn gestaakt. Door de realisatie van het beleid te toetsen krijgt men inzicht of de doelstellingen behaald zijn.

1 2 3 4 5 6 7 8 9 10

32 | VOORBEREIDEN

resultaten (gaan er bijvoorbeeld meer kinderen naar school of is de positie van vrouwen verbeterd?). Heifer Nederland heeft het format dat zij gebruikt om impact te meten ontwikkeld vanuit haar eigen kennis en erva-ring en heeft hierbij gebruik gemaakt van het Logframe model.”Interview met Rian Fokker van Heifer Nederland over het bepalen van de beginsituatie.

SendaCow-projectinOeganda(foto:HeiferNederland)

Het bepalen van de beginsituatie kan gedaan worden aan de hand van een nulmeting. De techniek die gebruikt wordt bij nulmetingen kan variëren van oriënterend tot gevorderd en vergevorderd. Dit kan een behoeftepeiling onder de doel-groep zijn, het verzamelen van basisgegevens over de doel-groep of een omgevingsanalyse naar omstandigheden op basis van informatie van derden of samenwerkingspartners.

“Heifer Nederland heeft een eigen format voor het meten van impact ontwikkeld waarin voor alle projec-ten standaard een baseline-onderzoek, een mid-term-evaluatie en een end-term-evaluatie wordt uitgevoerd. Samenmetpartnerorganisatiesterplaatseenopbasisvan (wetenschappelijke) kennis en ervaring wordt de beginsituatie (baseline) voorafgaand aan het project bepaald. Een mid-term-evaluatie wordt doorgaans intern uitgevoerd en de eindevaluatie (end-term-evalu-atie) wordt doorgaans, zeker bij grote projecten, door eenexternepartijterplaatseuitgevoerd.Daarnaastrapporteren de partnerorganisaties die verantwoorde-lijk zijn voor de uitvoering van de projecten structureel aan Heifer Nederland. Iedere drie maanden krijgt Heifer Nederland een financiële rapportage van haar partnerorganisaties. Ieder half jaar volgt een voortgangsrapport waarin staat welke activiteiten zijn uitgevoerd, wat de huidige situatie is en wat de uitdagingen zijn. Ieder jaar vullen partnerorganisaties het impactmeting-format in en rapporteren ze over de

2.5. Bepalen van de beginsituatie: de nulmeting De derde stap betreft het bepalen van de beginsituatie waarin de doelgroep of populatie zich bevindt. Dit aspect is van vitaal belang in resultaat- en impactmeting, want de beginsituatie geldt als referentiepunt van waaruit activiteiten worden toegepast en uitgevoerd. Door het bepalen van de beginsituatie wordt ook inzicht verkregen in de wijze waarop de activiteit kan worden aangepakt, welke mid-delen nodig zijn om de activiteit uit te voeren en wat de ver-wachtingen zijn. Op basis van de beginsituatie kan achteraf beter worden bepaald welke veranderingen als gevolg van de activiteit hebben plaatsgevonden bij de doelgroep of in de maatschappij.

© Auke Herrema

1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 33

Belanghebbenden zijn individuen of organisaties die als gevolg van de activiteiten van de organisatie positief of negatief beïnvloed worden of die invloed kunnen uitoefenen op de organisatie. Denk hierbij bijvoorbeeld aan (potentiële) donateurs, werknemers, collectanten, patiënten, wetenschap-pers, de doelgroep van de activiteit, de media, institutionele financiers en overheden, maar ook aan belanghebbenden die niet direct betrokken zijn bij of beïnvloed worden door de activiteiten, zoals dorpsbewoners die niet deelnemen aan de activiteiten van de organisatie. Het is van groot belang dat een goededoelenorganisatie duidelijkweetwiedebelanghebbendenen/ofdoelgroepvan de organisatie zijn voordat met een resultaat- en impact-meting wordt gestart, zodat zij vanaf het begin kunnen wor-den betrokken bij de organisatie, uitvoering en evaluatie van de activiteiten.

© Auke Herrema

2.6. Betrekken van belanghebbenden en doelgroep In het ideale geval speelt het betrekken van de belangheb-benden bij de projectcyclus een belangrijke rol; van de definitie van een strategie en het bepalen van de doelstel-lingen, via de planning en uitvoering van activiteiten, tot en met de evaluatie van de resultaten en het toepassen van de geleerde lessen. Het is daarom van belang om de belang-hebbenden te identificeren, hun verwachtingen en infor-matiebehoefte te kennen en betrokkenheid te creëren. Ook is het belangrijk om in kaart te brengen welke impacts als waardevol worden gezien en wiens waarden als basis die-nen om een oordeel te geven over de toegevoegde waarde en kosten van een activiteit (Leeuw en Vaessen, 2009).

Een voorbeeld van een goededoelenorganisatie die actief in dialoog is gegaan met haar belanghebbenden, isPinkRibbon.“OmderolvanStichtingPinkRibbonvoorde toekomst te bepalen zijn van januari tot april 2012 meer dan zestig gesprekken gevoerd met stakeholders, waaronder borstkankerpatiënten, wetenschappers op het gebied van oncologie, medewerkers van Nederlandse kankerzorgcentra en verschillende patiëntenverenigin-gen. Dit om een goed beeld te krijgen van de visie van belanghebbendenopStichtingPinkRibbon.Ookwildenwe met deze gesprekken de huidige Nederlandse situatie en trends op het gebied van borstkanker in kaart brengen en de behoeften van de verschillende partijen inventarise-ren.” (Pink Ribbon, 2011: 6)

De organisatie voert haar projecten en activiteiten uit met als doel een verandering ten opzichte van de beginsituatie, vóór aanvang van de activiteit, tot stand te brengen. Om te bepalen of deze veranderingen hebben plaatsgevonden, wordt halverwege of na afloop van het project een eenme-ting uitgevoerd, ofwel een eerste resultaat- en impactmeting. Het is ook mogelijk om met regelmaat, bijvoorbeeld jaarlijks, eenmetinguittevoerenofbijvoorbeeldéén,tweeen/ofvijfjaar na afloop van het project, om er achter te komen wat de blijvende effecten van het project zijn.

Voor een goede vergelijkbaarheid zijn de aspecten waarop een nulmeting wordt uitgevoerd gelijk aan de aspecten waarop ook de (eind)evaluatie wordt uitge-voerd. Bedenk daarom goed van tevoren hoe de te verwachten resultaten kunnen worden gemeten en houdt deze structuur vast.

1 2 3 4 5 6 7 8 9 10

34 | VOORBEREIDEN

bespaard worden. Als immers al bekend is dat bepaalde activiteiten niet of minder goed werken of alleen onder bepaalde voorwaarden of omstandigheden, kan dit een waardevolle aanvulling zijn bij het voorbereiden en uitvoe-ren van activiteiten en evaluaties.

Om na te gaan of veranderingen daadwerkelijk toe te schrij-ven zijn aan een activiteit van de organisatie (attributie) zijn twee componenten van belang:1. Vergelijking van de situatie vóór en nadat de activiteit

plaatsvindt (analyse van verschil in de tijd).2. Vergelijking van de situatie met en zonder activiteit

(analyse van verschil tussen groepen).Dit is weergegeven in de onderstaande figuur.

b

a

c

Doel

Tijd

Voor Na

Met activiteit

Zonder activiteit

Doelgroep

Start Halverwege Eind



Doelgroep

Doelgroep

Controlegroep

Controlegroep

Figuur 3: Twee aspecten van impact meten: over de tijd en met of zonder de activiteit (gebaseerd op Leeuw en Vaessen, 2009)

2.7. Context en nagaan van attributieDe vierde stap in de voorbereidende fase, het nadenken overdecontextvandemetingenhoeaannemelijkzoukunnen worden gemaakt dat de impact daadwerkelijk het gevolg is van de activiteiten, is voor veel goededoelenorga-nisaties wat minder voor de hand liggend. Vóór het uitvoeren van een evaluatie is het raadzaam om na te gaan wat andere organisaties die vergelijkbare activitei-ten uitvoeren al hebben gedaan en gemeten op dit gebied. Er verschijnen steeds regelmatiger rapporten van studies in (wetenschappelijke) vakbladen over de effecten van bepaal-de activiteiten (zie bijvoorbeeld Ministerie van Buitenlandse Zaken,2011;Maasetal.,2011).Doorgebruiktemakenvan informatie die al voorhanden is, kunnen tijd en kosten

Er zijn diverse modellen om te bepalen wie de belangrijkste (primaire) belanghebbenden zijn, bijvoorbeeld aan de hand van hoeveel invloed zij op de organisatie kunnen uitoefenen (macht), of zij de organisatie legitimiteit geven om activitei-ten uit te voeren (legitimacy) en hoe belangrijk het is gezien de timing en de aard van een claim op de organisatie om aan de belanghebbenden aandacht te schenken (urgency) (Mitchelletal.,1997).Daarnaast zijn er diverse manieren, methodieken en instrumenten die gebruikt kunnen worden voor het erbij betrekken van belanghebbenden en in het bijzonder de doelgroep. Het verzamelen van informatie met betrekking totdebelanghebbenden/doelgroepkanzosimpelzijnalseendeelnemertebevragen,ofzocomplexalshetorganiseren en uitvoeren van een focusgroep. Een aantal manieren om informatie te verzamelen zijn: via vragenlijsten per post, e-mail, internet of telefoon; één-op-één interviews; focusgroepen (ook wel groepsinterviews genoemd); bijeen-komsten en workshops; informatie uit registratie en dossiers en participerende technieken volgens het concept van de Participatory Rural Appraisalen/ofParticipatory Approach. Deze en andere methoden zullen in het volgende deel wor-den toegelicht.

1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 35

Ter verduidelijking volgen enkele voorbeelden van hoe de resultaten voor de projectgroep en controlegroep zouden kunnen worden weergegeven.

Vergelijking voorafgaand en na afloop van het projectFiguur 4 beschrijft hoe de doelgroep van een project of programma zich ontwikkelt, bijvoorbeeld van het begin tot heteindevanhetprojectofprogramma.Bijvoorbeeld:70%van de plattelandsbevolking in regio X woont aan het einde van het project op 15 minuten loopafstand van drinkwater, terwijl dit bij het begin van het project slechts 10% was.

b

a

c

Doel

Tijd

Voor Na

Met activiteit

Zonder activiteit

Doelgroep




Doelgroep

Doelgroep

Controlegroep

Controlegroep

Figuur 4: Ontwikkelingdoelgroep(StiftungZEWO,2011)

De vergelijking voor en na de activiteit kan door de situatie vóór dat met het project is begonnen – gemeten met een nul-meting (zie Hoofdstuk 2, paragraaf 5) – te vergelijken met de situatie na afloop van het project. Het vergelijken van de uitkomsten met of zonder activiteit doet men door dezelfde gegevens te verzamelen onder deelnemers van het project (de projectgroep) en degenen die geen deel uit hebben gemaakt van het project (de controlegroep). Dit wordt ook wel een counterfactual analyse genoemd. Het woord coun-terfactual betekent zoveel als ‘situatie zonder de activiteit’ (Leeuw en Vaessen, 2009). In de voorbereidende fase is het daarom van belang om niet alleen te bepalen wat de pro-jectgroep of doelgroep is, maar ook welke groep (mensen, flora, fauna e.d.) een geschikte controlegroep zou kunnen vormen. Een controlegroep hoeft zeker niet altijd een groep mensen of dieren te zijn. Bij het bepalen van het effect op de projectgroep kan een controlegroep bijvoorbeeld ook gevormd worden door uitkomsten van onderzoeken die niet zijn gefinancierd door de goededoelenorganisatie die de evaluatie uitvoert. Door de niet-gefinancierde onderzoeken te volgen kan geobserveerd worden wat er gebeurt ‘als de activiteit niet zou zijn uitgevoerd’. Worden dan dezelfde of andere resultaten geboekt als bij de door de desbetreffende goededoelenorganisatie gefinancierde (wetenschappelijke) onderzoeken? Of vinden de niet-gefinancierde onderzoeken wellicht niet plaats? En bij natuurbeschermingsprogramma’s kan de controlegroep een vergelijkbaar niet-beschermd natuurgebied of niet-schoongemaakt stuk strand zijn.

1 2 3 4 5 6 7 8 9 10

36 | VOORBEREIDEN

b

a

c

Doel

Tijd

Voor Na

Met activiteit

Zonder activiteit

Doelgroep




Doelgroep

Doelgroep

Controlegroep

Controlegroep

Figuur 5: Vergelijkingontwikkelingdoelgroepencontrolegroep(StiftungZEWO,2011)

b

a

c

Doel

Tijd

Voor Na

Met activiteit

Zonder activiteit

Doelgroep




Doelgroep

Doelgroep

Controlegroep

Controlegroep

Figuur 6: Vergelijkingontwikkelingdoelgroepencontrolegroepvoorafgaandennaafloop(StiftungZEWO,2011)

Vergelijking met controlegroepIn figuur 5 wordt een vergelijking gegeven van de situatie van de doelgroep met de situatie van een controlegroep op een bepaald moment in de tijd. Bijvoorbeeld: 90% van de kinderen in regio X, die lijden aan diarree, heeft een succes-volle medische behandeling gekregen. In de controlegroep in regio Y heeft slechts 60% van de kinderen een succesvolle medische behandeling gekregen.

Vergelijking ontwikkelingen doelgroep en controlegroep voorafgaand en na afloopFiguur 6 vergelijkt de ontwikkeling van de doelgroep met de ontwikkeling van de controlegroep voorafgaand en na afloop van het project of programma. Bijvoorbeeld: 90% van de kinderen in regio X, die lijden aan diarree, heeft een succesvolle medische behandeling gekregen. Dit is meer dan bij de start van het project. Maar de situatie van de controlegroep laat over dezelfde periode een nog grotere verbetering zien zonder dat hier een activiteit heeft plaatsgevonden.

1 2 3 4 5 6 7 8 9 10

VOORBEREIDEN | 37

2.8. Ontwikkelen van een meetmodelDe laatste stap in de voorbereiding van resultaat- en impact-meting is het ontwikkelen van een meetmodel. De kernvra-gen hierbij zijn: wat wordt gemeten en hoe? Het meetmodel geeft meer duidelijkheid in wat de organisatie wil meten, welke methode of welk instrument zij daarvoor wil gebrui-ken, of resultaat- en impactmeting haalbaar zijn en waarover de organisatie wil communiceren. Door hier van tevoren informatie over in te winnen, is het beter mogelijk een goede inschatting te maken van de middelen die nodig zijn om de resultaat- en impactmeting uit te voeren (inzet van medewer-kers, kosten, enzovoort). Een meetmodel kan zowel grafisch als schriftelijk worden vormgegeven.

Een belangrijk onderdeel van het meetmodel is het bepalen of de gegevens die nodig zijn voor de evaluatie bereikbaar ofbeschikbaarzijnofhoemenhieraankankomen.Zoalsgezegd, kan gebruik worden gemaakt van bestaande gegevens, gegevens die anderen verzameld hebben en van het zelf verzamelen van gegevens. Voor het verzamelen

niet altijd gebruik gemaakt kan worden van ‘zuivere’ con-trolegroepen. Werken met controlegroepen kan problemen opleveren wanneer de controlegroep de doelgroep is en vice versa, wat wordt geïllustreerd door het onderstaande voorbeeld.

Probeer de doelgroep zoveel mogelijk homogeen te hou-den. Wanneer er sprake is van grote verschillen in de doelgroep, focus dan op subdoelgroepen. Door de groepen waarmee gewerkt wordt in de evaluatie zo homogeen mogelijk te houden, kan men beter bepalen of de effecten op de doelgroep daadwerkelijk toe te wijzen zijn aan de activiteiten van de organisatie of dat andere, niet-geob-serveerde verschillen tussen de doelgroep en de controle-groep een verklaring voor de gevonden uitkomsten vormen (Webbink, 2011).

Een vergelijking met een controlegroep heeft alleen beteke-nis, en is daarom beter geschikt om een project te legitime-ren, zolang een geschikte controlegroep beschikbaar is of kan worden gevormd, en zolang er geen ethische bezwaren zijn. Het gebruik van controlegroepen kan vooral raadzaam zijn in gevallen waarin er een gebrek is aan gegevens over de uitgangssituatie of deze alleen kunnen worden verkregen tegen hoge kosten.

In het ideale geval worden de deelnemers van een evaluatie (of de populatie flora en fauna bij milieustudies), zowel de projectgroep als de controlegroep, willekeurig geselecteerd (dit heet ook wel ‘a-select’ of ‘random’), zodat de verdeling van kenmerken van de populatie geen invloed heeft op de uitkomsten van het onderzoek. Bij het meten van effecten van activiteiten van goededoelenorganisaties geldt dat er

Voorbeeld van het werken met controle- en doelgroepen.“In sommige projecten wordt in de baseline ook een nulmeting gedaan bij mensen die niet meedoen in het project (controlegroep). Maar dat gebeurt niet in alle projecten. Het blijft lastig, want we hopen juist dat men-sen in de omgeving ook bereikt worden met het project en de initiatieven uit het project gaan overnemen, dus de controlegroep wordt dan al snel de doelgroep.”Interview met Rian Fokker, Heifer Nederland

(foto: Ben Langdon)

Besteed in de resultaat- en impactmeting aandacht aan het vergelijken van overeenkomsten en verschillen, bijvoorbeeld tussen projectgroep en controlegroep, tus-sen nulmeting en eenmeting, tussen eigen resultaten en die van een vergelijkbare organisatie of situatie en/of tussen de vorige en huidige keer dat de activiteiten zijn uitgevoerd.

1 2 3 4 5 6 7 8 9 10

38 | VOORBEREIDEN

kosten beheer en administratie, maar niet onder de kosten voor fondsenwerving. Gemiddeld genomen wordt zo’n 0,5% -1% van het activi-teitenbudget gespendeerd aan evaluatie bij de wat grotere ontwikkelingprojecten in grote landen, maar bij kleinere programma’szo’n2%-5%(OECD,2007).Bijkleinepro-jecten waar enkele tienduizenden euro’s aan budget is, lijkt het niet logisch om 2% - 5% aan evaluatie te besteden, want van zo’n klein bedrag kan nauwelijks een impactevaluatie uitgevoerd worden. Het is dan ook de vraag of voor zulke lage bestedingen een uitgebreide resultaat- of impactmeting haalbaar of relevant is. Wel kunnen bij dergelijke financieel kleinere projecten beschrijvingen worden gegeven van de verwachte en geobserveerde uitkomsten. Alsdeactiviteitentotdoelhebbenomteexperimenteren,ishet verdedigbaar dat hier een aanzienlijk deel, bijvoorbeeld wel tot een derde van het budget, aan evaluatie wordt gespendeerd, maar indien de activiteiten worden uitgevoerd omdat de organisatie de (gefundeerde) verwachting heeft dat de activiteiten succesvol zullen zijn, dan hoeft er ook niet veel te worden besteed aan evalueren. Denk dan aan zo’n 1% - 2% voor de gehele organisatie. Het is dan ook aan te bevelen om van tevoren te onderzoeken of er informatie bekend is over te verwachten resultaten en impact van de uit te voeren activiteiten (interview met prof. dr. R. Ruben, 26 februari 2013).

van gegevens zijn diverse methoden beschikbaar, zoals interviews, focusgroepen, vragenlijsten en dossieronder-zoek. Meer informatie over onderzoeksmethoden vindt u in Hoofdstuk 3, Paragraaf 2. U kunt uitschrijven welke metho-den van gegevens verzamelen zullen worden gebruikt en hoe u de diverse bronnen (documenten, respondenten) kunt bereiken. Het wordt aanbevolen om meerdere methoden van gegevens verzamelen te gebruiken binnen de resultaat- en impactmeting, dit heet de mixed methods approach. Door meerdere methoden te gebruiken om gegevens te verza-melen, kunnen de uitkomsten elkaar bevestigen of uitsluitsel geven in het geval van ontbrekende of moeilijk te interprete-ren gegevens (Leeuw en Vaessen, 2009). Bovendien leveren niet alle methoden en evaluaties dezelfde uitkomsten op.

Bepaal ook wanneer de gegevens dienen te worden verza-meld. Als inderdaad een nulmeting onder een projectgroep (en controlegroep) wordt uitgevoerd, moet dit gebeuren vóór aanvang van het project. Daarnaast dient zich de keuze aan welk meetinstrument wordt gehanteerd. In het volgende hoofdstuk worden diverse meetinstrumentenenmethodengenoemdentoegelicht.Somsgeven financiers aan welke methode moet worden gebruikt.

Het kan ook wenselijk zijn om te beschrijven of er additio-nele fondsen dienen te worden geworven voor de evaluatie en welke mogelijkheden en verwachtingen hiervoor zijn. Het is niet ongebruikelijk dat een deel van het beschikbare bud-get gereserveerd wordt voor evaluatie. Dit valt dan meestal onder de kosten voor de doelstelling of eventueel onder de

Verken tijdig wie de resultaat- en impactmeting gaat uit-voeren. Zijn de benodigde tijd, geld en kennis voorhan-den om zelf een meting uit te voeren of is hiervoor een externe partij en/of additionele financiering nodig?

1 2 3 4 5 6 7 8 9 10

Hoofdstuk III Meten van resultaten en impact

METEN | 39

In dit deel wordt ingegaan op de tweede fase: het meten. In deze fase vallen twee van de tien geïdentificeerde stappen.

Resultaat- en impactmeting kunnen op verschillende manieren worden geïmplementeerd en kunnen zowel door projectma-nagers zelf (zelfevaluatie) als door onafhankelijke derden (externeevaluatie)wordenuitgevoerd.Menzoukunnenzeggen dat zelfevaluatie met name geschikt is wanneer resultaat- en impactmetingen worden uitgevoerd ten behoeve van intern leren of wanneer de middelen van de organisatie beperktzijn.Zelfevaluatieiszeergeschiktvoorhetanalyse-ren van processen en om na te gaan welke verbeteringen waar nodig zijn. Het verdient aanbeveling om de evaluatie uit te laten voeren door een specifiek daarvoor aangewezen evaluatiemanager of programmamanager die over de juiste opleidingenkennisbeschikt.Externeevaluatieszijnvooralgeschikt wanneer resultaat- en impactmetingen worden uit-gevoerd teneinde een programma, project of activiteit van eenorganisatietelegitimeren.Externeevaluatiekanookworden ingezet wanneer de kennis over meten en evalueren binnen de organisatie beperkt is. Om onafhankelijkheid te garanderen is het aan te bevelen om voor de evaluatie van activiteiten ten behoeve van belanghebbenden een onafhankelijke derde in te schakelen, zoals een consultant of onderzoeksbureau.

Er is niet één specifieke manier waarop resultaat en impact gemetenkunnenworden.Zoalsinheteerstehoofdstukalis geconstateerd, is het zelfs maar de vraag of het moge-lijk is om in alle situaties impact te meten, alleen al omdat

STAP











1 2 3 4 5 6 7 8 9 10

40 | METEN

- Outcome Mapping: doelgroep participeert bij het meten van gedragsverandering.

- Theory Based Evaluation: toetsen van de TheoryofChangeenexterneinvloedenin kaart brengen.

- Benchmarking: cijfermatige analyse van de efficiëntie van organisaties en processen.

- Randomized Controlled Trial (RCT): statistisch impact meten van grootschalige activiteiten met behulp van willekeurig geselecteerde controlegroepen.

- Quasi-experimentele Methoden: statistisch impact meten van grootschalige activiteiten met behulp van bewust geselecteerde controlegroepen.

Niet één lijst geeft een volledig overzicht en uitwerking van de beschikbare meetinstrumenten, want er zijn tientallen gedocumenteerde methoden en verwanten van methoden om evaluaties uit te voeren. Organisaties ontwikkelen ook hun eigen manieren en methoden. Alhoewel in deze publicatie eenaantalmeetinstrumentenextraaandachtkrijgt,ishetgeenszins de bedoeling om goededoelenorganisaties hier-mee het idee te geven dat deze de beste zijn of om meetin-strumenten voor te schrijven aan goededoelenorganisaties.

Maas (2009) en Maas en Liket (2010), onderzoekers ver-bondenaanhetErasmusCenterforStrategicPhilanthropyaan de Erasmus Universiteit Rotterdam, hebben in hun onderzoeken een dertigtal bekende methoden voor resul-

kan zijn voor een bepaald type organisatie kan de werk-wijze worden gebruikt en aangepast door andere typen organisaties.EenvoorbeeldhiervanisdeSocialReturnonInvestment(SROI).Dezemethodewerdineersteinstantieont-wikkeld voor non-profit organisaties maar wordt momenteel in toenemende mate gebruikt door bedrijven.

In het Jubileumnummer van Vice Versa, vakblad over ontwik-kelingssamenwerking (jaargang 46, zomer 2012), worden elf evaluatiemethoden omschreven die gebruikt worden bij het evalueren van ontwikkelingssamenwerkingsprojecten. Deze worden hieronder kort genoemd, waarbij het centrale uitgangspunt van de methoden wordt samengevat.

- Most Significant Change Method: verhalen verzamelen over de belangrijkste veranderingen.

- Timeline Analysis: met verhalen een grafische tijdslijn construeren van de ontwikkelingen.

- Social Return on Investment: monetaire waarde toekennen aan resultaten.

- Participatory Assessment of Development (PADEV): met verhalenveranderingen,externefactorenen causale verbanden in kaart brengen.

- Logical Framework: lineair model in eenmatrixvoorplannen,bijsturen en evalueren.

- Result Chain Analysis: terugredeneren wanneer input, output, outcome en impact zijn behaald.

zoveelexternefactorenvaninvloedzijnophetuiteindelijkeresultaat, dat het nauwelijks mogelijk lijkt resultaten toe te schrijven aan sec de activiteit van één instelling. Om een concrete basis aan te bieden volgen hieronder enkele veel-gebruikte meetinstrumenten voor goededoelenorganisaties, die structuur en vorm kunnen geven aan resultaat- en impact-meting. Als eerste wordt ingegaan op stap 6: welke instru-menten goededoelenorganisaties zouden kunnen gebruiken (Paragraaf 3.1). Daarna volgen meer praktische aspecten van het meten, die samen stap7 vormen, zoals welke onderzoeksmethoden er zijn (Paragraaf 3.2) en hoe onder-zoeksgegevens geïnterpreteerd kunnen worden (Paragraaf 3.3),waarbijaandachtisvoordeinvloedvanexternefac-toren en de rol van correlatie en causaliteit. Er wordt inge-gaan op hoe goededoelenorganisaties om kunnen gaan met positieve, negatieve, bedoelde en onbedoelde effecten (Paragraaf 3.4). Tot slot wordt kort ingegaan op de uitdagin-gen die organisaties tegen kunnen komen in het meetproces (Paragraaf 3.5).

3.1. MeetinstrumentenEr zijn talloze instrumenten voorhanden om de prestaties en resultaten van een organisatie inzichtelijk te maken. Veel van deze instrumenten komen uit de private sector, zoals de BalancedScoreCard,deReturnOnInvestment(ROI)enrap-portage-instrumenten van private fondsen en internationale organisaties. Er zijn diverse methoden ontwikkeld door en voor non-profit- of overheidsorganisaties. Andere methoden zijn met name ontwikkeld voor, en worden gebruikt door, bedrijven. Hoewel een methode aanvankelijk ontwikkeld

http://www.outcomemapping.ca

http://www.3ieimpact.org/media/filer/2012/05/07/Working_Paper_3.pdf

http://ec.europa.eu/regional_policy/information/evaluations/pdf/impact/theory_impact_guidance.pdf

http://moodle.unitec.ac.nz/pluginfile.php/69011/mod_resource/content/0/benchmarkingmadesimple.pdf

http://www.tandfonline.com/doi/full/10.1080/19439342.2013.764652

http://books.google.nl/books?id=kl5QBCFpvN4C&pg=PA111&lpg=PA111&dq=quasi-experimenteel+onderzoek+wikipedia&source=bl&ots=eQS1GMFx0F&sig=XOKQM8knUTFoZLA_10d4Sww1HVE&hl=nl&sa=X&ei=lZbJUdf9AqGP0AXUzYGADg&ved=0CG8Q6AEwCQ#v=onepage&q=quasi-experimenteel%20onderzoek%20wikipedia&f=false

http://www.kstoolkit.org/Most+Significant+Change

http://www.mande.co.uk/docs/MSCGuide.pdf

http://www.fao.org/Participation/tools/Timelines.html

http://contextinternationalcooperation.files.wordpress.com/2010/11/sroi-practical-guide_context-international-cooperation.pdf

http://dnwssx4l7gl7s.cloudfront.net/nefoundation/default/page/-/files/A_guide_to_Social_Return_on_Investment.pdf

http://www.padev.nl/

http://www.handboek-internationalisering.be/nl/voorbereiding-van-het-logisch-kader-lfm/

http://wmo.dsp-groep.nl/UserFiles/File/Logical_Framework_Planning.pdf

http://www.mosaic-net-intl.ca/documents/RBM%20HANDBOOK%20ON%20DEVELOPING%20RESULTS%20CHAINS.PDF

1 2 3 4 5 6 7 8 9 10

METEN | 41

VoorspellendeSROI’szijnvooralnuttigbijdeplanningvaneenactiviteit.Zekunnenhelpenbijhetlatenzieninwelkemateeeninvesteringkanleidentoteenmaximaleimpact.DezeSROI’szijnooknuttigvoorhetidentificerenvanwat er gemeten dient te worden zodra het project is gestart. BinnendemethodevanSROIgaatmaatschappelijkeimpact over een verandering die voor (een groep) mensen of het milieu gerealiseerd wordt. Uitgangspunt is dat er een probleem of gebrek is waarvoor een oplossing nodig is. In een ‘verandermodel’ of ‘logisch model’ wordt de relatie tussen inputs, outputs en outcomes omschreven als: wat is het (sociale of milieu-) probleem, wat is de urgentie, wat is de omvang, welke oplossing wordt geboden en met welk doel? Impact is de optelsom van verschillende resultaten en effecten. DaarnaastbetrektdeSROIdeinbrengvanbelanghebben-den (stakeholders) bij de totstandkoming van de impact. De inbreng van stakeholders is bepalend voor de uitkomst vaneenSROI-analyse.Doorgesprekkentevoerenmetallestakeholders in een project en hun mening samen met hen te vertalen in effecten, indicatoren en een financiële waarde, maaktSROIimpactzichtbaar.

SocialReturnonInvestmentiseenmethodeomtebegrijpenhoe bepaalde activiteiten meerwaarde kunnen genereren enhoedezeineeneconomischeen/ofmonetairewaardeomgezet kunnen worden. Net als Return on Investment (ROI) is het een manier om de waarde die gecreëerd is ten opzichte van de initiële investering te schatten. Een institutio-nele financier kan een goededoelenorganisatie bijvoorbeeld vragen om de (maatschappelijke) waarde van een investe-ring of schenking te kwantificeren.

SROIisindekerngebaseerdopzevenprincipes(TheSROINetwork, 2012): • Betrekkenvanbelanghebbenden• Begrijpenwaterverandertvanuithetstandpuntvan

belanghebbenden• Resultateneneffectenvanactiviteitenwaarderen• Richtenoprelevanteensignificantezaken• Nietteveel(willen)claimen• Transparantieoverkeuzenindeanalyse• Verifiërenvanfinanciëleaannamenenresultaten

DeSROIkenttweeverschillendetoepassingen:• Evaluerend,waarbijdemethodeachterafwordtingezet

om de maatschappelijke waarde van de activiteiten te meten op basis van feitelijke resultaten.

• Voorspellend,waarbijdemethodevoorafwordtingezetom te voorspellen hoeveel maatschappelijke waarde kan worden gecreëerd als de activiteiten worden uitgevoerd.

taatmeting bekeken, waarvan uiteindelijk bij acht sociale of maatschappelijke impact wordt gemeten. Alle methoden hebben verschillende sterke en zwakke punten en zijn beter of meer geschikt voor bepaalde doeleinden dan andere en afhankelijk van de groeifase van de organisatie. Vijf instrumenten, ontleend aan het werk van Maas (2009), die van toepassing zijn op de goededoelensector – de overige modellen zijn specifiek ontwikkeld voor bedrijven – worden in de volgende paragrafen afzonderlijk beschreven. Hieraan is het veelgebruikte Logical Framework toegevoegd: • SocialReturnonInvestment(Paragraaf1.1)• SocialImpactAssessment(Paragraaf1.2)• PublicValueScorecard(Paragraaf1.3)• ParticipatoryImpactAssessment(Paragraaf1.4)• BaseofthePyramidImpactAssessmentFramework

(Paragraaf 1.5)• LogicalFramework(Paragraaf1.6)

3.1.1. Social Return on InvestmentEenpopulairinstrumentindegoededoelensectorisSocialReturnonInvestment(SROI),waarbijeenfinanciëlewaardewordt toegekend aan de gemeten sociale effecten en resultaten.HoeweldetermSROIallangerbestondinkosten-batenanalyses, werd een methodologie voor het berekenen van het sociale rendement op investeringen in het kader van sociaal ondernemen voor het eerst gedocumen-teerd in 1996 door REDF (voorheen de Roberts Enterprise Development Fund), een filantropisch fonds dat langetermijn-subsidies ter beschikking stelt aan sociale ondernemingen.

1 2 3 4 5 6 7 8 9 10

42 | METEN

•Waardetoekennenaaninputs. Hoe belangrijk vinden stakeholders dat de organisatie

haar activiteiten, projecten en programma’s uitvoert en welke tegenprestatie willen zij leveren? Welke prioriteiten stellen zij? Kortom, welke inputs zijn van cruciaal belang voor het realiseren van activiteiten en aan welke stakehol-ders zijn deze gekoppeld?

•Omschrijvenvanbeoogderesultateneneffecten(outputsen outcomes).

Fase 3: Dataverzameling•Bepalenvanprestatie-indicatoren. Door relevante prestatie-indicatoren te ontwikkelen en

deze te implementeren binnen de organisatie, kan de maatschappelijke waarde van programma’s, projecten en activiteiten worden gemeten en gemonitord.

•Dataverzameling. Het verzamelen van data (gegevens) op basis van de

door de organisatie bepaalde prestatie-indicatoren. Data kunnen verkregen worden uit bestaande of nieuwe bronnen.

•Bepalenvaneffectenendetermijnwaaropeffectenwaar-neembaar kunnen zijn.

Op basis van verzamelde data bepalen wat de effecten van de activiteiten zijn en het bepalen van de termijn waarop de effecten (nog) waarneembaar kunnen zijn.

•Bepalenvandewaardevandeeffecten. Het toekennen van een monetaire waarde aan de effecten

van activiteiten. Hiervoor worden financiële benaderingen gebruikt om een schatting te maken van de maatschap-

activiteiten. Een analyse van de stakeholders geeft inzicht in wie ze zijn, wat ze inbrengen, wat ze doen en wat zij er voor terug verwachten.

Fase 2: Beoogde input, resultaten en effecten•Ontwikkelenvaneen‘ImpactMap’vanbeoogdeinput,

activiteiten, resultaten en effecten. CentraalindeSROI-analysestaatde‘ImpactMap’.

Deze geeft een beschrijving van de middelen (inputs) die gebruikt worden voor het uitvoeren van activiteiten, het resultaat (outputs) van deze activiteiten en het effect van deze activiteiten (outcomes) op de doelgroep en andere stakeholders.

DeSROI-methodebestaatuitzesfasenendiverseonderlig-gende stappen.Fase 1: Omvang en stakeholders•VaststellenvandeomvangvandeSROI-analyse. EenSROI-analysekanspecifiekwordenuitgevoerdop

activiteit-, project- of programmaniveau of op een meer generiek organisatieniveau.

•Identificerenvanstakeholdersenbepalenvandewijzewaarop stakeholders betrokken worden.

Stakeholderskunnenbetrokkenenzijn(partijendieinveste-ren)en/ofdedoelgroepzijn(partijendieeffectenondervin-den) van de organisatie en haar programma’s, projecten en

“Exodusheeftonderzochtofhetgeconstateerdeposi-tieveeffectvanprojectenenactiviteitenvanExodusop het algemene recidivecijfer vertaald kan worden in maatschappelijkekostenenbaten.ExodusheefttweekeereenonderzoekvooreenExodushuislatenuitvoe-rendooreenexternonderzoeks-enadviesbureau,inAmsterdam en Utrecht. Er zijn onderzoeken bekend over de maatschappelijke kosten van een gemiddelde recidi-vist. Wanneer je het positieve verschil in recidivefactor hiermee vermenigvuldigt, dit verrekent met de kosten van eenExodushuisenhetbegeleidingsprogramma,enditvermenigvuldigt met de jaarlijkse uitstroom, dan weet je globaal wat je op jaarbasis realiseert aan besparingen. Dit levert voor de huizen in Amsterdam en Utrecht posi-tieve cijfers op, hoewel wel sterk uiteenlopend omdat de aannamen grotendeels de uitkomst bepalen.”

Interview met Rien Timmer van Vereniging Exodus Nederland over de maatschappelijke waarde van goededoelenorganisaties.

BattleoftheHouses2012(foto:ExodusNederland)

1 2 3 4 5 6 7 8 9 10

METEN | 43

van publieke of particuliere acties voor mensen en de manier waarop mensen leven, werken, spelen, zich tot elkaar verhou-den, zich organiseren en deel uitmaken van de samenleving.” Socialeproblemenontstaangrotendeelsdoorconflictentus-sen economische ontwikkeling en het gebruik van natuurlijke hulpbronnen. Economische verliezen en sociale kosten van aantasting van het milieu komen vaak lang nadat de eco-nomische voordelen van de ontwikkeling zijn gerealiseerd. Ontwikkelingsprojecten dragen bij aan economische ontwik-keling en een betere leefomgeving, maar kunnen ook nega-tieveinvloedhebbenopdelokalebevolking.SIAhelptinzichtte krijgen in (de mate van) deze gevolgen en veranderingen.

SIAisexplicietontwikkeldvooractiviteitenvanorganisatiesin het kader van economische en sociale ontwikkeling in een internationalecontextenkaninverschillendesituatiesenvoorverschillendedoeleindenwordenuitgevoerd.Erisdaaromextraaandacht voor een conventioneel begrip van deze methodiek. Ineeninternationalecontextspelendiverseoverwegingeneenrol.Dewet-enregelgevendecontextvarieert,decultureleenreligieuzecontextvarieertendesocialeeneconomischeprio-riteiten voor ontwikkeling variëren. Dit kan leiden tot moeilijkhe-den bij het vaststellen en evalueren van effecten en impact.InSIAwordteenbreedscalaaaneffectenmeegenomen,waaronder esthetische, archeologische, demografische, institutionele, psychologische en toerisme-effecten, maar ook gevolgen voor de ontwikkeling van de gemeenschap, de rechten van inheemse volkeren, toegang tot en eigendom van grondstoffen, gezondheid, armoede, en economische, politieke,fiscaleeninfrastructurelegevolgen.Sociale,

verankeren van het analyseproces en de uitkomsten in beleid en activiteiten van de organisatie.

EenSROI-rapportdientvoorzientezijnvanveelmeerdan alleen de kwantitatieve resultaten en de kwantitatieve maatschappelijkewaarde.IneenSROI-rapportwordenactiviteiten, besluiten en verwachte resultaten continu gedo-cumenteerd. Een goede registratie is dus essentieel om een succesvolleSROI-analyseuittevoeren.DeSROIistoepasbaarvooreenbreedscalavangebrui-kers, zowel taal als toepassingsmethoden zijn gemakkelijk te vervangen afhankelijk van de gebruiker. Meer informatie overdetoepassingvandeSROI-methodeviadewebsitevanSocialEvaluator:www.socialevaluator.nl.

3.1.2. Social Impact Assessment (SIA)Een zeer breed instrument om vele vormen van sociale, economische en ecologische impact in kaart te brengen is deSocialImpactAssessment,welkeuitgaatvandynamischimpactmanagement waarbij vanaf de beginfase van een project- of beleidsplan rekening wordt gehouden met het realiserenvanimpacts.SocialImpactAssessment(SIA)omvat het proces van analyseren, bewaken en beheren van de bedoelde en onbedoelde, positieve en negatieve sociale gevolgen van geplande activiteiten en de sociale verande-ringen die hierdoor zijn ontstaan.

De Inter-organisational Committee on Guidelines and PrinciplesforSocialAssessment(1994)heeftsocialeveran-deringen of sociale effecten gedefinieerd als de “gevolgen

pelijke waarde van de activiteiten voor verschillende stakeholders.

Fase 4: Impact bepalen•Hetbepalenenberekenenvanimpact,rekeninghoudend

met spontane effecten, attributie en uitval. Het bepalen van de mate waarin de effecten toe te wij-

zen zijn aan of geïsoleerd kunnen worden voor de inzet van de organisatie en niet veroorzaakt worden door spon-taneeffecten.DitiswatSROIbedoeltmetdetermimpact.Het bepalen van de impact is belangrijk omdat dit het risico op overclaimen vermindert en het de activiteiten van deorganisatiegeloofwaardigmaakt.Spontaneeffectenzijn effecten die zouden hebben plaatsgevonden indien de activiteiten niet zouden zijn uitgevoerd. Door het meten van al deze factoren kan bepaald worden wat de impact van een activiteit is.

Fase 5:SocialReturnonInvestmentbepalenIndezefasewordtdeSocialReturnonInvestmentberekendop basis van de kwalitatieve en kwantitatieve informatie die isverzameld.DeSROIisdeverhoudingtussendefinanciëlewaarde van de investering en de financiële waarde van de maatschappelijke kosten en baten. Hierbij wordt rekening gehouden met verwachtingen, analyse van de gevoelig-heid van aannamen over effect en impact en eventuele terugverdientijden. Fase 6: Rapporteren en integrerenDelaatstefaseindeSROI-methodebetreftderapportage,de verificatie van de rapportage en de communicatie rich-ting de doelgroep en andere belanghebbenden. Daarnaast wordt in deze fase aandacht besteed aan het toepassen en

http://www.socialevaluator.nl/ip/uploads/tblDownload/SROI%20Guide.pdf

1 2 3 4 5 6 7 8 9 10

44 | METEN

DeafzonderlijkefasenvandeSIA-methodezijn:1. Bepalenvandeomvangendecontextvanhetproject.2. Identificeren van stakeholders en het uitvoeren van een

stakeholderanalyse.3. Identificeren van sociale factoren (wat zijn de belangrijk-

ste sociale issues?).4. Analyseren van data en bepalen van doelstellingen en

prioriteiten.5. Betrekken van stakeholders en ontwikkelen van het pro-

ject.6. Uitvoering van en deelname aan het project.7. Monitorenvanhetproject,betrekkenvanstakeholders

en bijsturen project.

VoormeerinformatieoverdeSocialImpactAssessment-methode: Centre for Good Governance (2006)

3.1.3. Public Value ScorecardDePublicValueScorecardisin2003ontwikkelddoorRobert Kaplan en is gebaseerd op het concept van de BalancedScorecard,toegespitstopnon-profitorganisaties.EenaantaluitgangspuntenvandeBalancedScorecarddienttevensalsbasisvoordePublicValueScorecard.Beideinstrumenten erkennen dat het meten van niet-financiële resultaten en effecten belangrijk is, zoals ook het evalue-ren van het proces minstens zo belangrijk is als het meten van uitkomsten en effecten. Het proces van meten en het gekozen meetinstrument ondersteunen de onderliggende organisatiestrategie.

DeSIA-methodeiseenprocesomtewaarborgendatont-wikkelingsactiviteiten (a) gebaseerd zijn op en rekening hou-den met relevante maatschappelijke issues, en (b) voorzien in deelname van een breed scala aan belanghebbenden. DeSIA-methodebestaatuiteenaantalfasendieinonder-staande figuur zijn weergegeven.

economische en ecologische effecten van activiteiten zijn volgensSIAinherentenonlosmakelijkmetelkaarverbonden.Verandering in het ene domein leiden automatisch tot ver-anderingen in andere domeinen, waardoor rekening dient te worden gehouden met een hogere mate van impact en cumulatieve of meervoudige impact (Vanclay, 2003).

Social Assesment Process

Ensuremonitoringwith active stakeholder involvement and modify it

Implement mitigation plan and public

participationConsult stakeholders and Develop mitigative plans

Identify stakeholdersPerform stakeholder

analysis

Analyse project context

Identifysocial

factors/variable

Analyse data andassess priorities

1

2

3

45

6

7

Figuur 7: SocialAssessmentProcess(CentreforGoodGovernance,2006,gebaseerdopRietberg-McCracken en Narayan, 1998)

http://unpan1.un.org/intradoc/groups/public/documents/cgg/unpan026197.pdf

1 2 3 4 5 6 7 8 9 10

METEN | 45

den, is het voor de instelling van belang dat deze doelen explicietgemaaktwordenomsuccesvoldestrategievande organisatie te kunnen bepalen en te managen.

• Legitimacy and support: Publieke waarde versus finan-ciële waarde en de rol van donoren. Goededoelenor-ganisaties ontvangen donaties van verschillende soorten donateurs, ook van donateurs die niet direct profiteren vandeactiviteitenvandeorganisatie.Zeontvangensubsidies of worden ingehuurd door overheden om projecten en activiteiten ten behoeve van de samenle-ving te realiseren. Voor deze organisaties is de publieke waarde van de activiteiten en de effecten ervan ver-moedelijk belangrijker dan de financiële waarde. Het belangrijkste verschil met bedrijven is dat de waarde die ze krijgen een maatschappelijke waarde is die aansluit bij het doel van de organisatie, in plaats van een particuliere financiële return die afkomstig is van de verkoop van een product of dienst boven de kostprijs.

• Organizational capacities: Operationele capaciteit. Heeft de organisatie voldoende mogelijkheden om de gewenste doelen te bereiken? Wanneer goededoe-lenorganisaties proberen sociale effecten te bereiken, hebben zij vaak hulp nodig van andere organisaties. Zezijnzeldengrootgenoegombelangrijkemaatschap-pelijke doelen helemaal zelf te bereiken en hebben dus behoefte aan partners of coproducenten. Dit betekent dat goededoelenorganisaties vaak belangrijke keuzen dienen te maken over hoeveel middelen zij besteden aan zichzelf en hoeveel zij gebruiken voor het mobilise-ren van samenwerkingspartners.

Drie belangrijke uitgangspunten voor goededoelenorganisa-ties zijn weergegeven in onderstaande figuur.

Legitimacy& Support

OrganizationalCapabilities

SocialMission

Figuur 8: Uitgangspunten goededoelenorganisaties Public ValueScorecard(Moore,2003)

• Social Mission: Welke waarde wil de organisatie cre-eren, welke doelstellingen wil de organisatie bereiken? Bijvoorbeeld: het bieden van noodhulp aan mensen die dit acuut nodig hebben, het verbeteren van de sociale omstandigheden van een bepaalde doelgroep of in een bepaalde regio. Hoewel deze doelstellingen niet altijd worden samengevat in of vertaald naar financiële waar-

1 2 3 4 5 6 7 8 9 10

46 | METEN

3.1.4. Participatory Impact Assessment (PIA)Een instrument dat uitgaat van een actieve participatie van de doelgroep bij evaluatie is de Participatory Impact Assessment (PIA), ontwikkeld door het Feinstein International Center. Dit instrument past de participatieve methodologie toe in het analyseren van resultaten en effecten in vergelij-king met de oorspronkelijke organisatiedoelstellingen. De centrale vraag in deze aanpak is: “welk verschil maken wij?” Het gaat hierbij niet alleen om het bepalen van de impact op de leefomstandigheden, maar ook om het vorm-geven van organisatieprocessen en hoe om te gaan met het ontbreken van informatie over de beginsituatie.

De PIA-methode biedt niet alleen een handig hulpmiddel voor het bepalen van de verandering die is opgetreden, maar ook een manier voor het begrijpen waarom deze heeft plaatsge-vonden. De PIA-methode biedt geen gedetailleerde stap-voor-stapformule of set van instrumenten voor het uitvoeren van effectbeoordelingen, maar beschrijft acht stadia van het proces en geeft voorbeelden van hulpmiddelen die kunnen worden toegepastinverschillendecontexten.PIA is ontwikkeld om in tegenstelling tot traditionele resultaat- en impactmethoden die in de humanitaire sector worden gebruikt, nadruk te leggen op echte impact gebaseerd op lokale uit-gangspunten en indicatoren. De PIA-methode is een uitbreiding van de Participatory Rural Appraisal (PRA) en past participa-tieve instrumenten in combinatie met conventionele statistische benaderingen toe om de impact van humanitaire hulp en ontwikkelingsprojecten op de levens van mensen te meten. De aanpak benadrukt de betrokkenheid van de doelgroep en de

Moore (2003) geeft tevens een schematische weergave van de organisatieprocessen (linker deel) en de waardeketen (rechter deel) van goededoelenorganisaties.

Organization

Partners and Co-Producers

Client

satisfaction

Outcomes

ActivitiesProcessesProceduresPrograms

Inputs Outputs

Figuur 9: OrganisatieprocessenPublicValueScorecard(Moore,2003)

Ook in dit model leiden middelen (inputs) tot directe resulta-ten (outputs) en wordt samen met partnerorganisaties bereikt dat de activiteiten voor de doelgroep toegevoegde waarde hebben, welke ook weer verdere effecten (outcomes) hebben. Voor meer informatie over de PublicValueScorecard:Moore, M.H. (2003)

http://www.hks.harvard.edu/hauser/PDF_XLS/workingpapers/workingpaper_18.pdf

http://www.hks.harvard.edu/hauser/PDF_XLS/workingpapers/workingpaper_18.pdf

1 2 3 4 5 6 7 8 9 10

METEN | 47

tijd heeft tot doel om ervoor te zorgen dat iedereen begrijpt binnen welke kaders impact wordt beoogd. Fase 3: Identificeer prestatie-indicatoren voor het project.Het identificeren van indicatoren voor het meten van impact. Fase 4: Methoden.Het bepalen van de methode of methoden die gebruikt worden om de impact van het project op de leefomstandig-heden van mensen te meten. Fase 5:Steekproef.Afhankelijk van de tijd en de middelen die beschikbaar zijn, wordt een keuze gemaakt voor de grootte van de steekproef op basis waarvan impact wordt gemeten. Fase 6: Beoordelen van projectattributie. In elke gemeenschap of lokale omgeving waar een project wordt uitgevoerd, zullen in de tijd veranderingen plaatsvin-den. Welke veranderingen treden op als gevolg van het project en kunnen toegeschreven worden aan de specifieke projectactiviteiten en welke veranderingen zouden hebben plaatsgevonden ongeacht het project? Fase 7: Triangulatie.Triangulatie is een cruciale fase in het meten van impact en gaat om het gebruik van andere informatiebronnen (eerdere studiesenrapporten,externeonderzoeken,enzovoort)vooreen vergelijking en controle van de resultaten van de partici-patieve methoden die zijn gebruikt. Fase 8: Feedback en validatie.Deze laatste fase betreft het rapporteren en communiceren over de resultaten van deze PIA-analyse naar de lokale gemeenschap.

zen aan het specifieke project of de organisatie, worden de numerieke scores met behulp van de PIA-methode gerang-schikt en vergeleken met andere factoren die van invloed zijn op de waargenomen veranderingen.

De acht fasen van de PIA-methode zijn in onderstaande figuur weergegeven.

Stage 8: Feedback and verify the results with the community

Stage 7: Triangulate

Stage 6: Assess project attribution

Stage 5: Decide wich sampling method and sample size to use

Stage 4: Decide wich methods to use, and test them

Stage 3: Identify and prioritize locally-defined impact indicators

Stage 2: Define the geographical and time limits of the project

Stage 1: Define the questions to be answered

Eight Stages of a Participatory Impact Assesment

Figuur 10: Fasen Participatory Impact Assessment-methode (Catleyetal.,2007)

Fase 1: Bepaal welke vragen beantwoording behoeven.Het definiëren van vragen voor het beoordelen van impact is vergelijkbaar met het definiëren van de doelstellingen van het project.Fase 2: Bepaal de omvang van het project (ruimte en tijd).Het definiëren van de grenzen van het project in omvang en

leden van de gemeenschap bij het beoordelen en meten van resultaten, effecten en impact. Het gaat hierbij om de positieve en negatieve veranderingen die worden waargenomen.

Drie kernvragen staan centraal: • Welkeveranderingenhebbenindelokalegemeen-

schap plaatsgevonden sinds de start van het project? • Welkevandezeveranderingenzijntoetewijzenaan

het project, of zijn veroorzaakt door het project? • Welkeverschillenhebbendezeveranderingengemaakt

in het leven van mensen in de lokale gemeenschap?

In tegenstelling tot traditionele methoden heeft de PIA-methode als doel de daadwerkelijke effecten van een pro-ject op het leven van mensen te meten. PIA meet naast de resultaten van een project (welke diensten zijn geleverd met welke input) in welke mate de veranderingen, die de doel-groep ervaart als gevolg van een project, toe te wijzen zijn aan de specifieke projectactiviteiten. Impact wordt gemeten op basis van kwalitatieve indicatoren zoals veranderingen in status en welzijn of veranderingen in het niveau van participatie door de bevolking gedurende het project. Het gebruik van participatieve rangschikking en scoringsmetho-den vertaalt de kwalitatieve resultaten, vaak gebaseerd op meningen of percepties, naar numerieke scores. Voor projecten in de humanitaire-hulpsector is het vaak lastig de beginsituatie vast te stellen, met name wanneer het gaat om noodhulp. Daarnaast kan het gebruik van een contro-legroep in deze setting vaak onpraktisch of zelfs onethisch zijn. Om te kunnen bepalen of veranderingen zijn toe te wij-

1 2 3 4 5 6 7 8 9 10

48 | METEN

The World Economic Pyramid

Population

Individual annual income(2005 USD in Purchasing Power Parity)

Mature markets: > $20,000

Emerging markets: $3,260 to $20,000

Survival markets: <$3,260

Most companies focus on mature and emerging markets, whilethe huge market of 4 billion people living on less then $3,260a year goes largely untapped. World Resources Institute

0.5 billion

2 billion

4 billion

Figuur 11: TheWorldEconomicPyramid(WorldResourcesInstitute,2007)

Een voorbeeld van een participatieve methode die veel wordt gebruikt in de ontwikkelingssamenwerking is ‘outcome mapping’. Deze methode is ontwikkeld door het Canadese International Development Research Centre (IDRC) Ook bij deze methode staat niet zozeer het meten centraal als wel de gedragsverandering. Gedurende de looptijd wordt de voortgang gemonitord en geven de deelnemers van het project zelf aan hoe ver zij in het proces zijn van gedragsverandering.

Voor meer informatie over de Participatory Impact Assessment-methode: sites.tufts.edu/feinstein/Voor meer informatie over de outcome mapping-methode: www.outcomemapping.ca.

3.1.5. Base of the Pyramid Impact Assessment FrameworkHet Base of the Pyramid Impact Assessment Framework is ontwikkeld om impact te meten en uit te dragen, de orga-nisatiestrategie vorm te geven en betere investeringsbeslis-singen mogelijk te maken. De Base of the Pyramid, ook wel Bottom of the Pyramid of BoP genoemd, is een economisch model dat de wereldbevolking in drie welvaartsgroepen verdeelt.

De top van de piramide vertegenwoordigt ongeveer een half miljard mensen, die in grote welvaart leven, meestal in de rijke landen waar de markten zich volledig hebben door-ontwikkeld. Daaronder zit de groep van ongeveer twee mil-jard mensen met een inkomen tussen de 3.260 en 20.000

http://sites.tufts.edu/feinstein/2008/participatory-impact-assessment

http://www.outcomemapping.ca

1 2 3 4 5 6 7 8 9 10

METEN | 49

Figuur 12: BoP Impact Assessment-methode (London, 2008)

Business model of BoP venture

Use findings to enhance business model design

Assess business model to understand who is ompacted

Use BoP Impact Assessment Framework to generate an in-depth understanding of the povertyr alleviation implications of the venture

Identify most salient potential positive and negative impacts (based on a assessment of magnitude and likelihood)

Determine data collection methodology and data analysis strategy

Develop the data collection instrument invluding indicators for the most salient impacts

Design and implement a field-based process for data collection

Evaluate the data collected

Use findings to design process for tracking impact

Use findings to enhance business model design

Use findings to enhance process for tracking impact

Strategic Analysis

Performance analysis

dollar per jaar per hoofd. In de onderste groep, de bodem van de piramide, zitten ongeveer vier miljard mensen met een gemiddeld inkomen onder de 3.260 dollar per jaar. Van deze groep is een kwart erg arm, met een inkomen van twee dollar per dag of minder. Dit is de belangrijkste doelgroep voor hulporganisaties. De resterende drie miljard mensen hebben gemiddeld enkele tot negen dollar per dag uit te geven. Dit is de BoP-markt. Deze mensen scharrelen meestal hun kostje bij elkaar in de informele economie en kleinschalige landbouw. Vaak leven ze van ‘hand tot mond’: er is nauwelijks spaargeld, ze hebben geen bankrekening en bezitten vaak niet de woning of de grond van hun huisje. Het geld gaat naar de meest basale levensbehoeften.

Het Base of the Pyramid Impact Assessment Framework of BoP ImpactAssessmentFrameworkisontwikkeldin2007.Hetdoelvan het BoP Impact Assessment Framework is om te begrijpen wie wordt beïnvloed door (investerings-)projecten en -activitei-ten en in welke mate. Het kader is ontwikkeld om investerings-beslissingen in de BoP-markt te evalueren en de effecten van deze beslissingen op armoedebestrijding te bepalen.

De methode gaat uit van de drie belangrijkste lokale sta-keholders: (1) kopers, (2) verkopers en (3) lokale gemeen-schappen, en drie factoren in armoedebestrijding: (1) wel-zijn, (2) economische capaciteit en (3) de wijze waarop mensen en organisaties zich in een lokale gemeenschap tot elkaar verhouden.

Een BoP Impact Assessment begint met een strategische analyse van alle te verwachten positieve en negatieve effecten van het project op de lokale belanghebbenden, de verwachte omvang van deze effecten en de relatieve waar-schijnlijkheid dat deze effecten zullen plaatsvin-den. De strategische analyse biedt informatie om de opzet van het project aan te scherpen of te verbeteren en het project zodanig uit te voeren datdepositieveeffectenmaximaalzijnendenegatieve effecten beperkt. De volgende fase betreft de prestatieanalyse. Korte- en langetermijnprestatie-indicatoren worden geformuleerd waarmee de meest opvallende effecten gemeten kunnen worden en er wordt een strategie bepaald voor de dataverzameling. In deze strategie voor dataverzameling is zowel aandacht voor het vaststellen van de doelgroep als voor een controlegroep met belanghebbenden die niet worden bereikt met het project.

Het primaire doel van het BoP Impact Assessment Framework is een gestandaardiseerd instrument en proces voor continue evaluatie en verbetering van investeringen en projecten die bijdragen aan het bestrijden van armoede. Door deze methode toe te passen worden zowel investeringen (input) en resultaten (output) als positieve en negatieve effecten op belangheb-benden (impact) systematisch vastgelegd. De

1 2 3 4 5 6 7 8 9 10

50 | METEN

The logframe is a SUMMARY of the project, to answer the questions WHY the project is being done, and WHAT IMPACT the project will have.

Hierarchy of Objectives Verifiable Indicators Means of Verification Assumptions

this will contribute to

the goal.

Goal

1

Broad.

Project contributes to the

overall goal.

Usually not necessary as

too general and hard to

measure in limited time

period.

What record will be kept.

What methods of data and

information gathering will

be used?

What must hold true for the

rationale to work.

Whatrisksexisttonot

achieving ultimate goal.

we anticipate the

purpose will result.

If the pupose is

achieved, then

Purpose

1 (2 if necessary).

Theuse/result/immediate

impact of the project.

Include beneficiaries in

statement.

Explainstheextentofthe

resuls at end-of-project.

QQT: quality, quantity,

time.

Used for evaluating the

project.

Eg. baselines surveys,

government records,

minutes of neetings,

trip reports, training

evaluations.

What must hold true for the

purpose to result from the

outputs.

we produce the

outputs. If we

produce the

outputs, then

Outputs

1- 4

What we produce.

What the management is

responsible for archieving.

Expressthescopeofthe

project.

How many? What type?

Use for monitoring the

project.

As above. What conditions must

remain valid for the activi-

ties to result in the outputs.

If we do the

activities, then

Activities

1- 4 for each output.

What we actually do.

Summary of Inputs

Mention total budget

and inputs of various

participants.

Conditions Precedent

Agreements or inputs

necessary to begin project.

Policy or activity of other

agencies required.

The question of HOW the project should be implemented should be addressed in the NARRATIVE, ACTIVITY

SCHEDULE and BUDGET of the proposal.

Figuur 13: Logframemodel(IDSS,1999)

methode heeft specifiek aandacht voor het erkennen van wat er fout is gegaan, wat de geleerde lessen zijn en de moge-lijkheden voor verbetering.

Voor meer informatie over het Base of the Pyramid Impact Assessment Framework: www.baseofthepyramid.nl.

3.1.6 Logical FrameworkHet gebruik van zogenaamde Logical Frameworks is een manier om de relatie zichtbaar te maken tussen de mid-delen die nodig zijn om projecten en programma’s uit te voeren (inputs), de activiteiten die worden uitgevoerd, de resultaten(outputs)endeeffecten(outcomes/impact)diebereikt worden. De essentie van deze Logical Frameworks is de focus op de veronderstelde causale verbanden: dat als een bepaalde activiteit wordt ondernomen deze ook leidt tot bepaalde resultaten (outputs), wat vervolgens leidt tot het behalen van bepaalde effecten (outcomes) en uiteindelijk een bepaalde impact op de doelgroep.

Na de oorspronkelijke ontwikkeling van het Logical Framework door onder andere Weiss, Wholey en anderen indejaren’70(zieWeiss,1972),zijnveelverbeteringenen variaties toegevoegd aan het basisconcept. Het meest bekende en gebruikte Logical Framework is de Logical Framework Analysis (Logframe).

1 2 3 4 5 6 7 8 9 10

METEN | 51

te verbinden en die proberen om de toegevoegde waarde van de activiteit te bewijzen ten opzichte van de beste alternatieve activiteit (vrij vertaald vanuit het Engels, Clark et al. 2004:8).

• Monetairemethodenzijngerichtophetvertalenvanre-sultaten en effecten naar een economische of monetaire waarde.

Deze drie categorieën meetinstrumenten vullen elkaar aan en hebben elkaar nodig. Men kan geen gebruik maken van gegevens van effectbeoordeling tenzij ze procesma-tig zijn uitgevoerd. Ook andere methoden zijn volledig afhankelijk van gedegen processen voor dataverzameling, zoals veronderstellingen over de economische waarde vanresultatenenandereexternegegevens.Demeestemeetinstrumenten die in dit hoofdstuk zijn uitgewerkt zijn pro-cesmethoden.DeSocialImpactAssessment,deParticipatoryImpact Assessment, Base of the Pyramid Impact Assessment Framework en het Logical Framework zijn daarnaast even-eenstekenmerkenalsimpactmethoden.DeSocialReturnonInvestment is een monetaire methode. Niet alle instrumenten passen bij alle goededoelenorganisaties en het is daarom belangrijk om inzicht te krijgen in de diverse instrumenten alvorens de juiste te kiezen om toe te passen.

Een andere manier om te bepalen welk meetinstrument het meest geschikt is voor een organisatie kan zijn door te kijken naar welke aspecten van de in Hoofdstuk 2 beschreven vijf stappen worden meegenomen in de meetinstrumenten.

3.1.7 Keuze welk meetinstrumentEen belangrijke vraag die veel goededoelenorganisaties – en bedrijven en overheden – hebben, is welk meetinstrument het meest geschikt is voor de organisatie en de voorwaar-dendieaandeevaluatiezijngesteld.Sommigefinancierszullen voorschrijven welk meetinstrument dient te worden gehanteerd. Dit kan zijn om de vergelijkbaarheid van aan-geleverde evaluaties te verhogen, systematisch evaluatiedata teverzamelenen/ofeenefficiëntebeoordelingviaeenuni-form rapportageformat mogelijk te maken. Resultaat- en impactmeting zijn een van de moeilijkste vor-men van onderzoek omdat resultaten sterk beïnvloed worden doordecontextendebenaderingdiewordtgebruikt.Deindit hoofdstuk beschreven meetinstrumenten voegen elk een aparte dimensie toe aan het vormgeven en structureren van resultaat- en impactmeting. Een indeling van meetinstrumen-tenen/ofmethodennaarfunctiekanhelpenbijhetbepalenwelke soort instrument(en) gebruikt kunnen worden. De onderstaande onderverdeling komt van onderzoekers Clark et al. (2004): • Procesmethodenzijninstrumentenenmethodendie

gericht zijn op het volgen van de efficiëntie en ef-fectiviteit van resultaten, variabelen of indicatoren, die het management gebruikt om lopende operationele processen bij te houden. Effecten (outcomes) kunnen ver-volgens worden geëvalueerd door de mate waarin ze correleren (statistisch verband houden) met de gewenste maatschappelijke resultaten.

• Impactmethodenzijninstrumentendiemeetbareresulta-ten (outputs) en effecten (outcomes) met elkaar proberen

De basis van het Logframe-model is de waardeketen (Hierachy of Objectives). De activiteiten die worden uitge-voerd leiden tot bepaalde uitkomsten of resultaten (outputs). Deze resultaten dragen bij aan het realiseren van de doelstelling (purpose). Het realiseren van de doelstelling draagt vervolgens bij aan het bereiken van een algemeen maatschappelijk effect (goal). De indicatoren (Verifiable Indicators) beschrijven hoe maatschappelijke effecten, doelstelling en resultaten worden bereikt in termen van kwan-titeit, kwaliteit, doelgroep, plaats en tijd. Ook worden de middelen benoemd die nodig zijn om de activiteiten uit te voeren. De informatiebronnen (Means of Verification) geven aan waar en op welke manier de gegevens gevonden kun-nen worden die aangeven of de doelstellingen en resultaten behaald zijn. Als er aan de randvoorwaarden voor het pro-ject is voldaan kunnen de activiteiten beginnen. Wanneer op de verschillende niveaus de condities (Assumptions) zijn vervuld, zullen activiteiten leiden tot resultaten en zullen deze resultaten bijdragen aan het realiseren van de doelstelling en het bereiken van het algemeen maatschappelijke effect.

Het Logframe-model wordt nu wereldwijd gebruikt door vele overheidsinstellingen en NGO’s. Het is een verplicht kader voor organisaties die overheidsfinanciering ontvangen in het kader van ontwikkelingssamenwerking in verschillende landen,waaronderAustralië,Canada,Nieuw-Zeelandende Europese Unie.

1 2 3 4 5 6 7 8 9 10

52 | METEN

3.2. Kwalitatieve en kwantitatieve onderzoeksmethoden Stapzevenbetrefthetverzamelenenanalyserenvangege-vens. Deze stap valt uiteen in vier paragrafen (3.2. tot en met 3.5.).Nadat doelstellingen en prestatie-indicatoren zijn geformu-leerd, een nulmeting van de beginsituatie is gedaan, een meetinstrument is gekozen om de resultaat- en impactmeting vorm te geven en het project is uitgevoerd, kunnen gegevens worden verzameld over de resultaten en eventuele verdere effecten en impact van het project (of programma). We spreken van evaluatie als een manier om te begrijpen wat er veranderd is door activiteiten van de organisatie. Die veran-dering kan worden gemeten aan de hand van de gekozen prestatie-indicatoren, welke de inhoudelijke leidraad vor-men voor de meting. Bij meten wordt al gauw in getallen

oorsprong vinden bij en van toepassing zijn op de ontwik-kelingssamenwerking. Elementen uit deze modellen kunnen ook toepasbaar zijn op organisaties in de gezondheids-, welzijns- of milieusector. Daarnaast valt op dat in de meet-instrumenten wel de logische stappen staan beschreven die een organisatie dient te doorlopen, maar dat de daad-werkelijke meting en rapportage daarover ook nog andere methodieken, vaardigheden en inspanningen vergen. Daar wordt in de volgende paragrafen op ingegaan.

Tabel 3: Kenmerken van meetinstrumenten

Stap 1: Theory of Change

Stap 2:SMART/indicatoren

Stap 3:Beginsituatie

Stap 4:Context/Attributie

Stap 5:Meetmodel

SROI +++ +++ + +++ ++

SIA +++ ++ ++ +++ +

PVS ++ +++ + + ++

PIA +++ +++ ++ +++ +++

BoP ++ +++ + + +++

Logframe +++ +++ +++ ++ +++

Op basis van de kenmerken in de tabel lijkt de Participatory Impact Assessment (PIA) het hoogst te scoren op de kenmer-ken van de vijf stappen die een organisatie dient te door-lopen alvorens te beginnen met resultaat- en impactmeting. Echter, zoals beschreven is deze methode met name geschikt voor voortgangs- en evaluatieonderzoek onder doelgroepen die kunnen participeren in het onderzoek. Een milieuorgani-satie die zich richt op het behoud van flora en fauna heeft hier weinig aan. De tabel met de kenmerken van de diverse meetinstrumenten kan ook gebruikt worden om andere meet-instrumenten en modellen te beoordelen op geschiktheid.Nogmaals, het is niet de bedoeling om de in deze para-graaf beschreven meetinstrumenten voor te schrijven of aantebevelen.Zijdieneneerderterillustratievanwateraan modellen voorhanden is. Het valt op dat de meeste meetinstrumenten die in deze paragraaf zijn besproken hun

Er is geen ‘beste’ meetinstrument voorhanden. Alleen door ‘trial and error’ en experimenteren kan een goe-dedoelenorganisatie ondervinden welk model wel of niet werkt of kan een eigen weg worden gevonden. Beargumenteer altijd waarom voor een bepaalde metho-de wordt gekozen of waarom eventueel wordt gestopt met het toepassen van een methode.

1 2 3 4 5 6 7 8 9 10

METEN | 53

Ook het analyseren van informatie uit registratie en dossiers kan cijfermatige gegevens opleveren. Daarnaast kunnen observaties, van bijvoorbeeld een vogeltelling, kwantitatieve gegevens opleveren. Ook kan gebruik worden gemaakt van(internationale)ranglijstenofindexen,zoalsdeHumanDevelopmentIndex,rekentechniekenzoalsDalyAdjustedLifeYears(DALYS)enanderecijfermatigebronnenomresultatente meten en tegen af te zetten.

voor de mate waarin het project heeft bijgedragen aan een verandering. Speciaalvoorontwikkelingsprojectenvormenparticipatievemethoden of instrumenten voor resultaat- en impactme-ting, zoals de Participatory Impact Assessment (PIA) en Participatory Rural Appraisal een alternatieve en complemen-taire aanpak. Deze methoden richten zich spelenderwijs op het bevragen van de doelgroep op de veranderingen die zich hebben voorgedaan, welke dit zijn en door welk pro-ject deze veranderingen zijn ontstaan. Technieken die hier-voor gebruikt kunnen worden zijn bijvoorbeeld gebaseerd op sport en spel, theater en drama-opdrachten, visualisaties, het maken van collages en dergelijke.

Kwalitatieve data kunnen veel informatie opleveren, soms zelfs zoveel dat het lastig is structuur en prioriteiten aan te brengen in de veelheid aan informatie. Bijvoorbeeld: het gegeven dat honderd mensen gebruik hebben gemaakt van een dienst vertelt alleen een deel van het verhaal en is te beperkt om te kunnen bepalen of deze dienst effect heeft gehad op deze mensen, de kwaliteit.

Typisch kwantitatieve onderzoeksmethoden zijn het zelf afne-men of laten invullen van vragenlijsten en enquêtes. Het gaat hierbij om vragen die niet zozeer open van aard zijn, als wel gesloten en gericht op aantallen. Bijvoorbeeld hoe groot de veestapel voor en na het project is, hoe hoog het inko-men is, hoeveel hectare landbouwgrond wordt bebouwd of wat het kennisniveau op een schaal van 1-10 is over een bepaald onderwerp.

gedacht, maar het meten van resultaat en impact beperkt zich hier niet toe. De gegevens die gebruikt worden in een evaluatie kunnen zowel kwalitatief als kwantitatief van aard zijn of een combinatie van beide.

Kwalitatief onderzoek is verbaal, beoordelend en opinië-rend, waarbij het begrijpen van de belevingswereld van de onderzochten in een bepaalde situatie centraal staat. De uitkomsten van kwantitatief onderzoek zijn getallen, zoals aantallen, scores, percentages, tijdreeksen of geldbedragen.

Typisch kwalitatieve methoden van onderzoek zijn het verzamelen van verhalen (storytelling) middels informele gesprekken, visitaties en observaties met individuele deel-nemers of met groepen deelnemers. Dit kan in de vorm van interviews of bijeenkomsten, workshops en focusgroepen. Bij focusgroepenwordengroepenvanzo’nmaximaal10-15deelnemers uitgenodigd om te praten over het project en welke veranderingen de deelnemers hebben waargenomen. Vaak gaat dit aan de hand van enkele vragen, die structuur geven aan het gesprek, maar dit kan ook ongestructureerd plaatsvinden door de deelnemers volledige ruimte te geven zelf hun verhaal te vertellen. Het is tevens mogelijk om de deelnemers een kwantitatieve waarde, zoals een score of cijfer, te laten geven aan bijvoorbeeld hun welzijnsniveau of mate van (positieve of negatieve) verandering op een bepaald thema. Hierdoor kunnen de verhalen omgezet wor-den in kwantitatieve waarden, die vervolgens weer geana-lyseerd kunnen worden, zoals bijvoorbeeld het percentage deelnemers dat een verandering heeft ervaren of een score

•Bedenkofusimpeleofcomplexereonderzoeksmetho-den wilt gebruiken. Dit hangt onder andere af van de omvang en complexiteit van de te evalueren activiteit, beschikbare middelen (tijd, geld, kennis) en welke mogelijkheden er zijn om gegevens te verzamelen.

•Gebruikeencombinatievankwalitatieveenkwantita-tieve onderzoeksmethoden, zodat de resultaten hieruit elkaar kunnen bevestigen en verklaren.

•LaatdegeformuleerdeSMART-doelstellingenenprestatie-indicatoren terugkomen in de evaluatievra-gen, zodat datgene dat wordt gemeten aansluit bij de gestelde doelen.

1 2 3 4 5 6 7 8 9 10

54 | METEN

Het is van belang om te realiseren dat de kwaliteit van uitkomsten van een evaluatie mede wordt bepaald door de kwaliteit van de verzamelde gegevens, oftewel ‘garbage in is garbage out’.

Het spectrum van onderzoeksmethoden kent gradaties, vari-erend van een vragenlijst als evaluatie voor bezoekers van een lotgenotendag tot het organiseren van focusgroepen en verder. Het één is niet beter of slechter dan het ander. Verder kunnen kwantitatieve gegevens worden gebruikt ter bevestiging van hetgeen door deelnemers is gezegd in bij-voorbeeld interviews en bijeenkomsten. Aan de andere kant kunnen de kwantitatieve gegevens van deelnemers meer

Tabel 4: Kwalitatieve en kwantitatieve onderzoeksmethoden

Kwalitatieve onderzoeksmethoden Kwantitatieve onderzoeksmethoden

Storytelling Vragenlijsten per post, e-mail, internet of telefoon

Bijeenkomsten en workshops Door de onderzoeker afgenomen enquêtes

Informele gesprekken Informatie uit registratie

Visitaties Informatie uit dossiers en documenten

Observaties, beschrijvend Observaties, tellend

Eén-op-één interviews, gestructureerd of semi-gestructureerd Vertalen van verhalen naar scores, cijfers, percentages

Focusgroepen Indexen,ranglijsten

Participatieve methoden

•Houdeevaluatiezokleineneenvoudigmogelijk.Verzamel gericht gegevens, want te veel gegevens is ook niet goed.

•Maakzoveelmogelijkgebruikvangegevensdiealvoorhanden zijn, bijvoorbeeld uit registraties. Dit bespaart kosten en tijd.

•Voorhetopstellenvaneffectieve,beknoptevragenlijs-ten en antwoordcategorieën zijn handleidingen voor-handen. Het is aan te raden hier meer over te lezen, zodat de juiste vragen kunnen worden geformuleerd. Via websites als www.surveymonkey.com, www.survey123.nl en www.thesistools.com kunnen gratis in beperkte oplage online vragenlijsten worden gemaakt en verspreid.

•Eeninterviewkanongestructureerd,semi-gestruc-tureerd of gestructureerd zijn. Soms kan het juist de nodige informatie opleveren door de geïnterviewde zelf een verhaal te laten vertellen en daarbij te sturen met slechts enkele hoofdvragen. Als zeer specifieke informatie nodig is, werken gerichte vragen beter.

•Eenattentieofbeloningvoorafkanhelpenommeermensen bereid te vinden om mee te werken, bijvoor-beeld in de vorm van een uitnodiging voor een evene-ment, voedsel of (gesponsorde) korting.

inzicht geven in de verhalen achter cijfers die tevoorschijn komen na analyse van de vragenlijsten en enquêtes.

Veel organisaties vinden het lastig om de impact te meten voor grote thema’s als het bevorderen van homorechten, voorlichtingoverHIV/AIDSofhetcreërenvanpersvrijheidin een land. In dit geval is het, zeker voor kleine organisa-ties, aan te raden om dergelijke grote thema’s te reduceren totafgebakende,SMART-geformuleerdedoelstellingenenook een kleine, afgebakende doelgroep te willen bereiken, bijvoorbeeld alleen de mensen in een bepaald dorp, of zelfs daar binnen weer een kleiner geheel zoals een school, bedrijf of stuk landbouwgrond. Dat maakt het ook mogelijk

1 2 3 4 5 6 7 8 9 10

METEN | 55

opmerking hierbij is dat de term significant alleen gebruikt mag worden na het evalueren van een voorspelling (hypo-these) over de beoogde uitkomsten. Na het overstappen op een andere activiteit mag men niet achteraf concluderen dat die andere activiteit significant betere resultaten geeft dandeeersteactiviteit.SignificantiekanwordenberekendmetbehulpvanhetprogrammaSPSS.Denauwkeurigheidvan een statistisch significant resultaat wordt uitgedrukt in een p-waarde, een getal tussen 0 en 1. Als deze p-waarde 0,05 of minder bedraagt, dan kan worden gesteld dat de kans dat het gevonden verschil of samenhang op toevallig-heden berust, minder dan 5% is. Dit betekent dat met 95% zekerheid kan worden gesteld dat de activiteiten van een goededoelenorganisatie een bepaald effect hebben gehad. Het gaat echter te ver voor deze publicatie om dieper in te gaan op dergelijke statistische kennis.

• Komtdeveranderingdoorhetprojectofdoorandereoorzaken, zoals economische vooruitgang, invloed van de overheid of het werk van andere organisaties?

• Warenerookmindergoedegevolgenvanhetproject?

3.3. Interpreteren en analyseren van de gegevensEen belangrijke stap in het doen van metingen is het inter-preteren en analyseren van de verzamelde gegevens, zowel kwantitatief als kwalitatief. Vaak zal voor de verwerking van kwantitatieve gegevens databasesoftware worden gebruikt, zoalsExcelofvoorgevorderdeneenprogrammaalsSPSS.Bij de verwerking van kwalitatieve gegevens verdient het aanbeveling om deze in te delen in categorieën, bijvoor-beeld per onderzoeksvraag of thema.

Het proces van data-analyse is een ingewikkeld proces, dat dient te worden uitgevoerd door iemand die bekend is met het construeren van verhaallijnen, grafieken en tabellen en het analyseren van gegevens. Het simpel optellen van scores of een gemiddelde score uitrekenen is niet zo veelzeggend. Veel interessanter is om te kijken welke verschillen er bestaan tussen groepen (van verschillende leeftijden, sekse, geloofs-overtuiging,geografischgebiedofras/soortinhetgevalvanflora en fauna) en wat de samenhang tussen gegevens is. Het meest interessant is om te bekijken of de gevonden verschilleneneffectenstatistischsignificantzijn.Significantwil zeggen dat er sprake is van een waargenomen resultaat of effect dat niet door toeval is ontstaan, maar door iets anders (bijvoorbeeld de activiteiten van de organisatie). Een

om de veranderingen op het thema waar de organisatie zich mee bezighoudt, te meten. Dan kan gemakkelijker aan de doelgroep gevraagd worden wat zij vinden dat hun situ-atie is (nulmeting), wat de organisatie voor hen kan beteke-nen, welke effecten en veranderingen voor hen wenselijk en realistisch zijn (Theory of Change) en hoe hun situatie na de uitvoering van het project is veranderd (resultaat- en impact-meting). Het stellen van de juiste vragen is hierbij cruciaal. Idealiter zijn de onderwerpen en indicatoren waarover vra-gen worden gesteld in de nulmeting dezelfde als die in de resultaat-enimpactmeting.Zokandesituatievoorennahetuitvoeren van het project goed worden vergeleken.

Voorbeelden van vragen die kunnen worden gesteld als onderdeel van een impactmeting:• Bentutevredenmethetnieuwe[schooltje,klimrek,fiets-

paddoordeduinen,etc.]enwaaromwel/niet?Kuntu een rapportcijfer geven van 1 tot 10 hoe tevreden u bentover[naamproject]?

• Watzijndebelangrijksteveranderingendiehetprojecttot stand heeft gebracht?

• Kuntuaangevenopeenschaalvan1tot10hoe[derelatie met de overheid, uw kennis van onderwerp X, de positie van vrouwen in je dorp, uw inkomen, de veiligheid op straat, etc.] is veranderd na afloop van het project vergeleken met voor de start van het project?

• Hoeveel[opbrengst,oogst,kuddedieren,uitvalvanschoolkinderen, kennis over ziekte X op de volgende zes deelgebieden etc.] was er in het jaar voordat het projectstartteenhoeveel[...]wasdatnahetproject?

Bedenk voordat een vragenlijst wordt gemaakt hoe de gegevens zullen worden verwerkt en of de eventueel benodigde software beschikbaar is.

1 2 3 4 5 6 7 8 9 10

56 | METEN

alleenaltebeschrijvenwelkeexternefactorenenpartijenook invloed hebben gehad op de doelgroep en de uitkom-sten van de activiteiten, kan al een beter en eerlijker beeld gecreëerd worden van de bijdragen van de goededoelenor-ganisatie aan de doelgroep dan wel maatschappij.

in één rekenkundig model te vatten. Het meest van belang lijkt te zijn dat organisaties zo goed mogelijk op voor hen passende wijze laten zien wat ze bereikt hebben met hun investeringen en welk effect ze daarbij hebben gehad op de doelgroep, de maatschappij en de eigen organisatie. Door

3.3.1. Attributie en externe factorenBij het analyseren en interpreteren van onderzoeksgegevens is het van belang dat goededoelenorganisaties zich ervan bewust zijn dat wellicht niet alle resultaten direct het gevolg zijn van hun activiteiten. Met andere woorden: dat resultaten niet altijd geclaimd kunnen worden als effect van een speci-fieke activiteit. Het toewijzen (attributie) van effecten op de doelgroep – op korte of lange termijn – aan de organisatie kanerglastigzijn.Erzijnnamelijkvaakexternefactorenvaninvloed op het resultaat. Hierbij valt te denken aan sociale, politieke, economische en technologische veranderingen, oorlogen en ecologische invloeden (zoals droogte of over-stroming). Dit zijn factoren waarop de organisatie veelal geen directe invloed heeft. Daarnaast is vaak een groot aantal andere organisaties in dezelfde sector of in hetzelfde gebied werkzaam, waardoor resultaten überhaupt lastig te claimen zijn als resultaat van sec de activiteit van de betref-fende organisatie. Hoe breder de bijeffecten en hoe meer externefactorendedoelgroepbeïnvloeden,hoecomplexerhet meten van prestaties en de attributie wordt.

Ieder goed doel en iedere activiteit dient geplaatst te wor-denineengroteremaatschappelijkecontextwaarbijdiversefactoren een rol spelen. Hierdoor kunnen resultaten worden beïnvloed en worden de effecten van de werkzaamheden van de organisatie niet juist gemeten. Het is wellicht nog te ingewikkeld om te bepalen wat het effect van een activiteit van de organisatie is geweest op de doelgroep in situaties waarinexterneeffecteneenrolspelen.Hetmetenvanimpactvandegeheleorganisatieiswellichttecomplexom

Voorbeeld van invloed externe factoren: impactmeting door The Nature Conservancy naar een natuurbeschermings- en ontwikkelingsproject in de Gobiwoestijn van Mongolië.“De doelen die het project onder meer beoogde, waren om de herders alternatieve bronnen van inkomsten te bie-den zodat zij minder afhankelijk werden van hun kudde, en de kuddegrootte van de nomadische herders te verklei-nen, waardoor het schaarse woestijngras niet verder zou verdorren en er minder verwoestijning zou optreden. Uit de evaluatie van het project bleek dat de graslanden rondom de projectgebieden in slechte staat waren en dat de gemiddelde kuddegrootte niet was afgenomen. Men zou hieruit de conclusie kunnen trekken dat de slechte conditie van het gras kwam door overbegrazing. Na statistische analyse bleek dat de overbegrazing slechts gedeeltelijk de oorzaak was en dat het verdorren van het gras met name werdveroorzaaktdoordeextremewintersekouendroog-te die het land geteisterd hadden. Ondanks de bijeenkom-sten met herders om hen uit te leggen dat zij omwille van hun natuurlijk leefgebied beter minder dieren konden hou-den, was de gemiddelde kuddegrootte niet afgenomen.

Het bleek uit de interviews dat een grote kudde status geeft aan de bezitter. Een project, ook al duurt het meerdere jaren, kan dergelijke tradities niet altijd doorbreken.”Esther Ten Hoorn, masterthesis VU Amsterdam (Ten Hoorn, 2010).

Landbouwproject in de Gobiwoestijn, Mongolië (foto: Esther Ten Hoorn)

1 2 3 4 5 6 7 8 9 10

METEN | 57

verwerkingsprogramma. Dit zal te ver gaan voor goededoe-lenorganisaties die aan het begin staan van resultaat- en impactmeting.Zijgebruikenveelalgeenstatistischeverwer-kingsprogramma’s maar beschrijven hun resultaten in verha-len en beelden ondersteund door een beperkte hoeveelheid cijfermatige gegevens. Organisaties die daarvoor de midde-len en kennis beschikbaar hebben, kunnen met behulp van een statistische analyse de samenhang tussen hun activiteiten en de resultaten, effecten en impact nog beter onderbou-wen. Enkel het vaststellen dat er een samenhang is, zegt niet altijd evenveel, want het is veel interessanter om de samen-hang te verklaren. Wellicht zijn er ook andere factoren die invloed hebben op de doelgroep of worden de gevonden resultaten ook nog door andere factoren veroorzaakt.

3.3.2. Correlatie en causaliteit Om er zeker van te zijn dat de veranderingen komen door de ontplooide activiteiten en niet door iets anders of door toeval zijn ontstaan, is het raadzaam om dit verder te onderzoeken. Voor veel goededoelenorganisaties blijft het tonen van de uitkomsten van een evaluatie wellicht bij een overzicht van de verzamelde resultaten in grafieken, tabellenenverhalen,zonderanalyseofinterpretatie.Zoalseen beschrijving bij hoeveel procent van de doelgroep een verandering heeft plaatsgevonden naar aanleiding van de ontplooide activiteiten. Als men een stap verder wil en kan gaan, kan ook worden onderzocht of tussen de resultaten en effecten van activiteiten en andere (omgevings)factoren die van invloed kunnen zijn op de doelgroep een statistisch ver-band kan worden gemeten. Het verband tussen deze twee aspecten (variabelen) wordt ook wel correlatie genoemd in de statistiek. Correlatie geeft lineaire samenhang aan, met andere woorden: of een vermeerdering of vermindering van de ene variabele een constante verandering van een andere variabele met zich meebrengt. Er kan bijvoorbeeld samenhang zijn tussen etnische afkomst van kinderen en een achterstand op school. Of er kan een verband zijn tussen het aantal vogels dat wordt geteld in een bepaald gebied en de aanwezigheid van snelwegen.

Door een statistische analyse uit te voeren kan een betrouw-baarder inzicht worden gegeven in de ontplooide activitei-ten en oorzaken voor effecten. Het vaststellen of er sprake is van correlatie (statistisch gemeten verband) tussen twee vari-abelen kan worden gedaan met behulp van een statistisch

Wat te doen als de onderzoeksresultaten onduidelijk of niet overtuigend zijn? Presenteer de onderzoeksresul-taten dan op een neutrale manier en geef aan dat er geen eenduidige conclusies kunnen worden getrokken op basis van de verzamelde gegevens. Laat de lezer zelf conclusies trekken uit de gepresenteerde verhalen, grafieken, foto’s, film en dergelijke. Als het vermoeden bestaat dat de onduidelijkheid komt door de wijze van gegevensverzameling, analyse van de gegevens of organisatorische zaken, zoals een personeelswisseling, beschrijf dan in het evaluatierapport hoe dit in de toe-komst beter kan. (EvaluativeThinking, 2013.)

1 2 3 4 5 6 7 8 9 10

58 | METEN

Het wil niet zeggen dat als er een verband lijkt te bestaan tussen twee zaken, dat het een wordt veroorzaakt door of het gevolg is van het ander. Oorzakelijkheid wordt in de sta-tistiek ook wel causaliteit genoemd. Niet alle waargenomen (significante) correlaties rechtvaardigen de conclusie dat er een causaal verband zou zijn tussen de betrokken variabe-len. Wees daarom altijd voorzichtig met het claimen van verbanden en oorzakelijkheid.

Voorbeeld van het aantonen van samenhang“VerenigingExodusNederlandheeftvanaf2002onderzoek uitgevoerd naar waar de begeleidings-aanpakvanExodustoeleidt.Heteersteonderzoekgaf een positief beeld. Het algemene beeld is dat ca.70%vandemensennazesjaarrecidiveertenterugkeertindetentie.VandemensendiedoorExoduszijn begeleid en positief uitstromen, recidiveert minder dan 50%. Een significant verschil. Er was wel kri-tiek op het onderzoek, vooral met betrekking tot de gebruikte definities en de tijdshorizon, en het feit dat we niet hetzelfde meetinstrument als de rijksoverheid hebben gebruikt. In de loop der tijd is de maatschap-pelijkeaanvaardingvanwatExodusdoetechterweltoegenomen. Dat heeft ertoe geleid dat het tweede onderzoek in 2010 gebruik heeft gemaakt van het-zelfde meetinstrument als in het eerdere onderzoek van de rijksoverheid. Dit meetinstrument kijkt naar per-soonskenmerken. Daarmee kun je objectiever vaststel-len of de recidivefactor van een groep met dezelfde persoonskenmerkenineenExodusprogrammalagerof hoger is dan de recidivefactor van een groep met dezelfde persoonskenmerken die dit programma niet heeft gevolgd. Rekening houdend met de persoons-kenmerken, zien we dat het verschil met het algemene recidivecijfer minder groot is maar nog steeds substan-

tieel. Het verschil neemt bovendien positief toe naar-mate de begeleiding intensiever is en langer duurt. Hiermee zou je de effecten dus toe kunnen wijzen aan programma’senactiviteitenvanExodus.Daarnaast kijken we ook naar nieuwe onderzoeken om effect en impact nog meer te kunnen staven. Zovermoedenwebijvoorbeelddatereenlinkzittussen een lager recidivecijfer en de thema’s die in begeleidingsprogrammavanExodusaandeordekomen, zoals zingeving. Maar dit is wel lastig ‘hard’ te maken. In hoeverre kun je zeggen dat het feit dat je het hebt over zingeving leidt tot minder recidive?” Interview met Rien Timmer, Vereniging Exodus Nederland.

ExodusLeague2010(foto:ExodusNederland)

Voorbeeld van verschil correlatie en causaliteitIs er een oorzakelijk verband tussen het risico op dementie en weinig sporten? Dit heeft vaak genoeg in dekrantgestaanmetkoppenals“Sportendoetrisicoop dementie verminderen”. Maar het zou ook kunnen dat beginnende dementie ervoor zorgt dat men wei-nigsport.Ofdateenexternefactorvaninvloedisopdementie.Zogaatongezondleven(roken,veelalco-hol drinken, vet eten) vaak samen met weinig sporten en bovendien is dit een risicofactor voor dementie. In dit voorbeeld kan wellicht wel sprake zijn van een statistisch verband (correlatie) tussen sporten en dementie, maar geen oorzakelijk verband (causaliteit) dat sporten leidt tot minder dementie.

1 2 3 4 5 6 7 8 9 10

METEN | 59

van goededoelenorganisaties en de mogelijke effecten van die activiteiten voor de doelgroep gaan voor de meeste goededoelenorganisaties veel te ver.

Uit het voorgaande voorbeeld blijkt dat het wel degelijk mogelijk is om verbanden (correlatie) aan te tonen tussen bepaalde aspecten (variabelen). Aan de andere kant is het erg lastig om causaliteit aan te tonen en het is ook de vraag of dit van goededoelenorganisaties te verwachten is. Dit komtondermeerdoordatvaakexternefactorenof‘storendefactoren’ optreden tussen oorzaak en het beweerde effect. Storendefactorenzijnbijvoorbeeldtussentijdsegebeur-tenissen of ontwikkelingen bij belanghebbenden en de omgeving.ZoheeftdeWetenschappelijkeRaadvoorhetRegeringsbeleid uit een evaluatie van Nederlandse ontwik-kelingshulp gevonden dat de geboden hulp weliswaar op projectniveau succesvol is, maar “dat er geen simpel cau-saal schema bestaat dat het mogelijk maakt goed te begrij-pen wat het precieze effect van activiteiten is. Ontwikkeling, opgevat als versnelde modernisering, is een uiterst inge-wikkeldfenomeen.Hetheefttemakenmeteencomplexeinteractie tussen de economische infrastructuur, de kwaliteit van de overheid, het functioneren van het politieke systeem en de wijze waarop sociale verbanden vorm krijgen. Het lukt soms, en dan meestal pas achteraf, om delen van die complexiteitinkaarttebrengen,maardatlevertgeenmooiecausale modellen op” (WRR, 2010: 109). Daarnaast con-cludeerde de WRR dat de diverse landen die ontwikkelings-hulp hadden ontvangen, niet altijd vergelijkbaar waren en datlevert,naastdeaanwezigheidvanexternefactoren,ookmeetproblemen op. Dergelijke uitgebreide evaluaties, die oorzaak-gevolg proberen aan te tonen tussen de activiteiten

Voorbeeld over de grenzen van het aanto-nen van impact “Er zit natuurlijk een risico aan een deel van het onder-zoek dat we doen, zoals onderzoek naar het verband tussen recidive en zingeving. Dit verband bleek moei-lijk aan te tonen. Een organisatie kan dan het risico lopen om de eigen doelstelling onderuit te halen als de resultaten niet gemeten kunnen worden. Dit geldt ook voor het effect van vrijwilligerswerk op de doel-groep. We hebben in onderzoeken ook gezien dat de inzet van vrijwilligers naast betaalde medewerkers als positief wordt gezien door bewoners en een motiverende factor is. Het is echter een illusie om te zeggen dat de inzet van mevrouw Jansen bij gedeti-neerde X één op één tot minder recidive heeft geleid. We voelen aan dat er ergens een relatie is maar dat is moeilijk meetbaar te maken. We slaan denk ik wel door in het meetbaar maken van alles. Het is de vraag of de kosten en baten van het meten met elkaar in verhouding staan.” Interview met Rien Timmer, Vereniging Exodus Nederland. WoonkamerExodushuis(foto:ExodusNederland)

1 2 3 4 5 6 7 8 9 10

60 | METEN

gehouden met de hoogte van de stijging of daling van het inkomen en er verondersteld wordt dat de verandering toe te wijzen is aan de activiteit. In andere gevallen kan het min-der voor de hand liggend zijn om de positieve en negatieve effecten bij elkaar op te tellen en zo tot een netto-effect te komen. Dan kunnen de positieve en negatieve effecten wor-den beschreven aan de hand van voorbeelden.

Onbedoelde of onverwachte uitkomsten kunnen zoals gezegd ook negatief zijn. Een onbedoelde verandering vindt bijvoorbeeld plaats wanneer de activiteit van de orga-nisatie er voor zorgt dat het probleem dat diende te worden aangepaktzichverplaatst.Zokanbijvoorbeeldeenfocusop het verminderen van criminaliteit in wijk X er voor zorgen dat de criminaliteit zich verplaatst naar de aangrenzende wijk Y. In dit geval zijn dus ook de bewoners van wijk Y een belangrijke doelgroep van de organisatie waar rekening mee moet worden gehouden. En het kan ook betekenen dat de organisatie het hoe, wat en waarom van haar activiteiten opnieuw moet vaststellen.

Een ander voorbeeld is van een klein particulier initiatief dat hoorde van de ouders in een Afrikaans dorp dat het zo vervelend was dat hun kinderen enkele kilometers moesten lopen van en naar school. Daarop is een school gebouwd in het dorp zelf. Toen aan de kinderen werd gevraagd of ze blij waren met de nieuwe school antwoordden bijna alle kinderen: “Nee, want toen we nog een paar kilometer moesten lopen, konden we lekker spelen onderweg en nu komen we eerder thuis en moeten we allerlei klussen doen

3.4. Positieve en negatieve, bedoelde en onbe-doelde effectenDe meeste methoden en instrumenten zijn alleen gericht op het meten van de positieve en bedoelde (of verwachte) resultaten ten behoeve van de doelgroep. Dit gebeurt vooral wanneer goededoelenorganisaties zich alleen richten op het behalen van organisatorische doelen of doelstellingen. Hierbij wordt geen rekening gehouden met onverwachte veranderingen, positief of negatief. Echter, positieve en negatieve uitkomsten en bedoelde en onbedoelde resultaten en effecten zijn allemaal relevant om de maatschappelijke waarde van een programma, project of activiteit te kunnen bepalen. Onbedoelde of onverwachte uitkomsten kunnen positief zijn en in sommige gevallen zelfs belangrijker voor de doelgroep dan de beoogde resultaten (zie voorbeeld). Impactmeting onderscheidt zich juist van directe resultaten en outcomes door het langetermijneffect van alle positieve, negatieve, directe, indirecte, bedoelde en onbedoelde effecten of doordat deze effecten zijn toe te wijzen aan de activiteit(attributie).Somsishetmogelijkomdenegatieveeffecten op te tellen bij de positieve effecten en tot een netto-effect te komen. Bijvoorbeeld als vijftig deelnemers aan een microkredietprogramma er in inkomsten op vooruit zijn gegaan, dertig dezelfde inkomsten hebben als vóór het pro-gramma en twintig deelnemers erop achteruit zijn gegaan omdat de buurman de lening niet heeft afbetaald aan de groep, dan kun je simpel gezegd stellen dat het netto-effect positief is geweest voor dertig deelnemers (50 minus 20). Uiteraardishetindepraktijkcomplexerdatdezereken-som, omdat in dit voorbeeld onder andere geen rekening is

van onze ouders.” Deze reactie leidde tot veel verbazing bij de initiatiefnemers en de financiers van het project. Daarom wordt nu samen met de ouders en de kinderen gepraat om te zoeken naar een acceptabele situatie voor iedereen.

© Auke Herrema

Juist de negatieve uitkomsten geven goededoelenorganisaties informatie over wat er nog niet helemaal goed is gegaan en wat beter kan. Daarom kan het goed zijn om negatieve uitkomsten van evaluaties niet te negeren, maar deze in elk geval intern te analyseren en er lering uit te trekken. Het kan ook voordelen opleveren om belanghebbenden te laten zien wat er nog verbeterd kan worden en hoe lastig het kan zijn om de beoogde resultaten te bereiken. Het inzicht geven in

1 2 3 4 5 6 7 8 9 10

METEN | 61

Voorbeeld van onbedoelde effecten: impact-metingdoorTheNatureConservancyvaneenGTZ-natuurbeschermings- en ontwikkelingsproject in de Gobiwoestijn van Mongolië. “Tijdens een uitgebreide impactmeting in Mongolië werd aan lokale nomadische herders gevraagd, tijdens focusgroep bijeenkomsten met 10 verschil-lende groepen, of de deelnemers van het project meer inkomsten hadden na afloop van het project. De deelnemers gingen uitgebreid in op de verschillende technieken die zij hadden geleerd om dierlijke produc-ten te verwerken, hoe ze geleerd hadden gewassen te verbouwen en dat ze nu beter samenwerkten bij het verbouwen van diervoer, zodat hun kuddes een gro-tere overlevingskans hadden in het zware woestijnkli-maat. Men gaf aan dat de verkoop van dierlijke pro-ductenenverbouwdegewassenvoorextrainkomstenzorgden, dat de samenwerking tussen de nomaden onderling en met de lokale overheid verbeterd was en dat met name de vrouwen een betere positie in de gemeenschap hadden gekregen, omdat met name

zij zich bezighielden met de verwerking van dierlijke pro-ducten en het verbouwen van groenten. Naast de focusgroepen zijn in dezelfde nomadische gemeenschap ook vragenlijsten afgenomen bij een groter aantal deelnemers. Vragen die zijn gesteld, betreffen onder meer hoeveel de inkomsten bedroegen voor en na het project en uit welke bronnen de inkomsten bestonden (ver-koop van diverse soorten levende dieren, vlees, huiden en kasjmier, verkoop van groenten, illegaal mijnwerken, etc.). Deze vragen zijn ook gesteld aan nomaden die rondom de projectgroepen verbleven, maar die geen deel uitmaakten van het project, de controlegroepen. Na statistische analy-se van de antwoorden bleek dat er nauwelijks significante verschillen in inkomsten waren tussen de projectgroepen en de controlegroepen. Weliswaar hadden de projectgroe-pen meer diverse inkomstenbronnen, doordat zij binnen het project bepaalde vaardigheden hadden geleerd voor verwerken van dierlijke producten en het verbouwen van gewassen,maardeextrainkomstenhieruitwarenzeerklein vergeleken met de traditionele inkomsten van noma-den, namelijk de verkoop van vlees, huiden en kasjmier.

De les die geleerd is, is dat het project zeer waardevolle bijdragen heeft geleverd aan de doelgroep, maar dat dit niet zozeer was op het gebied van de doelstelling, name-lijk het verhogen van inkomsten, maar eerder op allerlei andere gebieden op het sociale vlak.”Esther Ten Hoorn, masterthesis VU Amsterdam (Ten Hoorn, 2010; Hess et al., 2010)

Focusgroepgesprek in Mongolië (foto: Esther Ten Hoorn)

1 2 3 4 5 6 7 8 9 10

62 | METEN

• Ethischeuitdagingenronddevraaginhoeverrehetver-antwoord is om mensen die onder de doelgroep vielen maar die toch om de een of andere reden niet bij het project betrokken zijn geweest, de controlegroep, toch te betrekken (lastig te vallen) bij het evaluatieonderzoek.

Veel goededoelenorganisaties zullen zich na het lezen van dit hoofdstuk nog steeds afvragen hoe ze de stappen kunnen zetten van prestatie-indicatoren en meetmodellen naar een concreet rapport met alle resultaten en effecten. De goede-doelenorganisatie kan het evaluatieproces zelf voorbereiden door het opstellen van doelstellingen e.d. en een cultuur van evalueren en leren te creëren. Het evalueren zelf is een vakgebied op zich dat een organisatie niet simpelweg kan uitvoeren door een stappenplan of checklist te doorlopen, er zijn tot op bepaalde hoogte toch ook (onderzoeks)vaar-digheden voor nodig om gegevens op een solide manier te vergaren en analyseren en gedegen conclusies te trekken.

3.5. Uitdagingen bij het meten van resultaten en impactOndanks de vele instrumenten en adviezen die voorhanden zijn om resultaten en impact te meten, blijft het een uitdaging om het evaluatieproces op te zetten en uit te voeren. Er komt namelijk nog veel meer bij kijken. Iedere organisatie die met resultaat- en impactmeting aan de slag gaat, zal tegen bepaalde zaken aanlopen. Men zou kunnen stellen dat goe-dedoelenorganisaties onder meer worden geconfronteerd met de volgende drie soorten problemen bij het meten van hun impact (gebaseerd op Poortvliet et al., 2012):• Praktischeuitdagingenronddedoelstellingenen

activiteiten van de organisatie: het verzamelen van gegevens, het aantal mensen dat bereikt wordt met de activiteiten, het meten van verbeteringen in ‘zachte en indirecte uitkomsten’ en het ontwikkelen van een cultuur van meting binnen een organisatie.

• Systematischeuitdagingendievoortkomenuitdefocusvan goededoelenorganisaties op één specifiek werkge-bied of (deel)sector wanneer zij denken over het meten van resultaat en impact ten behoeve van donateurs. Zowelbijinstitutioneledonoren,goededoelenorganisa-ties intern als in de samenwerking tussen goededoelen-organisaties ontbreekt duidelijkheid en consistentie rond de wijze waarop resultaat- en impactmeting uitgevoerd en in rapportages gecommuniceerd moeten worden.

negatieve uitkomsten of bijeffecten kan ervoor zorgen dat duidelijkerwordtinwelkcomplexspeelvelddegoededoe-lenorganisatie zich bevindt en welke factoren van invloed zijn op het slagen van de activiteiten en de verdere effecten ervan. Door hierover een realistisch beeld te creëren, kun-nen belanghebbenden een sympathieker en betrouwbaarder beeld krijgen van de goededoelenorganisatie. Dit zal niet altijd het geval zijn, mede afhankelijk van hoe de uitkomsten worden gepresenteerd (zie Hoofdstuk 4).

Bij negatieve effecten of het niet hebben behaald van de gestelde doelen is het belangrijk om goed uit te leg-gen wat deze resultaten precies betekenen en redenen te geven waarom deze negatieve resultaten zijn behaald. Beschrijf daarbij concrete plannen hoe het de volgende keer beter kan. Het heeft weinig zin om ieder negatief resultaat te ‘compenseren’ met een positief resultaat. Negatieve resultaten kunnen ook komen door miscom-municaties of slechte organisatie; in dat geval hoef je de negatieve resultaten niet extern te communiceren, maar moet je ze wel intern analyseren. (EvaluativeThinking, 2013.)

1 2 3 4 5 6 7 8 9 10

VERANTWOORDEN | 63

Hoofdstuk IV Verantwoording en leren van resultaat- en impactmeting

STAP











In dit vierde hoofdstuk wordt de derde fase beschreven, die van verantwoording. De derde fase bestaat uit drie stappen, die worden beschreven in vier paragrafen.

Twee belangrijke redenen voor goededoelenorganisaties om te evalueren zijn (1) het afleggen van verantwoording aan belanghebbenden en (2) het leren van ervaringen. Dit zijn twee kanten van dezelfde evaluatiemedaille. In toene-mende mate kiezen goededoelenorganisaties ervoor om hun belanghebbenden te informeren over en betrekken bij de uitkomsten van evaluaties. In dit vierde hoofdstuk zal worden ingegaan op verschillende mogelijkheden voor rapportage (Paragraaf 4.1) en hoe de goededoelenorganisatie kan leren van de uitkomsten van de resultaat- en impactmeting (Paragraaf 4.2).Ookdeexternecommunicatievandeuit-komsten van de evaluatie met belanghebbenden (Paragraaf 4.3) en specifiek met donateurs (Paragraaf 4.4) wordt in dit deel verder toegelicht.

1 2 3 4 5 6 7 8 9 10

64 | VERANTWOORDEN

onderzocht. In een aantal rapportages wordt gesproken over de behaalde impact. De interpretatie van het begrip impact is echter in de rapportages niet eenduidig. SpecifiekvoorevaluatiesdiezijnuitgevoerdmetbehulpvandeSROI-methodeishetvanbelangominderapportageniet te veel waarde te hechten aan de monetaire waarde die eruit is gekomen, dus hoeveel euro’s iedere euro ople-vert. Een beschrijving van hoe de behaalde veranderingen tot stand zijn gekomen en beschrijvingen van participanten zeggen veel meer dan enkel die monetaire ratio (Nicholls et al., 2009).Het kenmerk van een goed rapport is dat het antwoord geeft op de belangrijkste vragen op een duidelijke, feitelijke en begrijpelijke wijze. In een goed rapport wordt het eva-luatieproces volledig transparant beschreven en worden de relevantie en betrouwbaarheid van de resultaten besproken. Conclusies dienen te worden gemotiveerd en aanbevelingen kunnen bijvoorbeeld gericht zijn op de resultaten, het beleid van de organisatie en haar belanghebbenden. Om maat-schappelijk draagvlak te creëren kan belanghebbenden de mogelijkheid worden geboden opmerkingen te maken over de bevindingen, de conclusies en de aanbevelingen.Goededoelenorganisaties hebben zelf de keus om de bevindingen van een evaluatie te rapporteren, zowel als het gaat om verwachte of onverwachte, positieve en negatieve bevindingen. Het is belangrijk om in een rapportage vol-doende informatie te geven over hoe het evaluatieonderzoek is uitgevoerd:• Wat–Decentraleevaluatievraagstelling• Waarom–Hetdoelvandeevaluatie

Een evaluatierapportage kan het beste een combinatie zijn van zowel beschrijvende (kwalitatieve) informatie als cijfer-matig gemeten (kwantitatieve) gegevens. Aan de ene kant kunnen anekdotes, foto’s en verhalen van de doelgroep, vrijwilligers, lokale projectmanagers en dergelijke worden bevestigd of ondersteund door cijfers. Aan de andere kant kunnen de cijfermatige resultaten worden toegelicht of ver-klaard door anekdotes en verhalen.

“Wanneer wij op organisatieniveau over impact rapporteren dan doen we dat nu voornamelijk anekdotisch. We geven de resultaten en cijfers en larderen dat vervolgens met persoonlijke verhalen.” (Rian Fokker, Heifer Nederland)

Het is belangrijk om in de eindrapportage aandacht te geven aan de vraag in hoeverre de vooraf bedachte Theory of Change in de praktijk is waargemaakt, met verwijzing naar de van tevoren opgestelde doelstellingen en prestatie-indicatoren. Afhankelijk van hoeveel ervaring de goededoe-lenorganisatie heeft met resultaat- en impactmeting, kan een evaluatierapportage meer of minder uitgebreid zijn wat betreft de beschreven resultaten (outputs) en verdere analyse naar effecten van de resultaten (outcomes) en impact. Uit toetsingen van de jaarverslaggeving door het CBF ontstaat het beeld dat de meeste goededoelenorganisaties overwegend rapporteren over directe resultaten (outputs). Een klein deel van de instel-lingen rapporteert daarnaast over de vermoedelijke effecten (outcomes) van hun activiteiten. Een zeer beperkt aantal instel-lingen heeft de vermoedelijke effecten ook daadwerkelijk

4.1. Rapporteren van evaluatie-uitkomstenStapachtishetrapporterenvandebevindingenvanderesultaat- en impactmeting. Nadat de evaluatie is uitgevoerd en de uitkomsten bekend zijn, komt de vraag op wat kan worden gedaan met alle bevindingen. Wat is de beleidsre-levantie van de bevindingen? Dit hangt af van de betrokken-heid van de beleidsmakers bij de evaluaties maar ook van deaardvandebevindingen.Sommigebevindingenzullenmeer procesgeoriënteerd zijn en inzicht geven in hoe activi-teiten en interne processen beter of efficiënter georganiseerd kunnen worden. Andere bevindingen zullen iets zeggen over de effectiviteit van de activiteiten, welke directe resultaten zijnbehaalden/ofwelkeeffectenderesultatenverderheb-ben gehad. Het is van groot belang om alle uitkomsten van een evaluatie goed te documenteren en hierbij rekening te houden met een aantal aspecten. Als de resultaat- en impactmeting zijn uitgevoerd door de goededoelenorgani-satie zelf, dan kunnen de uitkomsten geïntegreerd worden in het algemene rapportagesysteem van de organisatie. Als deresultaat-enimpactmetingzijnuitgevoerddoorexternedeskundigen, dan zullen zij in het algemeen de uitkomsten rapporteren in een schriftelijk verslag of presentatie. De uit-komstenvaneenexterneanalysekunneneveneenswordenopgenomen in het algemene rapportagesysteem van de organisatie.

Er is geen eenduidige manier om te rapporteren over evalu-aties. Veel evaluatierapporten vormen de samenvoeging van deelstudies. Deze kunnen samen de eindrapportage vormen.

1 2 3 4 5 6 7 8 9 10

VERANTWOORDEN | 65

de achtergrond van de evaluatie achterwege te laten, indien dergelijke informatie wel voor intern gebruik ergens wordt opgeslagen. Op de verantwoording over resultaat- en impactmeting naar verschillende typen dona-teurs wordt later in dit hoofdstuk ingegaan (zie paragraaf 4.4).

• Wie–Informatiebronnenvoordeevaluatie,demeet-eenheid (aantal hectares, mensen etc. die mee hebben gedaan met de evaluatie) en indien van toepassing de respons (hoeveel mensen percentueel gezien bereid waren mee te werken aan de evaluatie)

• Hoe–Deonderzoeksmethodendiezijngebruiktomdata te verzamelen

• Waar–Delocatiewaardedatavoordeevaluatiezijnverzameld

• Wanneer–Detijdsperiodewaarindedataverzameldzijn.

Bij het opstellen van een rapportage is het tevens van belang om, naast de essentiële gegevens over de organisatie en haar projecten, informatie op te nemen die aansluit bij de behoefte vanpotentiëlelezers.Zoishetaandeenekanthandigominzicht te hebben in hoe kritisch de lezer van het rapport zal zijn. Indien het rapport ook wordt gelezen door zeer kritische mensen of lezers met zeer specifieke gedetailleerde kennis over het betreffende onderwerp, dan is het aan te bevelen om meer details in het rapport op te nemen. Bijvoorbeeld, als er een onderzoek onder de doelgroep heeft plaatsgevonden waarbij de deelnemers een vragenlijst hebben ingevuld, voeg dan informatie toe over hoe de deelnemers voor het onderzoek geselecteerd zijn, hoeveel mensen aan de activiteit hebben deelgenomen en hoeveel van hen hebben deelgenomen aan de evaluatie. Aan de andere kant, als de bevindingen van een evaluatie aan het algemeen publiek worden gepresenteerd, bijvoorbeeld via de website of nieuwsbrief, dan kan het juist de leesbaarheid ten goede komen om bepaalde details over

Voorbeeld van een opzet van een evalua-tierapport (gebaseerdopStiftungZEWO,2011):I. SamenvattingII. Uitgangspunten i. Doel en doelstelling van de evaluatie ii. Omvang van de evaluatie iii. Belangrijkste evaluatie- of onderzoeksvragen iv.Contextvandeevaluatie v. Wie heeft de evaluatie uitgevoerd (intern of

extern)III. Aanpak i. Welke methode is gebruikt ii. Welke informatiebronnen zijn geraadpleegd iii. Wat is de kwaliteit van de onderzoeksgegevens iv. Welke belanghebbenden zijn geconsulteerdIV. Uitkomsten i. Uitkomsten per evaluatie- of onderzoeksvraag.

Wat zijn de uitkomsten van de evaluatie en hoe zijn de uitkomsten van invloed op de organisatie en de manier waarop zij werkt.

1 2 3 4 5 6 7 8 9 10

66 | VERANTWOORDEN

•51procentvandebezoekerszegtzichdoorhetbezoek aan Resto VanHarte minder eenzaam te voelen.

De grote tevredenheid van de gasten leidt ertoe dat 97procentvandebezoekersRestoVanHartebijanderen zou willen aanbevelen.Bron: www.restovanharte.nl, geraadpleegd 29 januari 2013.

Van de gasten van Resto VanHarte beoordeelt 96 procent de sfeer als goed tot zeer goed. De ontvangst wordt door 97procentvandeRestogastenalsgoedtotzeergoedbeoordeeld. De bediening in de Resto’s wordt door 98 pro-cent van de gasten als goed tot zeer goed beoordeeld. 99 procent van de Restogasten vindt dat het personeel goed tot zeer goed met de gasten omgaat. De hoge waardering van Resto VanHarte door de gasten blijkt uit de frequentie van hun bezoek: het merendeel van de gasten (bijna 80 procent) eet een of twee keer per week bij Resto VanHarte.

Resultaat van bezoekHet frequente bezoek aan Resto VanHarte leidt tot een stevi-ger sociaal netwerk van de gasten: • 93procentvandegastenzegtcontacttehebbenmet

andere gasten;• 69procentvandegastenzegtnieuwevrienden

gemaakt te hebben bij Resto VanHarte;• 33procentvandebezoekerszegtweleensactiviteiten

te ondernemen met nieuwe vrienden en kennissen uit het netwerk van Resto VanHarte;

• 57procentzegtdoorRestoVanHarteincontacttekomen met andere culturen;

• 86procentzegtdoorRestoVanHarteincontacttekomen met mensen van verschillende leeftijden;

• 61 procent van de ondervraagden zegt door het bezoek aan Resto VanHarte vaker de deur uit te komen;

Voorbeeld van een externe rapportage: Resto VanHarte voerde het laatste kwartaal van 2010 een klanttevredenheidonderzoek uit onder 808 gasten op 23 locaties van Resto VanHarte. Het onderzoek levert de volgende conclusies op:

Profiel gastenMeer vrouwen dan mannen bezoeken Resto VanHarte: vandebezoekersis71procentvrouwen29procentman. De gemiddelde leeftijd van de bezoeker ligt hoog: tussende55en65jaar.73procentvandebezoekersvan Resto VanHarte is alleenstaand en woont alleen. 63 procent van de gasten komt via vrienden of bekenden in contact met Resto VanHarte.

Veel waardering voor Resto VanHarteUit de enquête blijkt dat de Restogasten zowel de sfeer binnen het Resto als de geleverde maaltijd als zeer goed beoordelen. De samenstelling van de maaltijden wordt door 94 procent van de gasten als goed tot zeer goed beoordeeld.97procentvandegastengeeftaandatervoldoenderekeningwordtgehoudenmetsmaaken/ofwensentenaanzienvaneenbepaaldeallergie/dieet.91procent van de gasten vindt de prijs van de maaltijd goed, 3 procent te duur en 5 procent te goedkoop. De bereik-baarheid en toegankelijkheid van de Resto’s wordt ook als goed tot zeer goed beoordeeld.

Zet een goed verhaal neer, in duidelijke taal, dat voor een breed publiek aantrekkelijk is om te lezen en te zien.

http://www.restovanharte.nl/over-van-harte/resultaten-en-jaarverslag/405-landelijke-vergelijking-klanttevredenheid-enquetes-2010

http://www.restovanharte.nl/over-van-harte/resultaten-en-jaarverslag/405-landelijke-vergelijking-klanttevredenheid-enquetes-2010

1 2 3 4 5 6 7 8 9 10

VERANTWOORDEN | 67

projecten. Door het verankeren van resultaat- en impactme-ting in het gehele organisatieproces kan sneller een ‘vinger op de succes- en pijnpunten’ van programma’s, projecten en activiteiten van de organisatie worden gelegd. Daardoor is de organisatie beter in staat te leren en te innoveren.

Goed gebruik van evaluaties geeft goededoelenorganisaties de mogelijkheid efficiëntere en effectievere keuzen te maken voor toekomstige en duurzame activiteiten.

“Conclusies uit eerdere onderzoeken hebben wel geleid tot aanpassingen in de aanpak van Exodus, bijvoorbeeld bij de registratie van bewoners.” (Rien Timmer, Vereniging Exodus Nederland)

De uitkomsten van resultaat- en impactmeting zijn tevens een goede basis voor het volgende jaarplan en meerjarenbe-leidsplan, zodat er op consistente wijze voortgebouwd kan worden op de eerder behaalde resultaten en de terugkop-peling met doelen en beleid helder wordt vastgelegd. Het kan zijn dat zich lastige vraagstukken opwerpen bij het interpreteren van de bevindingen en dat er pijnlijke beslis-singen worden genomen om de organisatieactiviteiten te verbeteren. Wat, bijvoorbeeld, als blijkt dat activiteit A het meest effectief is geweest? Dient dan te worden gestopt met activiteit B en C? Of wat als activiteit A twee jaar achter elkaar niet gemeten effectief is geweest? Dient activiteit A dantewordenbeëindigd?Zokwameengezondheidsfondser na de evaluatie van een voorlichtingscampagne achter dat het kennisniveau van de doelgroep lager was ná de

Door het gebruik van resultaat- en impactmeting kunnen goe-dedoelenorganisaties activiteiten zowel sturen in de richting van effecten en impact, als legitimeren voor de doelgroep, donateurs of samenwerkingspartners en zich zo onderschei-den van anderen. Het evalueren van resultaten en effecten geeftinzichtindematewaarindoelenen(SMART-)doelstel-lingen zijn gehaald, welke doelstellingen (nog) niet zijn gehaald en welke resultaten langetermijneffecten hebben en/oftoetewijzenzijnaandeorganisatie(impact).Hierbijkan dus ook aandacht zijn voor het benoemen van minder goed geslaagde aspecten van projecten en programma’s. Het is zeer leerzaam om zo zorgvuldig mogelijk te rapporte-ren over de dingen die minder goed zijn gegaan en wat er met deze negatieve resultaten wordt gedaan, zodat hierop kan worden voortgebouwd in toekomstige projecten.

De bevindingen vormen een goede basis om niet alleen acti-viteiten en projecten, maar ook organisatieprocessen en de strategische richting van de organisatie te verbeteren en te vernieuwen (ZonMw-website).

“De lessen voor de toekomst qua interne organisatie liggen met name op het gebied van taken, bevoegdheden en verantwoor-delijkheden in interne communicatie.” (Resto VanHarte-website)

Goededoelenorganisaties kunnen het gebruik van de uitkom-sten van evaluaties het beste vanaf het begin integreren in het organisatieproces en bij de ontwikkeling en uitvoering van

4.2. Leren van evaluerenStapnegengaatoverhetlerenvandeuitkomstenvanderesultaat- en impactmeting. Naast de verantwoording aan bijvoorbeeld financiers kan een andere waardevolle doel-stelling van evalueren ook zijn om te leren wat wel en wat minder goed werkt in de praktijk. Evalueren heeft nog meer toegevoegde waarde wanneer er iets wordt gedaan met de uitkomsten. Deze laatste stap – het leren van evalueren – wordt vaak overgeslagen in evaluatietrajecten, terwijl het leren van evaluaties juist kan helpen om te komen tot een betere of vernieuwde uitvoering van activiteiten en projecten in de toekomst.

©PaulMattessich,etal.2007.Information Gold Mine: Innovative Uses of Evaluation. Fieldstone Alliance, an imprint of Turner Publishing Company: Nashville, Tennessee. Used with permission.

http://www.zonmw.nl/nl/themas/thema-detail/implementatie/monitoren-en-evalueren/

1 2 3 4 5 6 7 8 9 10

68 | VERANTWOORDEN

door belanghebbenden, waardoor deze zich verzetten tegen het implementeren van de uitkomsten.

Om het leren van evalueren succesvol te laten zijn, is het belangrijk dat de uitkomsten van de resultaat- en impactme-ting terug worden gekoppeld aan alle betrokken partijen en belanghebbenden. Hierdoor zal draagvlak ontstaan voor de uitkomsten van het onderzoek en de impact op de doel-groependemaatschappij(StiftungZEWO,2011).De Development Assistance Committee (DAC) van de OECD heeft begin jaren ’90 een aantal algemene beginselen en principes voor evaluatie vastgelegd. De DAC definieert eva-luatie als de systematische en objectieve beoordeling van het ontwerp, de uitvoering en de resultaten van een lopend of beëindigd project, programma of beleid. De principes werden verfijnd tot vijf criteria die op grote schaal worden gebruikt bij de evaluatie van initiatieven voor ontwikkelings-samenwerking. De vijf criteria hebben betrekking op de rele-vantie, effectiviteit, efficiëntie, impact en duurzaamheid van initiatieven (OECD-DAC, 2010). • Relevantie Relevantie is de mate waarin de activiteit geschikt is

voor de doelgroep, de ontvanger en de financier (insti-tutionele of individuele donor).

• Effectiviteit Effectiviteit is de mate waarin met de betreffende activi-

teit de beoogde doelstellingen worden bereikt.• Efficiëntie Efficiëntie is de mate waarin kwantitatieve en kwalita-

tieve resultaten (outputs) worden behaald in relatie tot

evalueren kan vorm krijgen door brainstormsessies, discussie-bijeenkomsten of workshops met medewerkers en belangheb-benden van de organisatie te organiseren. Betrokken partijen kunnen in deze bijeenkomsten samen bespreken wat goed ging, waar problemen zijn ontstaan en wat redenen voor succes en falen waren en oplossingen en verbeteringen aan-dragen(StiftungZEWO,2011).Meerinformatieoverlerenvan evalueren vindt u bijvoorbeeld in Kusters et al. (2011).

Evaluaties worden onder meer uitgevoerd ter verantwoor-ding naar financiers en besluitvormers. Het is daarom logisch dat de uitkomsten van een evaluatie tegemoetkomen aan de informatiebehoeften van deze financiers en besluit-vormers, en dat de evaluatie een terugkoppeling geeft over de effectiviteit van activiteiten. Meestal is dit echter niet het geval. Veel evaluatierapporten eindigen op een kastplank zonder dat er nog iemand naar omkijkt. Redenen hiervoor kunnen zijn dat:• Ergeenantwoordwordtgegevenopdebelangrijkste

vragen van besluitvormers, beleidsmedewerkers, pro-grammamanagers of financiers.

• Deresultatenenaardvanhetevaluatieonderzoekopzodanige wijze worden gecommuniceerd dat de lezer het niet echt goed begrijpt.

• Deevaluatierapportageisopgesteldzonderdatduide-lijk was wie het zou gaan lezen.

• Detimingvanhetevaluatierapportnietovereenkomtmetde timing van politieke of interne besluitvorming.

• Deuitkomstenvandeevaluatiezodanigzijnbeschrevendat deze als een (te) grote uitdaging worden gezien

campagne (die als doel had om de kennis over ziekte X te vergroten). Dit leidt aan de ene kant tot de vraag of de cam-pagne beter op een andere manier had kunnen worden uit-gevoerd, aan de andere kant kan het zijn dat omgevingsfac-toren een grotere invloed hebben gehad op de doelgroep dan welke campagne dan ook zou kunnen hebben. Voor een weloverwogen beleidsbeslissing is een gedegen inzicht in alle facetten van de uitkomsten van een meting dan ook relevant. Daarentegen hoeven niet alle beleidsbeslissingen rationeeltezijn,zekerindegoededoelensector.Zosteldebijvoorbeeld de Gates Foundation zich ten doel om polio de wereld uit te krijgen. Naar verhouding zijn de kosten om de laatste poliopatiënten te genezen en de ziekte uit te bannen veel hoger dan het helpen van de eerdere groepen polio-patiënten. Toch werd voor deze doelstelling gekozen en niet voor één die naar verhouding hogere opbrengsten en lagere kosten heeft.

Evaluaties kunnen spontaan, ongepland en ongestructureerd plaatsvinden. De waarde van deze evaluaties is veelal beperkt omdat het leren is overgelaten aan het toeval. Leren van evalueren kan veel effectiever door het goed voor te bereiden, te structureren en te richten op een bepaald doel. Door daar anderen bij te betrekken kan het leren effectiever plaatsvinden. Hierbij is het van belang om te weten wie bin-nen de organisatie alleen kennis willen nemen van de uitkom-sten, bij wie het nodig is om bewustwording te creëren van bepaalde uitkomsten en eventueel gedragsverandering en welke personen daadwerkelijk actie dienen te ondernemen naar aanleiding van de resultaat- en impactmeting. Leren van

1 2 3 4 5 6 7 8 9 10

VERANTWOORDEN | 69

4.3. Communiceren met belanghebbendenStaptienbetrefthetcommunicerenvandeuitkomstenvanderesultaat- en impactmeting. Een aantal goededoelenorgani-saties heeft wel enige ervaring met het meten van resultaten enimpactmaarcommuniceerthiervaaknognietexternover. Meestal zijn wel anekdotes en beelden te zien, bijvoor-beeld op de websites of in de jaarverslaggeving, waarin nog weinig aandacht is voor het meten van impact. De mate waarin goededoelenorganisaties aandacht besteden aan resultaat- en impactmeting hangt ook af van de betreffende sector en activiteit (Ebrahim and Kasturi Rangan, 2010). Het lijkt er op dat rapportage- en evaluatie-eisen vanuit de over-heid en andere financiers invloed hebben op de mate van resultaatmeting en hoe vergevorderd organisaties hierin zijn. Goededoelenorganisaties dienen zelf de afweging te maken of en op welke wijze over de resultaten van impact wordt gecommuniceerd. De communicatie van veel goede-doelenorganisaties is voornamelijk gericht op (potentiële) donateurs. Communicatie over resultaat- en impactmeting is daarentegen vooral gericht op de doelgroep en de eigen organisatie. Veel goededoelenorganisaties houden de uit-komstenvanhunevaluatieslieverintern.Echter,doorexter-nen inzicht te geven in de uitkomsten van evaluaties, kunnen dezen beter geïnformeerde keuzen maken. Daarnaast zou het communiceren van uitkomsten bij kunnen dragen aan het verzamelen van ‘bewijs’ welke activiteiten beter of minder goed werken, waardoor binnen de sector betere keuzen gemaakt kunnen worden in welke activiteiten te investeren en kunnen besparingen gerealiseerd worden. Daarnaast kunnen de uitkomsten van evaluaties een goede aanvulling

Voorbeeld Heifer Nederland“Op projectniveau meten we resultaten, effecten en impact en formuleren we de lessons learned. We delen deze lessen met de betreffende partner en gebruiken de resultaten en effecten voor het formuleren van vervolgprojecten. We verzamelen de geleerde lessen ook centraal om er als organisatie van te leren enzeinandereprogramma’stoetepassen.Zokun-nen partners ook van elkaar leren.”Interview met Rian Fokker, Heifer Nederland

Voorzitter met koe (foto: Heifer Nederland)

de inputs die nodig zijn geweest voor de betreffende activiteit. Het is een economische term die gebruikt wordt om te bepalen hoe met beperkte middelen het grootste gewenste resultaat bereikt kan worden. Dit vereist meestal het vergelijken van alternatieve benade-ringen voor het bereiken van de betreffende resultaten (outputs) om te zien of de meest efficiënte benadering is gehanteerd.

• Impact Impact is de positieve en negatieve verandering

die door een activiteit, direct of indirect, bedoeld of onbedoeld, is ontstaan. Het gaat om de belangrijkste gevolgen en effecten van de activiteit op de lokale sociale, economische, ecologische en andere ontwikke-lingsindicatoren. Om impact te bepalen worden zowel de gewenste als ongewenste resultaten meegenomen en wordt rekening gehouden met zowel positieve als negatieveeffectenvanexternefactoren.

• Duurzaamheid In dit model is sprake van duurzaamheid wanneer de

activiteitlangetermijneffectenheeft.Zijndeeffectenoplange termijn blijvend, ook wanneer omstandigheden, zoals bijvoorbeeld financiering door institutionele en individuele donors, veranderen?

Goededoelenorganisaties kunnen deze vijf principes gebrui-ken om te bepalen of de resultaat- en impactmeting relevant zijn geweest, of deze informatie hebben gegeven over effec-tiviteit en efficiëntie, of daadwerkelijk impact is gemeten en of de activiteit langetermijneffecten heeft gehad.

1 2 3 4 5 6 7 8 9 10

70 | VERANTWOORDEN

Communicatie over resultaten en impact kan op talloze manieren plaatsvinden, verschillende doelen dienen en op verschillende belanghebbenden gericht zijn. Communicatie van de resultaten hoeft zich niet te beperken tot het publi-ceren van een rapport. Communicatie over resultaat en impact kan bijvoorbeeld ook aan de hand van casestudy’s, verhalen, evaluatieverslagen, videofilmpjes of presentaties. Er zijn diverse manieren voor het verspreiden van resultaten, effecten en impact van activiteiten naar belanghebbenden. Voorbeelden zijn: (evaluatie)rapporten, jaarverslagen, nieuwsbrieven, vergaderingen, seminars, conferenties, via de website of via e-mail. Afhankelijk van op wie de infor-matie gericht is en waar de informatie toe dient, kunnen verschillende manieren van communiceren worden gebruikt. Het gecombineerd of gelijktijdig inzetten van verschillende communicatie-instrumenten kan een organisatie helpen om sneller en effectiever haar communicatiedoelstellingen te bereiken. De informatie die gecommuniceerd wordt, zou in ieder geval volledig, te begrijpen, accuraat en toegankelijk moeten zijn.

over resultaten en impact aan de informatiebehoefte van belanghebbenden worden aangepast.

Goededoelenorganisaties kunnen zichzelf in ieder geval een aantal vragen stellen alvorens te com-municeren over resultaten, effecten en impact met belanghebbenden: • Watishetdoelvandecommunicatie?• Wiezijndebelanghebbenden?• Watzijndebelangrijksteboodschappenvan

de evaluatie? En welke belanghebbende moet wat weten?

• Hoekunnendebelanghebbendenhetbestwor-den bereikt?

• Watisdeinformatiebehoeftevandebelanghebbenden?

• Hoegaatdeorganisatieommethetdelenvangevoelige of negatieve resultaten?

zijn in het afleggen van verantwoording over bestedingen, resultaten en effecten van activiteiten en projecten aan belanghebbenden. Dit kunnen belanghebbenden binnen de eigen organisatie zijn, zoals medewerkers en directie, of belanghebbenden buiten de organisatie, zoals donateurs, de overheid en de doelgroep. Door de opgedane kennis en ervaring vast te leggen in geleerde lessen, goede voorbeel-den en toegepaste methoden en instrumenten en hierover te communiceren, maken goededoelenorganisaties zicht-baar wat ze hebben gedaan en wat ze hebben geleerd. Een veelgehoorde reactie is dat inzicht in resultaat- en impactmetingkanleidentoteenbeterekeuzedoorexternebelanghebbenden.

Belanghebbenden kunnen diverse individuen of organi-saties of groepen van individuen en organisaties zijn, zoals institutionele en individuele donateurs, beneficianten, beleidsmakers, medewerkers, het bestuur van de goededoe-lenorganisatie, samenwerkingspartners en het brede publiek. Belanghebbenden kunnen behoefte hebben aan informatie met betrekking tot de resultaten van het programma, het project of de activiteit, de impact van de activiteiten op de doelgroep en de maatschappij of informatie over de besteding van fondsen. Daarnaast kunnen ze geïnteresseerd zijn in de relatie van de activiteiten met andere projecten of programma’s van de goededoelenorganisatie en andere organisaties. Waar vullen projecten, programma’s en orga-nisaties elkaar aan en waar overlappen ze? Afhankelijk van het type belanghebbende kunnen communicatie-uitingen

Betrek financiers en andere belangrijke belanghebben-den bij het bepalen van het gewenste evaluatieniveau: zijn directe resultaten (outputs) voldoende of is het wen-selijk en haalbaar om ook outcomes en/of impact te meten?

1 2 3 4 5 6 7 8 9 10

VERANTWOORDEN | 71

impactmeting van minder belang zijn voor vergroting van het vertrouwen. In deze groep ontstaat erosie van het vertrou-wen vooral door irritatie over meer ‘commerciële’ werkwij-zen, minder aansluiting bij verwachtingen van de donateurs en de incidenten in de goededoelensector. Investering in impactmeting vervangt niet de noodzaak om daarnaast te werken aan zaken als een beter incidentmanagement en aansluiten bij de wensen van donateurs om vertrouwen terug te winnen.Niet alle donateurs zijn gelijk. Het traditionele geven kan gekenmerkt worden doordat het geefgedrag vooral geba-seerd is op emotie en dat de persoonlijke, directe contacten met de goededoelenorganisatie relatief laag zijn. Mede door de ontkerkelijking en opkomst van modernere vormen van het steunen van goede doelen onder jongeren zal het aantal traditionele gevers verder afnemen en zal het nieuwe geven toenemen. Bij het nieuwe geven kunnen drie typen donateurs onder-scheiden worden. Dit zijn de betrokken donateur, de sturen-de donateur en de calculerende donateur. De communicatie over de resultaten en impact zal mede afhankelijk zijn van het type donateur. Hieronder wordt voor deze drie nieuwe typen donateurs aangegeven welke communicatievraag-stukken met betrekking tot resultaat- en impactmeting zullen ontstaan.

inzicht en tot betere keuzen door de donateurs. Meten is weten, nietwaar? En weten is een randvoorwaarde voor ver-trouwen. Een veelgehoorde kritiek op deze denkwijze is dat impactmeting kan leiden tot lastendruk en dat niet bewezen is dat impactmeting daadwerkelijk leidt tot verhoging van het publieksvertrouwen of de inkomsten uit donaties.

Het traditionele geven kenmerkt zich door het geven van-uit het hart met veelal een basishouding gebaseerd op: “Doe goed en zie niet om”. Voor de traditionele gevers zal

4.4. Communiceren met donateurs* Het vertrouwen van het publiek in maatschappelijke institu-ties staat onder druk. Ook het vertrouwen in goededoelen-organisaties is de laatste jaren gedaald. Tot dusver heeft deze daling nog niet geleid tot een sterke vermindering van het door de goededoelenorganisaties ontvangen donatievolume. Een veelgehoorde reactie om het dalende publieksvertrou-wen terug te winnen is het beter inzichtelijk maken van de impact van goededoelenorganisaties. De onderliggende gedachte is dat het meten van de impact zal leiden tot beter

Voorbeeld over communiceren met belanghebbenden “Belanghebbenden zoals individuele donateurs en vermogensfondsen vragen vooral om inzicht in het resultaatvanprojecten.Speciaalvoorhenmakenwe verslagen per programma waarin we onder andere ingaan op input, output en outcome. In die verslagen verwijzen we ook naar ons ‘impactdossier’ dat we regelmatig actualiseren. In dat impactdos-sier lichten we toe welke methoden we gebruiken. Aan de hand van citaten geven we inzicht in de bereikte resultaten, met speciale focus op doelgroep en maatschappij. We citeren uitspraken van staf en medewerkers van organisaties en scholen, van kinderen en jongeren en van hun ouders. We zijn er trots op dat de Transparantprijs onze wijze van impactmeting al enkele jaren noemt als best practice.

Programmaverslagen en impactdossier staan op onze website en zijn voor iedereen toegankelijk. Deelname aan de Transparantprijs en de Trouw Goede Doelen Monitor past in ons beleid van transparantie en leren-de organisatie. Interview Riekje de Vries, Stichting Projecten Zuid-Afrika.

McGregorWaldorfschool(foto:SPZA)

*Gebaseerd op de tekst van het Verslag Fondsenwerving 2010 (CBF, 2011).

www.spza.org

www.spza.org

1 2 3 4 5 6 7 8 9 10

72 | VERANTWOORDEN

Goededoelenorganisaties dienen de afweging te maken of en op welke wijze over de resultaten en impact wordt gecommuniceerd. Afhankelijk van de soort belangheb-benden dienen communicatie-uitingen over de resultaten en impact te worden aangepast. Verantwoorden over resultaat en impact kan bijvoorbeeld aan de hand van casestudy’s, verhalen of evaluatieverslagen, welke kunnen worden geuit via de website, sociale media, nieuwsbrief of in het jaarver-slag. Elke goededoelenorganisatie dient transparant te zijn overdebestedingen.Geziendecomplexiteitvanhetmetenvan resultaten en impact is het belangrijk dat goededoelen-organisaties hier op voor hen passende wijze aan werken.

gericht op kwalitatieve informatie en op het benadrukken van de zingeving van het geven aan het goede doel.

De calculerende donateur: Beloon meVoor calculerende donateurs geldt vooral de vraag: “What’s in it for me?” De calculerende donateur stelt zich op als consument en benadert de goededoelenorganisatie als marktpartij. Al speelt emotie wel een rol, de ratio is bij de calculerende donateur belangrijker dan bij het traditionele geven vanuit het hart. Voor calculerende donateurs is de rati-onele binding met de goededoelenorganisaties belangrijk en deze groep zoekt vooral naar concrete prestaties waar ze iets aan hebben. De communicatie is vooral gericht op kwantitatieve informatie en het benadrukken wat de toege-voegde waarde is voor de donateurs.

De sturende donateur: Betrek meSturendedonateursgevenvanuiteenverlichteratio.Debetrokkenheid bij de goededoelenorganisatie is relatief hoog en een belangrijke kernvraag is: “What’s in it for soci-ety?” Deze donateurs willen meedenken met de wijze waar-op het geefgeld wordt besteed en de gift wordt niet altijd ongebonden gegeven, maar gaat vergezeld van allerlei voorwaarden.Somsisersprakevanactievebetrokkenheidbij de uitvoering van het project.Voor deze groep donateurs is resultaat- en impactmeting het meest relevant. Deze donateurs verwachten sociale resultaten en zijn bereid te coproduceren bij resultaat- en impactmetingen.

Lage betrokkenheid Hoge betrokkenheid

Gev

en v

anuit d

e ra

tio De Calculerende

DonateurKern is de tegenprestatie met eigenbelang

De Sturende DonateurKern is de wil om invloed uit te oefenen

Gev

en v

anuit h

et h

art De Traditionele

DonateurKern is gelegen in doe goed en zie niet om

De Betrokken DonateurKern is het delen van inspiratie

Figuur 14: Communicatievraagstukken resultaat- en impact-meting typen donateur (CBF, 2011)

De betrokken donateur: Inspireer meBetrokken donateurs hebben een positiefkritische blik op hun favoriete goededoelenorganisaties. Het oude paradigma “Doe goed en zie niet om” is veranderd in “Doe goed en doe het de volgende keer beter”. De betrokken donateurs zijn graag bereid om feedback te geven aan de goededoe-lenorganisatie.Socialemediazijnhiervooreengeschiktmid-del. Voor betrokken donateurs is de emotionele binding met hun favoriete goededoelenorganisatie belangrijk en deze groep zoekt vooral inspiratie. De communicatie is vooral

1 2 3 4 5 6 7 8 9 10

DISCUSSIE | 73

Hoofdstuk V Discussie en aanbevelingen

uitkomsten zullen waarschijnlijk diverse personen betrokken zijn. Om deze personen te ondersteunen, motiveren en in dezelfde richting te bewegen, is het van groot belang dat resultaat- en impactmeting een geaccepteerd en breed gedragen aspect van de werkzaamheden wordt of blijft. Het evalueren van en rapporteren over resultaten en effecten kan leiden tot het verbeteren van de eigen activiteiten en pro-jecten. Dit kan alleen als er binnen de organisatie een struc-tuur is die het mogelijk maakt om continu en gestructureerd activiteiten en projecten te evalueren, te leren van deze evaluaties en vervolgens activiteiten en projecten te verbete-ren. Aandacht voor resultaat- en impactmeting kan daarom het beste vanaf het begin in activiteiten en projecten worden meegenomen. Daarnaast zouden organisaties vaker ook de negatieve uitkomsten van een evaluatie kunnen laten zien.Voor het zelfstandig uitvoeren van resultaat- en impactmeting zijn voldoende kennis en middelen belangrijke voorwaar-den. Door de beschikbare kennis op dit gebied te veranke-ren, kan die kennis in de organisatie behouden blijven en verdwijnt deze niet bij een wisseling van personeelsleden, iets wat geregeld aan de orde is in de goededoelensector. Met name op het gebied van kennisvergroting en -uitwis-seling ziet het CBF ook een rol weggelegd voor de weten-schap en brancheorganisaties.

Aanbeveling 2: Maak budget vrij voor resultaat- en impactmetingNaast voldoende kennis zijn met name ook de (financiële) middelen noodzakelijk om resultaat- en impactmeting te kun-nen (laten) uitvoeren. Dit kan op meerdere manieren. Vanuit

impactmeting vooral erg ingewikkeld is en wellicht minder haalbaar is voor beginnende of kleinere goededoelenorga-nisaties. Weliswaar hebben organisaties met een minder omvangrijkbudgeteenextrauitdaginginhetmetenvanhunresultaten, toch kunnen ook zij aan de slag gaan met dit onderwerp. Bijvoorbeeld, door te beginnen met het gestruc-tureerd formuleren van doelstellingen, prestatie-indicatoren, verwachte resultaten en de mogelijke effecten daarvan. En door het geleidelijk verzamelen van (verhalende en gemeten) gegevens over de directe resultaten en de effecten daarvan op de doelgroep. Er is niet één enkele methode voor resul-taat- en impactmeting. Elke goededoelenorganisatie zal een methode of aanpak ontwikkelen die past bij de eigen orga-nisatieendespecifiekecontextvandeorganisatie.

5.2. AanbevelingenHet CBF wil graag enkele aanbevelingen meegeven aan diverse partijen die zich in de goededoelensector bezig-houden met resultaat- en impactmeting, zoals de goede-doelenorganisaties zelf, wetenschappers en financiers en sectororganen.

Aanbeveling 1: Veranker resultaat- en impactmeting in de organisatiecultuurHet zal uit deze publicatie duidelijk zijn geworden dat het voorbereiden, implementeren en uitwerken van resultaat- en impactmeting inspanningen vraagt van diverse afdelingen en personen binnen de organisatie: vanaf het opstellen van doelstellingen en prestatie-indicatoren tot het doordenken van een meetmodel en het organisatiebreed leren van de

Het laatste hoofdstuk van deze publicatie over resultaat- en impactmeting voor goededoelenorganisaties betreft een behandeling van de verschillende gradaties in het meten van resultaten en impact (Paragraaf 5.1) en aanbevelingen voor het toepassen van resultaat- en impactmeting in de praktijk en de rol die verschillende partijen hierbij hebben (Paragraaf 5.2). Tot slot volgt in de laatste paragraaf een toelichting op het perspectief van het CBF op resultaat- en impactmeting (Paragraaf 5.3).

5.1. Gradaties van resultaat- en impactmeting Veel goededoelenorganisaties vinden het moeilijk resultaat en impact te meten en evaluaties uit te voeren. Een uitgebrei-de evaluatie kan tijdrovend en kostbaar zijn en niet iedere organisatie zal hiervoor de middelen of de kennis hebben. Daarnaast bestaat wellicht niet voor iedere organisatie de noodzaakomeenuitgebreideimpactmetingtedoen.Zoalseerder opgemerkt, kunnen beginnende of kleinere goede-doelenorganisaties prima uit de voeten met een eenvoudige vorm van resultaatmeting om te laten zien wat hun toege-voegde waarde is. Een organisatie die begint met resultaat- en impactmeting zal in eerste instantie vooral gebruikmaken van vragenlijsten of bijeenkomsten met belanghebbenden. Pas wanneer een organisatie meer bedreven is in het uitvoe-ren van resultaat- en impactmeting of hiervoor de kennis en de middelen heeft, kan bijvoorbeeld ook gebruik worden gemaakt van focusgroepen en statistische analyses naar cor-relatie en causaliteit.De indruk die na het lezen van deze publicatie kan zijn ontstaan, is dat het opzetten en uitvoeren van resultaat- en

1 2 3 4 5 6 7 8 9 10

74 | DISCUSSIE

atierapporten, checklists, tips en modellen. Aan de andere kant richten de meer wetenschappelijke publicaties zich met nameopdecomplexeaspectenvanevaluaties,zoalshetdefiniëren van begrippenkaders, methodieken en statistische discussies. Het toepassen van de huidige, door de weten-schap ontwikkelde, methoden en instrumenten voor resultaat- en impactmeting lijkt voor beginnende en kleine organisaties vaakeenenormeopgave.Zokanhetzijndatdeweten-schap voorschrijft dat evaluatieonderzoek onder zowel de projectgroep als een controlegroep dient te worden uitge-voerd. Maar wat als de organisatie geen tijd of financiering heeft voor deze mogelijkheid? Of als er geen kennis en ervaring kan worden ingekocht en evaluaties niet kunnen worden uitbesteed? Houden de mogelijkheden dan op? Er lijkt een behoefte te zijn aan wetenschappelijk gefundeerde, maar praktisch toepasbare kaders en instrumenten waar ook kleine en beginnende organisaties mee kunnen werken. Ook een casuïstiekgerichte wetenschappelijke analyse van de ervaringen van goededoelenorganisaties met resultaat- en impactmeting zou waardevolle inzichten kunnen geven aan goededoelenorganisaties en andere partijen in de goede-doelensector.Zokanbijvoorbeeldookonderzochtwordenwelke activiteiten het meest effectief zijn in welke sectoren (milieu, ontwikkelingssamenwerking, welzijn, gezondheid) en of deze ook in andere sectoren zouden kunnen werken, wat succesfactoren en valkuilen zijn.

Aanbeveling 4: Leer van elkaars ervaringen en werk samenOndanks de uitdagingen waarmee goededoelenorganisa-ties worden geconfronteerd, zijn er vele en goede voor-

degoededoelenorganisatieszelfkanexplicietbudgetentijd vrij worden gemaakt voor resultaat- en impactmeting. Zijkunnenookadditionelefondsenwervendoorineenprojectvoorstel of begroting ruimte hiervoor op te nemen. Daarnaast is ook een belangrijke rol weggelegd voor institu-tionele financiers en vermogensverschaffers door financiering mogelijk te maken voor resultaat- en impactmeting, bijvoor-beeld als opzichzelfstaande aanvraag of als onderdeel van een project- of activiteitenaanvraag. Ook zouden institutio-nele financiers en vermogensverschaffers aan aanvragers een heldere leidraad kunnen verschaffen hoe zij in hun projectaanvraag aandacht kunnen schenken aan aspecten van resultaat- en impactmeting, zoals het bepalen van de uit-gangssituatie, het formuleren van doelstellingen en prestatie-indicatoren voorafgaand aan het project en het meten van resultaten, effecten en impact, gedurende en na afloop van het project. Institutionele financiers en vermogensverschaffers kennen ieder een eigen verantwoordingsformat. Dit is lastig voor goededoelenorganisaties die vaak met meerdere finan-ciers te maken hebben. Een gezamenlijk initiatief van finan-ciers of een eenduidiger verantwoordingsformat zou hier een positieve bijdrage aan kunnen leveren.

Aanbeveling 3: Zet ook eenvoudige instrumenten en best practices op de onderzoeksagenda In de zoektocht naar methodieken en ervaringen met resul-taat- en impactmetingen door goededoelenorganisaties, zien veel (beginnende en kleine) goededoelenorganisaties door de bomen het bos niet meer. Aan de ene kant is er een overvloed aan informatie beschikbaar in de vorm van evalu-

Voorbeeld over samenwerken en leren van elkaar “We willen de kennis over transparantie en resultaat- en impactmeting graag delen met andere organisa-ties,zowelinNederlandalsinZuid-Afrika.Bijonstienjarig bestaan hebben we een symposium georga-niseerd voor collega-particuliere initiatieven die net als wijactiefzijninZuid-Afrika.Datbleekzo’nsuccesdatwe sindsdien jaarlijks een netwerkbijeenkomst orga-niseren waar netwerken, delen en van elkaar leren centraal staan. Daarnaast zijn we moderator van de NetwerkgroepZuid-AfrikaopLinkedInwaarookken-nis en informatie wordt gedeeld.” Interview met Riekje de Vries, Stichting Projecten Zuid-Afrika

Netwerkdag(foto:SPZA)

1 2 3 4 5 6 7 8 9 10

DISCUSSIE | 75

Als toezichthouder handhaaft het CBF het criterium dat fond-senwervende goededoelenorganisaties verantwoording af dienen te leggen over hoe de fondsen zijn besteed. En ver-antwoorde keuzen vragen deskundigheid en inzicht. Er dient daarentegen ook erkend te worden dat de wetenschap niet op alle vragen een antwoord heeft en dat goededoelenor-ganisaties die grote inspanningen leveren om hun resultaten en impact te meten en dit methodisch goed willen doen ook te maken hebben met vele factoren die niet te overzien of te beïnvloeden zijn. Dit dient onze sector ook te accepteren. Het CBF wenst alle instellingen veel succes bij het verder ont-wikkelen en uitvoeren van resultaat- en impactmeting.

5.3. CBF-perspectiefHet doel van deze publicatie is om een bijdrage te leve-ren aan de verdere professionalisering van resultaat- en impactmeting en organisaties te helpen bij het nadenken, ontwikkelen en implementeren hiervan teneinde bestedingen nog beter te kunnen verantwoorden. Het CBF heeft deze uitgave en de in 2012 verschenen folder ‘Bouwstenen voor Resultaat- en Impactmeting’ tevens gerealiseerd om instru-menten te bieden die keurmerkhouders kunnen gebruiken bij de verantwoording over de bestedingen. Een vereiste van het CBF-Keur. Tevens tracht het CBF hiermee tegemoet te komen aan de wens van, met name institutionele, donateurs om de rapportage over impact verder te ontwikkelen binnen de goededoelensector. Vanuit de ervaringen bij het beoorde-len van keurmerkhouders acht het CBF het nodig dat er meer helderheid ontstaat over de gebruikte begrippen en kaders die vaak de revue passeren.Alhoewel evaluaties een belangrijk onderdeel uitmaken van het CBF-Keur en CBF-Certificaat voor kleine goededoelenor-ganisaties, zal het CBF op dit aspect van impact vooralsnog geen vergaande inhoudelijke eisen stellen aan goededoelen-organisaties die het CBF-Keur of CBF-Certificaat toegekend hebben gekregen. Het is wel een vereiste dat er procesma-tig aan het meten van resultaten en impact gewerkt wordt en dat men laat blijken hoe men dat doet. Organisaties blijven vrij in de manier waarop zij invulling geven aan evaluaties binnen hun processen en activiteiten en de mate waarin zij hierininvesterenenerexternovercommuniceren.

beelden waar organisaties van kunnen leren. Bijna alle goededoelenorganisaties proberen hun impact en invloed echtergeïsoleerdvanelkaartemeten.Zijpratenzeldenmet collega-organisaties over de uitdagingen waarmee zij worden geconfronteerd. De gehanteerde benaderingen en expertisewordennauwelijksgedeeld.

Toch is resultaat- en impactmeting een gebied waarin goe-dedoelenorganisaties succesvol kunnen samenwerken en van elkaar kunnen leren. Organisaties die werkzaam zijn in dezelfde sectoren hebben vaak een soortgelijke aanpak en overeenkomstige doelstellingen, wat betekent dat de proces-sen en instrumenten die ze nodig hebben voor het meten vanresultatenenimpactdezelfdezullenzijn.Samenwerkingkan leiden tot het ontwikkelen van een gedeeld kader om de belangrijkste resultaten en impact te meten. Ook de bran-cheorganisaties kunnen hierin een belangrijke rol spelen. Zijkunneninformatiegevenaanoftrainingenorganiserenvoor goededoelenorganisaties. Brancheorganisaties hebben daarnaast een rol als het gaat om het communiceren over uitkomsten van resultaat- en impactmeting. In samenwer-king met de media kunnen brancheorganisaties donateurs voorlichten en dilemma’s met betrekking tot resultaat- en impactmeting voor goededoelenorganisaties laten zien. Er is een genuanceerde vorm van communicatie nodig. De achtergronden van resultaat- en impactmeting en de resulta-ten en effecten van de organisatie zijn immers minstens zo belangrijk als de cijfers.

1 2 3 4 5 6 7 8 9 10

76 |

1 2 3 4 5 6 7 8 9 10

VISIES | 77

Visies en ervaringen uit de sector

Iedere aanvraag van Project Eigenaren en Particuliere Initiatieven is voor Wilde Ganzen een ‘nulmeting’. Deze geeft informatie over de situatie van de doelgroep vooraf-gaand aan het project. Hierbij wordt onder andere gekeken naardecontext-enprobleemanalyse,concretebenodigd-heden, geplande activiteiten, de hoeveelheid begunstigden, welke Millenniumdoelen zullen worden bereikt en hoe het project duurzaam kan worden voortgezet. Na afloop van het project kan gemeten worden welke verbeteringen zijn gerealiseerd ten opzichte van de beginsituatie.

Na realisatie van het project, stuurt de PE Wilde Ganzen een financieel en inhoudelijk verslag dat volgens een vast-gesteld stramien geschreven is, met een aantal foto’s. Na de interne beoordeling en goedkeuring door een projectmede-werker wordt het dossier afgesloten. De projectmedewerker vergelijkt de verwachte bijdrage aan de realisatie van de Millenniumdoelen met de gerealiseerde resultaten.

Volgens het Impact Value Change Model ligt de focus van de Wilde Ganzen-resultaatmeting voornamelijk op het niveau van inputs, activiteiten en outputs. Kortom, wat is er gedaan en wat is er feitelijk gerealiseerd. Op korte termijn is er minder zicht op de outcomes: de langeretermijneffecten. Wilde Ganzen maakt de aanname dat succesvolle realisatie van de outputs,zoalshetbouwenvaneenextraklaslokaal,met hoge waarschijnlijkheid zal bijdragen aan de outcome dat de leerlingen hierdoor betere schoolprestaties halen. Hopelijk is de langetermijnimpact dat zij later beter in hun

actie-opbrengst een premie van 55% toe. De totale som wordt door Wilde Ganzen overgemaakt aan de Project Eigenaar in het buitenland. Behalve deze financiële bijdrage biedt Wilde Ganzen ook advies en capaciteitsversterking. ‘Resultaatmeting’, transparantie en heldere communicatie naar donateurs en het publiek toe zijn essentieel. Toch moe-ten er, gegeven dat de projecten een gemiddelde begroting hebbenvanminderdan€40.000,realistischeverwachtin-gen worden gesteld aan resultatenrapportages. Ook moet bedacht worden dat zowel de realisering van het project als het verzamelen van de informatie erover het product zijn van veel vrijwilligerswerkvanzoweldePEalsPI.Zonderditvrijwilligerswerk zou ons werk niet kunnen bestaan.

Resultaat- en impactmeting bij Wilde GanzenWilde Ganzen zet in op toenemende transparantie en hel-dere communicatie van projectresultaten. In het voorjaar van 2013 gaan wij hierover op de website rapporteren, met een korte schets plus enkele foto’s van wat er gerealiseerd is. Nu al koppelen wij projectresultaten terug in de kwartaal-magazines. Daarnaast heeft Wilde Ganzen begin 2013 CIDIN, een wetenschappelijk onderzoeksinstituut, gecontrac-teerd om een onafhankelijk onderzoek in vier ontwikkelings-landen te verrichten naar de duurzaamheid van afgeronde projecten. Dit onderzoek zal Wilde Ganzen meer inzicht geven in de voorwaarden die ex ante vervuld moeten zijn om de kans op duurzame impact van projectinvesteringen te vergroten. Daarbij leert het ons aan welke capaciteitsverster-king Project Eigenaren behoefte hebben. De resultaten van dit onderzoek worden in 2014 verwacht.

Wilde Ganzen

Wat doet Wilde Ganzen?Wilde Ganzen (WG) is specialist op het gebied van con-crete projecten in ontwikkelingslanden. Wij stellen mensen in staat om initiatieven ter bestrijding van armoede zelf uit te voeren. Het gaat om kleinschalige en lokale projecten: investeringen in basisvoorzieningen om bijvoorbeeld onder-wijs en gezondheidszorg te verbeteren of om schoon drink-water beschikbaar te stellen. In 2012 bedroeg het totale volumeaanWildeGanzen-financieringen€11miljoen,verdeeld over 321 projecten, waarvan meer dan de helft plaatsvonden in Afrika.

Wij hanteren een bijzondere formule, doordat wij samen-werken met Particuliere Initiatieven (PI) in Nederland. Dit zijn lokale Nederlandse stichtingen, verenigingen, serviceclubs, kerken of migrantenorganisaties die projecten indienen. Deze projecten worden uitgevoerd en geleid door lokale organisaties in ontwikkelingslanden, zoals scholen, klinieken, vrouwengroepen of dorpsgemeenschappen, die wij als de Project Eigenaren beschouwen. Het zwaartepunt ligt dus in het buitenland, waar de Project Eigenaren (PE) het beste weten wat prioriteit heeft en wat voor hen haalbaar is. Een PE geeft aan dat er dringend behoefte is aan bepaalde investeringen (bijvoorbeeld een uitbreiding van de school-gebouwen of medische apparatuur voor de kliniek) en stelt hiertoe samen met het PI een plan op. Als Wilde Ganzen het plan goedkeurt, gaat het PI in Nederland middels lokale acties geld werven. Wilde Ganzen voegt aan de totale

1 2 3 4 5 6 7 8 9 10

78 | VISIES

Wilde GanzenHeuvellaan 361217JNHilversumTelefoon: 035 – 625 10 [email protected]

sultants ingeschakeld. Ook deze informatie gebruiken wij in de resultaatmetingen.

Tot slotIn een klimaat waarin ontwikkelingssamenwerking herhaal-delijk in twijfel wordt getrokken en waarin donateurs kritische vragen stellen, is goed omgaan met de vraag naar resultaat- en impactmetingen voor goededoelenorganisaties van groot belang. Daarom moet het adequaat verzamelen, bewerken en communiceren van informatie over de positieve (en minder positieve) effecten van hun werk deel uitmaken van hun core business. Maar realiteitszin en bescheidenheid is wel gebo-den: de prijs voor het verkrijgen van deze informatie moet in verhouding staan tot de waarde van het project. En, zoals de CBF-studie zeer terecht opmerkt, de ‘achterban’ van goe-dedoelenorganisaties is zeer divers en de resultateninformatie moet dus doelgroepspecifiek worden aangeboden. Goededoelenorganisaties, groot en klein, zouden er zeer mee geholpen zijn als er een consensus zou komen over wat nog redelijk is, en wat niet meer, met betrekking tot de informatie over resultaten en de kosten om die te meten en te communiceren. Het CBF zou een voortrekkersrol kunnen spe-len bij het bereiken van een dergelijke consensus. Hierdoor zouden goededoelenorganisaties een beter antwoord kun-nen hebben op de steeds verdergaande vraag om resultaten in detail te etaleren.

Fabio PoelhekkeSeniorbeleidsmedewerker

levensonderhoud zullen kunnen voorzien. Het nieuwe CIDIN-impactonderzoek zal ons hierover meer inzichten verschaffen.

Waterproject in India (foto: Wilde Ganzen)

Monitoren en resultaatmeting in de praktijk is altijd effectie-ver dan alleen op papier. Daarom reizen Wilde Ganzen-projectmedewerkers af naar een bewust gekozen selectie van projecten. Deze ‘live’ observaties en impressies worden breed gedeeld in verslagen. Het doel is om de PE en PI advies,ondersteuningenexpertiseoppositieveencon-structieve manier aan te bieden. Ook hiervoor werkt Wilde Ganzen zeer nauw samen met Particuliere Initiatieven. PI’s bezoeken‘hun’projectenveelregelmatiger.Zijkunnenhierdoor veel waardevolle informatie verzamelen voor de resultaat- en impactmeting. Waar nodig worden lokale con-

1 2 3 4 5 6 7 8 9 10

VISIES | 79

mee men de resultaten kan interpreteren. Dit is een afweging die iedere organisatie maakt, afhankelijk van het doel van de impactevaluatie in samenwerking met haar stakeholders en dit zal per project verschillen. “Impact evalueren kan alleen op lange termijn en donateurs willen na 1, 2 of 3 jaar resultaten zien.” De tijdspanne van een impactevaluatie hangt af van de termijn waarop de maat-schappelijke waarde zich manifesteert. Dit kan op zeer lange termijn zijn, bijvoorbeeld als het doel van een project is om economische groei te bevorderen. In deze gevallen kunnen korte- of middellangetermijnindicatoren gebruikt worden om de bedoelde impact te benaderen. Een aantal goede plekken voor inspiratie zijn: wikivois.org, iris.thegiin.org en urban.org/center/cnp/projects/outcomeindicators.cfm.

“Impact evalueren geeft vaak teleurstellende resultaten. Maatschappelijke waarde creëren is niet gemakkelijk. Er zijn succesverhalen zoals de rol van goededoelenorganisa-ties in de strijd tegen polio, maar het nauwkeurig evalueren van de impact laat vaak ook zien dat de logica achter de manier waarop een project zou leiden tot de gewenste impact niet klopt. De doelgroep gebruikt de muggennetten niet, het gefinancierde onderzoek zou zonder filantropisch geld ook uitgevoerd zijn of de private sector had bij afwe-zigheid van de goededoelensector het internet toch wel beschikbaar gemaakt. Goededoelenorganisaties zijn vaak bang om gestraft te worden door donateurs voor teleurstel-lende resultaten. Daarnaast kampen vermogensfondsen en subsidieverstrekkers in hun eigen organisaties met dezelfde

organisaties, de omgeving, en sociale systemen en institu-ties). Output-effecten zijn de diensten en producten (dit kun-nen ook lobbyactiviteiten of campagnes zijn) die je verleent, zoals bijlessen geven op school voor achterstandsjongeren. Outcome-effecten zijn de directe maatschappelijke waarden die het resultaat zijn van jouw projecten, zoals verbeterde testresultaten op school. Impact is de maatschappelijke waarde die je creëert, zoals een verbeterd zelfbeeld of eco-nomische groei, waar je het perspectief van de organisatie inruilt om te kijken naar je resultaten vanuit het perspectief van de maatschappij.

Er zijn in de goededoelensector veel mythes over impact en het evalueren van impact. Het evalueren van impact vergt een heuse verschuiving van de manier van werken in de sector, waar het oordeel over de waarde van een organisatie of project verplaatst van intentie naar resultaat. Deze mythes hebben een negatief effect op de houding van goededoe-lenorganisaties (en hun donateurs) ten aanzien van impact enhetevaluerenvanimpact.ECSPzetzichdaarominomdeze mythes te ontmaskeren en te ontkrachten. Een aantal voorbeelden:

“Impact evalueren is duur.”HetECSPadviseertdatmiddelenvoor impactevaluatie worden gereserveerd aan de start van projecten. In sommige gevallen is een impactevaluatie niet nodig, omdat er al voldoende evaluaties zijn gedaan naar de impact van een project. De kosten van een impactevalu-atie hangen af van de keuzen die gemaakt worden t.a.v. de informatie die men mee wil nemen en de zekerheid waar-

Erasmus Centre for Strategic PhilanthropyErasmus Universiteit Rotterdam

Impact is de maatschappelijke waarde die je creëert. Door te focussen op impact kun je meer verschil maken. Op impact focussen betekent dat je nadenkt over de impact die je wilt hebben en hoe je deze het beste kunt bereiken. Vervolgens verzamel je informatie over de daadwerkelijke impact die je bereikt. Deze informatie gebruik je om van te leren, wat er goed werkte en wat er beter kan, en om dit te communiceren naar stakeholders zoals je donateurs. Impact gaat dus over monitoren en evalueren, maar gaat ook verder dan dat: het is een mindset in de organisatie, en de basis van strategisch denken over het goede dat je wilt doen. Je kunt de daadwerkelijk behaalde impact echter alleen vaststellen met een evaluatie.Veel goededoelenorganisaties begrijpen dat het belangrijk is om impact te evalueren en zijn op zoek naar manieren om dit te doen. Dit is niet makkelijk: er is veel verwarring over wat impact nou precies betekent, hoe het anders is dan outcome- of outputeffecten, en er zijn normatieve debatten over de methoden of zelfs indicatoren waarmee de impact geëvalueerd zou moeten worden.

HetECSPdefinieertimpactalsdemaatschappelijkewaardedie je creëert. Deze maatschappelijke waarde kan zich manifesteren op verschillende dimensies (sociaal, econo-misch en milieu) en op verschillende niveaus (mensen en

http://www.wikivois.org/index.php?title=Main_Page

http://iris.thegiin.org/

http://urban.org/center/cnp/projects/outcomeindicators.cfm

1 2 3 4 5 6 7 8 9 10

80 | VISIES

verschillende waardevolle opleidingsprogramma’s, van discussieavonden, masterclasses en summer schools tot meer-daagse opleidingen.

Kellie Liket, PhD studentKaren Maas, Assistant Professor

ECSPBurgemeester Oudlaan 50 H-Gebouw, kamer H10-34 Postbus1738NL3000 DR RotterdamTelefoon: 010 - 408 13 [email protected]/research/centres/strategic-philanthropy

schap om praktisch waardevolle antwoorden te formuleren op de urgente vragen rondom impact, zoals: • Wanneeriseenimpactevaluatiewaardevol?• Hoewetenwewatwemoetenevalueren?• Welkemethodologiemoetenwegebruikenomte

evalueren?• Hoeinterpreterenweonzeresultaten?

HetECSPiszowelalsonderzoekend,uitvoerend,advise-rend en onderwijzend orgaan bezig met impactevaluatie. HetECSPvoertmetregelmaatimpactmetingenuitvoorinstellingenenorganisaties.DaarnaaststelthetECSPzichook op als adviseur door impactgerelateerde vragen van organisaties te beantwoorden. Hierbij kijken we naar het concept van impact, evaluatiemethodieken, resultaten en anderegerelateerdethema’s.OokhoudthetECSPzichbezig met de rol van impactinformatie op het niveau van het filantropische eco-systeem en draagt zij proactief bij aan het verbeteren van de beschikbare informatie over de impact van projecten of organisaties. Een voorbeeld is de Performance Prediction Scan(PPS)diehetECSPontwikkeldevoordeKennisbankFilantropie.DePPSiseensetvancri-teria waarvan we weten dat zij bijdragen aan de potentie vanorganisatiesomgoedtepresteren.ECSPonderzoektniet alleen vraagstukken die betrekking hebben op impact. Er wordt ook aandacht besteed aan vraagstukken op gebie-den zoals governance, bedrijfsvoering, opschaling, etc. De onderwijsactiviteitenvanhetECSPrichtenzichvooralopprofessionals die de ambitie hebben om in hun werkzame levenmaatschappelijkewaardeteleveren.ECSPbiedthen

teleurstellingenvannegatieveresultaten.HetECSPdraagtbij aan de benodigde cultuurverschuiving, waar impacteva-luaties en negatieve resultaten omarmd worden als kansen omtelerenenverbeteren.HetECSPbenadruktdaaromhetbelang voor impactevaluaties om verder te gaan dan de vraag ‘wat is onze impact?’ naar de vraag ‘hoe vergoten wij onze impact?’. Deze benadering helpt organisaties door een verbetervraag centraal te stellen bij impactevaluaties. ECSPdoetonderzoek,geeftopleidingenenisbetrokkenbijprojecten op dit gebied, zodat organisaties kunnen leren van resultaten en deze op de juiste manier naar stakeholders kunnen communiceren.

“Alleen van kwantitatieve effecten kan impact geëvalueerd worden.” In principe is alles te evalueren. De ware uitda-ging van het evalueren ligt in het duidelijk definiëren van wat de toegevoegde maatschappelijke waarde is. In vele gevallen is het gemakkelijker om impacteffecten met een monetaire waarde zoals economische groei of belasting-besparing te evalueren omdat hiervoor al voldoende data voorhanden zijn en deze niet meer verzameld hoeven te worden. Er zijn echter talloze instrumenten zoals vragenlijs-ten en gevalideerde indicatoren om kwalitatieve effecten, zoals gezondheid, geluk en eenzaamheid, te kunnen evalueren.

HetECSPiseenonafhankelijkonderzoeks-enkenniscen-trum.DitbetekentdathetECSPopereertzonderwinstoog-merk of promotie van specifieke services, producten of methodologieën.HetECSPgebruiktkennisuitdeweten-

1 2 3 4 5 6 7 8 9 10

VISIES | 81

De problemen met het meten van impact worden algemeen erkend. Bij de Hersenstichting richten we ons bij het bepalen van de impact vooral op het effect van onze interventies voor de diverse doelgroepen. Een van de manieren waarop je deze impact kan bepalen, is het bevragen van de doel-groepen naar ervaringen in de huidige toestand vergeleken met die van vroeger.

Hersenstichting Nederland, onze missie en strategieHersenstichting Nederland wil de hersenen beter begrijpen om hersenaandoeningen te helpen voorkomen en genezen.

1. Wij stimuleren en financieren continu hersenonderzoek met vooraf vastgelegde doelen en programma’s.

2. We stellen nieuwe inzichten uit onderzoek op een be-grijpelijke en praktisch toepasbare manier beschikbaar via brede voorlichtingsactiviteiten.

3. Wij gaan samenwerkingsverbanden aan met andere relevante partijen om zo kennis te kunnen delen en de beschikbare financiële middelen gezamenlijk in te zetten.

4. Wij zijn zo de schakel tussen de hersenwetenschap, donateurs en individuele personen voor het gezond functioneren van onze hersenen en kwaliteit van leven.

5. Onze fondsenwervende activiteiten zijn er op gericht om financiële middelen te verwerven om de strategie uit te voeren en de missie te volbrengen.

Successen in kaart brengenIn 2011 hebben we onze successen van de afgelopen jaren in kaart gebracht. We hebben gekeken naar vorde-

de begintoestand en de eindtoestand te vergelijken kun je uitspraken doen over de impact. Hier komt al een levens-groot probleem om de hoek kijken, nl. dat je voor het bepa-len van impact eigenlijk jezelf moet ‘wegdenken’.

Activiteiten leiden tot impact en dus kun je stellen dat elk goed doel impact heeft. Maar het gaat natuurlijk vooral om de beoogde impact, impact in het verlengde van je doelstel-ling, je missie. Donateurs steunen jouw organisatie immers niet omdat je voor een stuk werkgelegenheid zorgt, wat wel degelijkimpactheeft.Zesteunenjeomdatzeervanuitgaandat jouw activiteiten het effect hebben, dat ze de situatie van je doelgroep verbeteren.

Impact aantonenEr is een groot verschil tussen impact hebben en impact aanto-nen. Hoe meer andere partijen zich met soortgelijke activiteiten bezighouden, hoe lastiger vast te stellen is wat de specifieke bijdrage van jouw interventies en activiteiten is op de beoogde eindtoestand. Dit geldt voor veel goede doelen, en zeker ook voor GezondheidsFondsen die onder andere door middel van wetenschappelijk onderzoek een ziekte willen oplossen. Wereldwijd worden duizenden onderzoeken uitgevoerd die allemaal een steentje hieraan bijdragen. De bijdrage van het onderzoek door jouw organisatie is lastig vast te stellen.

Bij monocausale en lineaire activiteiten is de impact veel eenvoudigervasttestellen.DeNSismonopolistophetbelangrijkstespoornetwerkinNederland.ValtdeNSuit,dan is de impact hiervan redelijk gemakkelijk vast te stellen.

Samenwerkende GezondheidsFondsen / Hersenstichting

Impact bepalen is grote uitdaging

De goede dingen doenAls goede doelen voeren we allerlei activiteiten uit ten behoeve van onze doelgroep. We leggen onze ziel en zaligheid erin! Waar we misschien te weinig over nadenken is of we daarmee ook de goede dingen doen. Dragen de activiteiten waar we zo naarstig aan werken uiteindelijk bij aan een betere wereld voor onze doelgroep en dus voor iedereen? Een belangrijke vraag, want uiteindelijk is dit onze diepste drijfveer en de reden waarom onze donateurs ons steunen. Maar ook een vraag waarop het niet eenvou-dig is een goed antwoord te geven.

Het verschil makenImpact aantonen is het verschil inzichtelijk maken tussen de toestand die bestaat mét en zonder de interventies van het goede doel. Onder impact wordt dan verstaan de bedoelde en onbedoelde effecten van die interventies voor de doel-groep en de samenleving als geheel. Er is een begintoe-stand (een probleem), dit leidt tot weer een interventie met bepaalde activiteiten, hetgeen weer leidt tot een nieuwe eindtoestand. Er is iets veranderd door de interventie! Door

1 2 3 4 5 6 7 8 9 10

82 | VISIES

1. Wat was de looptijd van het gesubsidieerde onderzoek van start- tot eindrapportagedatum?

2. Wat heeft de gesubsidieerde studie uiteindelijk aan spin off opgeleverd? Hierbij is gekeken naar de publi-caties[1],patenten,vervolgsubsidiesen/ofvoortzettingonderzoekslijn, en carrièrestappen van de onderzoeker (hoogleraarschap) en zijn medewerkers (promoties).

Publicaties zijn de voornaamste uitkomstparameter van de spin off, omdat in het wetenschappelijke veld het aan-tal, de kwaliteit en impact van publicaties de norm zijn. Wetenschappers worden hierop afgerekend en daarnaast zijn publicaties ook een belangrijk medium voor de versprei-ding van de kennis.De publicaties zijn aan de hand van nadere parameters ver-der geanalyseerd. Daarbij gaat het om zaken als het aantal publicaties en de impact van een publicatie aan de hand van‘WebofScience,JournalCitationReports’.

ResultaatmetingenOp het terrein van de voorlichting die we geven, meten we verschillende elementen van de tevredenheid van de gebruiker:1. De informatie die we aanbieden via onze website.

Bruikbaarheid, begrijpelijkheid, informatiewaarde.2. De tevredenheid over de patiëntenvoorlichting. 3. De tevredenheid over het schriftelijke materiaal

(Bron: onderzoek Hersenstichting)

effecten gehaald worden. Het verband tussen de indicatoren en impact berust op een aantal aannamen. Elk kwartaal wordt de status quo van deze indicatoren verza-meld.OverigensbevatdeBSookindicatorendieslechtseen-maal of tweemaal per jaar kunnen worden vastgesteld.In2012hebbenwegeëxperimenteerdmetdezevormvansturing. In 2013 hebben we de diverse indicatoren van de BSnogweereensonderdeloepgenomenendezeopnieuwsamengesteld. In principe moet dit fine-tunen elk jaar gebeuren.

DeBS2013omvat16indicatoren,verdeeldoververschil-lende rubrieken en gericht op diverse stakeholders.

Impactstudie onderzoeksactiviteitenUitdeBSvolgenmetingendieindicatiesgevenvanimpact.Op het terrein van het onderzoek dat de Hersenstichting laat uitvoeren hebben we eind 2012 een impactstudie afgerond van de zogenaamde kleine subsidies. Dit zijn bijdragen voor onderzoek en studie naar specifieke aspecten van de hersenen of hersenaandoeningen.

In de impactstudie waren alle wetenschappelijke onderzoe-ken en studies betrokken die de Hersenstichting mogelijk maakteendieinrespectievelijk2011,2009en2007zijnafgerond. De evaluatie is uitgevoerd op basis van de infor-matie uit de eindrapportages en een schriftelijke enquête met aanvullende vragen.

Voor de bepaling van de Impact is gekeken naar de vol-gende twee primaire vraagstellingen:

ringen in de wetenschap en naar (verbeterde) behandelin-gen van patiënten die we specifiek op ons conto kunnen schrijven. We hebben daar een apart project van gemaakt, waarbij o.a. gesproken is met de diverse belanghebben-den. Uit het project kwamen vele resultaten, maar uiteindelijk hebben we drie belangrijke effecten van ons werk kunnen identificeren. Resultaten uit wetenschappelijk onderzoek die de behandeling van de patiënten belangrijk verbeterden en waar we echt het verschil maakten.

Hersenonderzoek autisme (foto: Hersenstichting)

Balanced ScorecardVerder is een belangrijke ontwikkeling dat we medio 2012 eenBalancedScorecard(BS)hebbensamengesteld.DeBSiseenstrategischhulpmiddelvoordebesturingvandeHersenstichting. Het is een set indicatoren, kengetallen, die er in hun onderlinge samenhang toe leiden dat de beoogde [1]DitiseenindicatorvoordeBS.

1 2 3 4 5 6 7 8 9 10

VISIES | 83

Centre for International Development Issues (CIDIN)Radboud Universiteit Nijmegen

Resultaat- en impactmeting van projecten in ontwikkelings-landen is al jaren een kernactiviteit van CIDIN. Centraal in ons impactonderzoek staat Participatory Impact Assessment (PIA), zoals beschreven in paragraaf 2.4 van dit boek. Een gelijknamigpilotprojectlooptalsinds2007metCordaid.Daarin evalueren we op huishoudniveau de activiteiten van zes Cordaid-partners in Peru, Ghana en India. Een steekproef van de doelgroep wordt over een periode van vijf jaar gevolgd en vergeleken met een steekproef uit een – samen met de partnerorganisatie gekozen – controlegroep. Onder beide groepen is een nulmeting en een eindmeting verricht om attributie van effecten (wat is veroorzaakt door wat?) mogelijk te maken. Daarnaast gaan we – meestal via groepsdiscussies – met de leden van doelgroepen in gesprek over de onderwerpen waar het project zich op richt. Datlevertdenodigeinformatieopoverdecontextwaarinhet project zich afspeelt, maar ook over de manier waarop lokale belanghebbenden naar het project kijken. Deze kwali-tatieve component biedt tevens de mogelijkheid om de door de organisatie gehanteerde ‘theory of change’ van het pro-ject tegen het licht te houden: hoe en waarop denkt de orga-

•Heteffectvanonzeinterventiesopdesamenlevingalsgeheel krijgen we niet scherp in kaart. Wij zijn (voor-lopig) tevreden met zicht op onze impact voor onze stakeholders!

PeterSchoofDirecteur Hersenstichting Nederland

Samenwerkende GezondheidsFondsen (SGF)Stationsplein127(3eetage)3818 LE AmersfoortTelefoon:06–[email protected]

HersenstichtingKoediefstraat 52511 CG Den HaagPostbus 1912501 CD Den HaagTelefoon:[email protected] www.hersenstichting.nl

Hersenonderzoek malapractice (foto: Hersenstichting)

Het gaat hierbij om continue metingen na toezending van de verstrekte informatie.

Ook onze donateurs worden als een belangrijke groep stakeholders beschouwd en dus is ook hun mening over en ervaringen met de Hersenstichting van belang. Van tijd tot tijd meten we de Nettopromotorscore van de donateurstevre-denheid. Uit het laatste onderzoek (december 2012) kwam eenNPSvan32,7[2] als resultaat op tafel.

Conclusie•Omimpacttekunnenmetenmoetjeindicatorenvaststellen

die berusten op redelijke aannamen. •Doordeindicatorenregelmatigtemetenkunjeaanneme-

lijke uitspraken doen over de impact voor je stakeholders. [2]0=goed,>50=excellent

1 2 3 4 5 6 7 8 9 10

84 | VISIES

gevallen te zien. Uit groepsdiscussies bleek dat de gelijktij-dige introductie van een ziektekostenverzekering door de overheid de behandeling van malaria nog toegankelijker maakte, waardoor gezinnen minder geneigd waren om pre-ventieve maatregelen te nemen, zoals het gebruik van een klamboe. Dit ongewenste neveneffect heeft de betreffende organisatie aangespoord om preventiecampagnes en voor-lichtingsactiviteiten te intensiveren om zo de perverse prikkels van betere behandelende zorg te neutraliseren.

Naast de voordelen van PIA, die vooral liggen in het leer-potentieel en de kritische reflectie op de eigen ‘theory of change’,iserookeenbeperkingtenoemen.Zoishetnieteenvoudig om effecten van verschillende projecten, of verge-lijkbare projecten in verschillende landen, bij elkaar ‘op te tellen’ en zo richting donateurs of sponsoren een overall-indi-catie van ‘value for money’tegeven.Deuniekecontextperprojectlocatie wreekt zich hier. De methode is veeleer geschikt om de effectiviteit van innovatieve projecten te toetsen (voor eventuele opschaling) en om op basis van uitgevoerde activi-teiten ideeën voor vervolgprojecten te genereren.

Hoewel CIDIN ook onderzoek verricht naar de impact van grootschalige interventies, zoals het Millennium Village Project in Kenia, een programma in Bangladesh dat op zoek is naar de meest effectieve manier om kindhuwelijken tegen te gaan, en de effecten van certificering van koffie opboereninkomens,bestaatonzeexpertisevoornamelijkineffectmeting van kleinschaligere projecten uitgevoerd door verschillende typen maatschappelijke organisaties. Goede

behorende tot de laagste kaste nauwelijks profiteerden van een project waarin een boerencoöperatie was opgezet, ondanks het feit dat de ledenlijst een redelijke afspiegeling van de lokale kastestructuur vormde. Lagekasteleden werden echter systematisch buiten de informatiestroom gehouden, of hielden zich bewust afzijdig omdat zij dergelijke praktijken verwachtten.Zodoendewarenzenietopdehoogtevannieuwe landbouwmethoden en afzetmogelijkheden voor hun producten. Dit was niet voorzien door de betreffende organisatie.Zewarentochimmerslidvandecoöperatie?De impactanalyse leidde hiermee tot het besef dat ‘village politics’, oftewel de politiek en de machtsverhoudingen op dorpsniveau, ten onrechte waren veronachtzaamd.

(foto: CIDIN)

Een ander voorbeeld betreft het opzetten van rurale gezond-heidscentra in Ghana. Dit leidde tot verbeterde toegang tot zorg, maar gaf niet de verwachte afname in malaria-

nisatie verandering tot stand te brengen en wat zijn de visies van de doelgroep en andere belanghebbenden daarop?

In onze impactstudies besteden we veel aandacht aan het opsporen van onbedoelde effecten, hetzij in positieve hetzij in negatieve zin, en trachten we een inschatting te maken van de duurzaamheid van de gerealiseerde resultaten. Is in de doelgroep een wezenlijke mentaliteitsverandering opge-treden waardoor effecten onomkeerbaar zijn, of bestaat het gevaar dat bij beëindiging van het project de doelgroep weer terugkeert naar ‘business as usual’? Centraal in onze aanpak staat ook kennisoverdracht. Dit bereiken we door lokale pro-jectuitvoerders nauw bij de impactmeting te betrekken (bijvoor-beeld door samen intensief op zoek te gaan naar de juiste indicatoren om succes aan af te lezen) en de uitkomsten van de impactanalyse op laagdrempelige wijze terug te koppelen naar de doelgroep. Verder betrekken wij ook lokale onderzoe-kers bij onze evaluaties, vanwege hun kennis van de lokale situatie, cultuur en talen, maar ook om lokaal evaluatiecapaci-teit op te bouwen en onze kennis daarvan over te dragen.

CIDIN heeft de sterke overtuiging dat de kwaliteit en relevan-tie van impactmeting verhoogd kunnen worden door kwan-titatieve en kwalitatieve methoden op een slimme manier te combineren, zoals het gebruik van de nulmeting voor de iden-tificatie van de juiste informanten voor interviews en groeps-discussies. Een dergelijke ‘mixed methods’-benadering helpt om te begrijpen welke omgevingsfactoren van invloed zijn op het succes van een project, zodat de interventiestrategie daaropkanwordenaangepast.ZobleekinIndiadatboeren

1 2 3 4 5 6 7 8 9 10

VISIES | 85

Om dit mogelijk te maken is 1%CLUB op zoek gegaan naar samenwerkingspartners die binnen AmLab als snel gevonden waren. En met deze nieuwe partners zijn ook de ambities groter geworden. Deze makkelijke en toegankelijke manier van impact- en resultaatmeting moet niet alleen mogelijk zijn voor kleinschalige ontwikkelingsprojecten maar zou juist omarmd moeten worden door de gehele ontwikkelingssector.

AmLab staat voor een nieuwe manier van Impact- en Resultaatmeting. Het gaat een stap verder dan accountability en transparantie. Het gaat over een paradigmaverandering van top down naar bottom up, van wisdom of the experts naar wisdom of the crowd, van verantwoording naar samen-werking en leren en van transparantie naar open. Van open datasets naar een open inclusief model van samenwerking waarbij de eindgebruikers centraal staan.

(foto: 1%Club)

1%CLUB / AmLab

Open Impact- en ResultaatmetingSinds2008zijnerviahetplatformvan1%CLUB400kleinschalige ontwikkelingsprojecten succesvol van start gegaan. Projecten van mensen met slimme ideeën uit ontwik-kelingslanden die via crowdfunding en crowdsourcing hun idee werkelijkheid willen laten worden. Crowdfunding en crowdsourcing kan alleen succesvol zijn als vervolgens het resultaat van deze projecten gedeeld wordt met de mensen die het project ondersteund hebben. Het tonen van resul-taten is dus voor deze kleinschalige projecten van cruciaal belang. Maar we weten ook dat het aantonen van resultaat en het meten van impact vanuit een kleinschalig project niet makke-lijk is. Voor een goede impactmeting is kennis en capaciteit op het gebied van evaluatie nodig. Iets dat vaak ontbreekt bij deze projecten. Daarnaast worden de data vaak op zulke verschillende manieren verzameld, dat een vergelijking tussen deze verschillende kleine projecten niet mogelijk is. Samenwerkingishierbijvangrootbelang.

Een goede reden voor 1%CLUB om op zoek te gaan naar een nieuwe manier van monitoring en evalutie voor kleinscha-lige projecten. Met de inzet van nieuwe technologieën als SMSensmartphoneswordtheteenstukgemakkelijkeromdata te verzamelen en zichtbaar te maken en kan evalueren gemakkelijk geïntegreerd worden in de dagelijkse praktijk.

relaties en onderzoekservaring met gevestigde ontwikke-lingsorganisaties, en in toenemende mate ook ‘corporate foundations’ en particuliere initiatieven, zijn hiervan de achtergrond. Momenteel voert CIDIN impactanalyses uit voor Agriterra in Burundi, The Hunger Project in Benin en SolidaridadinEthiopië,KeniaenOeganda.

SelectievanCIDIN-impactstudies:Debebe,Z.Y.,Kempen,L.van&Hoop,T.J.de(2012).“A perverse‘net’effect?Healthinsuranceandex-antemoral

hazard in Ghana.” Social Science & Medicine,75(1),138-147.

Hoop, T. de, Kempen, L. van, Eerdewijk, A. van & Linssen, R. “Women’s autonomy and subjective well-being in India:

how village norms shape the impact of self-help groups.” Verschijnt binnenkort in Feminist Economics.

Wanjala, B. & Muradian R. “Can Big Push interventions take small-scale farmers out of poverty? Insights from the

SauriMillenniumVillageinKenya.”Verschijntbinnenkortin World Development.

LuukvanKempenenLauSchulpenResearchers/Lecturers

CIDIN Thomas van Aquinostraat 4 6525 GD NijmegenTelefoon: 024 - 361 30 58 [email protected] www.ru.nl/cidin

1 2 3 4 5 6 7 8 9 10

86 | VISIES

efficiënter, effectiever te werken, meer open en transparant te zijn en de crowd erbij te betrekken. Marianne GybelsManager Program development

1% CLUB ‘s Gravenhekje 1a 1011 TG AmsterdamTelefoon:020–[email protected]

Partners AmLab:TTC:www.texttochange.orgAkvo: www.akvo.org

(foto: 1%Club)

De uitgangspunten zijn simpel. Het moet vanuit de gebrui-kers gedragen worden, het moet meerdere invalshoeken belichten, het moet een gesprek zijn waarbij de focus ligt op mensen en niet op instituties. Daarnaast gaat het niet om controle maar om vertrouwen van mensen onderling en is leren de belangrijkste doelstelling. Het belangrijkste uit-gangspunt: het is een open systeem. Iedereen kan input leve-ren en van elkaars ervaringen leren. Open source software die open data verzamelt. Dat is volgens AmLab de toekomst van impact- en resultaatmeting. AmLab(kortvoorAmsterdamLab)bestaatuitAkvo,TexttoChange en 1%CLUB. AmLab ontwikkelt gezamenlijk inno-vatievetoolsforSocialChangediehetmogelijkmakenom

Het zal het werk van goededoelenorganisaties tot een pro-ces maken dat minder een interventie in het onbekende is en meer een beter onderbouwd pad naar inclusieve duurzame ontwikkeling. Waarbij ruimte is om fouten te maken. Waarbij snelle 360-graden-feedbackloops leiden tot permanent bijstel-len van de uitgezette koers. Fail fast. Learn Fast. Ook worden de interventies die tot een positieve sociale ontwikkeling hebben geleid op deze manier zichtbaarder en traceer-baarder. En last but not least: efficiency, herhaalbaarheid en schaalbaarheid zullen toenemen. Resultaat- en impactmeting zijn hierbij geen bijzaak meer maar structureel onderdeel van iedere organisatie en daarbij van cruciaal belang. We hebben hiervoor een methode en set van tools ontwik-keld die ‘real time reporting’ mogelijk maken. We maken het mogelijkommetbehulpvansimpeletoolsalsSMS,video,blogs en interviews via smart phones projecten in beeld te brengen en te monitoren. Deze monitoring is rechtstreeks zichtbaar op de online-omgeving van het project waardoor er een constante stroom van persoonlijke rapportage van de eindgebruikers zichtbaar is. Deze rapportages samen zor-gen ervoor dat er een impactmeting per project kan worden gedaan.

Op het moment dat deze manier van monitoring en evalu-atie wordt gecombineerd met de beschikbare open data is het mogelijk om van micro- tot macroniveau zichtbaar te maken wat het effect van de goededoelenorganisatie is. En het geeft de mogelijkheid om projecten te vergelijken op regionaal, nationaal en internationaal niveau.

1 2 3 4 5 6 7 8 9 10

VISIES | 87

openen van data over de bijdrage aan, de voortgang op enderesultatenvanInternationaleSamenwerking.Partosbevordert transparantie in overeenstemming met de IATI-standaarden, vanuit de overtuiging dat open (lees: machine-leesbare en vrij toegankelijke) data een belangrijke bijdrage kunnen leveren aan de effectiviteit van Internationale samen-werking. Tijdens de jaarlijkse kennis- en netwerkbijeenkomst Partos Plaza, wordt de ‘Briljante Mislukkingen Award’ uitgereikt. Een ‘Briljante Mislukking’ is een goed voorbereid project dat anders is gelopen dan gepland en waarvan vervolgens door de organisatie is geleerd. Het doel van het uitreiken van deze prijs is het lerend vermogen, de innovatie-kracht en de transparantie in de sector bevorderen.

Partos Plaza (foto: Rebke Klokke)

Resultaat- en impactmetingPartos bevordert het strategisch inrichten van de organisatie en organisatieprocessen bij leden om een positief effect op

allianties.Zomoeter–integenstellingtotvoorgaandejaren– een nulmeting plaatsvinden om de situatie voorafgaand aan een interventie in kaart te brengen. Ook dienen uitkom-sten bij doelgroepen vergeleken te worden met uitkomsten bij controle- of referentiegroepen. De resultaten van de evalu-atieswordeneind2014/begin2015bekendgemaakt.

Bevorderen van kwaliteitDoor de relatie met effectiviteit en doelmatigheid is orga-nisatiekwaliteit een belangrijk aandachtspunt van Partos. DeISO9001iseennormdiekwaliteitseisensteltaanhetkwaliteitsmanagementsysteem van een organisatie. Partos heefteensectorspecifieketoepassingvandeISO9001ontwikkeld. Deze sectorspecifieke toepassing (‘de Partos 9001’) houdt rekening met de specifieke omstandigheden vanInternationaleSamenwerking.Ledenwordenactiefgesti-muleerd om de Partos 9001 te implementeren. Daarnaast committeren Partos-lidorganisaties zich aan de Partos-gedragscode. Deze code geeft algemeen geldende waar-den weer die door Partosleden worden onderschreven als basis voor hun handelen. Voor alles wat in deze code staat beschreven, geldt dat het is geformuleerd vanuit het belang vaneffectieveInternationaleSamenwerking.ZoschrijftdeGedragscode voor dat lidorganisaties de kwaliteit van hun organisatieregelmatigexternlatentoetsen.

Bevorderen van transparantieOp verschillende manieren bevordert Partos transparantie van de lidorganisaties. Het International Aid Transparency Initiative (IATI) hanteert internationale standaarden voor het

Partos – Branchevereniging voor Internationale Samenwerking

Partos is de branchevereniging voor Internationale samen-werking in Nederland. De vereniging behartigt de belangen van 120 Nederlandse particuliere ontwikkelingsorganisaties die actief zijn op terreinen als armoedebestrijding, humani-taire hulpverlening, mensenrechten en duurzame ontwikke-ling. De overkoepelende doelstelling van Partos is om de effectiviteit van de aangesloten lidorganisaties te ondersteu-nen. Hiertoe bevordert Partos onder andere kennis, kwaliteit en transparantie van lidorganisaties.

Bevorderen van kennisGoede planning, monitoring en evaluatie (PME) zijn cru-ciaal om programmaresultaten te bereiken, inzichtelijk te maken en hiervan te leren. Partos draagt actief bij aan de professionalisering van lidorganisaties op dit gebied door PME-cursussen aan te bieden in samenwerking met derden. Daarnaast organiseert Partos informatie- en uitwisselingsbij-eenkomsten over strategisch belangrijke thema’s en bevordert hetgezamenlijklerenvanonderzoek.ZoisPartosnauwbetrokkenbijdegezamenlijkeMFS-II-evaluatieswaaraanmeer dan zestig ontwikkelingsorganisaties (georganiseerd innegentienallianties)deelnemen.DegezamenlijkeMFS-II-evaluaties zijn een direct gevolg van de eisen die het ministerievanBuitenlandseZakenheeftgesteldaanMFS-II-

1 2 3 4 5 6 7 8 9 10

88 | VISIES

Centre for Development InnovationWageningen University and Research centre

Het Centre for Development Innovation (CDI) is een van de onderzoeksinstituten van Wageningen UR (University & Research centre). Het heeft als doelstelling innovatie en leren tebevorderen.Belangrijkhierbijisaandachtvoordecontextvan veranderings- en leerprocessen. Als het gaat om duur-zame sociaal-economische ontwikkeling is deze doorgaans complex.

CDI heeft een ‘Managing for Impact’ (M4I)-aanpak ont-worpen die uitdrukking geeft hieraan. De benadering is gebaseerd op jarenlange en internationale ervaring met het verlenen van technisch advies in planning, monitoring en evaluatie aan Nederlandse en internationale ontwikkelings- en goededoelenorganisaties die werkzaam zijn in diverse sectoren. De M4I-aanpak is een holistische aanpak om meer impact te bereiken. Centraal staat een nauwe verbin-ding van strategische en operationele planningsprocessen, gevoed door monitoring- en evaluatieprocessen. Hierbij wordt uitdrukkelijk aandacht besteed aan het betrekken van de verschillende actoren in deze processen en het stimuleren van leren, zowel over een project of programma als over de contextwaarindezezichbevindt.Daarnaastishetdoorden-ken van de capaciteiten en condities die hiervoor nodig zijn van belang.

vormen voor de administratieve lastendruk die gepaard gaat met rapportage- en verantwoordingsvoorschriften.

Mirjam Locadi Evaluation Manager

PartosEllermanstraat 18B1099 BX AmsterdamTelefoon: 020 – 320 99 [email protected]

dedoelgroeptemaximaliseren.Ondersteuningbijresultaat-en impactmeting is hier een belangrijk – maar zeker niet het enige – onderdeel van. Inzicht in resultaten is van belang voor verantwoordingsdoeleinden. Partos vindt het minstens even belangrijk dat dit inzicht actief benut wordt om als organisatie van te leren en om nieuw beleid te ontwikkelen, zowel op het niveau van de organisatie als op het niveau van de sector.

Aanbevelingen• Zorgdatbinnendeorganisatieeenstructuurende

benodigde capaciteit zijn die het mogelijk maken programma’s en beleid gestructureerd te monitoren en evalueren, van evaluaties te leren en vervolgens pro-gramma’s en beleid te verbeteren.

• Betrekpartnerorganisatiesendoelgroepenactiefbijhetplannen, monitoren, evalueren en leren op basis van resultaten.

• Maakgebruikvanbeschikbarekennisendraagbijaan het leren op sectorniveau. Wees transparant over resultaten, ook als deze tegenvallen.

ToekomstvisieOpen data op basis van de IATI-standaarden maken het aggregeren, vergelijken, koppelen en traceren van gege-vens mogelijk, waardoor op termijn inzicht ontstaat in alle geldstromen en de voortgang en resultaten van Internationale Samenwerking.Partosverwachtdatdeontwikkelingenrond-om open data (zoals datajournalistiek, datavisualisaties en de ontwikkeling van apps) op termijn een alternatief zullen

1 2 3 4 5 6 7 8 9 10

VISIES | 89

Om het gebruik van evaluaties te bevorderen moeten eva-luatoren stakeholders betrekken in het evaluatieproces. Dit bevordert ook het leerproces. CDI ondersteunt daarom het gebruik van participatieve en leergerichte methoden en beveelt dit ook goede doelen aan. Tip 3: Bevorder partici-patie en leren in resultaatmeting door betrokkenen.

Het is ook belangrijk dat resultaatmeting aansluit bij de context;behoeften,belemmeringenengelegenhedenindeorganisatie en interventie behoeven aandacht. Er is geen gouden standaard en een one-size-fits-all-oplossing is niet mogelijk. Het design van resultaatmeting moet afgestemd worden op het doel ervan en de specifieke omstandigheden moeten in acht worden genomen. Tip 4:Staopenvoorver-schillende evaluatiebenaderingen en -methoden en kies een aanpak die past bij de specifieke situatie.

ToekomstvisieHet CDI is van mening dat goededoelenorganisaties en hun partners baat zouden hebben bij: - resultaatmeting die niet slechts op verantwoording is

gericht, maar ook op deelname van en leren door be-trokkenen en zo strategische besluitvorming bevordert;

- participatie door betrokkenen in design, implementatie en gebruik van resultaatmeting;

- het aangaan van een dialoog met donoren over de doelen van resultaatmeting en de manier waarop dit gebeurt;

- open communicatie van resultaatmetingen zodat de mogelijkheid om ervan te leren beter wordt benut. Er

genoemd worden, maar zeker niet minder belangrijk zijn, richten zich op bijvoorbeeld het ontwikkelen van een lerende organisatie, capaciteitsontwikkeling van partners in de interventie of het bevorderen van democratische besluitvor-ming. De Nederlandse goededoelenorganisaties zouden meer aandacht mogen geven aan de verscheidene redenen voor en functies van evaluaties; naast de huidige focus op verantwoording aan donoren, zouden ze het leren van resultaatmeting sterker kunnen bevorderen om zo niet alleen operationele maar ook strategische besluiten te ondersteunen en daarmee meer impact te bereiken.

AanbevelingenDe M4I-aanpak van CDI gaat ervan uit dat resultaatme-tingen utilisation-focused zouden moeten zijn. Dit betekent dat bijvoorbeeld evaluaties worden gedaan voor en met de eindgebruikers van de evaluatie zodat de kans op het strategisch gebruik van de evaluatie geoptimaliseerd wordt en ook bevindingen gevonden kunnen worden die zinvol zijn voor een verscheidenheid aan actoren (en bijvoorbeeld niet alleen de financier). Tip 1: Identificeer de belangrijkste eindgebruikers en word het eens over het gebruik van de resultaatmetingen.

Overeenstemming over doel en gebruik van resultaatmeting vereist dat de organisaties bereid zijn met hun donoren te praten over het doel en gebruik van resultaatmeting. Daarin zien wij een grote uitdaging voor de goededoelenorganisa-ties. Tip 2: Praat met donoren over het gebruik en doel van resultaatmeting.

Naast kennisontwikkeling en technische ondersteuning, traint CDI elk jaar een groot aantal PME-managers, evaluatoren en PME-gebruikers van overheden, NGO’s en ontwikke-lingsorganisaties in Afrika, Azië, Latijns Amerika en Europa. De vraag naar capaciteitsopbouw op het gebied van PME neemt toe. Er is een internationale cursus ‘Participatory Planning, Monitoring and Evaluation – Managing for Impact’ (op dit moment bijna negentig deelnemers) die jaarlijks plaatsvindt in Wageningen. Daarnaast wordt deze cursus ook in het Frans gegeven in Burkina Faso. CDI geeft ook op-maat-gemaakte trainingen en ondersteunt verder organisatieprocessen die als doel hebben PME-processen te verbeteren, bijvoorbeeld door het helpen ontwikkelen van (participatieve) M&E-systemen. Verder organiseert CDI ook internationale ‘M&E on the edge’-conferenties die jaarlijks een platform bieden voor ‘hot debates’ in innovatie van PME. Daarnaast heeft CDI een resource portal op het vlak van managing for impact en specifiek PME-gerelateerde issues: www.managingforimpact.org.

Resultaat- en impactmetingBijna elke organisatie doet op de een of andere manier aan resultaat- en impactmeting om de investeringen die het doet te kunnen verantwoorden en haar activiteiten te verbeteren. Het belang van resultaatmeting is over het algemeen geac-cepteerd. Er zijn echter verschillende redenen voor het doen van resultaatmetingen. De meest gangbare zijn: bijsturen tijdens implementatie, (meestal opwaartse) verantwoording afleggen over behaalde resultaten, strategieontwikkeling en beïnvloeden van beleid. Redenen die minder vaak

1 2 3 4 5 6 7 8 9 10

90 | VISIES

De focus van onze evaluatie-activiteiten ligt op het meten van effectiviteit van een interventie: gaan deelnemers aan een interventie zich anders gedragen? Weten zij meer over een mondiaal probleem? Is hun houding ten aanzien van mensen die leven in ontwikkelingslanden veranderd? NCDO richt zich daarmee met name op het niveau van de impact van een interventie op de doelgroep(en).

Evalueren is maatwerk!• NCDOkiestbijhetontwerpvanevaluatiestudiesvoor

maatwerk. De interventie staat hierbij centraal. Maat-werk betreft niet alleen de onderzoeksmethoden, maar ook de onderzoeksinstrumenten. De beschrijving van de resultaten van de evaluatie dienen aan te sluiten bij de behoeftevandeklanten/ofdesubsidiënt.

• NCDOzietevaluatiealsintegraalonderdeelvandeinterventie. Het evaluatie onderzoek kan niet los gezien worden van de interventie.

• NCDOgebruiktinhaarevaluatieskwantitatieveenkwalitatieve onderzoeksmethoden. De klant en de onderzoeksvraag staan centraal bij de keuze van de methoden.

• NCDOvindthetbelangrijkdatevaluerennietalleeningezet wordt om te verantwoorden, maar juist ook om te leren hoe de interventie verbeterd kan worden

• NCDOevalueertefficiëntenhoudtinbelangrijkematerekening met de kosten van de evaluatie en tijdsinveste-ring van de partner.

• NCDOvergelijkt.NCDOheefteenvragenlijstontwik-keld waarmee de mate van mondiaal burgerschap kan

NCDO

Wat is NCDO?NCDO is het Nederlandse kennis- en adviescentrum voor mondiaal burgerschap. NCDO onderzoekt, traint en stimu-leert de meningsvorming over mondiale thema’s door publi-caties te verzorgen en de discussie op gang te brengen. NCDO werkt daarbij samen met overheid en politiek, maat-schappelijke organisaties, bedrijfsleven en wetenschap.

Evalueren: Onderzoek, Advies & KennisoverdrachtHet evaluatieonderzoek en -advies van NCDO richt zich op interventies die op allerlei manieren beogen mondiaal burger-schap onder Nederlanders te bevorderen. Denk hierbij bijvoor-beeld aan evaluaties van lesprogramma’s, debattenreeksen, tentoonstellingen, uitwisselingsprogramma’s of serious games.

NCDO onderzoekt, adviseert en deelt kennis. NCDO begeeft zich op drie velden wat betreft evalueren. NCDO voert zelf evaluatie-onderzoek uit (al dan niet in opdracht van derden). NCDO adviseert maatschappelijke organisa-ties die actief zijn op dit terrein hoe te evalueren. NCDO deelt kennis via bijeenkomsten en publicaties van onder-zoeksrapporten zodat deze kennis door andere organisaties kan worden gebruikt.

bestaan reeds interessante platforms voor het delen van data waarvan organisaties gebruik kunnen maken.

Verwijzing naar publicatie CDI’s Managing for Impact resource portal: www.managingforimpact.org. Making Evaluations Matter: A practical guide for Evaluators. 2011.WrittenbyCecileKusters,SimonevanVugt,Seerp

Wigboldus, Bob Williams, and Jim Woodhill.

ir. Cecile KustersDocent en Participatory Planning, Monitoring and Evaluation (PPME)Expert

Centre for Development Innovation Wageningen University and Research centreLawickse Allee 11, gebouw 4256701ANWageningenPostbus 886700ABWageningenTelefoon:0317–[email protected]

1 2 3 4 5 6 7 8 9 10

VISIES | 91

uitgebreidemixvankwalitatieveenkwantitatieveonder-zoeksmethoden. Denk hierbij aan desk research, outcome mapping, most significant change, vragenlijstonderzoek en diepte-interviews. Naast de bestudering van effecten neemt in deze evaluatie ook het leren van de deelnemende organi-saties een belangrijke plaats in.

Kijk op onze website voor meer evaluaties: www.ncdo.nl/effectstudiesenvooreenonline-toolkitevalueren: www.ncdo.nl/toolkit-evalueren

Marije van Gent & Christine CarabainSeniorOnderzoekers

NCDOMauritskade 631092 AD AmsterdamPostbus 940201090 GA AmsterdamTelefoon:[email protected]

worden gemeten. Items uit deze vragenlijst zijn al in tal van evaluatiestudies van interventies die zich richten op het versterken van het mondiaal burgerschap in Nederlandingezet/gebruikt.HiermeecreëertNCDOde mogelijkheid om interventies onderling te vergelijken en kennis met elkaar te delen.

• NCDOmaaktalhaarevaluatiesopenbaar.Alleevalu-aties die NCDO uitvoert worden vrijgegeven op haar website.

NCDO evalueert!Hieronder treft u twee voorbeelden van evaluaties van NCDO aan.

Habbo goes tweede kamer.Deze studie is een klassieke kwantitatieve evaluatiestudie naar de effecten van de online-campagne ‘Habbo goes tweede kamer’ van Coolpolitics. Op basis van vergelijkin-gen van voor- en nametingen met interventie- en controle-groep worden uitspraken gedaan over de effecten van de campagne op onder andere de kennis over politiek van de deelnemers.

E-motive (leren van het Zuiden) NCDO evalueert in het kader van een EU-subsidie eenaantalZuid-Noord-expertise-uitwisselingenvanhetE-motiveprogrammavanOxfamNovib.Uitsprakenoverde effecten op de manier waarop deelnemers en andere stakeholdersovermensenuithetZuidendenkentengevolgevan deze uitwisselingen, worden gedaan op basis van een

1 2 3 4 5 6 7 8 9 10

92 | BEGRIPPEN

Begrippenkader

Efficiëntie – Het verkrijgen van het grootst mogelijke effect of resultaat in verhouding tot de middelen.

Effect – Het gevolg van de activiteiten en resultaten op de doelgroep, organisatie of maatschappij.

Effectiviteit – Het bereiken van het gewenste resultaat.

Evalueren –Systematischverzamelen,interpreterenenpre-senteren van informatie teneinde de waarde van een activi-teit, project of programma te bepalen.

Externe factoren – Factoren die van invloed zijn op het resul-taat, zoals politieke, sociale, economische, ecologische of technologische veranderingen.

Focusgroepen – Groepen die discussiëren over een vooraf bepaald onderwerp om ervaringen uit te wisselen, beleid te maken of de mening van gebruikers te leren kennen.

GRI-richtlijnen – Internationale richtlijnen op het gebied van duurzaamheidsverslaglegging.

Impact –Stroming1:Hettotaalvanlangetermijneffecten – positieve, negatieve, bedoelde en onbedoelde, directe en indirecte – van activiteiten, projecten of programma’s op de doelgroep en de maatschappij.Stroming2:deeffecten(outcomes)opdedoelgroepenmaatschappij als gevolg van de activiteit. In andere woor-den: de outcomes minus ‘wat er toch al gebeurd zou zijn’.

CBF-Certificaat – Het CBF-Certificaat voor kleine goede doelen is het keurmerk van het Centraal Bureau Fondsen-werving (CBF) voor de kleinere goededoelenorganisaties.

Controlegroep – Een groep (bijvoorbeeld mensen, onder-zoeken, locaties, flora of fauna) die geen onderdeel heeft uitgemaakt van de ontplooide activiteit.

Correlatie – In de statistiek spreekt men van correlatie als er (lineaire) samenhang blijkt te zijn tussen twee variabelen of twee metingen.

Counterfactual analysis – analyse van wat er ook zou heb-ben plaatsgevonden als de activiteit niet zou zijn uitgevoerd, om erachter te komen wat de impact van de activiteiten is geweest. Dit kan worden gedaan door de evaluatie ook uit te voeren bij een controlegroep.

Doelstelling – Een op korte of middellange termijn nage-streefde situatie.

Duurzaamheid – Bestendigheid met het oog op de toe-komst. Aansluiten op behoeften van het heden zonder het vermogen van toekomstige generaties om in hun eigen behoeften te voorzien in gevaar te brengen.

Eén-meting – Een tussentijdse of eindmeting om te kunnen bepalen of er veranderingen hebben plaatsgevonden ten opzichte van de beginsituatie (nulmeting).

Accountability – Het afleggen van rekenschap en verant-woording over bestedingen en resultaten.

Attributie – Het aantonen dat de effecten en impact op de doelgroep en maatschappij het gevolg zijn van de ontplooi-de activiteiten.

Beginsituatie – De situatie waarin de doelgroep of populatie zich bevindt voorafgaand aan de activiteit of het project.

Belanghebbenden/stakeholders – Individuen of organisaties die als gevolg van de activiteiten van de organisatie positief of negatief beïnvloed worden of die invloed kunnen uitoefe-nen op de organisatie.

Bijeffecten – Onbedoelde effecten van activiteiten, projecten en programma’s van de organisatie. Causaliteit – Causaliteit verwijst naar de veronderstelling of theorie dat gebeurtenissen plaatsvinden als gevolg van bepaalde andere gebeurtenissen die daaraan vooraf gegaan zijn; een oorzaak gaat vooraf aan een gevolg. Men spreekt in dergelijke gevallen van een causaal verband tussen twee gebeurtenissen.

CBF-Keur – Het CBF-Keur voor goede doelen is het keurmerk van het Centraal Bureau Fondsenwerving (CBF) voor de grote landelijk fondsenwervende instellingen (goededoelen-organisaties) in Nederland.

1 2 3 4 5 6 7 8 9 10

BEGRIPPEN | 93

Output – De meetbare directe resultaten als gevolg van de ontplooide activiteiten.

Participatieve methoden – Instrumenten en methoden waarin belanghebbenden van de activiteit of het project actief betrokken worden bij de uitvoering en het evalueren van de resultaten.

Prestatie-indicatoren – Variabelen om prestaties van organi-saties, beleid, programma’s, projecten of activiteiten te ana-lyseren. Met behulp van prestatie-indicatoren kan een orga-nisatie de mate van haar prestaties meten en beoordelen.

Private donateur – Individuele of particuliere donateur.

Procesmethoden – Instrumenten en methoden die gericht zijn op het volgen van de efficiëntie en effectiviteit van resul-taten, variabelen of indicatoren van lopende operationele processen.

Publieksvertrouwen – Het vertrouwen van het Nederlandse publiek in de goededoelensector. Factoren die van invloed kunnenzijnophetpublieksvertrouwenzijnexterntoezicht,CBF-Keur, transparantie, professionaliteit, zichtbaarheid, publieksbenadering, toewijding, omvang, incidenten en consumentenvertrouwen.

Register Goede Doelen – Het Register goede doelen is de database op de website van het CBF waar donateurs gratis informatie kunnen raadplegen over goededoeleninstellingen.

Kwantitatief onderzoek – Onderzoek naar feiten. Een enquête of bevraging van de doelgroep of een steekproef van de doelgroep op basis van een vragenlijst met gesloten en veelal cijfermatige (meerkeuze)vragen.

Logisch model – Een (grafisch) model dat de relatie zicht-baar maakt tussen de middelen die nodig zijn om activitei-ten, projecten en programma’s uit te voeren, de activiteiten die worden uitgevoerd, de resultaten en de effecten die bereiktworden.ZietevensTheoryofChange.

Maatschappelijke waarde – De blijvende toegevoegde waarde of effecten van de activiteit, het project of program-ma voor de gehele maatschappij.

Meetmodel –Eenmeetmodelbeschrijftdeexplicieteenimpliciete veronderstellingen over het project of de activiteit. Het beschrijft met welke middelen, interventies en resultaten de doelstelling van het project kan worden bereikt.

Monetaire methoden – Instrumenten of methoden die gericht zijn op het vertalen van resultaten en effecten naar een eco-nomische of monetaire waarde.

Nulmeting – Een meting waarbij de uitkomsten als uitgangs-punt worden genomen voor later onderzoek.

Outcome – De effecten van de directe resultaten op de doelgroep.

Impactmethoden – Instrumenten die meetbare resultaten (outputs) en effecten (outcomes) met elkaar proberen te verbinden en die proberen om de toegevoegde waarde van de activiteit te bewijzen ten opzichte van de beste alter-natieve activiteit (vrij vertaald vanuit het Engels, Clark et al. 2004:8).

Input – Alle middelen (geld, materiaal, kennis, netwerken en uren) die een organisatie inzet om de doelstellingen te realiseren.

Institutionele gevers/donateurs/donoren – Financiers en subsidieverstrekkers zoals overheden, fondsen of andere instellingen die fondsen verstrekken middels het verlenen van een opdracht.

Interventiestrategieën – Het geheel van activiteiten die goededoelenorganisaties aanwenden om doelstellingen te realiseren. Bijvoorbeeld: fondsenwerving, voorlichting, belangenbehartiging.

Kosten-batenanalyse – Vergelijking van de verwachte totale kosten van een project met de geschatte totale opbrengsten om rationeel over het project te kunnen beslissen.

Kwalitatief onderzoek – Onderzoek naar meningen. Onderzoek waarbij het begrijpen van de belevingswereld van de onderzochten in een bepaalde situatie centraal staat.

http://www.cbf.nl/RegisterGoedeDoelen/databank_zoeken.php

1 2 3 4 5 6 7 8 9 10

94 | BEGRIPPEN

worden beoordeeld, waar mogelijk op grond van vooraf opgestelde normen of eisen.

Waardeketen – Een keten van opeenvolgende (deel)activitei-ten waarbij in elke schakel waardetoevoeging plaatsvindt. Hierbij wordt verondersteld dat de gehele keten van activi-teiten meer toegevoegde waarde heeft dan de som van de afzonderlijke (deel)activiteiten.

Storytelling – Het meten van resultaten en impact volgens een narratieve methode waarin deelnemers verhalen met elkaar en de organisatie delen over de activiteit.

Theory of Change – ook wel logisch model, verandertheorie of veranderboom genoemd. Een denkmodel dat beschrijft welke middelen (inputs) nodig zijn om de beoogde activitei-ten uit te voeren, welke direct meetbare resultaten (outputs) deze activiteiten zullen opleveren, welke effecten (outcomes) de resultaten verwacht worden te hebben op de doelgroep en wat de langetermijnnetto-effecten op doelgroep en maat-schappij (impact) zouden kunnen zijn als gevolg van de activiteit.

Transparantie – Het op een duidelijke wijze inzicht geven in strategie, (beleids)beslissingen, procedures, resultaten en effecten van de organisatie. Dit kan zijn actieve (het openlijk communiceren van de gang van zaken) of passieve transpa-rantie (het geven van openheid van zaken naar aanleiding van vragen van buitenaf).

Verandermodel – Een model waarmee gericht en systema-tisch wordt gestreefd naar (organisatie)verandering.

Verantwoording – Het afleggen van rekenschap en verant-woording over bestedingen en resultaten.

Visitatie – Een ter plaatse te verrichten onderzoek waarbij de omstandigheden waaronder en de wijze waarop activi-teiten worden uitgevoerd en de resultaten van de activiteiten

Jaarcijfers, grafieken over bestedingen, jaarverslagen en informatie over de doelstelling, het werkterrein, vrijwilligers, bestuursleden en directies kunnen via eenvoudige zoekfunc-ties worden opgezocht op www.cbf.nl.

Relevantie – Relevant is datgene wat belangrijk is. Bij een bepaald onderwerp vormt datgene wat relevant is de essen-tie van het betreffende onderwerp.

Resultaat- en impactmeting – Het deel van evalueren, waar-bij (statistisch) onderzoek wordt uitgevoerd naar de resultaten eninterneenexterneeffectenvanprogramma’s,projectenen activiteiten van organisaties met als doel inzicht te krijgen in hetgeen er is bereikt.

Significant – Een waargenomen resultaat of effect dat niet door toeval is ontstaan, maar door iets anders (bijvoorbeeld de activiteiten van de organisatie).

SMART-doelstellingen – Doelstellingen van het project die specifiek, meetbaar, acceptabel, realistisch en tijdgebonden zijn.

Stakeholders ZieBelanghebbenden.

Statistiek – Het verzamelen, bewerken en interpreteren van cijfermatige gegevens.

1 2 3 4 5 6 7 8 9 10

TREFWOORDEN | 95

Trefwoordenregister belangrijkste vindplaatsen

Kwantitatief onderzoek 53,93Logisch model 25,41,93,94Maatschappelijkewaarde 41,42,45,60,79,93Meetmodel 6,25,37,93Monetaire methoden 51,93Nulmeting 6,32,37,55,77,92,93Outcome 6,16-19,25,26,31,40,42,46,50,60,77,79,92,93Output 6,16-20,25,31,40,42,46,50,68,77,79,93Participatievemethoden 47,53,54,93Prestatie-indicatoren 6,21,29-31,42,47,49,62,93Private donateur 93Procesmethoden 51,93Publieksvertrouwen 15,71,93Register Goede Doelen 3,93Relevantie 64,68,84,94Resultaat- en impactmeting 3,6,15,20,21,23,26,29,32,38,39,53,55,62,64,67,69,72,

73,75,77,83,86,87,89,94Significant 40,55,58,94SMART-doelstellingen 23,26-29,94Statistiek 57,58,94Storytelling 53,54,94Theory of Change 23,25,40,83,84,94Transparantie 3,13,15,41,74,85,87,93,94Verandermodel 41,94Verantwoording 3,8,13,15,21,63,68,70,75,85,89,94Visitatie 53,54,94Waardeketen 6,16-19,25,46,51,94

Accountability 15,91Attributie 5,6,20,34,47,56,60,83,92Beginsituatie 6,29,32,46,77,92Belanghebbenden 6,8,9,15,24,33,34,41,44,60,62,64,69,72,73,82,83,92Bijeffecten 20,56,62,92Causaliteit 40,57,58,59,73,92CBF-Keur 3,4,21,75,92,93,99CBF-Certificaat 21,75,92,99Controlegroep 6,14,35,36,47,49,62,74,83,91,92Correlatie 40,57,58,59,73,92Counterfactual analysis 6,92Doelstelling 6,8,13,16,25,26,30,31,44-47,51,60,62,64,67,73,92Duurzaamheid 68,69,84,92Eén-meting 92Efficiëntie 51,68,69,92Effect 5,6,13,15,16,18,20,25,26,31,34,37,41,43,46,49,50,53,

56,60,62,92Effectiviteit 13,15,19,31,51,64,68,69,84,87,90,92Evalueren 3,8,14,20,23,24,40,41,44,62,63,67,73,79,83,85,90,92Externefactoren 20,25,40,56,59,69Focusgroepen 6,8,34,38,53,54,61,73,92GRI-richtlijnen 15,92Impact 3,5,6,15-18,25,31,34,41-43,46,48,50,54,59,62,64,68,

69,79,81,84,88,90,92Impactmethoden 46,51,93Input 6,16-19,25,40,41,42,46,50,93Institutionele gevers 21,93Interventiestrategieën 93Kosten-batenanalyse 41,93Kwalitatief onderzoek 53,93

1 2 3 4 5 6 7 8 9 10

96 | LITERATUUR

Literatuurlijst

Korten, D.C. (1990) Getting to the 21st Century – Voluntary Action and the Global Agenda. West Hartford: Kumarian Press.

Kusters,C.S.L.etal.(2011).Making evaluations matter: A practical guide for evaluators. Wageningen: Centre for Development Innovation, Wageningen University & Research centre.

Leeuw, F. & Vaessen, J. (2009). Impact Evaluations and Development. NONIE Guidance on Impact Evaluation. Washington: NONIE.

Liket, K.C. & Maas, K.E.H. (nog te verschijnen). Philanthropic Impact, In: Proefschrift Liket, K.C., Hoofdstuk 2, nog te publiceren (artikel kan opgevraagd worden bij de auteurs, Liket, K.C. [email protected], Maas, K.E.H., [email protected])

London, T. (2008). The Base of the Pyramid Impact Assessment Framework: Understanding and Enhancing Value Creation.WilliamDavidsonInstitute/StephenM.RossSchoolofBusinessattheUniversityofMichigan.

Maas, K.E.H. (2009). Corporate Social Performance. From Output Measurement to Impact Measurement. Rotterdam: Erasmus University.

EvaluativeThinking, bulletin 6: Using Evaluation Findings, http://www.evaluativethinking.org/docs/EvaluativeThinking.bulletin.6.pdf,geraadpleegd7februari2013.

Gates Foundation, Annual Letter 2013. http://annualletter.gatesfoundation.org/pdf/2013_AL_English.pdf, geraad-pleegd7februari2013

Guba, E. & Lincoln, Y. (1989). Fourth Generation Evaluation.NewburyPark,C.A.:Sage.

Hess,S.Boucher,T.,Dabrovskyy,A.&TenHoorn,E.M.(2010). Evaluating the effectiveness of community-based conservation in Mongolia’s Gobi Desert. A report to The Nature Conservancy.

IDSS(1999).AnIntroductiontotheLogframeApproach.

Inter-organisational Committee on Guidelines and Principles forSocialAssessment(1994).Guidelines and Principles for Social Impact Assessment. Prepared by the Inter-organizational Committee on Guidelines and Principles for SocialImpactAssessment.

Kolodinsky,J.,Stewart,C.,&Bullard,A.(2006).Measuringeconomic and social impacts of membership in a community development financial institution. In: Journal of Family and Economic Issues,27(1),pp.27-47.

Ahaus, C.T.B. (2005). Praktijkboek Procesmanagement Balanced Scorecard & INK- managementmodel. 3e druk. Kluwer.

Carman,J.G.(2007).Evaluationpracticeamongcom-munity-based organizations: Research into the reality. In: American Journal of Evaluation,(28),pp.60-75.

Catley,A.,Burns,J.,Abebe,D.,&Suji,O.(2007).Participatory Impact Assessment: A guide for practitioners. Medford: Feinstein International Center, Tufts University.

Centraal Bureau Fondsenwerving (2011). Verslag Fondsenwerving 2010. Amsterdam: CBF.

Centre for Good Governance (2006). A Comprehensive Guide for Social Impact Assessment. Gebaseerd op Rietbergen-McCracken, J. & Narayan, D. (1998. Partici-pation and Social Assessment: Tools and Techniques. Washington DC: The World Bank. Clark,C.,Rosenzweig,W.,Long,D.,&Olsen,S.(2004).DoubleBottomLineProjectReport:AssessingSocialImpactin Double Bottom Line Ventures. In: Methods Catalog. New York: Rockefeller Foundation.

Ebrahim, A., & Kasturi Rangan, V. (2010). The Limits of Nonprofit Impact: A Contingency Framework for Measuring SocialPerformance.WorkingPaper10-099,HarvardBusinessSchool.

http://www.evaluativethinking.org/docs/EvaluativeThinking.bulletin.6.pdf

http://www.evaluativethinking.org/docs/EvaluativeThinking.bulletin.6.pdf

http://annualletter.gatesfoundation.org/pdf/2013_AL_English.pdf

http://annualletter.gatesfoundation.org/pdf/2013_AL_English.pdf

1 2 3 4 5 6 7 8 9 10

LITERATUUR | 97

Swanborn,P.G.(2007).Evalueren. Het Ontwerpen, Begeleiden en Evalueren van Interventies: Een Methodische Basis voor Evaluatie-Onderzoek. Amsterdam: Boom Lemma.

TheSROINetwork(2012).The Seven Principles of SROI.

Ten Hoorn, E.M. (2010). Modern Nomads in the Land of the Dinosaurs. A case study of grassland management and poverty reduction among nomadic herders in the Gobi Desert of Mongolia. Master’s thesis. VU Amsterdam, IVM, Environment and Resource Management.

Vanclay,F.(2003).InternationalPrinciplesforSocialImpactAssessment. In: Impact Assessment and Project Appraisal, 21(1), pp. 5-11.

Webbink, H.D. (2011). Van Evidentie naar Impact. Oratie uitgesproken op 11 februari 2011. Erasmus University Rotterdam.

Weiss,C.H.(1972).Evaluation Research. Methods for Assessing Program Effectiveness. New Jersey: Prentice-Hall, Inc., Englewood Cliffs.

Wetenschappelijke Raad voor het Regeringsbeleid (WRR) (2010). Minder pretentie, meer ambitie. Ontwikkelingshulp die verschil maakt. Amsterdam: Amsterdam University Press. White, H. (2009). Some reflections on current debates in impact evaluation. Working Paper 1. International Initiative for Impact Evaluation, New Delhi (www.3ieimpact.org).

NBA (2012). Goed Doel, Goed Verhaal. Publieke manage-mentletter voor de Goededoelensector. Amsterdam: NBA

Nicholls, J., Lawlor, E., Neitzert, E., & Goodspeed, T. (2009). A Guide to Social Return on Investment.TheSROINetwork and Cabinet Office.

NíÓgáin,E.,Lumley,T.,&Pritchard,D.(2012).Making an Impact: Impact measurement among charities and social enterprises in the UK. New Philanthropy Capital.

OECD-DAC (2002). Glossary of Key Terms in Evaluation and Results Based Management.

OECD(2007).OECD Framework for the Evaluation of SME and Entrepreneurship Policies and Programmes.

OECD-DAC (2010). DAC Quality Standards for Development Evaluation. DAC Guidelines and Reference Series.

Pink Ribbon (2011). Jaarverslag 2011-2012.

Poortvliet,M.van,Keen,S.,&Pritchard,D.(2012).Measuring together. Impact measurement in the NEETs sec-tor. New Philanthropy Capital.

StiftungZEWO(2011).Outcomes and Impact Assessment in International Development. Zewo Guidelines for Projects and Programmes.Zürich:StiftungZEWO.

Maas, K.E.H., en Liket, K.C. (2010). Talk the Walk. MeasuringtheImpactofStrategicPhilanthropy.In: Journal of Business Ethics, 100, pp. 445-464.

Maas,K.E.H.,Jansen,P.,Pothof,S.,&Rehorst,T.(2011).Maatschappelijke Impact van de Nederlandse Hartstichting. Casus Beroerte 2000 – 2005.Rotterdam:ErasmusSchoolofEconomicsandErasmusCentreforStrategicPhilanthropy.

Midgley, L. (2012). Wat is jouw impact? Presentatie tijdens de Transparantprijs Workshopmiddag 2012. Amsterdam: PWC.

Ministerie van Buitenlandse zaken (2011). Evaluation mat-ters: Policy review of the Dutch contribution to basic educa-tion 1999-2009. IOB Evaluation.

MitchellR.K.,BradleyR.Agle&Wood,DonnaJ.(1997).TowardaTheoryofStakeholderIdentificationandSalience:Defining the Principle of Who and What Really Counts. The Academy of Management Review, Vol. 22, No. 4, pp. 853-886.

Moore, M.H. (2003). The Public Value Scorecard: A Rejoinder and an Alternative to “Strategic Performance Measurement and Management in Non-Profit Organizations” by Robert Kaplan. Working Paper, No. 18. Harvard: The Hauser Center for Nonprofit Organizations, The Kennedy SchoolofGovernment,HarvardUniversity.

1 2 3 4 5 6 7 8 9 10

98 | LITERATUUR

WorldResourcesInstitute(2007).TheWorldEconomicPyramid. In: Hammond, A., Kramer, W.J., Tran, J., Katz, R., andWalker,C.(2007).TheNext4Billion:MarketSizeandBusinessStrategyattheBaseofthePyramid,WorldResources Institute.

WWAV (2013). Het Nederlandse Donateurspanel. Meting maart 2013.

Internetbronnen, geraadpleegd in de periode van oktober 2012 tot en met maart 2013:http://www.zonmw.nl/nl/themas/thema-detail/implementatie/monitoren-en-evaluerenhttp://sites.tufts.edu/feinstein/2008/participatory-impact-assessmenthttps://www.bja.gov/evaluation/guide/documents/chapter_5_nij_guide.htmhttp://www.hks.harvard.edu/hauser/PDF_XLS/workingpapers/workingpaper_18.pdfhttp://www.theoryofchange.orghttp://unpan1.un.org/intradoc/groups/public/documents/cgg/unpan026197.pdfhttp://www.socialevaluator.nl/ip/uploads/tblDownload/SROI%20Guide.pdfhttp://www.baseofthepyramid.nlhttp://www.outcomemapping.cahttp://www.surveymonkey.comhttp://www.survey123.nlhttp://www.thesistools.comhttp://www.restovanharte.nl/over-van-harte/resultaten-en-jaarverslag/405-landelijke-vergelijking-klanttevredenheid-enquetes-2010

1 2 3 4 5 6 7 8 9 10

COLOFON | 99

Colofon

Het CBF verricht beoordelingen in het kader van:• hetCBF-Keur,bestemdvoorfondsenwervendeinstellin-

gen die langer dan drie jaar als zodanig actief zijn en voor kansspelbegunstigde organisaties;

• hetCBF-Certificaatvoorkleinegoededoelen,bestemdvoor instellingen waarvan de som der baten niet groter isdan€500.000perjaarofvoorkansspelbegunstig-deinstellingendienietmeerdan€500.000perjaarverantwoorden van een kansspelvergunninghouder;

• deVerklaringvangeenbezwaar,bedoeldvoorstar-tende instellingen.

BestellingvaneenexemplaarvanResultaat-enImpactmetingvoorgoededoelenkandoorovermakingvan€20opINGBank117534vanhetCBFteAmsterdamondervermel-ding van naam, adres en woonplaats.

ISBN/EAN:978-90-73916-22-7©2013StichtingCentraalBureauFondsenwerving(CBF)

Overname van teksten uit deze uitgave is toegestaan, mits de bron wordt vermeld. U kunt de volgende verwijzing gebruiken:TenHoorn,E.M.enStubbe,W.M.(2013).Resultaat- en Impactmeting voor goede doelen. Op weg naar beter evalueren, meten en verantwoorden van bestedingen. Amsterdam: Centraal Bureau Fondsenwerving (CBF).

Aan de totstandkoming van deze uitgave is de uiterste zorg besteed. Voor informatie die onvolledig of onjuist is opgeno-men, alsmede voor de gevolgen van activiteiten die worden ondernomen op basis van deze brochure, aanvaardt de redactie geen aansprakelijkheid.

DeStichtingCentraalBureauFondsenwerving(CBF)iseendoor de Raad voor Accreditatie erkende instelling met certi-ficerende bevoegdheid (registratienummer C130). Het CBF voldoet aan de accreditatiecriteria voor certificatie-instellin-gen voor productcertificatie zoals vastgelegd in EN 45011 enISO/IECGuide65.

Het CBF beoordeelt fondsenwervende instellingen en kans-spelbegunstigde organisaties. Bij de beoordeling wordt gebruik gemaakt van criteria opgenomen in het Reglement CBF-Keur of in het Reglement CBF-Certificaat voor kleine goede doelen. Aan beoordeelde instellingen die voldoen aan de keurmerkcriteria wordt een keurmerk afgegeven, het CBF-Keur. Aan beoordeelde instellingen die voldoen aan de certificaatcriteria wordt een certificaat afgegeven, het CBF-Certificaat voor kleine goede doelen.

Deze publicatie is in co-auteurschap geschreven door drs. E.M. Ten Hoorn (senior controller CBF) en drs. W.M. Stubbe,CSRAcademy,inopdrachtenonderverantwoorde-lijkheid van het Centraal Bureau Fondsenwerving (CBF).

CBF CSR AcademyAnthony Fokkerweg 1 Aert van Nesstraat 25 A11059 CM Amsterdam 3012 CA Rotterdam020-4170003 010-2974020www.cbf.nl www.csr-academy.com [email protected] [email protected] 41198566 KvK 24300043

1 2 3 4 5 6 7 8 9 10

100 |


Auteurs:drs. E.M. Ten Hoorndrs. W.M. Stubbe

Vlinderend geefgeld

Schenkt het beste uit onszelf

Effect van vertrouwen

Resultaat- en Impactm

eting voor goede doelen

Resultaat- en Impactmeting voor goede doelen

Documents

Transcript of Resultaat- en Impactmeting voor goede doelen