Het meten van impact in de Goede Doelen sector

Dinand Webbink

13 september 2011

Rotterdam

1

Outline

1. Waarom impact meten? 2. Wat is impact? 3. Een private en maatschappelijke nutsfunctie 4. Van impactmeting naar effectmeting 5. Het effect van X op Y 6. Wanneer welk type evaluatie?

2

Waarom impact meten? Argumenten tegen

Eigen keuze van fondsen om al dan niet verantwoording af te leggen aan belanghebbenden.

Schaalgrootte Omvang van afzonderlijke donaties Evaluatiebeleid kan op vele wijzen worden gedefinieerd, er bestaat

veel verwarring Causale relatie moeilijk te onderzoeken Impactmeting is duur en tijdrovend Veranderingstheorie over opschalen succesprojecten wordt zelden

in praktijk gebracht Aandacht voor kwantiteit bij prestatie-indicatoren verdrijft aandacht

voor kwaliteit

3

Argumenten tegen

Door nieuwe werkwijze van fondsen is de vraag niet meer ‘wat is de waardetoevoeging van onze financiele bijdragen’ maar ‘wat moeten we weten om onze doeltreffendheid’ te vergroten

Alles dat kan worden geteld telt niet noodzakelijkerwijs Fondsen richten zich vaak op innovaties, succesvolle programma’s

zijn vaak initiatieven die al eerder zijn genomen Meten van impact heeft alles te maken met veranderingstheorie die

men voor ogen heeft. Denken in termen van impact kan megalomane veranderingstheorieen stimuleren.

4

Waarom wel impact meten?

Het alternatief voor impactmeting: niet kijken naar resultaten

Impact meten is kijken naar de resultaten om daarvan te leren.

Impact evaluaties beantwoorden de vraag wat werkt, wat werkt niet, en hoe komt dat.

Impactmeting is een instrument om de resultaten van de organisatie te verbeteren.

Impactmeting maakt het mogelijk om verantwoording af te leggen en bij te dragen aan accountability

5

Opbrengsten van impactevaluatie

Ex ante Focus, afweging en prioritering

Ex post Leereffect Bijstellen, stopzetten of opschalen Verantwoording over inzet van middelen

6

Wat is impact: impact voor GDO

Vertrekpunt private nutsfunctie van GDO

Doelstellingen/uitkomsten Y van GDO genereren nut voor organisatie (zowel bedoelde als onbedoelde uitkomsten)

GDO onderneemt activiteiten X om doelstellingen te realiseren

7

),.....,,,( 4321 ni YYYYYfU

Wat is impact: maatschappelijk impact

Maatschappelijke (sociale) nutsfunctie = nut van de samenleving als geheel

De maatschappelijk welvaart neemt toe als sommigen erop vooruit gaan en niemand erop achteruit gaat.

Verandering van maatschappelijke welvaart is niet duidelijk als sommigen erop vooruit gaan en anderen erop achteruit gaan, (is compensatie mogelijk?).

Afweging hangt af van preferenties, terrein van politiek

8

),.....,,,( 4321 jnjjjjj YYYYYfU

Bijdrage doelen GDO aan maatschappelijke welvaart

Eerste impactvraag Hoe belangrijk zijn doelen van GDO voor

maatschappelijke welvaart, hoe verhoudt de private nutsfunctie zich tot de sociale nutsfunctie?

Belangrijke vraag, maar dit is primair een vraag voor GDO. GDO bepaalt doelen vanuit missie/identiteit van de organisatie.

Tweede impactvraag: In hoeverre worden de doelen van GDO gerealiseerd door

de projecten/activiteiten van GDO?

9

Van impactmeting naar effectmeting

Effectmeting onderzoekt in hoeverre projecten leiden tot realiseren van concrete doelen:

Wat is het effect van X op Y

Y doel/uitkomst X project ε niet waargenomen factoren α effect van X op Y

10

iii XY 10

Hoe kan het effect van X op Y worden bepaald?

Hoofdvraag van programevaluation

Het gaat dan over α en ε

Controlegroep, rol van niet waargenomen factoren Selectieprobleem Oplossingen Experimentele designs: voorbeelden.

11

iii XY 10

Experimentele designs

Gecontroleerd experiment Toekenning interventie op basis van regel of restrictie Voor- en nameting met controlegroep Voor- en nameting zonder controlegroep Alleen nameting voor groep die treatment heeft

gekregen. Geloofwaardigheid van het effect hangt af van het

gekozen onderzoeksdesign en de daarbij horende aanname.

12

Wanneer welk type evaluatie?

1. Hoe belangrijk is het voor uw organisatie om het effect van X op Y te weten? Kosten – baten afweging

2. Praktische mogelijkheden voor evaluatie Hoe goed kan Y worden gemeten? Hoe intensief is X en hoeveel middelen zijn ermee

gemoeid: het effect van een kleine, korte interventie is vaak moeilijk te meten

Wat zijn de mogelijkheden voor een geloofwaardig design? Evaluatie met zwak design levert weinig op.

13

Vragen over Y

Welke Y’s? Y uit private nutsfunctie of uit sociale nutsfunctie? Is de Y uit private nutsfunctie eigenlijk een X (input of

outcome)? Hoe meten we Y, wat zijn de beste proxies? Kunnen we Y wel meten? Leidt focus op Y1 tot verwaarlozing van Y2?

14

Vragen rond X

Afbakening van X Omvang van X Door wie wordt X betaald? Aggregatieniveau: is X een project of hele organisatie?

15

Vragen over controlegroep

Wat is geloofwaardige controlegroep Ethiek Spillovers tussen experimentele en controlegroep.

16

Ingezonden vraag

Is goed impactonderzoek mogelijk zonder controlegroep en zo nee, hoe kunnen wij op een goede manier met ethisch vraagstuk (leerlingen wel werven maar niet plaatsen omgaan). Zonder controlegroep kun je alleen vaststellen of

doelstelling is gerealiseerd, maar niet waardoor dit komt. Op andere wijze controlegroep zoeken Gebruik maken van bijzondere situaties: Evaluatie

Wijkscholen in R’dam

17

Ingezonden vraag

We brengen mensen met en zonder verstandelijke beperking bij elkaar. Er is een externe evaluatie gedaan op basis van ‘story telling’. Men is enthousiast. Zijn er andere manieren om dit te meten? Wat is precies het doel? Kan Y scherp worden

geformuleerd. Algemene indruk: lastig te evalueren want X en Y weinig

concreet.

18

Ingezonden vraag X

Door verandering in Wmo staat eigenkracht van mensen zelf voorop. Dat vraagt om meer samenwerking tussen organisaties die samen de client centraal stellen en daar dienend aan zijn. Maar maakt het lastiger om impact van een bepaalde organisatie vast te stellen. Hoe kun je dit toch concreter maken? Effectevaluatie bepaalt in principe totale effect van X. Wat

effect is van verschillende componenten van X is niet duidelijk.

19

Ingezonden vraag X

In R’dam 4500 vrijwilligersorganisaties actief. Deze organisaties hebben allemaal eigen impact. Kan de impact van alle organisaties te samen worden bepaald? Counterfactual vinden van R’dam zonder 4500

organisaties is lastig. Alternatieve strategie: bepaal zo goed mogelijk de impact

van één of enkele organisaties, vervolgens aggregatie. Hoe goed doen steunorganisaties het?

Voor wie werken steunorganisaties, valt hun bereik af te bakenen en zijn daarbij de doelen te formuleren?

20

Ingezonden vraag

Effecten van M25-project. Jongeren maken onder begeleiding van vrijwilligers kennis- met vrijwilligerswerk voor kwetsbare groepen. Hoe kunnen we effecten meten voor jongeren, begeleiders en de profijtgroep? Doelen formuleren Controlegroepen zoeken Voor- en nameting

21

Ingezonden vraag

Hoe kan meten worden ingevoerd zonder dat dit door medewerkers als controleren wordt ervaren, maar als verbeteren en van elkaar leren wordt ervaren. Informatie en prikkels Beloon medewerkers die zorgen voor zicht op de effecten

van de activiteiten.

22