Theory of Change-evaluatie: weten is méér dan meten

Erik SnelAfdeling Sociologie

Erasmus Universiteit RotterdamLezing voor Workshop ‘Evaluatieonderzoek in praktijk’, d.d. 28-3-2013

Inhoud• Beperkingen klassiek evaluatieonderzoek

• Wat is “Theory of change”-evaluatie?

• TOC-evaluatie in vier stappen

• Nogmaals het causaliteitsprobleem

TOC-evaluatie als verantwoord en uitvoerbaar alternatief als controlegroep niet lukt…

• Programmadoelen vaak niet expliciet en onduidelijk• Verschillende partijen hebben verschillende doelen,

die vaak veranderen in loop der tijd• Evaluatie vaak pas achteraf. Geen nul-meting• Geen controlegroep (zeker bij buurtinterventies)• “Real-life”-interventies: interveniërende factoren• “Black box”: zelfs als we effect vaststellen, weten we

niet waarom dit tot stand komt

Wat is Theory-of-change-evaluatie?

• Programma’s zijn theorieën• Evaluatie is toetsen van

theorieënBron: Ray Pawson

“Theory of change”-evaluatie

The concept of grounding evaluation in theories of change takes for granted that social programs are based on explicit or implicit theories about how and why the program will work. The evaluation should surface those theories and lay them out in as fine detail as possible, identifying all the assumptions and sub-assumptions built into the program. The evaluators then construct methods for data collection and analysis that track the unfolding assumptions. The aim is to examine the extent to which program theories hold. (Weiss 1995)

“Theory of change”-evaluatie

• “..a theory of how and why an initiative works” (Carroll Weiss)

• Veranderingstheorieën in en van de praktijk (vgl. ‘interventietheorie’ of ‘beleidstheorie’)

“TOC”-evaluatie in vier stappen

Evaluatie in vier stappen:

Reconstrueren “theory of change”

Onderbouwen “theory of change”: hoe plausibel?

Meten van activiteiten en bedoelde uitkomsten

Analyseren en interpreteren van resultaten

Reconstrueren veranderingstheorie

Centrale vragen:

• Wat zijn de doelen op korte, middellange en lange termijn?

• “Backward mapping”: welke voorwaarden (‘conditions’) zijn nodig om doelen te bereiken?

• Welke interventies moeten worden uitgevoerd om deze voorwaarden te bewerkstelligen?

Reconstrueren veranderingstheorie

Resources Activities Outputs Initial outcomes

Inter-mediate outcomes

Long-term outcomes

“Backward mapping”

“Forward mapping”

Reconstrueren veranderingstheorie

Waarom belangrijk? • Kan planning en uitvoering van interventie aanscherpen:

kijken alle neuzen in dezelfde richting?• Stuurt dataverzameling van evaluatie: wat willen we

precies weten?• Expliciteren veranderingstheorie en daarover praten,

geeft een eerste (maar niet laatste!) idee van beoogde causaliteit (“waarom denkt met door A te doen B te bereiken?”)

Onderbouwen veranderingstheorie

• Goede veranderingstheorie is uitvoerbaar, meetbaar en plausibel

• Plausibel? Is er wetenschappelijk bewijs (of ‘common sense’ of praktijkervaring) dat geplande activiteiten tot gewenste uitkomsten leiden?

• Literatuurreview, interviews met experts: wat weten we over activiteiten en mogelijke effecten?

• Vgl. lezing Vasco Lub

De effectmeting

• Benoem meetbare indicatoren van uitgevoerde activiteiten (‘output’) en van doelen op korte, middellange en lange termijn (‘outcome’)

• Verzamel relevante gegevens over diverse indicatoren (vooral over activiteiten en doelen op korte en middellange termijn)

• Doe dit liefst samen met betrokkenen!

De effectmeting

Analyse en interpretatie

Relevante vragen• Treden in veranderingstheorie voorspelde

effecten op? • Zo ja, in welke omstandigheden, bij wie en in

welke mate?• Is dit definitief bewijs dat de veranderingstheorie

correct is?• Nee, want geen test voor eventuele externe

invloeden (controlegroep)

Analyse en interpretatieVier voorwaarden om te weten of interventie ‘werkt’• Gespecificeerde en plausibele veranderings-theorie

over hoe interventie tot doel leidt• Beoogde interventie (‘output’) adequaat uitgevoerd• Aantoonbare realisatie beoogde uitkomsten

(‘outcomes’) op korte, middellange en lange termijn• Geen veranderingen in context die waargenomen

effecten zouden kunnen verklaren• Maar geen absolute zekerheid!