Aspecten van evaluatieonderzoek

Erik SnelAfdeling Sociologie

Erasmus Universiteit Rotterdam

Inhoud

• Wat is evaluatieonderzoek?• Aspecten van evaluatieonderzoek• Evaluatieonderzoek en bewijskracht

Wat is evaluatieonderzoek?

• Evaluatie = iets op waarde schatten (geld, een beleidsprogramma of interventie)

• Evaluatieonderzoek = wetenschappelijk onderzoek met het oog op het beoordelen van inhoud, processen en/of effecten van beleid of specifieke interventies

• Basisvraag: wat werkt en wat niet? Maar ook andere vragen zijn van belang!!

Waarom evaluatieonderzoek?• Voor opdrachtgevers/financiers van beleid (“de

belastingbetaler”): is het geld goed besteed?• Voor professionals/uitvoerders van beleid: doen

we het goed? Kan het beter?• Voor clienten/gebruikers: krijg ik optimale zorg of

voorzieningen?• Evaluatieonderzoek als bedreiging?

Centrale vragen in evaluatieonderzoek• Relevantie (relevance): interventie gericht op

bestaande behoefte c.q. politieke doelen?• Plausibiliteit (plausible): bewijs dat interventie kan

werken? (beschikbaar onderzoek)• Efficiency (efficiency): interventie op tijd en niet te

duur? • Effektiviteit (effectiveness): verwachte producten

(outputs) en beoogd resultaat (outcomes) bereikt?• Effect (impact): verbeterde situatie als gevolg van

interventie?• Duurzaamheid (sustainability): blijft beoogd effect

ook op langere termijn bestaan?

Aspecten van evaluatieonderzoek

Aspecten van evaluatieonderzoek

• Procesevaluatie: onderzoek naar verloop en organisatie van programma : worden beoogde beleidsproducten (“outputs) bereikt?

• Effectevaluatie: onderzoek naar effecten van een programma: worden beoogde doelen (“outcomes”) bereikt?

Resources activities outputsInitial

outcomes

Inter-mediate

outcomes

Long term outcomes

Time

Procesevaluatie effectevaluatie

Externe invloeden

• Causaliteitsvraag als basisvraag van evaluatie-onderzoek

• Waargenomen effect daadwerkelijk gevolg van beleid of van andere factoren/ontwikkelingen in de omgeving van beleid?

• Klassiek voorbeeld: leidde het “zero tolerance”-beleid van burgemeester Guliani (NYC) tot minder criminaliteit?

Bewijskracht Omschrijving Soorten onderzoek Kwalificatie

Causaal Alles plus controlegroep

Experimenteel onderzoek (RCT)-------------------------Quasi-experimenteel onderzoek-------------------------EffectmetingKlanttevredenheids-onderzoek

4 Werkzaam (effectief)

Indicatief Beschrijving, interventietheorie plus effectmeting(klanttevredenheid)

3. Doeltreffend

Theoretisch Beschrijving plus geloofwaardige interventietheorie(mechanismen)

Meta-analyseLiteratuurstudie (“review”)

2. Veelbelovend

Descriptief Beschrijving van interventie (doel-groep, middel, uitkomst) en context

Descriptief onderzoekDocumentenanalyseInterviews

1. Potentieel

“Moraal van het verhaal”

Evaluatieonderzoek in maten en soorten, ieder met eigen vooronderstellingen en een bepaalde “bewijskracht”