Hoe projecten evalueren? Valérie Pattyn Instituut voor de Overheid, K.U. Leuven Week van de...
-
Upload
esmee-brouwer -
Category
Documents
-
view
212 -
download
0
Transcript of Hoe projecten evalueren? Valérie Pattyn Instituut voor de Overheid, K.U. Leuven Week van de...
Hoe projecten evalueren?
Valérie Pattyn
Instituut voor de Overheid, K.U. Leuven
Week van de integrale veiligheid- 27 juni 2011
2
1. Wat is beleidsevaluatie (niet)?
2. Waarom en wanneer evalueren?
3. Anticiperen op een projectevaluatie: Randvoorwaarden voor evalueerbaarheid
Evaluatievragen en –criteria Beleidstheorie Monitoringinfrastructuur Capaciteit/ Cultuur
Focus presentatie
3
“Het bepalen van de meerwaarde (‘merit’) van datgene wat geëvalueerd wordt” (M. Scriven)
• Informele versus formele evaluatie. • Gestructureerd/systematisch proces – Inzet
methoden en technieken: – Evaluatievraag + Evaluatiecriterium– Data-verzameling– Data-analyse– Beoordeling
Beleidsevaluatie – enkele kenmerken
4
“Beleid” = ?
• Maatregel• Pakket van maatregelen • Project (voorbeeld: Project aanpak fietsdiefstal)• Programma
Evaluatie van beleid
Preventie Structurele oorzaak van diefstal wegnemen
-Verbeteren stallingsvoorzieningen-Bevorderen gebruik
Preparatie Voorbereiding op bestrijding diefstal
-Gravering fietsen
Repressie Bestraffing diefstal -Stimuleren aangifte-Controle en handhaving
5
Afbakening van beleidsevaluatie
Audit Controle Ja (Ja) Ja Ja (Neen) (Neen) Neen
Prestatiemeting / Monitoring
OpvolgenJa Ja Ja Ja (Ja) (Ja) Neen
BeleidsevaluatieMeerwaarde bepalen Ja Neen Ja Ja Ja Ja Ja
Opzet Omvattend Permanent Causale Attributie
Proces Scope
Output Scope
Effect Scope
Impact Scope
(Widmer, 2005)
Ten aanzien van andere functies ter ondersteuning van beleid en beheer
6
MOTIEVEN om beleid te evalueren:
• Beleidsplanning ondersteunen• Verbeteren van de uitvoering van het beleid en
bijdragen tot institutionele ontwikkeling van de betrokken organisaties
• Het afleggen van verantwoording m.b.t. de resultaten van het beleid en de ingezette middelen
• Beleidsleren: het antwoord op de vraag waarom en hoe beleid wel of niet geslaagd is
“The purpose of an evaluation conditions the use that can be expected of it”
(Chelimsky, 1997)
Waarom evalueren?
7
Wanneer evalueren?
Toetsing op evalueerbaarheid: “Evaluability Assessment”– Aandacht voor de organisatorische en inhoudelijke evalueerbaarheid van de evaluatievraag– “Is het mogelijk (cf. randvoorwaarden) om het beleid op te
volgen en te evalueren (ex ante / tussentijds / ex post)?”
– = bijzondere vorm van ex ante evaluatie
Opstart evaluatie? Ja/NeenScope evaluatie?
Anticiperen op een projectevaluatie
Randvoorwaarden evalueerbaarheid
9
1. Consensus evaluatievragen/ evaluatiecriteria?
2. Beleidstheorie?3. Betrouwbare en valide indicatoren?4. Evaluatiecapaciteit en -cultuur?
(1) Consensus evaluatievragen/Criteria
• Consensus evaluatievragen tussen verschillende stakeholders?
• Aard van vragen (beschrijvend; voorspellend..)?
• Een goede evaluatievraag bevat slechts één evaluatiecriterium
10
11
Evaluatiecriteria
(2) Beleidstheorie
• Explicitering beleidstheorie als vertrekpunt voor ‘scoping’ van de evaluatie.
• Beleidstheorie?– Projectlogica– het geheel van assumpties die beleidsmakers volgen bij
de uitwerking en uitvoering van een concreet beleidsinitiatief
– Vaak impliciete redeneringen, niet uitgesproken. “Waarom dit project precies? Hoe denken we dat dit bepaald resultaat kan genereren in maatschappij?
12
(2) Beleidstheorie
– Een inhoudelijke beschrijving van het beleidsinitiatief en van de wijze waarop dit bepaalde doelstellingen zal bereiken of effecten zal genereren (“Hoe werkt het beleid?”) = “ Causaal Veranderingsmodel”
– Een oordeel over wat er gedaan moet worden om deze doelstellingen te halen (“Wat moet er concreet gebeuren?”)
beschrijvend én prescriptief (Chen, 2005)
13
14
Beschrijvende assumpties: – Causale mechanismen ten grondslag van maatschappelijk probleem– Causale processen waardoor beleid werkt en de beoogde
maatschappelijke verandering optreedt– Determinanten: relevante factoren waarop het beleid dient in te
spelen om de gewenste effecten te bereiken
Veranderingsmodel achter het beleid
Beleidstheorie-gedreven evaluatie
15
Beleidstheorie: Veranderingsmodel achter een projectinitiatief
be le ids ac t ieo utput
o pe rat io ne le do e ls te l l ing
be le ids re s ul taate f fe c t & im pac t
s trate gis c he do e ls te l l ing
m atige nde var iable m atige nde var iable
tus s e nligge nde var iabe lede te rm inant
he fbo o m
veranderingsmodel
16
Reconstructie beleidstheorie: Voorbeeld
(2) Beleidstheorie
• Solide redenering achter beleid verhoogt slaagkansen
• Voorwerp van evaluatie (“is beleid goed doordacht?) én
• Reconstructie beleidstheorie als vehikel tot uitzetten bakens evaluatie. – Aandacht voor determinanten waarop het beleid kan ingrijpen.– Aandacht voor mogelijke neveneffecten– Stuurt selectie van indicatoren voor monitoring en gepaste
technieken voor dataverzameling
17
(3) Monitoring en beleidsevaluatie
• Relatie monitoring en beleidsevaluatie: Tandem
• Belang van adequaat monitoringssysteem• Functie van indicatoren
=Indicaties van realiteit=Kwantitatieve weergave van kwaliteit/kwantiteit van meetobject=Beschrijvend; niet verklarend!
Stelregels bij opstellen indicatoren
• Maak gebruik van beleidstheorie• Zoek naar bestaande meetpraktijken• Betrek stakeholders• SMART-principe:
– Specificiteit: Indicator heeft 1 op 1 relatie met datgene wat gemeten wordt
– Meetbaar– Afgesproken: consensus stakeholders– Relevantie– Tijdsgebonden (maar stabiel!)
• Kosten-batenanalyse van de data-verzameling• Belang van nulmeting!• Betrouwbaarheid en validiteit
Betrouwbaarheid
• Garanties van de meting op het vlak van objectiviteit en reproduceerbaarheid
• Maak steekkaart met meta-info over de indicator
20
21
• Valkuilen bij indicatorenontwikkeling
Validiteit: “Meet men wat men wil meten?”
Men meent onterecht dat de indicator hettotale meetobject afdekt
Te weinig aandacht voor moeilijker meetbare aspecten van het meetobject
Reductie: men past het meetobject of concept aan de indicator aan, ipv omgekeerd
Indicatoren: soorten
Cfr. Componenten in schema beleidscyclus•Input: Aantal ingezette politiepatrouilles; aantal manuren; Aantal aanwezigen op infosessies “woningbeveiliging”•Proces: “Doorlooptijden”•Output: aantal gesloten dealpanden; verwerkte PV’s; aantal aanvragen premies inbraakbeveiliging•Effect: minder druggebruik in bepaald stadsdeel; aantal mislukte pogingen tot inbraak•Impact: lange termijn. Blijvend effect? Veiligheidsgevoel bewoners
•Efficiëntie: input/output. •Effectiviteit: effect/output. •Kosteneffectiviteit: effect/input
(4) Evaluatiecapaciteit/ Cultuur
• Capaciteit:– Interne versus externe evaluatie– Relatieve kostprijs evaluatie i.f.v. projectkost
• Evaluatiecultuur
23
Valérie Pattyn
Instituut voor de Overheid
24
Meer informatie?