'Peilen naar de impact van sociaal-culturele praktijken - Een rijke waaier aan methoden'
description
Transcript of 'Peilen naar de impact van sociaal-culturele praktijken - Een rijke waaier aan methoden'
Steff Deprez, 4 April 2014Steff Deprez, 4 April 2014
Ste
ff D
ep
rez-
Marc
h 2
01
4
1
Een rijke waaier aan methoden
Ste
ff D
ep
rez-
Marc
h 2
01
4
2
• Overzicht + korte beschrijving gevarieerde methoden voor impact meting
• Matrix per methode: helpt in de zoektocht naar mogelijke toepasbare methodes voor jouw context
3
Ste
ff D
ep
rez-
Marc
h 2
01
4
4
Ste
ff D
ep
rez-
Marc
h 2
01
4Peilen naar Impact
Praktijken vanuit de ontwikkelingssamenwerking: Vredeseilanden•Aanpak impactevaluatie •Concrete methode: SenseMaker
ACTIVITEITEN
INPUTS
Time
Ste
ff D
ep
rez-
Marc
h 2
01
4
IMPACT
5
ACTIVITIES
OUTPUTS
OUTCOMES
IMPACT
INPUTS
TimeBron: [email protected]
Werken met een resultatenketen(causale keten)
Ste
ff D
ep
rez-
Marc
h 2
01
4
6
OUTPUT
OUTCOME
INPUTS
ACTIVITY
INPUTSACTIVITY
INPUTS
ACTIVITY
INPUTS
OUTPUT
OUTPUT
ACTIVITY
OUTPUT
OUTPUT
OUTCOME
OUTCOME
OUTCOME
OUTCOME
OUTCOME
OUTCOME
De realiteit echter …
Evaluatiemethoden:-Outcome Harvesting-Ouctome Mapping-Most Significant Change-Learning / Innovation Histories-Success Case Method-Process Tracing- …
Ste
ff D
ep
rez-
Marc
h 2
01
4
7
Ste
ff D
ep
rez-
Marc
h 2
01
4
Werken met “pathways”(veranderingstheorie)
8
Ste
ff D
ep
rez-
Marc
h 2
01
4
Bron: OXFAM/Adinda Van Hemelrijck
9
Ste
ff D
ep
rez-
Marc
h 2
01
4
Gebruik1. In planning en ontwerpfase> Begeleiding en opvolging van de praktijk
2. Tijdens impactevaluatie in retrospect> De causaliteit en het ‘verhaal’ van de impact verandering blootleggen
Evaluatiemethoden-Contribution analysis-General Elimination Methodology -Process Tracing-Multiple lines & levels of evidence-…
10
Werken met controle, invloed en interesse sfeer
Gebaseerd op Outcome Mapping
•Actorbenadering: ontwikkeling gaat over hoe mensen samenwerken en omgaan met hun omgeving
•Outcomes = gedragsveranderingen van mensen, groepen en organisaties waar je direct mee samenwerkt en die cruciaal zijn om bij te dragen aan de visie en de impact van de praktijk te realiseren
Ste
ff D
ep
rez-
Marc
h 2
01
4
11
Ste
ff D
ep
rez-
Marc
h 2
01
4
Een leefbaar inkomen voor boerenfamilies
Boerenfamilies•Verhoogd inkomen•Sterkere positie•Verhoging veerkracht•…
Privé-bedrijven -Afname van boeren-Eerlijke contracten-Investeren in boeren-…
Dienstverleners•Kredieten•Technische ondersteuning •Certificering •…
Boerenorganisaties •Ondernemerschap•Collectieve vermarkting•Betere dienstverlening leden•…
Interesse of ambitiesfeer
Invloedssfeer
Controlesfeer
• Activiteiten• Budgetten • Staf
Werken met controle, invloed en interesse sfeerGebaseerd op Outcome Mapping
12
Ste
ff D
ep
rez-
Marc
h 2
01
4
Een leefbaar inkomen voor boerenfamilies
Boerenfamilies•Verhoogd inkomen•Sterkere positie•Verhoging veerkracht•…
Privé-bedrijven -Afname van boeren-Eerlijke contracten-Investeren in boeren-…
Dienstverleners•Kredieten•Technische ondersteuning •Certificering •…
Boerenorganisaties •Ondernemerschap•Collectieve vermarkting•Betere dienstverlening leden•…
Interesse of ambitiesfeer
Invloedssfeer
Controlesfeer
• Activiteiten• Budgetten • Staf 13
Basis voor planning, opvolging en impactevaluatieResultaten + indicatoren
Impact meten?
Mix van methodes•Surveys•Groep en individuele interviews•Focus groepen•Bedrijfskundige data van de landbouwketen•Secundaire data•SenseMaker
Self-assessment + externe evaluator
Elke 3 jaar
Ste
ff D
ep
rez-
Marc
h 2
01
4
Boerenfamilies•Verhoogd inkomen•Sterkere positie•Verhoging veerkracht•…
14
Impact meten?
Mix van methodes•Organisatie scan•Self-assessment •Werken met ‘progress markers’•Zakencijfers boerenorganisaties •Case Studies •SenseMaker
Self-assessment + Externe evaluator
Elke 6 maand
Ste
ff D
ep
rez-
Marc
h 2
01
4
Boerenorganisaties •Ondernemerschap verhogen•Betere dienstverlening leden•Organisatieversterking •Collectieve vermarkting•…
16
Ste
ff D
ep
rez-
Marc
h 2
01
4
Boerenfamilies
Boerenorganisaties
Hoe hebben activiteiten van Vredeseilanden bijgedragen aan gedragsveranderingen partners?Wat werkte? Wat niet?
Heeft een beter functioneren van de organisatie positieve effecten op het leven van boeren?
Privé-bedrijven
18
Hoe is de relatie tussen bedrijven en boerenorganisaties?
Dienstverleners
Is het verhoogd inkomen een effect van het programma?
Impact is niet alleen ‘meten’, maar ook … •Causale verbanden leggen•Het ‘verhaal’ kunnen vertellen•Bijdrage van Vredeseilanden en partners begrijpen
SenseMaker• Verzamelen groot aantal verhalen (> 300) en ervaringen van
mensen rond een bepaald thema of verandering• Verhalen/ervaringen worden getriggered door een vraag • Groot aantal korte verhalen (micro-narratives/fragments)• De verhalen worden gecodeerd door de verhalenverteller op
het moment dat het verhaal gedeeld wordt. • Er is geen interpretatie door een externe persoon
Ste
ff D
ep
rez-
Marc
h 2
01
4
19
SenseMakerVraag: Denk aan een specifiek moment of een ervaring waar je werd aanmoedigd of gedemotiveerd om thee/koffie/bananen te produceren en te verkopen aan het bedrijf?
Ste
ff D
ep
rez-
Marc
h 2
01
4
20
SenseMaker
Codering •Multi-choice vragen•Polaire schalen•Driehoeksvragen
Ste
ff D
ep
rez-
Marc
h 2
01
4
X X
X
X
X 21
22
Ste
ff D
ep
rez-
Marc
h 2
01
4
Ste
ff D
ep
rez-
Marc
h 2
01
4
23
Ste
ff D
ep
rez-
Marc
h 2
01
4
24
Gebruik voor impact evaluatie
Begin programma (“nulmetting”)
Gewenste situatie
25
Ste
ff D
ep
rez-
Marc
h 2
01
4
Voorbeeld Nederland
SenseMaker• Software (SenseMaker) > patronen detectie
• Zoeken van patronen en vergelijkingen maken tussen leeftijdsgroepen, geografische gebieden, thema’s, …
• Het zien van de realiteit door de ogen van mensen • Het geeft inzichten in verschillende perspectieven, attitudes en
waarden van diverse actoren rond bepaalde thema’s
• Snel inzichten verwerven in veranderingen en eventueel snel aanpassingen doorvoeren (snelle feedback, …)
• Combinatie van kwalititieve methode en kwantitatieve methode
Ste
ff D
ep
rez-
Marc
h 2
01
4
26
• Overzicht + korte beschrijving gevarieerde methoden voor impact meting
• Matrix per methode: helpt in de zoektocht naar mogelijke toepasbare methodes voor jouw context
27
Ste
ff D
ep
rez-
Marc
h 2
01
4
Ste
ff D
ep
rez-
Marc
h 2
01
4
Outcome Mapping
28
Ste
ff D
ep
rez-
Marc
h 2
01
4
SenseMaker
29