Steff Deprez, 4 April 2014Steff Deprez, 4 April 2014

Ste

ff D

ep

rez-

Marc

h 2

01

4

1

Een rijke waaier aan methoden

Ste

ff D

ep

rez-

Marc

h 2

01

4

2

• Overzicht + korte beschrijving gevarieerde methoden voor impact meting

• Matrix per methode: helpt in de zoektocht naar mogelijke toepasbare methodes voor jouw context

3

Ste

ff D

ep

rez-

Marc

h 2

01

4

4

Ste

ff D

ep

rez-

Marc

h 2

01

4Peilen naar Impact

Praktijken vanuit de ontwikkelingssamenwerking: Vredeseilanden•Aanpak impactevaluatie •Concrete methode: SenseMaker

ACTIVITEITEN

INPUTS

Time

Ste

ff D

ep

rez-

Marc

h 2

01

4

IMPACT

5

ACTIVITIES

OUTPUTS

OUTCOMES

IMPACT

INPUTS

TimeBron: Ricardo.Wilson-Grau@inter.nl.net

Werken met een resultatenketen(causale keten)

Ste

ff D

ep

rez-

Marc

h 2

01

4

6

OUTPUT

OUTCOME

INPUTS

ACTIVITY

INPUTSACTIVITY

INPUTS

ACTIVITY

INPUTS

OUTPUT

OUTPUT

ACTIVITY

OUTPUT

OUTPUT

OUTCOME

OUTCOME

OUTCOME

OUTCOME

OUTCOME

OUTCOME

Ricardo.Wilson-Grau@inter.nl.net

De realiteit echter …

Evaluatiemethoden:-Outcome Harvesting-Ouctome Mapping-Most Significant Change-Learning / Innovation Histories-Success Case Method-Process Tracing- …

Ste

ff D

ep

rez-

Marc

h 2

01

4

7

Ste

ff D

ep

rez-

Marc

h 2

01

4

Werken met “pathways”(veranderingstheorie)

8

Ste

ff D

ep

rez-

Marc

h 2

01

4

Bron: OXFAM/Adinda Van Hemelrijck

9

Ste

ff D

ep

rez-

Marc

h 2

01

4

Gebruik1. In planning en ontwerpfase> Begeleiding en opvolging van de praktijk

2. Tijdens impactevaluatie in retrospect> De causaliteit en het ‘verhaal’ van de impact verandering blootleggen

Evaluatiemethoden-Contribution analysis-General Elimination Methodology -Process Tracing-Multiple lines & levels of evidence-…

10

Werken met controle, invloed en interesse sfeer

Gebaseerd op Outcome Mapping

•Actorbenadering: ontwikkeling gaat over hoe mensen samenwerken en omgaan met hun omgeving

•Outcomes = gedragsveranderingen van mensen, groepen en organisaties waar je direct mee samenwerkt en die cruciaal zijn om bij te dragen aan de visie en de impact van de praktijk te realiseren

Ste

ff D

ep

rez-

Marc

h 2

01

4

11

Ste

ff D

ep

rez-

Marc

h 2

01

4

Een leefbaar inkomen voor boerenfamilies

Boerenfamilies•Verhoogd inkomen•Sterkere positie•Verhoging veerkracht•…

Privé-bedrijven -Afname van boeren-Eerlijke contracten-Investeren in boeren-…

Dienstverleners•Kredieten•Technische ondersteuning •Certificering •…

Boerenorganisaties •Ondernemerschap•Collectieve vermarkting•Betere dienstverlening leden•…

Interesse of ambitiesfeer

Invloedssfeer

Controlesfeer

• Activiteiten• Budgetten • Staf

Werken met controle, invloed en interesse sfeerGebaseerd op Outcome Mapping

12

Ste

ff D

ep

rez-

Marc

h 2

01

4

Een leefbaar inkomen voor boerenfamilies

Boerenfamilies•Verhoogd inkomen•Sterkere positie•Verhoging veerkracht•…

Privé-bedrijven -Afname van boeren-Eerlijke contracten-Investeren in boeren-…

Dienstverleners•Kredieten•Technische ondersteuning •Certificering •…

Boerenorganisaties •Ondernemerschap•Collectieve vermarkting•Betere dienstverlening leden•…

Interesse of ambitiesfeer

Invloedssfeer

Controlesfeer

• Activiteiten• Budgetten • Staf 13

Basis voor planning, opvolging en impactevaluatieResultaten + indicatoren

Impact meten?

Mix van methodes•Surveys•Groep en individuele interviews•Focus groepen•Bedrijfskundige data van de landbouwketen•Secundaire data•SenseMaker

Self-assessment + externe evaluator

Elke 3 jaar

Ste

ff D

ep

rez-

Marc

h 2

01

4

Boerenfamilies•Verhoogd inkomen•Sterkere positie•Verhoging veerkracht•…

14

Impact meten?

Mix van methodes•Organisatie scan•Self-assessment •Werken met ‘progress markers’•Zakencijfers boerenorganisaties •Case Studies •SenseMaker

Self-assessment + Externe evaluator

Elke 6 maand

Ste

ff D

ep

rez-

Marc

h 2

01

4

Boerenorganisaties •Ondernemerschap verhogen•Betere dienstverlening leden•Organisatieversterking •Collectieve vermarkting•…

16

Ste

ff D

ep

rez-

Marc

h 2

01

4

Boerenfamilies

Boerenorganisaties

Hoe hebben activiteiten van Vredeseilanden bijgedragen aan gedragsveranderingen partners?Wat werkte? Wat niet?

Heeft een beter functioneren van de organisatie positieve effecten op het leven van boeren?

Privé-bedrijven

18

Hoe is de relatie tussen bedrijven en boerenorganisaties?

Dienstverleners

Is het verhoogd inkomen een effect van het programma?

Impact is niet alleen ‘meten’, maar ook … •Causale verbanden leggen•Het ‘verhaal’ kunnen vertellen•Bijdrage van Vredeseilanden en partners begrijpen

SenseMaker• Verzamelen groot aantal verhalen (> 300) en ervaringen van

mensen rond een bepaald thema of verandering• Verhalen/ervaringen worden getriggered door een vraag • Groot aantal korte verhalen (micro-narratives/fragments)• De verhalen worden gecodeerd door de verhalenverteller op

het moment dat het verhaal gedeeld wordt. • Er is geen interpretatie door een externe persoon

Ste

ff D

ep

rez-

Marc

h 2

01

4

19

SenseMakerVraag: Denk aan een specifiek moment of een ervaring waar je werd aanmoedigd of gedemotiveerd om thee/koffie/bananen te produceren en te verkopen aan het bedrijf?

Ste

ff D

ep

rez-

Marc

h 2

01

4

20

SenseMaker

Codering •Multi-choice vragen•Polaire schalen•Driehoeksvragen

Ste

ff D

ep

rez-

Marc

h 2

01

4

X X

X

X

X 21

22

Ste

ff D

ep

rez-

Marc

h 2

01

4

Ste

ff D

ep

rez-

Marc

h 2

01

4

23

Ste

ff D

ep

rez-

Marc

h 2

01

4

24

Gebruik voor impact evaluatie

Begin programma (“nulmetting”)

Gewenste situatie

25

Ste

ff D

ep

rez-

Marc

h 2

01

4

Voorbeeld Nederland

SenseMaker• Software (SenseMaker) > patronen detectie

• Zoeken van patronen en vergelijkingen maken tussen leeftijdsgroepen, geografische gebieden, thema’s, …

• Het zien van de realiteit door de ogen van mensen • Het geeft inzichten in verschillende perspectieven, attitudes en

waarden van diverse actoren rond bepaalde thema’s

• Snel inzichten verwerven in veranderingen en eventueel snel aanpassingen doorvoeren (snelle feedback, …)

• Combinatie van kwalititieve methode en kwantitatieve methode

Ste

ff D

ep

rez-

Marc

h 2

01

4

26

• Overzicht + korte beschrijving gevarieerde methoden voor impact meting

• Matrix per methode: helpt in de zoektocht naar mogelijke toepasbare methodes voor jouw context

27

Ste

ff D

ep

rez-

Marc

h 2

01

4

Ste

ff D

ep

rez-

Marc

h 2

01

4

Outcome Mapping

28

Ste

ff D

ep

rez-

Marc

h 2

01

4

SenseMaker

29