Introductie in Impact Management

Koninklijke Bibliotheek17 december 2018 | Kirsten van Reisen

Your opinion

Voorstelronde

Sinzer - impact experts

Impact strategie Impact

management

Impact onderzoek

Onze klanten

Agenda

Wat is er nodig om als organisatie met maatschappelijke effecten aan de slag te gaan?

Introductie ● Wat is impact management?● Waarom is het belangrijk?

Aan de slag● Scope van de meting● Insteek en grondigheid van de meting● Waar begin je?● Aan de slag met casussen

Focus op impact

Impact volgens Sinzer

Veranderingen voor stakeholders of de maatschappij als

gevolg van een interventie, project of beleid.

Bedoeld en/of onbedoeldPositief en/of negatief

Additioneel

Belanghebbenden (stakeholders)

> Personen of partijen die verandering ervaren als gevolg van het initiatief

● Wie bedien je? (met je activiteit vs. met je onderzoek)

● Primaire doelgroep vs. overige stakeholders

● Karakteristieken van deelnemers

Dat wat je er in steekt.

Bijv. tijd, geld

Dat wat JIJ doet.Bijv. cursussen

organiseren

De resultaten, vaak kwantitatief.

Bijv. aantal cursussen en

cursisten

De effecten, verandering(en) op korte en/of

langere termijn. Bijv. meer kennis

De effecten die je kunt toeschrijven

Input Activiteiten Output Korte - Outcome - Lange Impact

Veranderpad - Theory of Change

Hoe succes wordt gedefinieerd

Wat we doen De verandering die we creëren

Niet alle impact is gelijk

Impact Waardevolle impact

Positieve verandering voor mens of milieu

Positieve verandering voor mens of milieu

Verandert perspectief en

kansen

Verandering blijft

Wat is geen impact?Meer outputs = meer impact

So what?

Impact management

Ad hoc & anekdotisch

Consistent & systematischImpact Management

Beetje impact voor sommigen Waardevolle impact voor iedereen

Waarom impact managen?

Verantwoordingsgrens

Activiteit

Activiteit

Activiteit

Outputs

Outputs

Outputs

Korte termijn outcome

Korte termijn outcome

Lange termijn outcome

Lange termijn outcome

IMP

AC

T

Verantwoordingsgrens

Materialiteitsprincipe

>> Materiële outcomes○ Relevant○ Significant

>> Dermate belangrijk dat het beslissingen en acties beïnvloedt

Principes van Impact Management

Analyse1. Waardeer de juiste dingen - wat is belangrijk voor je stakeholders?2. Begrijp wat er verandert3. Betrek stakeholders4. Betrek alleen het materiële - wat beïnvloedt je beslissingen?

Rapportage5. Niet over-claimen6. Transparantie7. Verifieer de resultaten

Impact management

Meten & monitoren

Analyseren, rapporteren & verbeteren

Strategie & definitie

Impact en Impact Management

Impact: Veranderingen voor stakeholders of de maatschappij als gevolg van een interventie, project of beleid. (Bedoeld en onbedoeld, positief en negatief, additioneel)

Impact management: het proces van onderzoeken welke veranderingen materieel (van voldoende betekenis en omvang) zijn; en op basis daarvan proberen het negatieve te voorkomen en het positieve te vergroten.

Waarom is impact management belangrijk?

Een impactvolle interventie

● €1.000 om te investeren in onderwijs-gerelateerd project● Doel: kinderen langer naar school

Een impactvolle interventie

Doelen van impact management

● Managementinformatie:

- Effecten begrijpen

- Betere besluiten nemen

- Verbeteringen doorvoeren en

impact maximaliseren

>> Maar ook:

- Verantwoording afleggen en

claims onderbouwen

- Marketing en communicatie

- Financiering aantrekken

Probleemanalyse

1. Wat is het maatschappelijk probleem waar het initiatief zich op richt?

2. Hoe urgent is dit probleem voor de doelgroep? Hoeveel verschil kan worden gemaakt?

3. Wat is de omvang van dit probleem?

4. Welke oplossingen biedt het initiatief? Waarom zijn dit oplossingen?

5. Welke doelstellingen heeft het initiatief, op welke termijn?

6. Hoe belangrijk zijn deze veranderingen?

Wat gaan we doen?

Aan de slag!

Stap 1… Scope!

Begin altijd met scope:

● Wat bestudeer je (project, programma, organisatie)?

● Doel● Publiek● Grondigheid en informatiebehoefte

Scope: Wat bestudeer je?

Gaat het over:● Gehele organisatie● Programma● Project● Activiteit

En: Hoe verhoudt je onderzoek zich tot de overkoepelende impact agenda van je organisatie als geheel?

Scope: Doel

● Managementinformatie:

- Effecten begrijpen

- Betere besluiten nemen

- Verbeteringen doorvoeren en

impact maximaliseren

● Extern:

- Verantwoording afleggen en

claims onderbouwen

- Marketing en communicatie

- Financiering aantrekken

Scope: doel

Voorbeelden:

● Investeerder wil keuze maken tussen verschillende opties● Interne strategie: deden we het dit jaar beter dan vorig

jaar?● Bestuur wil kiezen tussen verschillende projecten● Financieel mgt: beoordeling prestaties vs. budget● Projectmanager: wat verandert er voor wie? Welke

verandering is het meest belangrijk? Hoe kunnen we onze impact vergroten? Welke werkwijze behaalt doel het beste? Kan het beter?

● Meerdere doelen tegelijk is mogelijk!

Scope: publiek

● Intern of extern?● Management, bestuur, financier, breder publiek?● Hoe is de impact cultuur daar?● Gericht op leren en verbeteren of evalueren?

○ Continu of eenmalig achteraf● Welke stakeholders betrek je?

Scope: informatiebehoefte

● Wat willen zij weten?○ Outputs, outcomes, impact?○ Cijfers en/of verhalen?○ Vooraf bepaalde meetdoelen of open vragen?

● Hoe zeker willen zij het weten?○ “It is better to be vaguely right than precisely wrong”

(John M. Keynes)● Meetperiode● Tijd, geld en menskracht

Tijd, geld, menskracht

En andere contextfactoren...- Commitment van management/bestuur voor impact

management proces- Budget- Tijd vrijgemaakt in agenda’s van sleutelfiguren?- Helder tijdspad?- Verantwoordelijkheden: Bij wie is het belegd (stagiair,

finance & admin, communicatie?- Is er draagvlak breder (aan de input lever kant of output

gebruikerskant) en helderheid over tijdspad?- Gecheckt welke info al beschikbaar is: worden er al zaken

gemeten die je kunt gebruiken?

Meten Photo by Charles Deluvio

Meten

Insteek en grondigheid

We hebben de scope bepaald:● Waar gaat je meting over?● Doel van onderzoek● Publiek/lezer● Informatiebehoefte

Nu moeten we de grondigheid bepalen:● Materiële vragen: welke verandering(en) ga je meten?● Stakeholders: wie betrek je op welke manier in het onderzoek?● Tijdsduur: wanneer en hoe lang na einde ga je meten?

○ Wat is goed genoeg in lijn met doel en publiek?

Gewenste grondigheid

Hoe verder je publiek van de interventie zit, hoe grondiger je moet zijn:

Minst grondig ← → Meest grondig

Interne planning Management rapport

Financier rapport Publieksrapport

Data verzamelen

● Storytelling is een mooie methode als je doelstelling met name een ‘communicatie’ focus heeft.

● Focusgroepen zijn goed om aannames te testen of te verifiëren.● Diepte interviews geven gedetailleerde ervaringen en quotes. Lastiger

te verwerken in bijvoorbeeld een infographic.● Surveys zijn systematischer en hebben een meer kwantitatieve focus.

Gemakkelijk om veel mensen te bevragen, (statistisch) analyseren vraagt om expertise.

↳ Welke steekproefgrootte is nodig voor je doel en publiek?● Literatuuronderzoek voor onderbouwing, wekt vertrouwen

Design

Twee belangrijke zaken:

● Bron: waar haal je de data vandaan?

● Design: pre - post, evaluatief, vergelijkend?

Wat is gewenst voor je doel en publiek? Welk niveau van grondigheid is haalbaar?

Mogelijke drempels en de realiteit

Begint waar je bent, het is een groeipadHet is geen rocket scienceHet is een proces Je bent afhankelijk: in hoeverre zit het al in het DNA van je organisatie?

Impact management

Meten & monitoren

Analyseren, rapporteren & verbeteren

Strategie & definitie

Zicht op directe resultaten- Activiteiten zijn helder - Outputs geformuleerd

Beschrijvend en ad-hoc- Dataverzameling gebeurt ad-hoc

- Met name anekdotische data- Cijfers beperkt tot output-data

Eenmalig en beschrijvend- Incidentele impactrapportages

- Anekdotische resultaten

Impact cultuur- organisatiebreed commitment en

draagvlak voor het belang van verzamelen en gebruiken impact data

Een goede basis- Probleemanalyse uitgevoerd

- Stakeholders gedefinieerd- Impactdoelstelling geformuleerd

Sturen op impact- continue monitoring van impactresultaten

- ingebed proces van analyseren en leren- periodieke bijsturing op basis van data

Structureel en diepgaand- Periodieke impactrapportages

- Statistische analyses- Benchmarking en trendanalyse

Structureel en gestructureerd- Dataverzameling gebeurt structureel

- Dataverzameling gebeurt volgens een plan- Mixed-methods en triangulatie

Zicht op beoogde impact- Outcomes zijn helder gedefinieerd

- Meetbare outcome-indicatoren- Focus op primaire doelgroep

Van probleem naar theorie- Uitgewerkte en gevalideerde Theory of Change

- Zicht op te verwachten effecten- Werkzame mechanismen zijn helder

IMPACT MANAGEMENT: VOLWASSENHEIDSMODEL

IMPACT RAAMWERK

Zicht op netto impact- Aandacht voor onbedoelde effecten- Aandacht voor negatieve effecten

- Aandacht voor bredere stakeholders

DATA COLLECTIE

Geavanceerd en representatief- Verzamelde data is representatief- Gevalideerde meetinstrumenten

- Gerandomiseerd onderzoek met controlegroep

ANALYSE & RAPPORTAGE

Real time en continu- Gebruik van real-time data

- Data-science en geavanceerde analyses- Attributie-analyse en prognoses

IMPACT MAXIMALISATIE

Impact boekhouding- is even belangrijk als fin. boekhouding

- Systeem voor impactboekhouding is ingericht- en wordt structureel bijgehouden

IMPACT STRATEGIE

Van theorie naar strategie- Haalbaarheidsstudie / business case- Scenario Planning en risicoanalyse

- Tijdslijn en targets

12

3

12

3

12

3

12

3

12

3

Indicatoren

Waar begin je?

De case voor vandaag: impactonderzoek voor jouw casus

Interventie en doel van interventie =

Doel van onderzoek =

Publiek voor onderzoek =

Informatiebehoefte van publiek =

Gewenste insteek =

Oefening (15 minuten)

Casus 1

1. Activiteit: Wekelijks taalcafé in jullie bibliotheek voor mensen voor wie het

Nederlands niet de moedertaal is, die moeite hebben met de Nederlandse taal en die de

spreekvaardigheid willen verbeteren. Zij kunnen in een informele en ontspannen

setting oefenen.

2. Situatie: Jullie hebben een divers publiek, en als bibliotheek onvoldoende zicht op wat

het taalcafé mensen oplevert. Jullie twijfelen of de mensen die er zitten de juiste

mensen zijn, en of jullie voldoen aan hun behoeften. Sommigen volgen ook al

taaltrainingen elders.

Casus 2

1. Activiteit: Als bibliotheek hebben jullie 15 verschillende projecten op sociaal domein,

o.a. Taalcafes, voorleesavonden, workshops, speciale pc’s…

2. Situatie: Jullie willen weten welke projecten het beste werken, want er is steeds

minder subsidiegeld. Jullie willen dus kiezen op welke projecten je blijft inzetten en

welke afvallen. Ook willen jullie meer geld krijgen van financiers.

Casus 3

1. Activiteit: Wekelijks taalcafé in jullie bibliotheek voor mensen voor wie het

Nederlands niet de moedertaal is, die moeite hebben met de Nederlandse taal en die de

spreekvaardigheid willen verbeteren. Zij kunnen in een informele en ontspannen

setting oefenen.

2. Situatie: Jullie hebben steeds minder geld om de taalcafés te blijven aanbieden, maar

denken wel dat dit een belangrijke taak is voor de bibliotheek en zien dat sommige

deelnemers er echt van op lijken te knappen. Jullie willen dus bewijzen dat het werkt en

daarmee extra financiering aantrekken.

Checklist bij start onderzoek

☑ Beginfase ☑ Scope bepalen van je onderzoek

Buy-in van management Probleemanalyse is helder

Budget gekregen Impactdoelstelling van organisatie/activiteit is helder

Onderzoeksteam samengesteld Stakeholders bepaald

Gecheckt welke info al beschikbaar is Scope van onderzoek bepaald

Tijd gemaakt in agenda’s Doel van onderzoek bepaald

Publiek + informatiebehoefte bepaald

Insteek van onderzoek bepaald

Grondigheid van onderzoek bepaald

Scope bepalen van je impact onderzoek

Wat ga je onderzoeken (organisatie>project>activiteit)

Doel van onderzoek (Intern: plannen, monitoren? Extern: communicatie, fondsenwerving?)

Publiek voor onderzoek (1 of meer groepen?)

Informatiebehoefte van publiek (verschillend per publieksgroep?)

Gewenste insteek (hoe rigoureus,

www.sinzer.org