Alternatieve (kwalitatieve) vormen van evaluatieonderzoek

Prof dr. Trudie Knijn

Universiteit Utrecht

Onderzoeksprogramma: Social policy and social Intervention Studies (SOPINS)

Kwantitatief statistisch onderzoek:

Kwantitatief onderzoek kan nuttig zijn; generaliseerbare uitspraken, toetsen van hypothesen en samenhangen en testen van schalen, soms zelfs causaliteit vast te stellen.

Beperkingen: opvattingen en gepercipieerd gedrag van mensen gevat in eenduidige uitspraken, achterliggende

beweegredenen laten zich niet makkelijk vangen, worden gemiddeld in ‘statements’. Opvattingen en gepercipieerd

gedrag van uitersten verdwijnen uit beeld.

Voordeel voor evaluatie onderzoek: als A dan BNadeel: onduidelijk hoe het werkt (de black box blijft dicht).

Kwalitatief interpreterend onderzoek:

Kwalitatief onderzoek kan nuttig zijn; geen eenduidige uitspraken,

beweegredenen achterhalen en in context plaatsen,

minderheidsopvattingen en uitersten doen ertoe en kunnen ook

iets laten zien over de gemiddelden, causaliteit niet hard maar wel

begrijpelijk te maken.

Beperkingen: niet generaliseerbaar, testen en toetsen onmogelijk.

Voordeel voor evaluatieonderzoek: hoe mechanismen werken; de

black box openen

Nadeel: mechanismen werken niet overal en altijd

(contextafhankelijk)

DUS: P.G. Swanborn (1999) Evalueren, Amsterdam: Boom.

Goed evaluatieonderzoek is vooral afhankelijk van:- het kiezen van de juiste onderzoeksvraag, - het daarbij selecteren van de juiste methode,- en het volgens de regelen der kunst toepassen daarvan.

Steeds meer voorkeur voor Mixed Methods:> Eerst exploratie (verkenning) dan meten.OF:> Eerst meten, dan uitdiepen.

Principes Realistische Evaluatie:R. Pawson & N. Tilley (1997) Realistic Evaluation

• Uitkomst moet zijn gedragsverandering van individu of groep; individu of groep zijn interpreterend subject van resultaat en proces (beoordelend subject)

• Interventie vindt plaats in context, deze is nooit dezelfde maar wordt door de interventie niet veranderd.

• De interventie richt zich op de mechanismen; de werkzame bestanddelen

Dus: 1) interventies werken via het veranderen van de interpretatie van een situatie door (groepen) mensen,

2) (maatschappelijke) situaties waarin de interventies plaatsvinden verschillen van elkaar, en dus

3) vatten verschillende (groepen) mensen het doel, de inhoud, etc. van een interventie in verschillende situaties verschillend op en als gevolg daarvan handelen ze verschillend.

In model:

M1 = probleemmechanisme M2 = blokkeermechanismeR1 = problematische regelmatigheid R2 is situatie na interventieC1 = stabiele contextAanname: context stabiel maar overal anders, dus onderzoeken welke mechanismen werken in verschillende contexten.

Toepassingen in Nederland:

- Sol, C.C.A.M., A.C. Glebbeek, A.J.E. Edzes, I. Busschers, H.I. de Bok, J.S. Engelsman en C.E.R. Nysten (2011). ‘Fit or unfit’. Naar expliciete re-integratie theorieën. Amsterdam: Universiteit van Amsterdam.

- Ruig, L. de, S. Bouma, S. van der Kemp, en M. van Ommeren (2011). Samen in actie. Evaluatie Actieplan Jeugdwerkloosheid. Eindrapport. Zoetermeer: Research voor Beleid.

- Bouwman-Van ’t Veer, M., T. Knijn en R. van Berkel (2011). Activeren door participeren. De meerwaarde van de Wet maatschappelijke ondersteuning voor re-integratie van mensen in de bijstand. Utrecht: MOVISIE.

Voorbeeld: het effect van de combi van WWB en Wmo voor activering.

Stap voor stap:

1a: Theorieverkenning (zoals in kwantitatief onderzoek) voor zoeken naar mogelijke verklaringen. Pawson;

‘every program has a theory’.Paralllel:

1b:Praktijkdeskundigen en beleidsmakers raadplegen; wat is er volgens jullie aan de hand?

2. Selecteren ‘best practices’ uit overzicht website WWB/Wmo en telefonisch consult op criteria samenwerking, duur project en gerapporteerd resultaat.

3. Opstellen ‘voorlopige’ lijst van werkzame mechanismen op basis van 1a en 1b.

1. Arbeidsmotivatie bestaat uit randvoorwaarden (kennis, kunde en vaardigheden) en motivatie (waardeoordeel over extrinsieke en intrinsieke doelen, en zelfeffectiviteit) (de Moor, 1998)

2. Zelfeffectiviteit; vertrouwen in eigen vaardigheden, capaciteiten en competenties om doelen te bereiken (Bandura, 1977, 1980)

3. Motivatie optimaal als men veel waarde hecht aan de doelen én de verwachting heeft die ook te kunnen bereiken.

4. Door de deelname aan een project, verandert er iets in de mogelijkheden van de cliënt (capabilities) (Pawson en Tilley, 1997).

5. Op basis van die mogelijkheden maken zij bepaalde keuzes (choices).

Theorie

Onderzoek

In drie gemeentes in Nederland (best practices na selectieronde): Sittard-Geleen, Ede-Wageningen en Almere.

Aan de hand van drie thema’s: -Uitkomst (deelname, uitval, participatieladder, duurzame participatie)-Context (WWB-Wmo beleid, betrokkenheid lokale werkgevers, sociaal netwerk cliënt)-Mechanismen (Opbrengsten, bronnen van informatie over zelfeffectiviteit, relatie met begeleider, belemmeringen opruimen)

Mechanismen:

1. Opbrengsten:-Motivatie (via maatwerk)-Zelfontplooiing-Structuur-Zinvol werk-Inkomsten

2. Informatie zelf-effectiviteit-Succeservaringen-Observerend leren

3. Relatie met begeleiders-Positieve benadering-Realistisch-Leefwereldbenadering-Wederkerigheid

4. Belemmeringen:- schulden, verslaving, huisvesting, zorg etc. oplossen..

Mixed Methods

Interviews: Gewenste uitkomsten a)Volgens professionals en beleidsmakersb)Volgens cliënten

Documentanalyse en interviews: Feitelijke uitkomstena)Volgens WWB criteria (participatieladder)b)Volgens Wmo criteria (nut voor buurt, ouderen, vrijwilligerswerk, etc.).Bel

Beleidsanalyse, data-analyse en interviews: Context:a)Integraal beleid gemeente- en projectniveau b)Lokale werkloosheid en arbeidsmarktc)Samenwerking tussen voorzieningend)Rol van sociaal netwerk

Interviews en focusgroepen: mechanismen a)Volgens professionals en beleidsmakersb)Volgens cliënten

Mechanismen: waardeoordeel opbrengst

Vooral positief bij moeders van jonge kinderen.

“ De hele dag in je bed hangen en alleen maar tv kijken.. Dat is wel leuk voor een paar weken maar uiteindelijk ga je je vervelen……… ja dan met je toch echt wat gaan doen hoor”

OF

“Mijn ritme is helemaal uit balans. Kijk, ik ben niet op zoek naar een vaste baan dus ik ga echt niet om 7 uur opstaan om te oefenen. Nee, ik hoef pas om half vier te werken (vrijwilligerswerk via het project), ja dan ga ik niet om 8 uur opstaan.”

Mechanisme: inkomsten (sancties en keuzes)

Vanwege sanctie WWB:

“ Dan blijkt dat je toch altijd weer tot iets meer in staat te zijn dan je zelf denkt… Ik bedoel, intrinsiek is ieder mens lui. Als hij niet per se hoeft, zal hij het ook niet doen, toch?”.

Na jaren zwaar en onderbetaald werk:

“Ik heb het goed hoor. Ik heb een vet appartement en ik krijg huurtoeslag. Ik ben een overlever. Ik heb eigenlijk helemaal niets nodig. Echt, ik heb niks nodig. Helemaal niks’.

Beiden doen vrijwilligerswerk.

Mechanisme: succeservaringen

“Je moet je bewijzen door onderaan te beginnen, bij de kwekerij, ook als je bankdirecteur ben geweest. En dan krijg je een rapportje. En mijn rapport was ‘kansloos’. Ik was kansloos om weer terug in de maatschappij te komen. En las ik NU kijk, dan is het allemaal weer plusjes, een vaste baan in het verschiet. Ja, daar is door de ambtenaren bij de gemeente al een opmerking over gemaakt, ze zeggen ‘hoe krijg je het voor elkaar jongen. Nou ik vind het heel knap hoor, heel knap.’ En dat vind ik wel fijn om dat van die mensen te horen.”

‘Ik was wel trots dat ik gebeld werd om de sleutel op te halen en het participatiehuis open te maken voor je. Mijn zoon die zei ‘moet jij dat doen, helemaal alleen?’ Ik bedoel het is wel het huis van een ander… van de gemeente en alles ligt hier zo voor het oprapen.. Het is wel een kwestie van vertrouwen, en daar ben ik heel trots op.”

Conclusie

1. Door de deelname aan een project, verandert er iets in de mogelijkheden van de cliënt (capabilities)

2. Op basis van die mogelijkheden maken zij bepaalde keuzes (choices), en hoewel die keuzes per individu verschillen, is een vijftal mechanismen doorslaggevend:

- Maatwerk (aansluiting bij wensen en mogelijkheden); - Materiële opbrengsten (en sancties via WWB);- Succeservaringen en observerend leren (via nieuwe

contacten, lotgenoten);- Relatie met de begeleider; - Belemmeringen oplossen;