=

====

Zicht op effectiviteit

Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg

Deel 1

Projectgroep Zicht op effectiviteit

=

=

©2006 NIZW / Praktikon / Ministerie van VWS

Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie,

microfilm of op enige andere wijze zonder voorafgaande schriftelijke toestemming.

Redactie Tom van Yperen (NIZW Jeugd)

Jan Willem Veerman (Praktikon)

Projectgroep

Deze uitgave maakt deel uit van het project ´Zicht op effectiviteit´, dat wordt uitgevoerd door een projectgroep,

bestaand uit:

Jan Willem Veerman (Praktikon, projectleider en penvoerder)

Tom van Yperen (NIZW Jeugd, projectleider)

Bas Bijl (PI Research)

Herma Ooms (Collegio)

Dries Roosma (Jeugdzorg Drenthe).

Financier

Het project ‘Zicht op effectiviteit’ wordt in de periode 2005-2007 uitgevoerd met subsidie van het ministerie van

VWS.

Deze publicatie is een nulversie. Het document is te downloaden via de website www.jeugdinterventies.nl.

Reacties op de tekst zijn te richten aan het onderstaand adres. De definitieve versie zal worden uitgegeven in

2007.

Informatie over deze publicatie is te verkrijgen bij:

NIZW Jeugd

Postbus 19152

3501 DD Utrecht

Telefoon (030) 230 63 53

Fax (030) 231 96 41

E-mail: t.vanyperen@nizw.nl

= 1

Voorwoord

Het hoeft nauwelijks meer betoog dat effectiviteit hoog op de agenda in de jeugdzorg staat.

Zowel op de werkvloer en het management van instellingen als bij locale, provinciale en

landelijke overheden is het besef gegroeid dat zicht op effectiviteit een belangrijke vereiste is

om de zorg intern verder te ontwikkelen en extern beter te verantwoorden. Dat roept

verschillende vragen op, zoals:

- Wat weten we al van de effectiviteit van interventies in de jeugdzorg?

- Wat verstaan we eigenlijk onder effectiviteit?

- Hoe kunnen we effectiviteit vaststellen?

- Hoe kunnen we gegevens over effectiviteit benutten voor verdere ontwikkeling en

verantwoording?

In dit Bronnenboek wordt op deze en andere vragen uitvoerig ingegaan. Het boek wil

handreikingen en achtergronden bieden voor het zichtbaar maken van de effectiviteit van de

jeugdzorg volgens een voor hulpverleners, managers, beleidsmakers en onderzoekers

relevante, interessante en praktisch werkbare manier. Die manier wordt aangeduid met

praktijkgestuurd effectonderzoek. In Deel I zal dit verder worden uitgelegd, maar uit de

naamgeving wordt al duidelijk dat er twee invalshoeken zijn: praktijk en onderzoek. Vanuit

het praktijkgestuurde perspectief is de praktijk van de zorg de plaats waar de zoektocht naar

effecten begint en eindigt. Wetenschappelijk onderzoek is de weg om die zoektocht mee te

helpen vormgeven.

Dit bronnenboek geeft een inleiding in praktijkgestuurd effectonderzoek. Geen kookboek of

dwingend kader. Het is een bron van ideeën, werkwijzen, instrumenten en voorbeelden die te

gebruiken zijn. Het maakt deel uit van een stroom van activiteiten die vanuit verschillende

perspectieven in gang zijn gezet, maar toch een gemeenschappelijk doel kennen, namelijk de

kwaliteit van de jeugdzorg op een hoger plan te brengen teneinde jeugdigen en hun gezinnen

met opgroei- en opvoedproblemen de best mogelijk kansen op herstel te bieden. Het gaat bij

deze stroom om door de landelijke en provinciale overheid ingezet beleid, door

overkoepelende organisaties uitgedragen visies, kwaliteitstrajecten binnen instellingen,

verdere professionalisering van beroepsgroepen, landelijke en regionale

onderzoeksprogrammering ten aanzien van de zorg, opleiding van praktijkonderzoekers,

methodiekontwikkelaars en kwaliteitsfunctionarissen, opbouw van databanken met gegevens

over veelbelovende en effectieve interventies.

De doelgroep van dit bronnenboek wordt gevormd door methodiekontwikkelaars,

kwaliteitsfunctionarissen en praktijkonderzoekers. In het boek komen veel technische zaken

aan bod. Deze worden zo uitgelegd, dat ze voor praktijkfunctionarissen goed te volgen en toe

te passen zijn. Het boek wil een gereedschapskist voor hen zijn, met informatie die ze zonder

al te veel moeite kunnen toepassen. Via literatuurtips worden zij voor verdere informatie op

het goede spoor gezet.

Het nu voorliggende deel I van het Bronnenboek heeft tot doel een kader te geven voor

praktijkgestuurd effectonderzoek. In Hoofdstuk 1 wordt duidelijk gemaakt dat we inmiddels

wel veel weten over de effectiviteit van jeugdzorginterventies, maar dat die kennis nog weinig

relevantie heeft voor de praktijk van de jeugdzorg. Betoogd zal worden dat dit komt door een

te nauwe definitie van effecten en te smalle opvatting over hoe die effecten het beste

vastgesteld kunnen worden. Er worden verschillende niveaus van effectiviteit onderscheiden,

= 2

die in een opklimmende reeks treden op een ladder vormen die van laag tot hoog steeds meer

zekerheid over effectiviteit van jeugdzorginterventies laten zien. Bij de eerste twee niveaus

gaat erom een interventie zo goed mogelijk te beschrijven en te onderbouwen. Interventies die

aan deze eisen voldoen kunnen potentieel effectief, respectievelijk veelbelovend worden

genoemd. Bij hoger niveaus gaat het er dat om daadwerkelijk te laten zien dat interventies ook

gewenste uitkomsten bereiken en dat dit ook komt door de inzet van de interventie.

Interventies die aan deze eisen voldoen kunnen doeltreffend of werkzaam worden genoemd.

Instellingen en overheden kunnen met behulp van deze ladder overeenkomen welk niveau van

effectiviteit het meest gewenst en realistisch om naar te streven. Dat niveau is geen statisch

gegeven, er kunnen afspraken gemaakt worden om in een aantal jaren van lagere naar hogere

niveaus te gaan. Dit geeft richting aan de verdere ontwikkeling van een effectieve

jeugdzorgpraktijk, ook wel aangeduid met evidence-based practice. Praktijkgestuurd

onderzoek wordt gezien als een noemer die een veelheid aan onderzoeksopzetten kan

omvatten om onderzoek te gaan doen op het niveau van keuze, hiermee kan practice-based

evidence verzameld worden.

In de hoofdstukken 2 en 3 worden de verschillende effectniveaus nog verder uitgelegd en

worden voorbeelden gegeven van onderzoek op die niveaus en wat dat onderzoek kan

opleveren. Gaandeweg wordt ook een keuze gemaakt op welk niveau dit Bronnenboek zich

met name zal richten. Dit is het niveau dat op de effectladder met doeltreffend wordt

aangeduid. Op dit niveau worden bij interventies die in de praktijk van de jeugdzorg worden

uitgevoerd gegevens over uitkomsten en uitvoering verzameld die de effectiviteit zichtbaar

moeten maken.

In hoofdstuk 4 wordt de cyclus van wetenschappelijk onderzoek geplaatst naast de

hulpverleningscyclus en beleidscyclus. Aangegeven wordt dat een integratie van deze drie

cycli nodig is om continu zicht te houden op de effectiviteit van de zorg en zo nodig

verbeteracties op gang te brengen.

In het laatste hoofdstuk van Deel I, Hoofdstuk 5, wordt beschreven hoe een praktijk zich kan

ontwikkelen tot een evidence-based practice, waarin het verzamelen en benutten van

gegevens over effectiviteit integraal deel uit maakt van het hulpverlenende handelen.

Begonnen wordt met het schetsen van zo’n ideale praktijk: hoe ziet die eruit? Daarna zal

worden aangegeven hoe een gegeven praktijk zich kan ontwikkelen tot zo’n ideale praktijk:

welke processen zijn daarvoor van belang? Hoe kunnen veranderingen in de gewenste

richting het beste gestuurd worden?

Tenslotte zal via een aanduiding van de titels van voorgenomen hoofdstukken een preview

worden gegeven op de inhoud van de geplande delen II en III van het bronnenboek.

De voorliggende versie van Deel I is de een zogeheten ‘nulversie’: nog geen officiële uitgave,

maar een ‘tussenuitgave’ die tot doel heeft potentiële gebruikers alvast op het spoor te zetten

van praktijkgestuurd onderzoek. De definitieve versie van het gehele bronnenboek wordt eind

2007 verwacht. Naar aanleiding van voortschrijdend inzicht van de schrijvers, maar vooral

ook door commentaren van lezers zal de definitieve inhoud zijn vorm krijgen. Lezers worden

daarom van harte uitgenodigd om hun reacties op de teksten kenbaar te maken aan de leden

van de projectgroep of aan de redacteuren van het boek.

= 3

Inhoudsopgave

Voorwoord ................................................................................................................................ 1

Inhoudsopgave.......................................................................................................................... 3

Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek? ..................................................... 7

1.1 Inleiding ............................................................................................................................ 7

1.2 Wat weten we uit effectonderzoek?.................................................................................. 8

1.3 Hoe verder? ..................................................................................................................... 10

1.4 Contouren van een praktijkgestuurd onderzoeksprogramma ......................................... 12

1.5 Conclusie en discussie .................................................................................................... 17

1.6 Bronvermelding .............................................................................................................. 19

Hoofdstuk 2. Op weg naar veelbelovend.............................................................................. 21

2.1 De basis wordt gelegd..................................................................................................... 21

2.2 Basiselementen van een interventie met potentie ........................................................... 22

2.3 De stap naar veelbelovend: belang van theorie en onderzoek ........................................ 25

2.4 Orde in een kluwen van factoren .................................................................................... 28

2.5 De werkzame ingrediënten: algemeen en specifiek........................................................ 33

2.6 Samenvatting................................................................................................................... 35

2.7 Bronvermelding .............................................................................................................. 36

Hoofdstuk 3. Een kwestie van bewijzen … .......................................................................... 39

3.1 Gemakkelijk gezegd, moeilijker te meten ...................................................................... 39

3.2 Causaliteit in een grillige en weerbarstige omgeving ..................................................... 40

3.3 Kapers op de kust: alternatieve verklaringen voor gemeten effecten ............................. 41

3.4 De interventietheorie als wegwijzer................................................................................ 45

3.5 Designs op de effectladder.............................................................................................. 46

3.6 Een zeker bewijs ............................................................................................................. 48

3.7 Aan elk bewijs hangt een prijs ........................................................................................ 50

3.8 Bronvermelding .............................................................................................................. 52

Hoofdstuk 4. Praktijk, beleid en wetenschap verbinden .................................................... 53

4.1 Circuits verbinden........................................................................................................... 53

4.2 De praktijk van het primaire proces................................................................................ 54

4.3 Het beleid ........................................................................................................................ 55

4.4 De wetenschap ................................................................................................................ 57

4.5 Verbinden met het oog op praktijkverbetering ............................................................... 59

4.6 Omgaan met verschillende belangen .............................................................................. 62

4.7 Samenvatting en conclusies ............................................................................................ 65

4.8 Bronvermelding .............................................................................................................. 66

Hoofdstuk 5. Organiseren van het onderzoek ..................................................................... 67

5.1 Inleiding .......................................................................................................................... 67

5.2 Praktijkgestuurd effectonderzoek: een droom van een casus ......................................... 68

5.3 Kwaliteitscriteria voor de praktijk .................................................................................. 73

= 4

5.4 Het organiseren van praktijkgestuurd onderzoek ........................................................... 74

5.5 Huiswerk voor overheid en instellingen ......................................................................... 76

5.6 Bronvermelding .............................................................................................................. 78

Blik op de overige delen ......................................................................................................... 79

Deel 2. Beschrijving van voorbeeldpraktijken...................................................................... 79

Deel 3. Methoden en technieken........................................................................................... 79

Deel 4. Strategie en context .................................................................................................. 79

Over de projectgroep ............................................................................................................. 81

= 5

DEEL 1

= 6

= 7

Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek?

Jan Willem Veerman en Tom van Yperen

1.1 Inleiding

De vraag naar de wetenschappelijke onderbouwing van de effectiviteit van interventies in de

jeugdzorg klinkt de laatste jaren steeds luider. In de gebouwen van locale, provinciale en

landelijke overheden, in de kantoren van de zorgverzekeraars, op universiteiten, op

congressen, en niet in de laatste plaats in de jeugdzorg zelf, overal kan men de effectvraag

beluisteren. Of we nu uitvoerend hulpverlener zijn of directeur van een instelling,

onderzoeker, zorgverzekeraar of politicus, allemaal willen we dat psychosociale problemen

van kinderen en jeugdigen de best mogelijke behandeling krijgen. Dat is uiteraard altijd al de

wens geweest, maar vandaag de dag willen we dat nog nadrukkelijker. In het recente

visiedocument van de zorgaanbieders in de jeugdzorg staat bij de beleidsinzet voor de periode

2003-2006 dat zorgaanbieders hulp moeten bieden die verantwoord kan worden vanuit het

oogpunt van effectiviteit en efficiëntie (Bewust, betrokken en betrouwbaar, 2003, blz. 13). In

de nota Jeugd Terecht van het Ministerie van Justitie valt te lezen dat het ministerie

voornemens is in de nabije toekomst alleen nog maar effectieve of veelbelovende interventies

te subsidiëren (Jeugd Terecht, 2003, blz. 20). In het verlengde hiervan is er een

erkenningcommissie opgericht, die in opdracht van het ministerie gaat beoordelen welke

justitiële gedragsinterventies het predikaat effectief kunnen krijgen. In de GGZ wordt al enige

tijd gesproken over DBC’s, diagnose-behandelcombinaties, die zowel de indicatie als de

financiering van de zorg moeten sturen. Het inzetten van evidence-based behandelingen is

hier een uitgangspunt. Het centrum Jeugd van het Nederlands Instituut voor Zorg en Welzijn

(NIZW Jeugd) heeft een databank van effectieve jeugdinterventies ingesteld. Het wil hiermee

de beschikbare kennis over veelbelovende en effectieve interventies in Nederland meer

bekendheid geven (zie www.jeugdinterventies.nl). Dit zijn enkele voorbeelden die het alom

tegenwoordig zijn van de effectvraag illustreren.

Het bijzondere is dat die vraag niet alleen hoog op de agenda staat van onderzoekers, maar

ook op die van uitvoerend hulpverleners en hun directies. Naast gezonde nieuwsgierigheid

naar het resultaat van het werk spelen bij hen vakinhoudelijk en maatschappelijke motieven

een rol. Vakinhoudelijk voelen zij de noodzaak te moeten streven naar zorg van zo hoog

mogelijke kwaliteit, en kwaliteit moet blijken, onder meer uit wetenschappelijk verantwoord

effectonderzoek. Maatschappelijk zijn zij de overheid en zorgverzekeraars verschuldigd te

laten zien dat het geld goed besteed is, en indirect dienen zij dat ook aan de belastingbetaler te

laten zien. Ook hier kan effectonderzoek een goede dienst bewijzen.

Is men eenmaal overtuigd van de noodzaak en het nut van effectonderzoek dan rijzen nog wel

allerlei vragen. De belangrijkste is wat we eigenlijk onder effectiviteit verstaan en hoe we die

kunnen aantonen. En dan blijkt zoals zo vaak dat dit soort begrippen op allerlei manieren

worden gebruikt. Dat bemoeilijkt de communicatie. Vanuit een praktijkperspectief kan een

interventie als effectief gezien worden als gestelde doelen worden gerealiseerd en cliënten

tevreden zijn. Vanuit een strikt wetenschappelijk perspectief is een interventie pas effectief als

is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen

veroorzaken. De gestelde doelen waren wellicht zonder de interventie ook wel gerealiseerd,

= 8

met in het verlengde daarvan een tevreden cliënt. In het ideale model effectonderzoek krijgt

een experimentele groep de interventie die men op zijn effect wil onderzoeken en krijgt een

controlegroep geen interventie, een placebo-interventie of een alternatieve interventie.

Idealiter worden cliënten willekeurig worden toegewezen aan de experimentele of de

controlegroep. Het lot bepaalt dus wie de interventie krijgt en wie niet. De interventie zelf

behoort helder omschreven te zijn, bij voorkeur vastgelegd in een behandelingsprotocol dat

niet alleen de fasering aangeeft, maar ook wat er tijdens de verschillende sessies, bezoeken of

zittingen dient te gebeuren. Eveneens moet duidelijk te zijn voor wie de interventie geschikt is

en voor wie niet. In het onderzoek wordt bij beide groepen een voormeting en een nameting

verricht. Het effect wordt dan afgelezen aan het verschil tussen de experimentele en

controlegroep aan het eind van de interventie.

Deze manier van effectonderzoek roept weer nieuwe vragen op: Van hoeveel interventies in

de Nederlandse jeugdzorg is het effect op die manier aangetoond? Is een dergelijk onderzoek

in de praktijk altijd uitvoerbaar? Valt er over de effectiviteit van een interventie helemaal

niets te zeggen als dergelijk onderzoek niet heeft plaatsgevonden? En als er wel iets over te

zeggen is, wat is dat dan en welk onderzoek is daarvoor nodig? In dit eerste hoofdstuk wordt

ingegaan op deze vragen. In de volgende paragraaf (1.2) zal duidelijk worden dat het ideale

onderzoek ons nog weinig kennis heeft gebracht over de effectiviteit van de vele honderden

interventies die dagelijks in de praktijk van de jeugdzorg worden uitgevoerd. Dat betekent

niet dat dit soort onderzoek niet deugt of dat interventies in de jeugdzorg niet effectief zijn.

Het betekent juist dat we moeten zoeken naar nog meer manieren om effecten in beeld te

brengen. Paragraaf 1.3. en 1.4. geven aan hoe dat zou kunnen. We typeren deze andere aanpak

van effectonderzoek als ‘praktijkgestuurd’, in tegenstelling een aanpak die we

‘methodegestuurd’ noemen. Bij de laatstgenoemde is de focus sterk gericht op de realisering

van methodologische eisen waar het ideale effectonderzoek aan moet voldoen. Bij

praktijkgestuurd effectonderzoek gaat het erom het type studie aan te passen aan de eisen van

de praktijk. Dit laatste impliceert een uitdaging aan onderzoekers om in samenwerking met

praktijkfunctionarissen wetenschappelijk verantwoord en voor de praktijk uitvoerbaar en

bruikbaar effectonderzoek op te zetten. Met dit boek wordt deze uitdaging opgepakt. We

gebruiken daarbij de term ‘praktijkfunctionarissen’ als algemene noemer voor mensen die in

de praktijk van de jeugdzorg werkzaam zijn. Dat kunnen uitvoerend werkers zijn, maar ook

teamleiders, afdelingsmanagers en directieleden. Voor zover nodig zullen we nader aangeven

wie precies bedoeld wordt. Waar het om gaat is dat het onderzoek tegemoet komt aan de

genoemde vakinhoudelijke en maatschappelijke drijfveren van deze mensen, en dat het

bovenal interessant en spannend is om te doen. Het eerste hoofdstuk geeft een inleiding op de

vraag met wat voor soorten onderzoek dit is te realiseren.

1.2 Wat weten we uit effectonderzoek?

Rond de recente eeuwwisseling waren wereldwijd zo’n 1500 van experimentele onderzoeken

naar effecten van jeugdzorginterventies gepubliceerd (zie voor overzichten bijvoorbeeld

Burns & Hoagwood, 2002; Carr, 2000; Kazdin, 2000; Konijn, 2003). Onder de noemer

´experimentele onderzoeken´ vatten we hier zowel de experimentele als quasi-experimentele

studies (zie hoofdstuk 3 voor een verdere uitleg en verwante termen). De resultaten van die

onderzoeken laten zien dat jeugdzorginterventies gemiddeld genomen effectief zijn.

Vergelijkbaar met interventies voor soortgelijke problemen bij volwassenen worden er

middelgrote tot grote effecten gevonden. Voorbeelden van effectieve interventies zijn

= 9

Systematische Desensitisatie, verschillende vormen van Cognitieve Gedragstherapie al dan

niet in combinatie met medicatie, Oudertraining (Parent Management Training), specifieke

therapeutische aanpakken in de pleegzorg (Treatment Foster Care) en sommige vormen van

Intensieve Pedagogische Thuiszorg zoals Multisysteem Therapie. Dit lijkt goed nieuws,

behandelaars in de jeugdzorg kunnen kiezen uit effectieve interventies. Bij nadere

beschouwing blijken echter de nodige vraagtekens bij dit goede nieuws te zetten.

In de eerste plaats is het aantal behandelvormen dat onderzocht gering. Gebaseerd op de

bovengenoemde overzichtsliteratuur schatten we dit aantal op niet meer dan 50. Dit staat in

schril contrast met het aantal behandelvormen dat in de jeugdzorg aangeboden kan worden.

Schattingen hierover lopen uiteen van ruim 550 (Kazdin, 2000) tot wel 1500 (Loeffen, Ooms

& Wijgergangs, 2004). Terzijde: in een recente inventarisatie werden in Nederland alleen al

op het terrein van de intensieve pedagogische thuiszorg 92 methodieken gevonden. (o.a.

Families First, Video Hometraining; zie Veerman, Janssens & Delicat, 2005). Daar komt bij

dat het overgrote deel van het bewijs dát er is, uit het buitenland afkomstig is. Het aantal

onderzochte Nederlandse interventies is nog geringer. Boendermaker, Van der Veldt & Booy

(2003) vonden over de periode 1990-2002 in totaal 54 effectstudies, waarvan er 22 volgens

het ideale onderzoeksmodel waren uitgevoerd. Twee van deze onderzoeken gingen over een

en dezelfde behandeling, nog eens twee onderzoeken richtten zich louter op het effect van

medicatie. Dat betekent dat er in totaal 19 interventies in de Nederlandse jeugdzorg via het

ideale onderzoeksmodel op hun effecten zijn onderzocht. Het aantal onderzochte interventies

is dus maar een fractie van wat gewoonlijk wordt aangeboden. (schatting: 1-5%). Van het

grootste deel van de interventies hebben we geen experimenteel wetenschappelijk bewijs over

de effectiviteit.

In de tweede plaats hebben John Weisz en zijn collega’s laten zien dat het positieve beeld

vertekend wordt door interventies die niet in de praktijk van de jeugdzorg worden

uitgeoefend, maar die speciaal voor onderzoeksdoeleinden ontworpen zijn en alleen in het

kader van een onderzoek zijn uitgevoerd (Weisz & Weiss, 1993). Deze interventies zijn altijd

kortdurend (10 sessies of minder vormt geen uitzondering) en op niet al te ingewikkelde

problematiek gericht (niet zelden gaat het ook niet om ‘echte’ cliënten, maar om

vrijwilligers). Dikwijls wordt er ook maar één, zogeheten focaal probleem behandeld (daar

zijn de effectmetingen dan ook op gericht), alleen die cliënten worden voor de interventie

uitgekozen. Bovendien wordt de interventie gegeven door behandelaars die door en door

getraind zijn in die ene specifieke methode die onderwerp van onderzoek is. Kortom, zoals

het in elk wetenschappelijk onderzoek betaamt, wordt alles in het werk gesteld het effect een

maximale kans van optreden te geven en de interventie als de causale factor aan te kunnen

wijzen. De prijs voor al deze inspanningen is dat een situatie gecreëerd wordt die in allerlei

opzichten veraf staat van de vaak hectische praktijk van alledag. Weisz en Weiss typeren deze

interventies dan ook als ‘onderzoeksinterventies’, ontwikkeld en beproefd in onderzoek, in

tegenstelling tot de ‘klinische interventies’ die in de praktijk van alledag worden uitgevoerd.

Dus: het geringe aantal interventies dat wel onderzocht is bestaat ook nog eens voor het

grootste deel uit interventies die in de praktijk van de jeugdzorg nauwelijks voorkomen.

In de derde plaats worden in studies die wel in de praktijk van de zorg zijn uitgevoerd voor

klinische interventies vaak geen effecten gevonden (Weisz & Weiss, 1993). Van Yperen

(2005) plaatst bij deze bevinding een aantal vraagtekens. Hij meent dat er in de praktijk van

de zorg wel degelijk effecten te vinden zijn, zij het dat het wel om kleine effecten gaat.

Daarnaast geldt dat er voor interventies in de thuissituatie (zoals vormen van Intensieve

Pedagogische Thuiszorg en Pleegzorg) in de praktijk van de Nederlandse jeugdzorg matige

= 10

effecten zijn gevonden. Maar hoe dan ook, de boodschap is duidelijk: de weinige wel in de

praktijk van de zorg uitgevoerde experimentele onderzoeken laten slechts kleine tot matige

effecten zien.

In de vierde plaats zijn voor het uitvoeren van een goed effectonderzoek verregaande

specificaties van beoogde doelgroep, bedoelde interventie en gewenste uitkomsten nodig,

liefst in behandelprotocollen, die zowel een gedegen theoretische onderbouwing als een

hechte organisatorisch inbedding laten zien. De Amerikaanse onderzoeker Patton merkte

hierover op dat praktijkwerkers in het algemeen niet houden van dit soort specificaties.

Praktijkwerkers gaan veel meer uit van ‘…een wereld van multipele oorzaken, diversiteit van

uitkomsten, inconsistentie van interventies, en interacties op verschillende niveaus – en zij

vinden zo’n wereld opwindend en wenselijk (Patton, 1994, blz. 313). Onze inschatting is dat

praktijkwerkers wel degelijk houden van het specificeren van hun interventies, zolang ze daar

maar de ruimte en de tijd voor krijgen en daarbij ondersteund worden. Maar hoe dan ook zien

we op dit moment dat veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd

onvoldoende geëxpliciteerd zijn om aan een goed effectonderzoek te onderwerpen.

Samengevat: De bewijzen die de wetenschap levert over de effectiviteit van

jeugdzorginterventies zeggen ons:

a. dat het aantal experimenteel onderzochte interventies maar een fractie is van wat wordt

gewoonlijk wordt aangeboden,

b. dat het aantal interventies dat op deze wijze onderzocht is voor het grootste deel uit

interventies bestaat die in de praktijk nauwelijks voorkomen,

c. dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken kleine effecten

laten zien en

d. dat veel interventies in de praktijk nog niet genoeg geëxpliciteerd zijn om aan een goed

effectonderzoek te onderwerpen.

Deze misschien wat teleurstellende stand van zaken betekent niet dat interventies in de

jeugdzorg niet effectief zijn, we weten hier alleen gewoon nog te weinig van. Mede gelet op

wat in de inleiding gezegd is over noodzaak van meer zicht op effectiviteit betekent dit ook

een geweldige uitdaging om deze kennislacune op te gaan vullen.

1.3 Hoe verder?

Twee wegen

In theorie zijn er op basis van voorgaande conclusies twee wegen begaanbaar om meer kennis

over effecten van jeugdzorg te verkrijgen:

• Het top down implementeren van de interventies die hun effect in onderzoek bewezen

hebben. We zagen zo even dat die meestal nog niet in de praktijk worden uitgevoerd. Dit

impliceert een transport van onderzoeksinterventies vanuit het wetenschappelijk kader naar

de klinische praktijk en onderzoek naar het welslagen van de implementatie in deze

praktijk.

• Het bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden

uitgevoerd. Hiermee wordt aangesloten bij de situatie van dit moment: er worden dagelijks

= 11

vele interventies uitgevoerd en daar ‘moet’ de jeugdzorg iets mee als het om

effectonderzoek gaat. Dit impliceert het uitvoeren praktijkonderzoek waarmee de

effectiviteit van interventies op de een of andere manier in beeld wordt gebracht.

Beide wegen zijn begaanbaar. De literatuur over effectonderzoek beveelt meestal de eerste

weg aan. Dus: eerst op kleine schaal experimenteel onderzoeken en daarna op grotere schaal

in de praktijk implementeren. Het soort onderzoek dat daarbij hoort wordt gestuurd door de

bevindingen uit eerdere experimentele studies en leidt idealiter tot nieuwe experimentele

studies, maar nu in de praktijk van de zorg, met ‘echte’ cliënten en ‘echte’ interventies. Het

gaat om een methodegestuurde benadering waarbij de realisering van eisen waar het

effectonderzoek idealiter aan moet voldoen voorop staan. Het idee is dat alleen op die manier

maximale zekerheid ontstaat dat de onderzochte interventie effect heeft. Langs deze weg

informeert de wetenschap de praktijk naar beste kunnen en draagt het onderzoek bij aan het

ontwikkelen van een evidence-based practice (Bower, 2003; Chaffiin & Friedrich, 2004). De

definitie van effect is hier duidelijk: het verschil tussen de experimentele en de controlegroep

aan het eind van de interventie. Er zijn weinig vrijheidsgraden voor ander onderzoek,

bijvoorbeeld onderzoek zonder controlegroepen. Het voordeel is de wetenschappelijk logica,

die een onomstotelijk effectbewijs levert en die op het eerste gezicht ook wel aantrekkelijk is.

Hier worden bevindingen uit de onderzoekslaboratoria via toegepast onderzoek in de praktijk

uitgezet. Zo gaat het op veel meer terreinen, bijvoorbeeld bij het onderzoek naar de

effectiviteit van geneesmiddelen, dus waarom ook niet op het terrein van de jeugdzorg? Het

nadeel is dat de praktijk van de zorg vaak nog niet zo ver is en dat het wel eens heel lang kan

duren voor men zover is.

De tweede weg, beginnen bij wat er is en dat uitbouwen, is veel minder uitgewerkt. Maar

deze wordt naar onze mening nog veel te weinig benut om wetenschappelijke kennis over

effectieve interventies te verkrijgen. Het gaat hier niet zozeer om het creëren van een

evidence-based practice maar om het ontwikkelen van practice-based evidence (Barkham &

Mellor-Clark, 2003). De definitie van het effect is hier minder eenduidig, of op zijn minst

meervoudig en de bewijsvoering is minder ‘hard’ als men wellicht zou willen. Dat is een

nadeel van deze tweede weg. Daar staat als voordeel tegenover dat deze weg snel is in te slaan

– vandaag nog, als het moet – en dat gaande weg zal blijken dat de bewijzen minder ‘zacht’

zijn als critici soms doen geloven.

Op weg met praktijkgestuurd effectonderzoek

De zojuist genoemde tweede weg zal in dit Handboek een belangrijke plaats innemen. We

spreken dan van praktijkgestuurd effectonderzoek. We ontlenen de term praktijkgestuurd

onderzoek aan Jo Hermans en passen zijn definitie (Hermanns, 1993, p. 27) aan voor ons

doel. Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en

behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen

waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris,

een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader

verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken

behandelfunctionarissen of instellingen verbetert en tevens ten opzichte van buitenstaanders

gelegitimeerd kan worden. Deze definitie geeft praktijkgestuurd effectonderzoek de volgende

drie kenmerken:

= 12

• Aansluiting. Onderzoek naar het effect van interventies moet aansluiten bij het

ontwikkelingsniveau van die interventies. Het ontwikkelingsniveau wordt gegeven door de

mate waarin de te onderzoeken interventie een te onderscheiden ‘ding’ is: in hoeverre hij is

te omschrijven, te onderbouwen en over te dragen. Het heeft geen zin een experimenteel

onderzoek te doen bij interventies die wat dit betreft nog niet voldoende gerijpt zijn

(Jacobs, 1988).

• Inbedding. Onderzoek naar het effect van interventies dient procedureel ingebed te zijn in

de uitvoering van de interventie, dient er niet nog eens ‘bij’ te komen. Dat betekent dat het

gebruik van onderzoeksinstrumenten deel uit hoort te maken van het hulpverlenend

handelen (Roosma, 2000) en dat deze instrumenten ook de ‘taal van de interventie’

spreken, dat wil zeggen operationaliseringen zijn van concepten die op de werkvloer

worden gehanteerd. Daarmee krijgen ze zeggingskracht.

• Benutting. Onderzoek naar het effect van interventies dient niet in de bureaulade te blijven

liggen, maar de verzamelde gegevens moeten benut worden. Deze benutting begint in het

primaire proces, bij individuele diagnostiek en behandelingsplanning en evaluatie van de

voortgang. Van daaruit kunnen gegevens naar hogere niveaus geaggregeerd worden,

bijvoorbeeld om zicht te krijgen op de effectiviteit van een interventie, van een team, een

unit, een instelling, provinciale en landelijke koepels of sectoren. Onderzoek wordt dan

opgenomen in een cyclus gericht op praktijkverbetering. Hiermee wordt een verbinding

tussen onderzoek en kwaliteitszorg gelegd (Veerman, 1998; Van Yperen, 2004).

Deze drie kenmerken kunnen gezien worden als de ‘werkzame principes’ van

praktijkgestuurd effectonderzoek. Effectonderzoek dat aansluit bij de staat van ontwikkeling

van de interventie, ingebed is in de uitvoering ervan en benut wordt voor verdere verbetering

is een levendige activiteit, die kennis oplevert waar men wat aan heeft en waar men ook

plezier aan kan beleven.

1.4 Contouren van een praktijkgestuurd onderzoeksprogramma

Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model van effectonderzoek,

maar kan verschillende vormen aannemen. Elke vorm kan bijdragen aan de ontwikkeling van

kennis over de effectiviteit van de jeugdzorg. Wel is het zo dat de bewijskracht van sommige

vormen van onderzoek meer zekerheid biedt. Soms zijn deze echter in een bepaalde

praktijksituatie (nog) niet uitvoerbaar of nog niet zinvol en moeten we ons tevreden stellen

met vormen van onderzoek die minder zekerheid bieden. Praktijkgestuurd effectonderzoek

kent zo verschillende niveaus van zekerheid, die elk ook een bepaalde definitie van effect

impliceren. In figuur 1.1 schetsen we een model waarin een viertal niveaus van

effectonderzoek onderscheiden worden. Het startpunt, in feite niveau 0 (niet in de figuur

weergegeven), is het gegeven dat we nog maar weinig weten van effecten van de honderden

interventies die in de praktijk van alledag worden uitgevoerd. Het perspectief is dat we hier

via onderzoek gaandeweg meer over te weten kunnen komen. Het model geeft aan hoe die

weg eruit kan zien: van potentieel, via veelbelovend en effectief naar werkzaam. Op elk hoger

niveau kan met meer graden van zekerheid het effectbewijs geleverd worden. De figuur toont

als het ware een ‘effectladder’ waarmee vanuit de een toestand van ‘geen kennis’ over

effecten naar een toestand van ‘ware kennis’ over effecten geklommen kan worden. Op die

manier kan de zorgpraktijk zich via het leveren van practice-based evidence gaandeweg

= 13

ontwikkelen tot een evidence-based practice. We spreken dan ook van een

ontwikkelingsmodel, het zet aan tot praktijkontwikkeling (Van Yperen, 2004).

Van belang is te beseffen dat we het op alle niveaus hebben over het effect van een

interventie. Voor interventie kan ook methodiek, zorgaanbod, module of behandelvorm

gelezen worden. Het gaat hierbij om een verzameling gecoördineerde en geplande activiteiten

gericht op het bereiken van bepaalde doelen. De interventie kan beperkt zijn, bijvoorbeeld een

sociale vaardigheidstraining voor angstige kinderen, of ruim, zoals een behandelingsklimaat

in een residentiële leefgroep ingericht volgens het competentiemodel. Het model gaat niet

over de effecten van afdelingen of instellingen. Inzicht hierin kan verkregen worden door de

effecten van interventies binnen afdelingen of instellingen te aggregeren

We willen tevens benadrukken dat we het ideale, experimentele model van effectonderzoek

niet uitsluiten, we zetten dat zelfs op het hoogste niveau. Maar we bedden dat type onderzoek

in in een verzameling van mogelijkheden, die elk een bijdrage leveren aan het beantwoorden

van uiteenlopende effectvragen. Zekerheid over de vraag of de effecten ook daadwerkelijk

zijn toe te rekenen aan de betreffende interventie neemt in het model toe naarmate men hoger

op de ladder komt. Figuur 1.1 maakt zichtbaar wat voor onderzoek men kan opzetten om wat

voor zekerheden te krijgen. Na de figuur worden de verschillende niveaus en de soorten

onderzoek verder toegelicht.

Soort effect

Omschrijving

Soorten onderzoek

4. Werkzaam Als 1 t/m 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten

3. Doeltreffend Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen, en cliënten tevreden zijn

• Experimenteel onderzoek • Herhaalde case studies (N=1 designs) ----------------------------------------------------- • Quasi-experimenteel onderzoek • Veranderingstheoretisch onderzoek • Normgerelateerd onderzoek ----------------------------------------------------- • Veranderingsonderzoek • Doelrealisatie-onderzoek • Cliënttevredenheidsonderzoek

2. Veelbelovend Als 1, maar nu is er tevens een acceptabele interventietheorie die duidelijk maakt hoe de problemen van de doelgroep zijn ontstaan waarom de interventie de beoogde uitkomsten zal bereiken

• Meta-analyse • Literatuurstudie • Kennisontlokkend onderzoek

1. Potentieel De kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële randvoorwaarden zijn duidelijk en begrijpelijk beschreven

• Descriptief onderzoek • Observationeel onderzoek • Documentanalyse • Interviews

Figuur 1.1 Niveaus van onderzoek in praktijkgestuurd effectonderzoek voor zicht op effectiviteit

=

Niveau 1: Specificeren onderdelen interventie

Op dit niveau gaat de nieuwsgierigheid van praktijkfunctionarissen uit naar de aard van hun

interventie(s). Deze worden op dit niveau nader omschreven en gespecificeerd. De aandacht

gaat dient hier vooral uit te gaan naar:

a. het doel van de interventie: welke uitkomsten streeft men na?

b. de doelgroep van de interventie: is de interventie een ‘panacee voor alle problemen’ of

wordt hij geacht te werken voor kinderen en gezinnen met bepaalde te omschrijven

problemen?

c. de aanpak: wat zijn de technieken die bij de interventie worden toegepast, wat is de

vereiste frequentie, intensiteit, duur, fasering en welke overige uitvoeringseisen ten aanzien

van evaluatie, opleiding, supervisie zijn van toepassing?

= 14

d. de randvoorwaarden: wat is er aan materiële, financiële en organisatorische ondersteuning

nodig om de interventie in een instelling goed te kunnen uitvoeren?

Door de zorgprogrammering is het beschrijven van interventies (modules) inmiddels in gang

gezet, de afgelopen jaren zijn in tal van interventies beschreven. We noemden hiervoor een

aantal van 1500! Niet voor elke zorginstelling zal dit een ‘levende’ en ‘levendige’ gebeurtenis

zijn geweest. Toch zien we dit als een eerste stap op weg naar kennis over effectieve

interventies. In meer bedrijfskundige termen gaat het om de specificatie van het product. Als

helder is waar dit product precies uit bestaat, kan beoordeeld worden (eventueel door

deskundige buitenstaanders) of dit uit de ‘goede dingen’ bestaat. ‘Goed’ dient dan bezien te

worden in het licht van de wetenschappelijke en klinische kennis die we hebben. Hoe meer de

inhoud van een interventie de nieuwste inzichten in het vakgebied weerspiegelt, en hoe

duidelijker de interventie in een stappenplan of handleiding uiteengelegd kan worden, hoe

meer potentie hij in zich heeft om effectief te zijn. Deze potentie is op te vatten als een eerste,

minimale indicatie voor de effectiviteit van de interventie. In hoofdstuk 2 wordt hier verder

op ingegaan. Het soort onderzoek dat hierbij van dienst kan zijn is descriptief van aard, het

kan bestaan uit het bestuderen en analyseren van documenten, het observeren van de

uitvoering van interventies of het interviewen van praktijkfunctionarissen.

Terzijde

Sommige lezers zullen zich misschien afvragen wat dit nu voor nut heeft. Is dit niet een erg

bureaucratische aangelegenheid, goed voor het vullen van de bureaulade maar niet voor het

aanleveren van kennis waar werkers in de jeugdzorg iets mee kunnen? Laten we dit eerst eens

vanuit een macroperspectief bekijken. Stel dat er een externe, van overheidswege benoemde

beoordelingscommissie aan de overheid als financier van de zorg advies moet uitbrengen over

welke interventies voor financiering in aanmerking komen. Een eerste schifting van al die

honderden interventies zou kunnen zijn dat er minstens iets begrijpelijks op papier moet staan

dat duidelijk maakt hoe die interventie eruit ziet, voor wie hij is bedoeld en wat de beoogde

uitkomsten zijn. En liefst ook nog iets over hoe een en ander georganiseerd moet worden en

wat dat kost. Die interventies hebben dan effectiviteitpotentie (Van der Laan, 2000). Maar zou

dat ook vanuit een microperspectief, dat van de behandelaar, niet gelden? Zou de overtuiging

dat men met iets goeds bezig is niet kunnen groeien naarmate het goede meer en beter

beschreven is en daarmee ook overdraagbaar wordt? Een voorwaarde hiervoor is wel dat

behandelaars bij die beschrijvingen betrokken worden. Dat is de kern van praktijkgestuurd

onderzoek. Sommigen zullen zeggen dat dit nog niet genoeg is om voor financiering in

aanmerking te komen. Daarvoor dient er meer bewijs voor effectiviteit, te komen. Dat kan, en

daarvoor gaan we naar niveau twee.

Niveau 2: Theoretisch onderbouwen werking interventie

Een volgende stap is dat behandelaars van elke behandelvorm die ze bieden aannemelijk

maken dat deze werkt: hoe wordt door het inzetten van de bedoelde interventie de gewenste

uitkomst bij de beoogde doelgroep bereikt? Welke rol spelen de algemeen werkzame

ingrediënten om de doelen te bereiken en welke specifiek werkzame ingrediënten voegt de

interventie hieraan toe? Hiermee wordt een interventietheorie (‘program theory’)

geëxpliciteerd die intern een rationale en extern een legitimatie voor het uitvoeren van een

interventie geeft (Rossi, Lipsey & Freeman, 2004). We doelen hier niet zozeer op een louter

wetenschappelijke theorie, maar op een theorie die zowel praktijkervaringen als

wetenschappelijke bevindingen integreert. Het formuleren van zo’n theorie is een verdere stap

= 15

in de bewijsvoering voor effectiviteit. Als daarbij nog gerefereerd kan worden aan algemeen

aanvaarde wetenschappelijk theorieën komt de theorie nog weer sterker te staan. Het

formuleren van een goede interventietheorie maakt een interventie veelbelovend. Degenen die

menen dat dit wellicht te abstract gaat worden willen we herinneren aan het bekende gezegde

van Kurt Lewin, één van de voorvaderen van de moderne psychologie, dat niets zo praktisch

is als een goede theorie (Lewin, onder andere aangehaald in De Groot, 1961). Van Yperen

(2003) schetst uit welke ingrediënten een dergelijke ‘praktische theorie’ kan bestaan. In

hoofdstuk 2 van dit Handboek wordt hier verder aandacht aan besteed. Met deze theorie

kunnen behandelaars de mogelijke effectiviteit van hun ‘product’ nog weer verder

aannemelijk maken. Onderzoek dat hierbij kan helpen bestaat enerzijds uit via literatuurstudie

en meta-analyses ontsluiten van databestanden over effectieve interventies en daarin

werkzame factoren, anderzijds kan het gericht zijn op het ontlokken en expliciteren van

impliciete ervaringskennis van behandelaars.

Terzijde

De zojuist genoemde beoordelingscommissie zou kunnen oordelen dat dit al heel mooi is en

met het predikaat ‘veelbelovend’ kunnen aangeven dat deze interventies zeker het financieren

waard zijn. Een dergelijke classificatie zou voor de jeugdzorg al een stap vooruit zijn. Deze

stap zal echter voor de meeste interventies nog een brug te ver blijken. Bij een analyse die wij

verrichtten naar de kwaliteit van de formulering van een aantal Gelderse jeugdzorgmodules en

modules voor intensieve ambulante gezinsbehandeling viel juist het gebrek aan theoretische

onderbouwing op (Delicat, Pijnenburg & Veerman, 2003; Veerman e.a., 2005). Behandelaars

op de werkvloer kunnen steun ondervinden van een theoretisch raamwerk. Het zet de ‘neuzen

dezelfde kan op’, creëert een gemeenschappelijke taal voor diagnostiek en interventie en legt

ook uit waarom de interventie voor de ene groep geschikt is en voor de andere niet. Sceptici

zullen zeggen dat het totnogtoe allemaal papierwerk is. De vraag waar het om gaat is of het in

de praktijk ook zo werkt, in de woorden van Simon Schagen: Is de interventie zoals bedreven

gelijk aan de interventie zoals beschreven? (Schagen, 1981). Daarvoor hebben we het derde

niveau.

Niveau 3: Het aantonen van gewenste veranderingen bij een interventie

Een goede omschrijving (niveau 1) en onderbouwing (niveau 2) laten het wat en waarom van

een interventie zien. Als vastgesteld kan worden dat de geformuleerde doelen of gewenste

veranderingen bereikt zijn, en men bovendien heeft kunnen vaststellen dat de bedoelde

interventies ook volgens plan verstrekt zijn aan de beoogde doelgroep, dan is de

bewijsvoering van een effectieve interventie weer een stapje verder gebracht. Om dit allemaal

te kunnen vaststellen moet er gemeten worden. Dit vormt de kern van de activiteiten op het

derde niveau. Hier gaat de nieuwsgierigheid uit naar empirische gegevens over de elementen

van de interventie: Wordt deze uitgevoerd zoals bedoeld? Worden de gewenste uitkomsten

ook behaald en wordt de beoogde doelgroep bereikt? In feite komt dit neer op het inrichten

van de praktijk als een meetlaboratorium (Veerman, 2004), of het op gang brengen van

praktijkontwikkelend effectonderzoek (Van Yperen, 2004). Hiertoe dient men te bedenken

welke kenmerken van de doelgroep, de interventies en de uitkomsten gemeten moeten worden

en met welke instrumenten (tests, vragenlijsten, observatieschalen, registratieformulieren,

etc.). Hier biedt de interventietheorie steun, want als het goed is zijn bij de formulering

hiervan klinisch en theoretisch relevante concepten gebruikt (bijvoorbeeld: teruggetrokken

gedrag, dwanggedachten, vijandige attributies, opvoedingsonmacht). Door te gaan meten

worden deze concepten en daarmee de interventietheorie geoperationaliseerd en worden

= 16

gegevens verzameld die de houdbaarheid van de theorie mogelijk ondersteunen en zodoende

het effectbewijs versterken. Het optimum van dit niveau wordt bereikt als het afnemen van de

bedoelde meetinstrumenten volledig ingebed is in het hulpverlenend handelen. Dit kan de

vorm aannemen van (1) het verrichten van voor- en nametingen om veranderingen op het

spoor te komen, (2) het evalueren van de mate van waarin gestelde doelen worden bereikt en

(3) het vaststellen van tevredenheid van cliënten over de geboden hulp. Hiermee wordt

veranderingsonderzoek, doelrealisatie-onderzoek of cliënttevredenheidsonderzoek uitgevoerd.

Terzijde

Onze beoordelingscommissie heeft op dit niveau cijfers in handen, en heeft daarmee ook

sterkere argumenten om haar advies te onderbouwen: wie heeft laten zien dat bij de beoogde

resultaten behaalt kan financiering krijgen. Ook de werkvloer heeft op dit niveau iets in

handen. Cijfers geven feedback op het werk, laten zien wat tot resultaat leidt en wat niet. In

termen van kwaliteitszorg laten cijfers zien dat het goede goed gedaan wordt en waar, indien

nodig, verbeteracties ingesteld moeten worden. Tegelijkertijd bestaat nog steeds de

mogelijkheid dat niet de interventie tot de gunstige uitkomsten heeft geleid en dat de

problemen ook zonder interventie wel waren verbeterd. Sceptici zullen hier ongetwijfeld op

wijzen en vragen om onderzoek op niveau vier.

Niveau 4: Het aantonen van de causaliteit van een interventie

Heeft men de interventie gespecificeerd en onderbouwd, en is men bezig de uitvoering

hiervan te monitoren via herhaalde metingen, dan kan - als dit meten voldoende onderdeel

van de hulpverlening is geworden – de tijd rijp zijn voor de vierde en laatste stap: het

aantonen van de causaliteit van een interventie. Vastgestelde gewenste veranderingen laten

nog geen definitieve conclusies over de causaliteit van een interventie toe. Causaliteit

impliceert een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit

resultaat heeft geleid. Idealiter wordt bewezen dat de onderzochte interventie beter is dan

‘geen interventie’ of een ‘andere interventie’. Dit veronderstelt een vergelijking met een

controlegroep die de interventie niet gekregen heeft, maar wel een ander aanbod heeft gehad,

of soms in het geheel geen hulp heeft ontvangen. Is die controlegroep niet beschikbaar dan

zouden positieve resultaten ook aan andere oorzaken kunnen worden toegeschreven zoals: het

‘ontgroeien’ van de problematiek, een nieuwe partner van moeder, een verhuizing van het

gezin, of een andere school voor het kind. Vanwege praktische en ethische problemen is een

controlegroep in praktijkonderzoek echter vaak lastig te verkrijgen. Toch doen zich hier door

een natuurlijk beloop van gebeurtenissen vaak mogelijkheden voor die benut kunnen worden.

Te denken valt bijvoorbeeld aan het benutten van wachtlijsten voor het formeren van een

wachtlijstcontrolegroep (dit wordt quasi-experimenteel onderzoek genoemd). Ook het vooraf

specificeren van een interventietheorie of van normen en via het verzamelen van gegevens

nagaan of de theorie klopt dan wel de normen bereikt worden kunnen indicaties voor

causaliteit opleveren (we noemen dat in de figuur 1.1 veranderingstheoretisch resp.

normgerelateerd onderzoek). Die indicaties zijn minder ‘hard’ dan die uit experimenteel

onderzoek, vandaar dat in de figuur een glijdende overgang tussen niveau drie en vier is

gemaakt. In hoofdstuk 3 wordt hier verder op ingegaan.

Terzijde

Eenmaal hier aangekomen kan iedereen tevreden zijn. De commissie kan duidelijke adviezen

geven, de zorgaanbieders kunnen trots zijn op hun werk en hebben voldoende stof tot

= 17

overdenken en het formuleren van verdere verbeteracties, beleidsvoerders kunnen evidence-

based inkopen. Wellicht wordt nu zelfs de scepticus stil.

1.5 Conclusie en discussie

In het voorgaande gaven we een opklimmende reeks van mogelijke bewijzen voor de

effectiviteit van een bepaald interventie. Op een minimumniveau zien we de specificatie van

relevante componenten van een interventie als een eerste vorm van bewijs. Het gaat hierbij

om de specificatie van de inhoud (doelgroep, interventies en effecten) en context (de

organisatorische, personele en materiële randvoorwaarden, bejegeningsaspecten etc.). Dit

vormt nog geen sterk bewijs, maar het is wel een eerste stap. Het geeft een aanwijzing dat de

interventie in kwestie potentie heeft. Een tweede niveau wordt bereikt als men een interventie

met behulp van wetenschappelijke en/of klinische inzichten theoretisch weet te onderbouwen.

Men formuleert dan een interventietheorie die aannemelijk maakt dat de bij het aanbod

bedoelde interventies bij de beoogde doelgroep tot de gewenste uitkomsten leiden. Naarmate

die onderbouwing overtuigender is, bijvoorbeeld ook nog ondersteund kan worden met elders

uitgevoerd effectonderzoek, komt het effectbewijs sterker te staan. Een interventie die dit

niveau bereikt kan veelbelovend worden genoemd. Vanaf het derde niveau wordt er

empirische bewijskracht aangevoerd voor de effectiviteit van een interventie. Op het derde

niveau zelf bestaan deze bewijzen uit het aantonen dat gewenste veranderingen zijn bereikt,

dat van tevoren gestelde doelen zijn gerealiseerd of dat cliënten achteraf een positief oordeel

uitspreken over de ontvangen hulp. Een interventie waarbij dit vast te stellen is kan

doeltreffend worden genoemd. Op het vierde en hoogste niveau worden de empirisch

vastgestelde uitkomsten causaal gerelateerd aan de interventie. Aangetoond wordt dat deze

interventie en niets anders tot de gewenste uitkomsten geleid heeft. De interventie werkt zoals

voorspeld, en kan derhalve werkzaam genoemd worden.

Het belang van het maken van deze onderscheidingen is het besef dat effectiviteit geen ‘alles

of niets’ begrip is, maar dat er graden van effectiviteit te onderscheiden zijn die de evidentie

steeds overtuigender maken. Eerder gaven we aan dat vanuit een streng wetenschappelijk

gezichtspunt geredeneerd in wetenschappelijke kringen alleen het bereiken van het vierde

stadium als het ‘echte’ effectbewijs wordt geaccepteerd. We vinden dit te beperkend. We

maakten al eerder in dit hoofdstuk duidelijk dat veel interventies daar de komende jaren niet

aan toe komen, laat staan of er ooit een mogelijkheid is hier aan toe te komen. Zonder meer

stellen dat een interventie dan niet onderzoekbaar is en ‘dus’ niets over de effectiviteit te

zeggen is, doet de realiteit geweld aan en is ook niet stimulerend.

Met praktijkgestuurd effectonderzoek trachten we het gat tussen ‘niets weten’ en ‘alles weten’

te dichten. Bij dat onderzoek is het van belang dat het onderzoek aansluit bij het niveau van

de interventie die onderwerp van onderzoek is (we noemden dit het aansluitingsprincipe), dat

onderzoek deel gaat uitmaken van de zorgpraktijk (het inbeddingssprincipe), en dat men met

de resultaten van onderzoek wat gaat doen (het benuttingsprincipe). Effectonderzoek dat aan

deze principes voldoet typeerden we als praktijkgestuurd effectonderzoek. Het is niet

verkeerd om te streven naar onderzoek op het hoogste niveau, zolang dit maar binnen het

praktijkgestuurde kader blijft. Hiermee wordt onderzoek op de lagere niveaus niet als

onwetenschappelijk gediskwalificeerd, maar gezien als legitieme manier om passend bij de

mogelijkheden van de zorgpraktijk wetenschappelijke kennis over effecten te vergaren. Dit is

= 18

in een notendop de boodschap in dit hoofdstuk (en dit Handboek) en tevens een antwoord op

de vraag in de titel van dit hoofdstuk.

De effectladder geeft in feite een beweging van practice-based evidence naar evidence-based

practice aan, en omgekeerd. In figuur 1.2 is de effectladder geplaatst binnen de genoemde

twee bewegingen en symboliseert deze ladder het verkeer tussen deze twee werelden: van de

praktijk naar de wetenschap (en omgekeerd). ===============

Figuur 1.2 De effectladder in de kwaliteitsontwikkeling van de praktijk

==

De effectladder en de plaatsing binnen de beweging van practice based evidence naar

evidence based practice verheldert ook de communicatie, er ontstaat ten aanzien van effecten

een eenheid van taal. Praktijkfunctionarissen kunnen met onderzoekers afspreken op welk

niveau van de effectladder men onderzoek wil doen. Ten dele is dit een kwestie van eigen

keuze, ten dele ook van keuzes die door landelijke en provinciale overheden gemaakt worden.

Beleidsfunctionarissen van deze overheden kunnen met de effectladder in de hand aangeven

welk niveau van effect ze beogen: bedoelt men met de wens om alleen interventies met

‘bewezen effectiviteit’ te willen financieren ook echt het niveau ‘werkzaam’? Of is

‘doeltreffend’ of wellicht ‘veelbelovend’ voorlopig voldoende? Wij menen dat op termijn het

niveau ‘doeltreffend’ voor de meeste interventies in de praktijk van de zorg gevraagd mag

worden. Dit is ook het niveau waarop momenteel veel ontwikkelingen zichtbaar zijn, o.a. op

het gebied van het meten van doelrealisatie, het meten van cliënttevredenheid en het inzetten

van meetinstrumenten in veranderingsonderzoek. Wel is het zo dat hiervoor nog het nodige

werk op de onderliggende niveaus plaats dient te vinden. In dit Handboek zal daarom het

vooral het onderzoek op niveau drie centraal, met af en toe een uitstapje naar de lagere

niveaus of naar het hogere niveau.

Waar men ook op de effectladder is, zonder dat men het merkt is men bezig de kwaliteit van

de praktijk te verbeteren met behulp van uiteenlopende typen van wetenschappelijk

onderzoek. Door het werk op te schrijven, te onderbouwen, op te meten, te vergelijken met

ander werk komt men vanzelf in een kwaliteitscyclus die helpt werk te verbeteren en te

verantwoorden. Hiermee wordt aangesloten bij kwaliteitszorg in de jeugdzorg, de hierbij vaak

gehanteerde ‘plan-do-check-act’ cyclus vertoont grote overeenkomst met de

wetenschappelijke cyclus, beide streven hetzelfde na: het verder ontwikkelen van de praktijk.

Hoofdstuk 4 van het bronnenboek gaat hierop in.

Tenslotte: het is niet onaannemelijk dat alleen al het doen van onderzoek naar de effectiviteit

van de zorg diezelfde zorg ten goede komt. De Amerikaanse psychiater Rashkis wees hier 45

Practice- Based

Evidence

Evidence- Based Practice

Werkzaam

Doeltreffend

Veelbelovend

Potentieel

= 19

jaar geleden al op (Rashkis, 1960). Hieruit kunnen we het volgende advies destilleren aan

zorginstellingen die hun effectiviteit willen verbeteren: ‘Ga onderzoek doen!’

1.6 Bronvermelding

Barkham, M. & Mellor-Clark, J. (2003). Bridging evidence-based practice and practice-bases evidence.

Developing a rigorous and relevant knowledge for the psychological therapies. Clinical Psychology and

Psychotherapy, 10, 319-327.

Bewust, betrokken en betrouwbaar. Visiedocument zorgaanbieders in de jeugdzorg. (2003). Utrecht:

Maatschappelijk Ondernemers Groep.

Boendermaker, L., Veldt, M.C. van der, & Booy, Y. (2003). Nederlandse studies naar de effecten van jeugdzorg.

Utrecht: NIZW.

Bower, P. (2003). Efficacy in evidence-based practice. Clinical Psychology and Psychotherapy, 10, 328-336.

Burns, B.J. & Hoagwood, K. (Eds.) (2002). Community treatment for youth. Evidence-based interventions for

severe emotional and behavioral disorders. New York: Oxford University Press.

Carr, A. (Ed.) (2000). What works with children and adolescents? A critical review of psychological

interventions with children, adolescents and their families. London: Brunner-Routlegde.

Chaffin, M. & Friedrich, B. (2004). Evidence-based treatments in child abuse and neglect. Children and Youth

Service Review, 26, 1097-1113.

Delicat, J.W., Pijnenburg, H.M. & Veerman, J.W. (2003). Op weg naar zorgprogrammering in Gelderland. Een

eerste beoordeling van de kwaliteit van ontwikkelde jeugdzorgmodules. Nijmegen: Katholieke

Universiteit, ACSW/ Praktikon.

Groot, A.D. de (1961). Methodologie. Den Haag: Mouton.

Hermanns, J.M.A. (1993). Tussen praktische theorieën en theoretische praktijken. In S.M.J. van Hekken, N.W.

Slot, J. Stolk & J.W. Veerman (Red.), Pedologie tussen wetenschap en praktijk (p. 19-30). Utrecht: De

Tijdstroom.

Jacobs, F.H. (1988). The five-tiered approach to evaluation. Context and implementation. In H.B. Weiss & F.H.

Jacobs, Evaluating family programs (p. 37-68). New York: Aldine De Gruyter.

Jeugd terecht. Actieprogramma aanpak jeugdcriminaliteit 2003-2006. Den Haag: Ministerie van Justitie,

Directie Jeugd en Criminaliteitspreventie.

Kazdin, A.E. (2000). Psychotherapy for children and adolescents. Directions for research and practice. New

York: Oxford University Press.

Laan, P. van der (2000, oktober). Succes interventieproject is tevoren in te schatten. 0/25, p. 21-25.

Loeffen, M., Ooms, H. & Wijgergangs, H. (2004). Ordeningsmodel is ‘must’ voor effectieve jeugdzorg.

Nederlands Tijdschrift voor Jeugdzorg, 7, 102-113.

Patton, M.Q. (1994). Developmental evaluation. Evaluation Practice, 15, 311-319.

Rashkis, H.A. (1960). Cognitive restructuring. Why research is therapy. Archives of General Psychiatry, 2, 612-

621.

Roosma (2000). Het projectplan Hulp aan Huis Twente. Assen: Uitgeverij Hulp aan Huis.

Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation. A systematic approach (7th Ed.). Thousand

Oaks: Sage Publications.

Schagen, S. (1981). Een jaarverslag per gedragstherapeut. De Psycholoog, 16, 100-105.

Veerman, J.W. (1998). Meten en weten in jeugdzorg. Een pleidooi voor bruikbaarheidsonderzoek. Kind en

Adolescent, 19,343-357.

Veerman, J.W. (2004). Effectieve interventies gezocht. De zorgpraktijk als onderzoekslaboratorium voor

effectiviteitsbepaling. In P. Steerneman & J. Vandormael (Red.). Kind in de knel.

Ontwikkelingsstoornissen in de praktijk van de jeugdzorg: samen-werken (p. 95-113). Antwerpen-

Apeldoorn: Garant.

Veerman, J.W., Janssens, J.M.A.M., & Delicat, J.W. (2005). Effectiviteit van intensieve pedagogische thuishulp.

Een meta-analyse. Pedagogiek, 25, 176-196.

Weisz, J.R., & Weiss, B. (1993). Effects of psychotherapy with children and adolescents. Newbury Park: Sage

Publications.

Yperen, T.A. van (2003). Resultaten in de jeugdzorg: begrippen, maatstaven en methoden. Utrecht: NIZW.

Yperen, T. van (2004). Praktijkontwikkeling, onderzoek en beleid. Instrumenten voor een effectievere

jeugdzorg. Kind en Adolescent, 25, 4-17.

Yperen, T.A. van (2005). Hoe effectief is de jeugdzorgpraktijk? Kind en Adolescent, 26, nr. 2, pag. 255-257.

= 20

= 21

Hoofdstuk 2. Op weg naar veelbelovend

Tom van Yperen, Bas Bijl en Jan Willem Veerman

2.1 De basis wordt gelegd

Zoals in hoofdstuk 1 is omschreven, zijn er verschillende niveaus waarop de ontwikkeling van

een effectieve interventie kan verkeren. Een interventie heet ‘Potentieel’ als er een goede

beschrijving van de belangrijkste elementen op tafel ligt. Er is sprake van een

‘Veelbelovende’ interventie als deze theoretisch goed is onderbouwd. Als er effectonderzoek

is gedaan, kan de interventie, afhankelijk van het type onderzoek en de resultaten, als

‘Doeltreffend’ of ‘Werkzaam’ worden aangeduid.

In dit hoofdstuk is de focus gericht op de eerste twee niveaus: die van potentieel en

veelbelovend (figuur 2.1). ===============

Figuur 2.1 Van potentieel naar veelbelovend

==

Het goed omschrijven en theoretisch onderbouwen van een interventie blijkt geen

gemakkelijke onderneming. Zou dat wel het geval zijn, dan zou het aantal interventies dat op

dit moment een goede onderbouwing heeft immers veel groter zijn. Ook in projecten waarin

interventies op omschrijving en onderbouwing worden getoetst, blijkt steeds weer dat hier een

knelpunt ligt (Bijl, 1996; Delicat, Pijnenburg & Veerman, 2003; Van Yperen, Boendermaker

& Hellema, 2004). Toch is die omschrijving en onderbouwing zeer belangrijk. Het geeft aan

op basis waarvan men denkt dat deze hulp zal werken. Dat onderscheidt de lekeninterventie

van de professionele ingreep (Van Strien, 1984, 1986). Ook biedt de omschrijving en

onderbouwing de nodige sturing en een eerste verantwoording van de aanpak. Het geleidt in

die zin het praktische handelen in de praktijk. Tevens richt het de vraagstellingen en

gegevensverzameling in verder onderzoek: de focus in het onderzoek zal ondermeer op die

elementen moeten worden gericht, waarvan is aangegeven dat deze voor het effect van de

interventie verantwoordelijk zullen zijn. Gebeurt dat niet, dan wordt elk effectonderzoek een

hagelschot.

Practice- Based

Evidence

Evidence-Based Practice

Werkzaam

Doeltreffend

Veelbelovend

Potentieel

= 22

Wat moet er dan gebeuren om een interventie op het niveau van ‘potentieel’ of ‘veelbelovend’

te brengen? In de eerste plaats moet er een goede omschrijving van de interventie op tafel

komen. Afhankelijk van welke informatie daaruit voorhanden is, kan beslist worden of er

sprake is van een potentiële, veelbelovende, doeltreffende of werkzame interventies. Figuur

2.2 biedt een overzicht van de informatie waar het hier om gaat. =======================

Figuur 2.2 vereiste gegevens voor niveaus effectiviteit

De onderste twee vakken laten zien welke gegevens vereist zijn voor de niveaus van

potentieel en veelbelovend. Zoals in het vorige hoofdstuk is aangegeven, staan ons

verschillende typen onderzoek ter beschikking om de voor die niveaus vereiste informatie op

tafel te krijgen. De wijze waarop die studies worden uitgevoerd, komt hier niet aan bod; het er

hier om een toelichting te geven op de in figuur 2.2 genoemde items van de onderste twee

vakken.

In paragraaf 2.2 gaan we eerst kort in op de basiselementen waaruit een omschrijving van een

interventie moet zijn opgebouwd om als ‘potentieel’ te gelden. Dan maken we de stap naar de

theoretische onderbouwing die een interventie ‘veelbelovend’ kan maken. Dit is in de praktijk

vaak een moeilijke barrière die genomen moet worden. We gaan daarom in op de wijze

waarop een theoretische onderbouwing is te construeren. We staan stil bij de mechanismen en

factoren die het ontstaan en het voortbestaan van een probleem beïnvloeden, en de

ingrediënten in de interventie die erop zijn gericht op deze mechanismen en factoren aan te

pakken. Het een en ander illustreren we met concrete casusbeschrijvingen. We besluiten met

een samenvatting.

2.2 Basiselementen van een interventie met potentie

Wat moet er in een beschrijving van een interventie op het niveau van ‘potentieel’ zijn

gespecificeerd? Hiervoor zijn in de loop der tijd uiteenlopende werkbladen, formats of

Informatie vereist voor ‘Potentieel’ • Naam van de interventie • Doel van de interventie • Doelgroep van de interventie • Aanpak:

- Beschrijving van de methodiek - Uitvoeringseisen en kwaliteitsbewaking • Context / Overige randvoorwaarden voor toepassing • Uitvoerende organisaties • Overeenkomsten met andere interventies • Bronvermeldingen

Informatie vereist voor ‘Veelbelovend’ • Aanpak:

- Theoretische onderbouwing (het wat, hoe, waarom) • Onderzoek:

- Beschrijving type en resultaten buitenlands effectonderzoek naar deze interventie (‘Indirect bewijs’)

- Beschrijving type en resultaten Nederlands onderzoek naar soortgelijke interventie (‘Indirect bewijs’)

Informatie vereist voor ‘Doeltreffend/Werkzaam’ • Onderzoek:

- Beschrijving type en resultaten Nederlands effectonderzoek naar deze interventie (‘Direct bewijs’)

= 23

formulieren ontwikkeld (zie o.a. Bijl, 1996; Delicat, Pijnenburg & Veerman, 2003; De

Ruyter, 2000; www.jeugdinterventies.nl). We lopen de verschillende onderdelen kort door.

Voor concrete voorbeelden verwijzen we naar www.jeugdinterventies.nl.

Naam van de interventie

Het komt vaak voor dat interventies namen hebben die veel op elkaar lijken, of die verkeerd

worden begrepen. Bijvoorbeeld, VRIENDEN is een naam die gebruikt wordt voor zowel een

programma ter preventie van depressie als een leerstraf van de jeugdreclassering. Een ander

voorbeeld: voor opvoeders met kinderen tussen 4 en 12 jaar met ADHD is er het programma

‘Drukke kinderen’. Dat programma treft men soms ook aan onder de naam ‘Druktemakers’.

De laatstgenoemde titel wordt echter ook gebruikt voor de aanduiding van een oudercursus et

kinderen tussen 1 en 4 jaar. Voor zover bekend is het altijd goed om dit soort mogelijke

bronnen van verwarring of misverstanden te vermelden.

Doel van de interventie

De omschrijving van de interventie dient altijd in expliciete doelen aan te geven wat de

beoogde uitkomsten zijn. Deze doelen zijn geformuleerd in eindtermen (bijvoorbeeld: “De

jeugdige beschikt over leeftijdsadequate zelfstandigheid”). Doelen die activiteiten aanduiden

(bijvoorbeeld: “Het bieden van ondersteuning”) worden hier niet als doel beschouwd. De

doelen zijn zo mogelijk SMART geformuleerd (Van Yperen, Meyknecht & Diephuis, 2004):

• Specifiek (ze hebben betrekking op goed afgebakende gedragingen, vaardigheden,

cognities, emoties, situaties);

• Meetbaar (de mate waarin het doel bereikt wordt, moet in principe meetbaar zijn);

• Aanvaardbaar (het doel wordt door de meeste uitvoerders van de interventie en door

de cliënten onderschreven);

• Realistisch (het doel is haalbaar gegeven de inhoud van de interventie);

• Tijdgebonden (aangegeven is wanneer het doel moet zijn behaald).

Eventueel zijn de doelen van de interventie uitgesplitst naar subdoelen. Dat laatste betekent

echter niet dat de hoofddoelen niet meetbaar hoeven te zijn. Als stelregel geldt hierbij: maak

de hoofddoelen zo MART mogelijk. De subdoelen zetten daar de S voor.

Doelgroep van de interventie

De interventiebeschrijving omvat tevens een definitie van de doelgroep. Die definitie geeft

aan voor wie de interventie vooral geschikt (effectief) zal zijn en voor wie niet. In de

omschrijving is aangegeven welke demografische kenmerken de doelgroep heeft en/of welke

kenmerken de problematiek en de hulpvragen hebben. Als er sprake is van een

oorspronkelijke en een later gewijzigde doelgroep, of van verschillende (sub)doelgroepen, is

voor alle overige informatie duidelijk op welke doelgroep of subdoelgroep deze betrekking

heeft.

Gebruikelijk is om de doelgroep weer te geven in indicaties (welke typische kenmerken heeft

de doelgroep) en contra-indicaties (welke kenmerken sluiten de cliënten uit van de

doelgroep). Daarbij moet bedacht worden dat het uitsluiten van cliënten geen blijk hoeft te

zijn van aanbodgericht denken. Goede contra-indicaties maken het mogelijk dat vragen van

cliënten helder zijn te beantwoorden.

= 24

“Denkt u dat die training wat voor mijn zoon is?”

“Nee, deze training is gemaakt voor adolescenten. Uw zoon is daar nog veel te jong voor.

We hebben geen idee wat deze training zou doen met kinderen van twaalf jaar. Laten we

nog even verder zoeken wat er aan mogelijkheden zijn.”

Voorbijgaan aan contra-indicaties bergt voor cliënten en hulpverleners het risico zich in een

hulpverleningsavontuur te storten dat niet goed uitpakt. Dat kan niet het doel zijn van

vraaggerichte hulp. Maak daarom zo helder mogelijk voor wie een aanbod gemaakt is.

Aanpak

Onder deze kop worden twee thema’s aangesneden:

• Methodiek. Hieronder valt de beschrijving van de activiteiten, de fasering, het aantal

contacten, de gebruikelijke duur van de interventie, de frequentie en intensiteit van de

contacten (het aantal uren per contacten en het aantal contacten per week of maand), de

beschikbaarheid (bijvoorbeeld, tijdens of ook buiten kantooruren), en de locatie waar de

activiteiten plaatsvinden.

• Uitvoeringseisen. Er wordt tevens een beschrijving gegeven van de specifieke eisen ten

aanzien van de opleiding en de supervisie van uitvoerend werkers. Ook kunnen hier

specificaties zijn opgenomen over bijzonderheden die gelden ten aanzien van het

selectieproces van de cliënten, de kwaliteitsbewaking gedurende de interventie en de

evaluatieprocedure die de hulpverlener moet volgen.

Naast deze twee onderwerpen kan onder ‘aanpak’ ook aangegeven worden wat de

belangrijkste kenmerken van het risico of het probleem zijn waarop de interventie is gericht

en welke mechanismen en factoren dat risico of probleem veroorzaken, in stand houden,

verergeren of juist verminderen. Vervolgens is aangeduid op welke van deze mechanismen en

factoren de interventie is gericht (i.e. wat de doelen zijn) en hoe deze worden aangepakt.

Interventies die op deze wijze theoretisch goed zijn onderbouwd, krijgen het predikaat

‘veelbelovend’. Dat betekent dat de interventie in theorie effectief is te noemen: met een

helder betoog is aannemelijk gemaakt dat de interventie zou kunnen werken. Dit blijkt vaak

het moeilijkste onderdeel van de interventiebeschrijving te zijn. In de paragrafen 2.3 tot en

met 2.5 komen we daarom op dit onderwerp uitgebreid terug.

Context / Overige randvoorwaarden voor toepassing

Hier zijn alle andere vereisten voor de uitvoering te vermelden die met de context van de

uitvoering van de interventie te maken hebben en die niet onder de methodische aanpak zijn

vermeld. Zoals in hoofdstuk 1 is omschreven, kan het daarbij gaan om de organisatorische

randvoorwaarden waaronder de interventie is uit te voeren. Bijvoorbeeld, voor sommige

interventies is een indicatiestelling van Bureau Jeugdzorg vereist, voor andere niet. Soms

geldt dat een interventie alleen maar met een licentie van een ontwikkelaar is uit te voeren.

= 25

Uitvoerende organisaties

Wie voert de interventie eigenlijk normaal gesproken uit? Waar is dit aanbod te vinden? Dit

blijkt doorgaans heel nuttige informatie te zijn. Op basis hiervan is te zien of een interventie

breed gebruikt wordt (zoals Families First), of dat een aanpak ergens op een gedegen manier

is neergezet, maar verder weinig bekendheid heeft gekregen.

Overeenkomsten met andere interventies

Veel interventies zijn tot een groep van soortgelijke interventies te rekenen. Families First

hoort bijvoorbeeld tot de crisisaanpakken binnen de groep van de Intensieve Pedagogische

Thuishulp (IPT). En zoals hiervoor al is vermeld, hoort een onderdeel van Minder Boos en

Opstandig tot de cognitieve gedragstherapeutische interventies voor kinderen met

gedragsproblemen. Het vermelden van dit soort dwarsverbindingen legt ook een verband met

de gemeenschappelijke kennis die er is over de toepassing, effectiviteit en beperkingen van

interventies. Omdat het belangrijk is die kennis zoveel mogelijk aan te boren, is het nuttig om

bij elke aanpak stil te staan bij de vraag: wat heeft deze gemeenschappelijk met andere

programma’s?

Bronvermelding

Tot slot hoort bij elke beschrijving een goede bronvermelding. Dat zorgt ervoor dat relatieve

buitenstaanders de mogelijkheid hebben de aangehaalde literatuur zelf te raadplegen.

2.3 De stap naar veelbelovend: belang van theorie en onderzoek

Zoals we in de vorige paragraaf hebben aangegeven, bevat de meest basale beschrijving van

een interventie uitleg over het hoe van de opbouw. Een goede uitleg van het waarom leidt tot

het predikaat ‘veelbelovend’: met een helder betoog is aannemelijk gemaakt dat de interventie

effectief zou kunnen zijn. Bij dat betoog zijn twee zaken van belang: een goede theorie en

ondersteunend onderzoek.

Theorie

Een veelbelovende interventie is gebaseerd op een expliciete theorie over de belangrijkste

kenmerken van het risico of het probleem waarop de interventie is gericht, de met het

probleem samenhangende mechanismen en factoren en de daarop gerichte activiteiten van de

interventie. De theorie moet aannemelijk maken dat de interventie effectief is. Dat betekent

dat er een geloofwaardig verhaal op tafel moet liggen waaruit is op te maken dat de

beschreven activiteiten van de interventie tot gevolg zouden hebben (er de oorzaak van zijn)

dat het doel van de interventie wordt bereikt. In vaktermen heet dit: de theorie beschrijft het

causale verband tussen de interventie en de gewenste uitkomsten (zie verder ook hoofdstuk

3).

= 26

Soms bestaat de indruk dat een goede theorie alleen in een wetenschappelijk kader van belang

is. Volgens ons is dat een misvatting. De basis van elk professioneel hulpverlenend handelen

wordt gevormd door theorie. Daarbij hoeft niet direct gedacht te worden aan een uitgebreid

wetenschappelijk betoog. Het gaat erom dat de interventie bestaat bij de gratie van de opvatting

dat de interventie een middel is om een doel te bereiken. Anders gezegd, hulpverlenend

handelen wordt gevoed door het idee dat als je een interventie toepast, je bij een cliënt een

bepaalde verandering teweeg kan brengen. Daarom past een hulpverlener gezinstherapie toe om

interactiepatronen in een gezin te verbeteren. Daarom wordt een cognitieve gedragstherapie

gebruikt om het impulsieve en agressieve gedrag van een jongen te beteugelen. Daarom volgt

een jeugdige een sociale vaardigheidstraining om zijn omgang met leeftijdsgenoten en

volwassenen te verbeteren. Deze theorie zit vaak in de hoofden van de uitvoerders. Voor de

kwalificatie ‘Veelbelovend’ moet deze theorie geëxpliciteerd worden en zo mogelijk verbonden

worden met theorieën die in de wetenschappelijke literatuur zijn beschreven.

Onderzoek

Om een theorie zo geloofwaardig mogelijk te maken, doet men er over het algemeen goed aan

te verwijzen naar uitgevoerd wetenschappelijk onderzoek. Dit leidt nog wel eens tot

verwarring. Onderzoek speelt niet alleen een rol op het niveau van doeltreffende en werkzame

interventies (de twee hoogste niveaus op de effectladder). Ook bij veelbelovende interventies

zijn resultaten uit studies van belang. Hoe dat zit is te verduidelijken door onderscheid te

maken in twee soorten onderzoek.

• Onderzoek dat directe aanwijzingen voor de effectiviteit levert. Dit zijn resultaten uit

studies die betrekking hebben op precies die interventie zoals die hier is beschreven.

• Onderzoek dat indirecte aanwijzingen (‘circumstantial evidence’) levert. De effectiviteit

van een interventie wordt (nog) meer aannemelijk, naarmate er positieve resultaten zijn bij

andere interventies die ongeveer dezelfde kenmerken hebben als die hier is beschreven.

Het gaat dan bijvoorbeeld om resultaten uit studies (primaire studies, reviews en meta-

analyses) met betrekking tot buitenlandse versies van de interventie (zoals het Coping

Power Program, dat de Amerikaanse variant is van het Nederlandse Minder boos en

opstandig). Ook gaat het om onderzoek naar de effectiviteit van Nederlandse interventies

die tot hetzelfde type of dezelfde familie behoren (zoals het programma Zelfcontrole sterk

vergelijkbaar is met de kind-component in Minder boos en opstandig: beide behoren tot de

groep van cognitieve gedragstherapeutische interventies voor kinderen met

gedragsproblemen).

Directe aanwijzingen voor effectiviteit zijn een vereiste om een interventie op het niveau van

‘doeltreffend’of ‘werkzaam’ te mogen plaatsen. Indirecte bewijsvoering kan van nut zijn om

de geloofwaardigheid van een onderbouwing op het niveau van ‘veelbelovend’ te versterken.

Feitelijk biedt men met dat type bewijs ondersteuning aan de theorie dat de interventie zou

kunnen werken. Van belang is dan aan te geven wat voor type onderzoek het hier gaat en wat

daaruit te concluderen is. Immers, dan pas is helder wat de waarde van deze indirecte

bewijsvoering is.

= 27

Het nut van de theorie

Er is een belangrijke parallel tussen de behandeling van een individuele jeugdige en een theorie

die aan een interventie in het algemeen ten grondslag moet liggen. Verschillende auteurs pleiten

er namelijk voor de interventie bij elke cliënt van een goede rationale te voorzien (zie

bijvoorbeeld Kazdin, 2001; Swanborn, 1999; Veerman, Damen & Ten Brink, 2000; Weersing

& Weisz, 2002). In de wetenschappelijke literatuur wordt deze rationale ook wel de theorie van

het individuele geval of de N=1-theorie genoemd (Van Strien, 1984). Deze theorie verschaft de

basis van het hulpverlenend handelen. De drie casus illustreren dit.

• John (17 jaar) is opgenomen in een justitiële jeugdinrichting wegens herhaald delinquent

gedrag. Hij komt uit een achterstandsbuurt waar veel criminaliteit heerst. Hij krijgt een

training in sociale competentie en een scholingsaanbod om uiteindelijk het risico op

recidive te verkleinen. Het achterliggende idee daarbij is dat een gebrek aan sociale

competenties en gebrekkige scholing risicofactoren zijn in het voortbestaan van delinquent

gedrag. Door de interventie op deze risicofactoren te richten, zou de kans op recidive

worden verkleind, zo is de gedachte.

• Steven is een 15-jarige puber van ouders die met hevige onderlinge conflicten zijn

gescheiden. Hij woont nu bij zijn moeder. De klacht is dat hij niet naar haar luistert en dat

hij agressief en opstandig is. De hulpvraag van de moeder is: “help ons dat het gedrag van

Steven minder problematisch is”. Steven hij vindt dat de ouders van de scheiding “een

klerezooitje” hebben gemaakt; aan zijn lichaamstaal is te zien dat dit hem erg hoog zit. Wel

is hij het er mee eens dat hij minder snel boos moet worden. De hulpverlener denkt dat

Steven de echtscheiding niet goed heeft verwerkt en dat dit een belangrijke oorzaak van het

gedrag van Steven is. Daarnaast is de hulpverlener van mening dat Steven’s cognities en

emoties over sociale situaties in het algemeen een rol spelen. De hulpverlener stelt daarom

voor een cognitieve therapie toe te passen en gesprekken te voeren met het gezin. De

veronderstelling van de hulpverlener is daarbij dat het agressieve en opstandige gedrag

minder zal worden door de aanpak van Steven’s cognities en door de verwerking van de

echtscheiding via deze twee interventies.

• Het gezin van Sanne (4 jaar) is een typisch multi-probleemgezin. Er is sprake van een

chaotische situatie, waarin financiële en huisvestingsproblemen spelen, de ouders

pedagogisch ernstig tekortschieten en beide sociale en psychische problemen vertonen. Het

meisje heeft duidelijk geen veilig milieu, ze vertoont een taalachterstand, is ’s nachts

onzindelijk en heeft driftaanvallen. De ouders hebben al verschillende hulpverleners gehad,

maar hebben weinig vertrouwen in de jeugdzorg. Door ernstige zorgen van school is Sanne

nu onder toezicht gesteld door de rechter. Volgens de gezinsvoogd is Sanne’s normale

ontwikkeling te herstellen door de ouders er toe te dwingen orde in hun gezin te scheppen

en te kiezen voor de kinderen. Alternatief is het ontwikkelingsherstel te bevorderen door

het meisje in een goed pleegezin te plaatsen. Mogelijk verlies van hun kind moet de ouders

confronteren met de ernst van de situatie en hen motiveren een laatste redmiddel in te

zetten: een combinatie van intensieve pedagogische thuishulp en gedragstherapie van

Sanne. De gezinsvoogd maakt in dat kader met de ouders een lijst van punten waaraan een

goede opvoedingssituatie van kinderen als Sanne moet voldoen (gebaseerd op de principes

van rust, regelmaat en reinheid). De ouders maken ook een lijst van het irritante gedrag dat

ze bij Sanne willen veranderen.

= 28

Elk van de bovenstaande beschrijvingen zijn feitelijk kleine theorieën over wat de

mechanismen en factoren zijn die bij een probleem in het spel zijn en hoe de interventies op

deze factoren zijn te beïnvloeden. Voor de beschrijving van een interventie op een meer

algemeen niveau is dat niet anders. Feitelijk gaat het in dat geval om de vraag: wat zijn de

mechanismen en factoren die in het spel zijn bij jeugdigen zoals John, Steven en Sanne? Hoe

kan een interventie daarop ingrijpen?

Een goede theorie over een interventie biedt dan ook inzicht in twee zaken.

• De mechanismen en factoren die in het spel zijn. Ten eerste moet helder gemaakt worden

waar de interventie bij een cliënt op is gericht en waarom dat zo is. Veerman e.a. (2000)

spreken hier over de ontstaanstheorie die ten grondslag ligt aan een interventie. Meer in het

algemeen gaat het hier om de vraag welke risico- en protectieve mechanismen en factoren bij

het ontstaan, de instandhouding, de versterking of juist de afzwakking van een probleem een

rol spelen. De theorie maakt duidelijk welke van deze factoren zich lenen als

aangrijpingspunt voor de interventie.

• De werkzame ingrediënten van de interventie. Ten tweede is het van belang helder te maken

hoe men denkt de beïnvloeding te plegen, welke interventievorm of vormen daarvoor

adequaat zijn. Veerman e.a. (2000) spreken hier over de behandelingstheorie die ten

grondslag ligt aan een interventie. Rossi, Lipsey & Freeman (2004) noemen dit de impact

theory. Deze theorie geeft aan wat de werkzame bestanddelen van een interventie zijn, en

hoe deze ingrediënten de mechanismen en factoren die het probleem veroorzaken of

instandhouden aanpakken om langs die weg het doel van de interventie te bereiken.

In de volgende paragrafen gaan we op deze onderwerpen nader in.

2.4 Orde in een kluwen van factoren

Bij elk probleem waarmee cliënten zich bij de jeugdzorg melden zijn mechanismen en

factoren in het spel die het probleem veroorzaken, instandhouden, verergeren of juist

verzachten of oplossen. Het gaat hier om risicofactoren zoals het wonen in een

achterstandsbuurt, het verkeren in een vriendenkring waarin veel delinquent gedrag voorkomt,

echtscheiding in gezinnen. Ook gaat het om mechanismen die een probleem instandhouden of

verergeren, zoals een voortdurende negatieve wisselwerking tussen ouder en kind. Voorts

gaat het om protectieve factoren zoals het hebben van een betekenisvol persoon in de

omgeving die de jeugdige opvangt, het beschikken over een goede intelligentie en over

humor, het beschikken over een goede vorm van dagbesteding (school, werk). Daarnaast

betreft het mechanismen die een probleem een dynamisch karakter geven, zoals de

biologische rijping van een kind, het intreden van een nieuwe ontwikkelingsfase van een

jeugdige of een gezin, het verschijnen van nieuwe personen in het leven van de jeugdige.

Al deze mechanismen en factoren omgeven het risico of het probleem als een kluwen. De

kunst is om hier enige orde in te scheppen en te zoeken naar aangrijpingspunten om te kunnen

interveniëren. Deze orde schept men in de eerste plaats door wat Veerman e.a. (2000) de

ontstaanstheorie van een risico of probleem noemen. In deze theorie is aangegeven wat de

belangrijkste factoren en mechanismen zijn die in het spel zijn. De kunst is vervolgens om

deze ontstaanstheorie om te zetten in een wat Veerman noemt behandelingstheorie. Deze

= 29

geeft aan waar de aangrijpingspunten liggen voor de interventie en hoe die aangrijpingspunten

aangesproken kunnen worden.

Het formuleren van die behandelingstheorie gebeurt in een aantal stappen. De eerste vraag die

hierbij relevant is, betreft het doel van de interventie: wil men dat er iets verandert en - zo ja –

wát moet er dan veranderen? Dit zorgt ervoor dat de focus wellicht al wat meer wordt gericht.

Vervolgens is het nuttig om twee soorten mechanismen en factoren te onderscheiden (zie

figuur 2.3; zie ook Petrosino, 2000; Offord & Chmura Kraemer, 2000; Van Yperen, 2001;

Van de Wiel, 2002): =

Figuur 2.3 Beïnvloedbare en niet-beïnvloedbare mechanismen en factoren

• Beïnvloedbare mechanismen en factoren. Hier gaat het om risico-, oorzakelijke,

instandhoudende of versterkende processen en factoren die in de interventie gebruikt

kunnen worden om het probleem aan te pakken, omdat ze door de interventie veranderbaar

of manipuleerbaar zijn. In de wetenschappelijke literatuur noemt men dit de dynamische

factoren of de mediatoren. In figuur 2.3 zijn deze weergegeven met de witte en licht-

gestippelde bolletjes. Het zijn bij wijze van speken “de knoppen waaraan je kunt draaien”

om de gewenste verandering tot stand te brengen. Het komt zelden voor dat met álle

factoren en mechanismen die in principe beïnvloedbaar zijn met de interventie aanspreekt.

Doorgaans spitst de interventie zich op een paar toe. In de figuur zijn dit de witte bolletjes.

Het gaat hier bijvoorbeeld om de scholing en de sociale competentie bij jongens als John,

of de sociale cognities en de verwerking van de echtscheiding bij de doelgroep met

jeugdigen als Steven.

• Niet-beïnvloedbare mechanismen en factoren. Dit betreffen risico-, oorzakelijke,

instandhoudende of versterkende processen en factoren die niet via de interventie

beïnvloedbaar zijn, maar die er wel voor zorgen dat de interventie bij de aanwezigheid van

deze factoren gewoonlijk succesvoller of juist minder succesvol verloopt. De

wetenschappelijke literatuur spreekt hier van moderatoren (de donkere bolletjes in figuur

2.3). Bij John zijn bijvoorbeeld het criminele milieu en de achterstandsbuurt waar hij uit

komt niet-beïnvloedbare factoren (moderatoren) die een rol spelen. Bij John zal dus het

mechanisme spelen dat - zodra hij weer in dit milieu terugkomt – de kans op recidive

verhoogd wordt. Ook weten we dat jongens statistisch gezien een grotere kans hebben om

(weer) in criminaliteit te vervallen dan meisjes. Bij Steven weten we dat de situatie van de

gescheiden ouders steeds een nieuwe bron van stress kan vormen, dat opstandig gedrag

In het spel zijnde mechanismen en factoren

Kern-probleem

= beïnvloedbaar, en benut

= niet-beïnvloedbaar

= beïnvloedbaar, maar niet benut

=

= 30

voor een deel aan de puberteit kan liggen, en dat jongens over het algemeen eerder met

agressief en opstandig gedrag reageren dan meisjes. Anders gezegd: mechanismen en

factoren die volgens de theorie beïnvloedbaar zijn, maken duidelijk wat de

aangrijpingspunten van de interventie kunnen zijn, terwijl de niet-beïnvloedbare

mechanismen en factoren onderscheidend werken naar de gevallen waarvoor de

aangrijpingspunten in meer of mindere mate benut kunnen worden.

Figuur 2.4 geeft het resultaat van deze ordenende stap weer.

Figuur 2.4 Ordening van de mechanismen en factoren (Voor verklaring van betekenis van de bolletjes, zie figuur 2.3)

Figuur 2.4 is door een hulpverlener te gebruiken om zijn hulpverleningsplan te maken.

Tevens is de figuur te gebruiken om meer in algemene termen een interventietheorie op te

bouwen, bijvoorbeeld voor een interventie gericht op een doelgroep van jongens als John of

Steven, of voor gezinnen als van Sanne. De figuur geeft aan dat eerst de focus wordt gericht

op de hulpvraag: wat moet er gebeuren? Dat bepaalt het uiteindelijke doel van de interventie.

Bijvoorbeeld, bij jongens als Steven is de klacht dat ze zo’n agressief en opstandig gedrag

vertonen. De hulpvraag is vaak: help ons dit gedrag te verminderen. Voor de

interventietheorie analyseert men met het oog op deze hulpvraag de situatie op de mogelijke

werking van oorzakelijke, versterkende, instandhoudende of juist positief werkende

mechanismen en factoren. Bij de doelgroep van agressieve pubers leidt dit tot de theorie dat

de cognities van de jeugdigen omtrent sociale situaties in het algemeen en de communicatie in

het gezin belangrijke – en bovendien met de interventie beïnvloedbare – factoren zijn. In de

interventie vormen dit belangrijke aangrijpingspunten om het einddoel te bereiken. Maar het

resultaat van de interventie zal mede bepaald worden door enkele factoren waar rekening mee

moet worden gehouden. Zo zitten de jeugdigen in een leeftijd waar opstandig gedrag heel

normaal is; de puberteit is nu eenmaal niet met de interventie beïnvloedbaar. Het einddoel

streeft dan ook geen afwezigheid van agressief en opstandig gedrag na, maar een voor de

leeftijd en geslacht normaal niveau van dat gedrag. In dat geval is te verwachten dat het

uiteindelijke resultaat het dichtst in de buurt komt van het gestelde doel.

In het spel zijnde mechanismen en factoren

=Mechanismen/factoren die met de

interventie benut worden

(Dynamische factoren / Mediatoren)

Van invloed zijnde mechanismen en factoren die niet met de benut worden of die niet beïnvloedbaar zijn

(Moderatoren)

Hulp-vraag

Einddoel inter-ventie

Kern-probleem

Resul-taat

= 31

Analoog aan de drie eerder gepresenteerde casus ziet elke theorie er schematisch als volgt uit

(figuur 2.5).

Doel-groep

Kern-

probleem

Typische hulpvraag

Mechanismen en factoren

wel/niet beïnvloedbaar zijn via de interventie

Einddoel van de

interventie

Jongens als John

Notoir delinquent gedrag,

achterstands-buurt en crimineel

milieu

Rechter: Help de

jeugdige niet meer in

delinquentie te vervallen

Beïnvloedbaar en benut: Sociale competentie en schoolsucces

Van invloed, maar niet beïnvloedbaar: Sekse,

achterstandsbuurt, crimineel milieu

Kans op recidive is verkleind tot

normaal niveau

Jeug-

digen als Steven

Agressief en opstandig

pubergedrag

Ouders en/of leerkrachten: Help ons dat het gedrag normaal wordt.

Beïnvloedbaar en benut: Cognities over sociale situaties en

communicatie in gezin

Van invloed, maar niet beïnvloedbaar: Meegemaakte gebeurtenissen (bijv.

echtscheiding ouders), puberteit en sekse

Agressief en opstan-

dig gedrag is tot normale proporties

teruggebracht

Gezinnen als van Sanne

Financiële, huisvestings-,

pedagogi-sche, sociale en psychische problemen,

weinig gemotiveerd

Samenleving / eventueel

rechter: help Sanne aan

een veilig en perspectiefvol opvoedings-

klimaat

Beïnvloedbaar en benut: Motivatie ouders, Sanne’s woonplek,

opvoederscompetenties ouders, ontwikkelingsniveau Sanne, gedrag Sanne.

Van invloed, maar niet beïnvloedbaar: Financiële, huisvestings- en psychische

problemen ouders

Sanne woont in een veilig gezin en zij

ontwikkelt en gedraagt zich

normaal

Figuur 2.5 Theorieën voor de aanpak van verschillende doelgroepen

Op het eerste gezicht lijkt het hier te gaan om erg theoretische begrippen. Toch is dit niet het

geval. Met name drie thema’s hebben veel praktisch belang.

Specifieke doelen gericht op de mechanismen en factoren

Hulpverleners in de praktijk werken vaak niet direct aan het einddoel, maar splitsen dat

einddoel op in meer specifieke doelen. Deze kunnen betrekking hebben op de mechanismen

en factoren die het probleem van de doelgroep veroorzaken, instandhouden, versterken of

juist verminderen of die de gewenste situatie helpen bereiken. De theorie over deze

mechanismen en factoren helpen dan ook de interventiestrategieën te bepalen: ze geven een

verantwoording van wat belangrijk is om aan te pakken en soms ook in welke volgorde.

Hosman (1994) schetst in dat verband verschillende modellen die de verhouding tussen

specifieke doelen en het einddoel kunnen aangeven. Figuur 2.6 toont een paar varianten, door

ons aangevuld met een verbinding tussen een specifiek doel en een ‘achterliggende’ factor

waarop het doel betrekking heeft.

De eerste variant (Model I) gaat uit van twee doelen die een interactief effect hebben.

Bijvoorbeeld, een jongen kan thuis blijven wonen als zowel zijn gedragsproblemen

verminderd zijn als de opvoedingsvaardigheden van zijn ouders op een aanvaardbaar niveau

zijn gebracht. Deze twee aspecten beïnvloeden elkaar, maar elk voor zich levert de realisatie

van een specifiek doel niet op dat het einddoel ook maar enigszins in zicht komt. Model II

gaat uit van een additief effect. Bijvoorbeeld, het doel van een kamertraining is dat jongeren

met succes zelfstandig kunnen wonen. Om dat te bereiken, gelden als specifieke doelen: hij of

= 32

zij heeft een inkomen om de huur te betalen, de jongere geeft geen overlast naar buren of

buurt, hij of zij doet voldoende aan zelfverzorging. Elk van deze specifieke doelen draagt

afzonderlijk bij aan de mate waarin het zelfstandig wonen met succes verloopt.

Figuur 2.6 Einddoelen en specifieke doelen

Model III plaatst doelen in een keten. Hier gaat het bijvoorbeeld om basale sociale

vaardigheden die een jongere eerst moet beheersen (X), voordat hij in een werksetting in een

team en onder een baas kan functioneren (Y), hetgeen moet bijdragen aan een geringere kans

op het begaan van delicten (Einddoel).

Elk van deze specifieke doelen kan gericht zijn op de aanpak van een specifieke factor of een

mechanisme dat speelt. Is dat bij een interventie niet goed doordacht, dan loopt de

hulpverlener het risico dat hij of zij aan zaken werkt, waarvan niet duidelijk is of die nu wel

of niet iets met het centrale probleem te maken hebben en of deze nu wel of niet leiden tot het

einddoel.

Niet-beïnvloedbare factoren en haalbaarheid interventie

Interventies zijn logischerwijs gericht op de beïnvloedbare (dynamische) mechanismen en

factoren bij een probleem. Als de interventie onvoldoende berekend is op de werking van

niet-beïnvloedbare of niet-benutte mechanismen en factoren, dan is de kans groot dat het

uiteindelijke effect teleur stelt. Dat zien we duidelijk bij doelgroepen met jeugdigen zoals

John: ondanks scholing en training in sociale vaardigheden kunnen zij na terugkeer in hun

buurt toch weer gemakkelijk in de fout gaan. De regel die hier van toepassing is, is eigenlijk

heel simpel:

Eindresultaat = Effect interventie beïnvloede factoren – werking niet-beïnvloede factoren

De regel stelt dat hoe sterker de werking is van de niet-beïnvloedbare en niet-benutte

mechanismen en factoren, hoe groter het effect van de interventie moet zijn op de wél-

beïnvloedbare en benutte mechanismen en factoren, wil er een goed eindresultaat uit de bus

komen. Prettige gedachte hierbij is dat sommige mechanismen en factoren misschien via

andere wegen aan te pakken zijn dan de interventie die hier aan de orde is. Bijvoorbeeld, het

feit dat jongens zoals John hun thuisbasis in een achterstandsbuurt hebben, geldt voor de

jeugdzorgwerker als een niet-beïnvloedbare factor. Voor een gemeenteambtenaar ligt dat

Model I. Twee neven-schikkende doelen met gezamenlijk (interactief) effect

=

Einddoel

Model II. Drie neven-schikkende doelen met apart (additief) effect

Einddoel

X Model III. Doelen in een functionele doelenketen

Y Einddoel

= specifiek doel = beïnvloedbare en benutte factor

= 33

anders: in principe is een achterstandsbuurt via sociaal beleid van de gemeente aan te pakken.

Een ambtenaar die belast is met het sociaal beleid zal daarom de achterstandsbuurt kunnen

beschouwen als een wel-beïnvloedbare en goed te benutten factor om de criminaliteit bij

jeugdigen als John terug te dringen (op die achterstandsbuurt heeft hij invloed), terwijl voor

hem de sociale competentie van jeugdigen juist een niet-beïnvloedbare factor is (daar heeft hij

met het beleid geen vat op). Als de jeugdzorg en het lokaal jeugdbeleid de krachten bundelen,

stijgt dus het aantal factoren waarop met een (gezamenlijke) interventie effect te scoren is.

Het gevolg is dat een hoger gesteld einddoel haalbaar is, dan wanneer die krachtenbundeling

niet plaatsvindt. Iets soortgelijks zien we bij Sanne. Schuldsanering, arbeidsbegeleiding,

huisvesting en behandeling van psychische problemen bij volwassenen liggen niet op het

terrein van de jeugdzorg. Door samen te werken met sociale diensten en de volwassenen-ggz

is echter veel te bereiken.

Indicatie- en contra-indicatiecriteria

De aanwezigheid van bepaalde niet-beïnvloedbare of niet-benutte factoren kan een reden zijn

om een interventie niet bij een cliënt toe te passen. Bijvoorbeeld, als een aanpak de wijze

waarop een jeugdige redeneert wil beïnvloeden, kan een verstandelijke handicap een factor

zijn die een succesvol resultaat in de weg staat. In dat geval wordt de verstandelijke handicap

als een contra-indicatie aangeven voor de toepassing van de interventie.

Conclusie

Dit alles laat zien dat theorie erg belangrijk is. In de theorie is uiteen gerafeld wat het einddoel

is en welke mechanismen en factoren bij een interventie als aangrijpingspunt voor specifieke

doelen en activiteiten kunnen worden gebruikt. Tevens maakt de theorie helder welke

(overige) factoren in het spel zijn die de haalbaarheid van een interventie bepalen. Ook zal

duidelijk zijn dat deze theorie niet noodzakelijk een hoog-abstract en ingewikkeld verhaal

hoeft te zijn. Het kan ook gaan om een simpele redenatie die iedereen kan volgen en kan

opzetten.

2.5 De werkzame ingrediënten: algemeen en specifiek

Bij de hierboven beschreven elementen van de theorie staat het onderscheid centraal op wat

de interventie zich richt. In deze paragraaf komen begrippen aan de orde die aangeven hoe

een interventie werkt. Ook hierbij is het goed om weer een onderscheid te maken in de

verschillende soorten factoren die een rol spelen. We noemen deze de werkzame ingrediënten

van een interventie (zie ook Van Yperen, 2001).

• Algemeen (non-specifiek) werkzame ingrediënten zijn onderdelen van een interventie die

tot het resultaat bijdragen ongeacht de soort behandeling en doelgroep. Bekende

voorbeelden van deze factoren zijn:

o aansluiting bij de motivatie van de cliënt;

o goede kwaliteit van de relatie cliënt-behandelaar;

o een goede ‘fit’ van het probleem en de hulpvraag enerzijds en de specifieke invulling

van de interventie anderzijds;

= 34

o een goede structurering van de interventie (duidelijke doelstelling, planning en

fasering);

o uitvoering van de interventie zoals deze uitgevoerd hoort te worden;

o professionaliteit (goede opleiding en training) van de behandelaar;

o goede werkomstandigheden van de behandelaar (aan de belangrijkste randvoorwaarden

is voldaan, zoals draaglijke caseload, goede ondersteuning, veiligheid van de

hulpverlener, goede inbedding in de organisatie).

• Specifiek werkzame ingrediënten zijn de werkzame elementen die alleen gelden voor

bepaalde typen interventies, in de context van bepaalde doelen en voor bepaalde

doelgroepen. Voorbeelden zijn:

o bij jeugdigen met ernstige gedragsproblemen lijken individuele interventies effectiever

in het terugdringen van deze gedragsproblemen dan groepsinterventies; gezinsgerichte

interventies lijken effectiever als er tegelijk gewerkt wordt met gedragstherapeutische

interventies (zie Bartels, Schuursma & Slot, 2001);

o Anger Coping blijkt effectiever bij het tegengaan van gedragsproblemen bij

oppositioneel gedrag en proactieve agressie dan bij reactieve agressie (Orobio de

Castro, 2001).

o Allochtone cliënten hechten doorgaans meer waarde aan de rol van het geloof bij het

oplossen van problemen; eventuele inschakeling van een geestelijke bij de

hulpverlening kan in een aantal gevallen goed werken (Hosper, Konijn & Vollenbergh,

2001).

De resultaten van een interventie worden altijd bepaald door een optelsom van de werkzame

ingrediënten. Uitgewerkt naar de drie eerder geschetste doelgroepen ziet dit er als volgt uit

(figuur 2.7).

Interventie Doelgroep

Kernprobleem

Wat wordt beïnvloed Hoe wordt beïnvloed Einddoel

Jongens als John

Delinquent gedrag, achterstandsbuurt, crimineel milieu

Sociale competentie Schoolsucces

Algemene ingrediënten + � Competentietraining � Scholing

Kans op recidive is verkleind tot normaal niveau

Jeugdigen als Steven

Agressief en opstandig gedrag, traumatische echtscheiding ouders.

Cognities over sociale situaties, communicatie in het gezin

Algemene ingrediënten + � Cognitieve therapie � Gesprekken tussen ouders en jeugdige

Agressief en opstandig gedrag is tot normale proporties teruggebracht.

Gezinnen als van Sanne

Financiële, huisves-tings-, pedagogische, sociale en psychische problemen, weinig gemotiveerd

Motivatie ouders, Sanne’s woonplek, opvoeders-competenties ouders, ontwikkelingsniveau Sanne, gedrag Sanne

Algemene ingrediënten + � Dreiging uithuisplaatsing � Intensieve ped. Thuishulp � Gedragstraining Sanne

Sanne woont in een veilig gezin en zij ontwikkelt en gedraagt zich normaal

Figuur 2.7 Het hoe en wat van interventies: voorbeelden

Idealiter zijn de algemeen werkzame ingrediënten in alle drie de interventies aanwezig. Ze

vormen immers de basis van goede hulpverlening. Zonder deze basis kunnen allerlei andere

ingrediënten in hun werkzaamheid sterk worden beknot. Daarbovenop moet helder zijn welke

specifiek werkzame ingrediënten in de interventie zijn verpakt. Hier vertonen de doelgroepen

duidelijke verschillen. Deze verschillen hangen samen met de opvatting of de theorie die de

aanbieder van de interventie heeft over wat wel en niet werkt bij de doelgroep. De keuze van

de specifiek werkzame ingrediënten is immers niet vanzelfsprekend, maar afhankelijk van het

type probleem dat aan de orde is en de beïnvloedbare mechanismen en factoren die bij de

jeugdigen in de doelgroep het aangrijpingspunt vormen voor de interventie.

= 35

2.6 Samenvatting

Een goede beschrijving maken van een interventie is een voorwaarde om de aanpak potentieel

effectief te laten zijn. Immers, helder moet zijn waarvoor de interventie dient, op wie die is

gericht en waaruit die bestaat. Om dit helder te maken, is aangegeven uit welke elementen een

beschrijving van een interventie minstens moet bestaan:

a. Naam van de interventie

b. Doel van de interventie

c. Doelgroep van de interventie

d. Omschrijving van de aanpak

e. Randvoorwaarden voor toepassing

f. Uitvoerende organisaties

g. Overeenkomsten met andere interventies

h. Bronvermelding

Wil een interventie als veelbelovend worden aangemerkt, dan zal er ook een theoretische

onderbouwing moeten zijn. Immers, slechts dan is het ook aannemelijk dat de aanpak

effectief zou kunnen zijn. In dit hoofdstuk is aangegeven wat er voor nodig is om de

onderbouwing van de grond te krijgen. Daarbij is duidelijk gemaakt dat het niet hoeft te gaan

om een ingewikkelde en abstracte wetenschappelijke theorie. Het gaat erom dat er een logisch

verhaal op tafel ligt waarin zeven zaken zijn uitgelegd (zie ook figuur 2.7):

a. Wat is het risico of het probleem dat centraal staat?

b. Welke hulpvraag is in dat verband gebruikelijk en welke doelen zijn aan die hulpvraag

gekoppeld?

c. Welke mechanismen en factoren veroorzaken het probleem, houden dit probleem in stand,

verergeren het of maken het juist minder erg?

d. Welke van deze mechanismen en factoren lijken wel en niet beïnvloedbaar?

e. Welke beïnvloedbare factoren en mechanismen worden gebruikt om het doel te bereiken?

f. Met welke algemene en specifieke activiteiten worden deze beïnvloedbare factoren

aangepakt?

g. Welke niet-beïnvloedbare factoren vormen een dusdanige barrière voor het behalen van

resultaat, dat deze als een contra-indicatie moeten gelden?

De geldigheid van deze onderbouwing kan ondersteund zijn met indirect bewijs uit onderzoek

naar soortgelijke interventies in binnen- of buitenland. Belangrijk is dan wel dat er zicht is op

de kenmerken en de resultaten van het onderzoek. Alleen dan is in te schatten wat deze

bewijsvoering waard is.

Een veelbelovende interventie verdient het voordeel van de twijfel. Cliënten zouden wellicht

een dergelijke behandeling willen hebben, financiers zouden bereid kunnen zijn hiervoor

gelden beschikbaar te stellen. Alleen: de effectiviteit is tot dusver een papieren kwestie. Of de

verwachte resultaten ook echt worden bereikt, moet nog blijken. Om daar zicht op te krijgen

is onderzoek nodig.

= 36

=

Figuur 2.8 Het hoe en wat van interventies (Voor verklaring van betekenis bolletjes, zie figuur 2.3)

2.7 Bronvermelding

Bartels, A.J., Schuursma, S. & Slot, W. (2001). Interventies. In: R. Loeber, N.W. Slot & J.A. Sergeant (Red.).

Ernstige en gewelddadige jeugddelinquentie. Omvang, oorzaken en interventies (p. 291-318). Houten: Bohn

Stafleu Van Loghum.

Bijl, B. (1996). Innovaties in de jeugdhulpverlening. Over het rendement en de soliditeit van nieuwe

hulpprogramma’s. Academisch proefschrift. Leiden: DSWO Press.

Delicat, J.W., Pijnenburg, H.M. & Veerman, J.W. (2003). Op weg naar zorgprogrammering in Gelderland. Een

eerste beoordeling van de kwaliteit van ontwikkelde jeugdzorgmodules. Nijmegen: Katholieke Universiteit,

ACSW/ Praktikon.

Hosman, C.M.H. (1994). Omgaan met doelen in de preventieve geestelijke gezondheidszorg. Nijmegen:

Universiteit Nijmegen.

Hosper, K., Konijn, C. & Vollebergh, W. (2001). Jonge allochtonen en hulp bij psychische problemen. Verbetering

van de kwaliteit en toegankelijkheid van de ambulante GGZ. Utrecht: Trimbos-instituut.

Kazdin, A.E. (2001). Progression of therapy research and clinical application of treatment require better

understanding of the change process. Clinical Psychology: science and practice, 8, 143-151.

Offord, D. & Chmura Kraemer, H. (2000). Risk factors and prevention. Evidence Based Mental Health, 3, 70-71.

Orobio de Castro, B. (2001). Emoties en sociale cognities van kinderen en jongeren met antisociale

gedragsproblemen. Kind en Adolescent, 22, 281-294.

Petrosino, A. (2000). Mediators and moderators in the evaluation of programs for children. Current practice and

agenda for improvement. Evaluation Review, 24, 47-72.

Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation. A systematic approach (7th Ed.). Thousand

Oaks: Sage.

== = = ========3. Wat zijn de in het spel zijnde mechanismen en factoren?

=============

================= = = =========

== (Verwachting: het resultaat is een antwoord op de hulpvraag)

= = = ======

=

4. Wat is beïnvloedbaar? 5. Welke factoren worden benut?

(Dynamische factoren of mediatoren)

Van invloed zijnde, maar niet benutte of beïnvloedbare mechanismen/factoren (moderatoren)

7. Welke contra-indicaties?

2. Wat is de

hulp-vraag ?

2. Wat is het doel

?

Resultaat

6. Hoe worden elk van de factoren beïnvloed?

Algemeen en specifiek werkzame ingrediënten jeugdzorginterventies

1. Wat is het kern-probleem

?

= 37

Ruyter, D.J. de (2000). Schrijven van modules en zorgprogramma’s in de jeugdzorg. Handleiding. Utrecht:

NIZW.

Strien, P.J. van (1984). Naar de verwetenschappelijking van de praktijk. Tijdschrift voor Orthopedagogiek, 23, 162-

180.

Strien, P.J. van (1986). Praktijk als wetenschap. Methodologie van het sociaal-wetenschappelijk handelen.

Assen: Van Gorcum.

Swanborn, P.G. (1999). Evalueren. Het ontwerpen, begeleiden en evalueren van interventies: een methodische

basis voor evaluatie-onderzoek. Amsterdam: Boom.

Veerman, J.W., Damen, H. & Brink, L.T. ten (2000). Een werkmodel voor evaluatieonderzoek in de jeugdzorg.

Nijmegen: Academisch Centrum / Praktikon.

Weersing, V.R. & Weisz, J.R. (2002). Mechanisms of action in youth psychotherapy. Journal of Child

Psychology and Psychiatry, 43, 3-29.

Wiel, N. van de (2002). The effect of manualized behaviour therapy with disruptive behaviour disordered

children in everyday clinical practice: a randomised clinical trial. Academisch proefschrift. Utrecht:

Universiteit Utrecht

Yperen, T.A. van (2001). Antisociaal gedrag en jeugddelinquentie: valt er wat te keren? Kind en Adolescent 22,

pag 326-341.

Yperen, T.A. van, Boendermaker, L. & Hellema, M. (2004). Indicatie, modules en bekostiging. Utrecht: NIZW

Jeugd.

Yperen, T. van, Meyknecht, G. & Diephuis, K. (2004). Werken met doelrealisatie. Handreiking formuleren en

evalueren van hulpverleningsdoelen. In: P. Bodegraven (Red.), Doelrealisatie. Programma Kwaliteitszorg in

de jeugdzorg II (p. 25-56). Utrecht: GGZ Nederland / Maatschappelijke Ondernemers Groep.

= 38

= 39

Hoofdstuk 3. Een kwestie van bewijzen …

Bas Bijl en Tom van Yperen

3.1 Gemakkelijk gezegd, moeilijker te meten

“Wat zou er met Erik gebeuren als we hem níet uit huis zouden plaatsen?”

“De training draagt er toe bij dat met de jongeren een redelijk stevig sociaal netwerk kan

worden opgebouwd”

“Jeugdige delinquenten blijken succesvol te kunnen worden behandeld met intensieve,

ambulante therapievormen voor het gezin, zoals Multi Systemic Therapy en Functional

Family Therapy.”

Zo maar wat uitspraken uit en over de praktijk van de jeugdzorg. Zij zijn weliswaar van

verschillende orde, maar hebben de onderliggende veronderstelling gemeen. En dat is dat

hulpverleners door in te grijpen bepaalde veranderingen kunnen bewerkstelligen bij cliënten.

Hulpverlening draait immers om verandering. Verandering in de zin van verbetering, van

oplossen van onbevredigende situaties, van stopzetten en – als het even kan – ombuigen van

negatieve ontwikkelingen, van bevorderen van gewenst gedrag, van versterking van

aanwezige krachten. Er wordt van ‘buitenaf’ ingegrepen in een proces dat zich in ongewenste

of ongunstige richting ontwikkelt of dreigt te ontwikkelen. Uitspraken zoals hierboven

veronderstellen het bestaan van een causaal verband tussen een bepaalde (verwachte)

uitkomst en acties die daar (al dan niet) aan vooraf zijn gegaan.

In het vorige hoofdstuk kwam de causaliteit tussen interventie en uitkomst ook al aan de orde.

Daar ging het erom dat de theorie aannemelijk moet maken hoe de interventie de gewenste

uitkomsten ‘veroorzaakt’. Maar het bleef daar vooral een ‘papieren kwestie’. Op het niveau

van ‘Veelbelovend’ wordt in woorden aannemelijk gemaakt dat de interventie effectief zou

kunnen zijn. Dit hoofdstuk gaat over de bewijsvoering van het veronderstelde causale

verband. De vraag is nu: hoe kun je met feiten aantonen dat de interventie er werkelijk ‘toe

doet’, dat met de verstrekte behandeling of begeleiding de nagestreefde verandering is

gerealiseerd. Op de ‘effectladder’ zijn we daarmee op de hoogste sporten beland (zie figuur

3.1 op de volgende pagina). Twee vragen komen daarbij steeds aan de orde. Allereerst,

voldoet de interventie aan zijn doel (niveau ‘Doeltreffend’)? En vervolgens, is het de

interventie – en niets anders dan de interventie – die verantwoordelijk is voor het resultaat

(‘Werkzaam’)?

Doorgaans is het doen van uitspraken over oorzaak-gevolg relaties gemakkelijker dan het

bewijzen ervan. De weg naar de aantoonbare causale relatie kent namelijk nogal wat

obstakels. Wij zullen proberen de praktijkonderzoeker hierop attent te maken en hem

daarlangs te gidsen. Tegelijkertijd willen wij hier ook niet zwaarmoedig over doen.

Integendeel, wij menen dat er in de praktijk, zoals die van de jeugdzorg, volop mogelijkheden

zijn voor het doen van goed en bruikbaar effectonderzoek. Wij zullen ons daarbij vooral

richten op het niveau van de doeltreffendheid van interventies (de derde sport op de

effectladder), omdat dit type onderzoek goed aansluit op de weerbarstige omgeving waarin

praktijkonderzoek veelal plaatsvindt.

= 40

Figuur 3.1 Hoger op de effectladder: onderzoek naar de doeltreffendheid en werkzaamheid van interventies

Maar daaraan voorafgaand ontkomen we er niet aan om iets dieper in te gaan op het begrip

causaliteit. Causaliteit blijkt een delicaat onderwerp. Daarom geven we in paragraaf 3.2 kort

weer hoe wij de relatie tussen oorzaak en gevolg beschouwen. Voor wie deze uitwijding te

ver voert kan de draad oppakken in paragraaf 3.3. Daar gaan we in op zogeheten storende

factoren die, naast de interventie, tevens de waargenomen veranderingen bij cliënten zouden

kunnen verklaren. In paragraaf 3.4 onderstrepen we het praktische belang van een solide

interventietheorie voor de controle van storende factoren en de interpretatie van de

onderzoeksbevindingen. Om zicht te krijgen op het effect van interventies, staat de

onderzoeker een brede variatie van onderzoeksopzetten (designs) beschikbaar. Deze worden

in paragraaf 3.5 op de effectladder ‘geplaatst’. Paragraaf 3.6 bespreekt een aantal criteria die

gebruikt kunnen worden om bij designs die doorgaans niet zoveel bewijskracht hebben tóch

wat meer aannemelijk te maken dat het de interventie is geweest die de gemeten uitkomst

heeft ‘veroorzaakt’. In de laatste paragraaf 3.7 bespreken we ‘de prijs’ die aan een bepaald

onderzoek hangt. Elk design blijkt voor- en nadelen te hebben. We geven enkele richtlijnen

die praktijkonderzoekers en beleidsmakers kan helpen de juiste opzet te kiezen.

3.2 Causaliteit in een grillige en weerbarstige omgeving

Van oudsher hebben de experimentele onderzoeksmethoden van de natuurwetenschappen het

oorzaak-gevolgdenken in de gedragswetenschappen sterk beïnvloed. Causaliteit had daarin

een voornamelijk mechanistische betekenis (‘oorzaak = gevolg’, ‘actie = reactie’). Het hierop

gebaseerde onderzoek was sterk gericht op de formulering van universele wetmatigheden.

Inmiddels heeft dit denken plaats gemaakt voor meer genuanceerde en dynamische

opvattingen over causaliteit, opvattingen die recht doen aan de grilligheid en de weerbarstigheid

van de sociale werkelijkheid. Bij het wetenschappelijke interventie-onderzoek vinden we deze

moderne denkwijze duidelijk terug. Bij dat onderzoek is men vooral geïnteresseerd op het

vinden van een oorzakelijk verband tussen twee variabelen: enerzijds de interventie (in het

onderzoek de onafhankelijke variabele genoemd) en anderzijds het gedrag, de cognitie, het

Practice - Based

Evide nce

Evidence- Based Practice

Werkzaam

Doeltreffend

Veelbelovend

Potentieel

= 41

gevoel of de situatie waarop die interventie invloed uit moet oefenen (de afhankelijke

variabele genoemd). Kenmerkend voor het hedendaags denken over causaliteit tussen deze

twee variabelen zijn de volgende vier aspecten (vgl. Bijl, 1996).

• De eerste betreft de rol van degene die het effect nastreeft. Hij tracht door middel van de

interventie, weloverwogen en doelbewust bepaalde gebeurtenissen en processen te

beïnvloeden en te sturen. Zijn interventie is gebaseerd op specifieke verwachtingen over de

causale relatie tussen zijn ingreep en de gevolgen daarvan.

• Ten tweede is de benadering multicausaal. De belangstelling voor het effect gaat verder

dan één onafhankelijke variabele (de interventie) die de afhankelijke variabele (het effect)

beïnvloedt. Er is tevens aandacht voor andersoortige variabelen, die mede van invloed

(kunnen) zijn op het waargenomen effect, zoals allerlei factoren die een bevorderende of

belemmerende invloed hebben op de werking van de interventie, of verschijnselen die een

alternatieve verklaring voor het waargenomen effect kunnen bieden.

• Ten derde is kenmerkend dat expliciet rekening wordt gehouden met de context waar-

binnen het onderzoek naar causale verbanden plaatsvindt (het zogenaamde causaal veld).

Uitspraken over causaliteit worden gedaan in het licht van ‘harde’ gegevenheden als plaats

en tijd, maar ook ‘zachte’ omstandigheden als sociaal-culturele aspecten zijn in dit verband

van belang.

• Ten vierde heeft causaliteit een probabilistische betekenis. Dat wil zeggen dat, in

tegenstelling tot het oude denken in wetmatigheden, uitspraken over de relatie tussen

oorzaak en gevolg worden gedaan in termen van waarschijnlijkheid en voorwaardelijk-

heid. Dus de uitspraak ‘interventie A heeft gedrag B tot gevolg’ betekent dat als we

interventie A toepassen, het effect B waarschijnlijker is dan als van de interventie zouden

afzien (vgl. Rossi, Freeman & Lipsey, 2004).

Om kort te gaan, we vatten een causale relatie op als:

a. een weloverwogen en doelbewuste interventie (onafhankelijke variabele) die,

b. met een zekere waarschijnlijkheid een bepaald effect op een afhankelijke variabele

produceert, waarbij

c. de context waarin de beïnvloeding wordt onderzocht exact gedefinieerd is (causaal veld),

en waarbij

d. nadrukkelijk rekening wordt gehouden met (zoveel mogelijk) andere relevante variabelen

die tevens in het spel zijn.

Deze omschrijving is geen definitie. Zij is eerder een soort kapstok waaraan, vanuit het

perspectief van de praktijkonderzoeker, enkele essentiële elementen of kenmerken van de

causale relatie zijn opgehangen (Bijl, 1996).

3.3 Kapers op de kust: alternatieve verklaringen voor gemeten effecten

Stel, u werkt in een multifunctionele organisatie, waar al langer onvrede bestaat over de

resultaten van het cluster Daghulp. Bij Daghulp wordt psychosociale hulp verleend aan

(dreigende) schooluitvallers van 12 tot 16 jaar. Het management team (MT) van de

= 42

organisatie , maar ook de plaatsende instantie vinden de output onvoldoende. Er zijn te veel

jongeren die bij Daghulp uitvallen en de begeleidingsdoelen worden onvoldoende

gerealiseerd. Ook de hulpverleners zelf zijn niet tevreden. Zij vinden dat ze te weinig grip op

de jongeren hebben en wijten dat aan een gebrek aan ‘methodisch gereedschap’ dat hen ter

beschikking staat.

Een collega is er van overtuigd dat de problemen kunnen worden opgelost door de ouders

intensiever bij de begeleiding te betrekken. Ook stelt hij voor de contacten vooral thuis te

laten plaatsvinden, in plaats van op het dagcentrum, wat tot dusver gebruikelijk is. Het MT is

hiervan nog niet overtuigd, maar biedt de ruimte om het effect van de beoogde aanpak aan te

tonen. Besloten wordt om het plan op twee (van de acht) locaties uit te voeren en bij te

houden in hoeverre uitval, doelrealisatie en medewerkertevredenheid zich ontwikkelen.

Tegelijkertijd worden, ter vergelijking, dezelfde gegevens verzameld op de andere locaties,

die op de gebruikelijke manier blijven werken. Na verloop van tijd tekenen de verwachte

verschillen zich af. De maatregelen van uw collega lijken effectief. Helaas blijkt het MT de

onderzoeksresultaten anders te interpreteren. Men plaatst kritische kanttekeningen bij de wijze

waarop de uitkomsten zijn gemeten. Er is namelijk gebruik gemaakt van een interview om de

behandelaars op de mate van veranderingen in uitval van de jeugdigen en de mate van

doelrealisatie en tevredenheid te bevragen. Ze vragen zich af of dat wel een goed middel is

om de resultaten boven water te krijgen. Bovendien acht men het niet zeker dat de gevonden

verschillen geheel aan de nieuwe aanpak mogen worden toegeschreven. Zij opperen een

aantal alternatieve verklaringen. Zo blijken de twee experimentele locaties in dezelfde periode

ook een samenwerking aan te zijn gegaan met de scholen waar de meeste jongeren van hen op

zitten. Uw collega zal deze alternatieven moeten weerleggen.

Box 3.1 Het meten van kenmerken en eigenschappen

De term ‘meten’ is al verscheidene keren gevallen. Meten is een gestandaardiseerde en gesystematiseerde manier van observeren, waarbij de mate waarin het geobserveerde kenmerk of eigenschap zich openbaart, wordt uitgedrukt in een getalsmatige waarde op een indicator (een variabele). De indicator is eigenlijk het ‘metertje’ met behulp waarvan kan worden afgelezen of bepaald in welke mate of omvang iets voorkomt of gebeurt. Indicatoren maken de gewenste uitkomsten – de afhankelijke variabele die we willen meten en die vaak in abstracte termen en begrippen is verwoord – zichtbaar of observeerbaar. In het voorbeeld is gebruik gemaakt van een half gestandaardiseerd interview om bij medewerkers te vragen of er door de interventie veranderingen zijn opgetreden in de uitval, doelrealisatie en tevredenheid. Had uw collega dit ook anders kunnen meten? In feite wel. Uitval is eenvoudig te meten door te registreren (op een formulier dat daarvoor is ontworpen) of de hulp al dan niet volgens planning is beëindigd. In dit geval worden het formulier, de definitie van de centrale begrippen (hier bijv.: geplande beëindiging) én de afspraken die worden gemaakt over het gebruik van het formulier, tezamen opgevat als een meetinstrument – een instrument om de afhankelijke variabele ‘uitval’ te meten. Het instrument is betrouwbaar te noemen als blijkt dat de deelnemers, onafhankelijk van elkaar, tot een zelfde beoordeling komen (van dezelfde cliënt). Naar verwachting zal dit geen problemen geven. Het meten van doelrealisatie vereist dat per jeugdige wordt geregistreerd welke doelen er zijn gesteld en in hoeverre deze zijn bereikt. Dat kan door bij elk doel aan het einde van de interventie aan te laten geven (0) situatie onveranderd, doel niet bereikt, (1) situatie verbeterd, maar nog niet conform doel) en (2) situatie verbeterd, conform doel. Nog beter is het als aan elk doel een meetinstrument(je) wordt gekoppeld dat de rubrieken 0, 1 en 2 treffend operationaliseert in termen van gedrag, cognities, gevoelens of situaties. Aan de hand daarvan is scherper aan te geven wat het inhoudt dat een doel is bereikt. Voor de variabele medewerkertevredenheid geldt dat hieraan vele facetten zijn te onderscheiden. Het ontwerp van een instrument dat deze facetten op een betrouwbare manier kan meten, vergt een veel grotere inspanning. Gezien de aard van het begrip, is het meetbaar maken van medewerkertevredenheid een stuk lastiger.

==

We laten uw collega even alleen met het MT en richten ons hier op de belangrijkste aspecten

van deze casus. Allereerst heeft uw collega gekozen voor een beproefde onderzoeksopzet om

= 43

het effect van een ingreep te bestuderen, namelijk ‘het experiment’. De gevolgen van een

nieuwe aanpak worden vergeleken met een situatie waarin níet wordt ingegrepen. We komen

daar straks op terug.

Op dit moment willen wij de aandacht vestigen op een ander aspect van het voorbeeld. De

gekozen onderzoeksopzet levert op zichzelf nog niet het overtuigende bewijs dat de

interventie effectief is geweest. Wat nu van belang is, is dat het MT alternatieve verklaringen

oppert voor de gemeten veranderingen. Kapers op de kust, zo lijkt het. Dit soort bedreigingen

zijn funest voor de ‘hardheid’ waarmee we conclusies kunnen trekken uit effectonderzoek.

Daarmee snijden we het onderwerp ‘validiteit’ aan. Dit is een uiterst belangrijk, maar ook

ingewikkeld onderwerp. We volstaan hier met het noemen van twee soorten validiteit.

• Interne validiteit. Hierbij staat de geldigheid van de conclusies centraal die in het

onderzoek worden getrokken over de relatie tussen interventie en effect. Hoe overtuigender

alternatieve verklaringen voor gemeten veranderingen binnen het onderzoek kunnen

worden uitgesloten, hoe hoger de interne validiteit van het onderzoek, des te groter de

zekerheid dat de interventie verantwoordelijk gehouden mag worden voor de resultaten die

zijn gemeten. Zo staat uw collega in zijn discussie met het MT sterker als hij kan aantonen

dat de interne validiteit van zijn onderzoeksresultaten voldoende is.

• Externe validiteit. Hier gaat het om de generaliseerbaarheid van onderzoeksbevindingen:

de vraag of de resultaten ook geldig zijn buiten de situatie van het onderzoek, bijvoorbeeld

bij andere populaties, op andere tijdstippen en in andere situaties. Het voert te ver om dit

type in de context van dit handboek te behandelen. Daarvoor verwijzen wij naar het

standaardwerk van Shadish, Cook & Campbell (2002).

Als de interne validiteit van een onderzoek onvoldoende zijn gewaarborgd, dan is het

aannemelijker dat de gemeten effecten moeten worden toegeschreven aan andere factoren

(‘storende’ variabelen) dan de gepleegde interventie. Deze factoren zetten het ‘bewijs’ dat de

interventie effectief is onder druk.

In alle methodologieboeken is het volgende rijtje van storende factoren terug te vinden (zie

bijv. Shadish e.a., 2002) die – al dan niet in combinatie met elkaar - hun verstorende invloed

kunnen uitoefenen.

• Geschiedenis. Een gunstige verandering is te verklaren uit gebeurtenissen die tijdens de

interventie plaatsvinden, maar niets met de behandeling of begeleiding zelf te maken

hebben. Bijvoorbeeld, een verhuizing, een nieuwe leerkracht, het hertrouwen van de

moeder.

• Rijping. Een kind kan over zijn problemen heen groeien, ouders kunnen door ervaring

wijzer worden, zonder dat dit door de behandeling komt. Ook spontaan herstel valt

hieronder.

• Testgewenning. Alleen al deelname aan de eerste meting aan het begin van de interventie

kan de scores op de nameting anders doen uitvallen, een soort gewenning of een soort

leereffect (vooral bij prestatietaken: men herinnert zich de vorige oplossing nog, of heeft er

zodanig van geleerd dat soortgelijke taken gemakkelijker uitgevoerd worden).

= 44

• Instrumentatie. De scoring van een instrument (bijvoorbeeld het invullen van een

vragenlijst) kan in de loop der tijd veranderen, niet omdat de problemen minder zijn

geworden, maar omdat de invullers (ouders, behandelaars) hun invultaak anders uitvoeren.

Bijvoorbeeld door vermoeidheid, of om er maar snel van af willen zijn, omdat voor de

zoveelste keer een lijst moet worden ingevuld, of omdat men geen gezeur meer wil, of

andere normen aanlegt bij de beantwoording van vragen. Anders dan bij testgewenning

gaat het hier om bewuste of onbewuste invloeden op de scores, die ervoor kunnen zorgen

dat de tweede meting anders uitvalt en een verandering vastgesteld wordt die wederom

niets met de interventie te maken heeft. Hier wreekt zich het feit dat in onderzoek naar

psychosociale behandelingen of begeleidingen niet met objectieve meetlatten gewerkt kan

worden maar met de menselijke maat, en die is zoals we weten gevoelig voor allerlei

invloeden (zie box 3.2). Ook het ‘hello-goodbye effect’ valt hieronder. Cliënten geven

zichzelf of hun kinderen (bewust of onbewust) aan het begin hoge scores om maar te laten

zien dat de problemen heftig zijn, en aan het eind lage scores omdat ze de hulpverlener niet

willen teleurstellen, hij ‘heeft zich immers zo voor ons ingespannen’.

• Statistische regressie. Dit treedt vooral op wanneer de scores op een instrument bij de

eerste meting erg hoog of erg laag zijn; men kan bij een tweede meting dan niet hoger (of

lager) scoren. Men kan ‘maar één kant op’; dat gebeurt dan ook. Hier ontstaat dus al gauw

een verandering die niet aan de interventie gerelateerd is. Ook dat kan in de praktijk

voorkomen. Cliënten die een behandeling of begeleiding beginnen komen niet voor niets

en zullen vaak extreem hoog scoren op allerlei probleemlijsten. De kans dat de score op

louter statistische gronden een tweede keer lager is, is niet te verwaarlozen.

• Selectieve uitval. Er is altijd wel een verloop in deelname tussen en eerste en de tweede

meting. Het is al mooi als minstens 80% van de deelnemers aan de voormeting ook aan de

nameting mee doet. Een probleem ontstaat als die 20% uitval niet willekeurig is, maar

selectief, bijvoorbeeld de cliënten met de meeste problemen. Hierdoor kan het gemiddelde

van de tweede meting lager uitvallen zonder dat er in de groep verder iets veranderd is.

• Cliëntselectie. Niet de interventie veroorzaakt het effect, maar het gegeven dat onbedoeld

een groep cliënten is ingestroomd die van elke hulpvorm (of het nu X of Z was) wel zou

profiteren, bijvoorbeeld cliënten met een hogere opleiding, extra gemotiveerde cliënten,

etc. Een aantal jaren geleden werd in dit verband wel eens de YAVIS-cliënt ten tonele

gevoerd: Young, Attractive, Verbal, Intelligent en Social, met die patiënten kan elke

hulpverlener wel scoren. Het probleem is hier dat de interventie wel effect heeft, maar dat

een andere (bijv. kortere of goedkopere) interventie net zo goed effect had kunnen hebben.

• Behandelaarselectie. Behandelaars die geloven in hun behandeling, die ‘er voor gaan’, of

voor wie het belangrijk is om succes te hebben brengen dit zonder dat ze dit weten of

bedoelen op hun cliënten over. Dit effect treedt vooral op bij innovaties en pionierswerk.

Bekend is het fenomeen dat de pioniers van een nieuwe behandeling vaak wel successen

boeken, maar de door hen opgeleide tweede en derde generatie behandelaars niet meer, of

althans veel minder. Deze alternatieve verklaring lijkt op de vorige (cliëntselectie), maar

nu vanuit het behandelaarperspectief. De betreffende behandelaar had van elk zorgaanbod

wel een successtory gemaakt. Het is dus niet het aanbod dat effect sorteert, maar de

behandelaar. =

= 45

Box 3.2 Betrouwbaarheid en effectonderzoek

Geen meetinstrument is feilloos. Zelfs bekende ‘meters’ als de weegschaal of de thermometer kennen – hoe gering ook – afwijkingen of onnauwkeurigheden. Een meetinstrument is ‘betrouwbaar’ als het, bij herhaald gebruik en onder dezelfde omstandigheden, telkens dezelfde meetwaarden laat zien met betrekking tot hetzelfde aspect of kenmerk (Rossi e.a., 2004). Onbetrouwbare metingen zijn misleidend; zij leveren een niet-getrouw beeld van de eigenschap of het kenmerk dat we proberen te meten. Elk onderzoek vereist het gebruik van betrouwbare meetinstrumenten, maar voor effectonderzoek gaat dat misschien nog wel sterker op. De misleiding kan twee kanten opgaan. Het kan zijn dat ‘ware’ effecten hierdoor worden verduisterd. Maar omgekeerd kunnen de metingen ook ten onrechte grote veranderingen suggereren en daarmee tot de conclusie leiden dat een interventie wel effectief is (Shadish e.a., 2002). Bij onbetrouwbare meetinstrumenten is de kans groot dat wel of niet gevonden verschillen (tussen metingen en/of tussen groepen) berust op toeval (‘ruis’ of ‘onbedoelde variantie’). Het is dan minder aannemelijk dat de gevonden verschillen als effecten (‘bedoelde’ of ‘ware variantie’) beschouwd kunnen worden. Nu is het voorstelbaar dat beproefde, betrouwbare meetinstrumenten niet altijd voorhanden zijn. In dat geval dient de praktijkonderzoeker, bij het ontwerp van nieuwe instrumenten, zoveel mogelijk maatregelen te nemen die de invloed van toevalsfactoren op de metingen beperken of uitschakelen. Dit is te bereiken door, bijvoorbeeld, meerdere informatiebronnen naast elkaar te gebruiken, door de metingen strikt te protocolleren en/of door observatoren of interviewers scherp te instrueren en te trainen (vgl. Shadish e.a., 2002).

Dit soort verklaringen dient in effectonderzoek uit te worden gesloten om de weg vrij te

maken voor de conclusie dat de interventie – en niets anders dan de interventie – de gemeten

veranderingen heeft veroorzaakt.

De vraag is nu: hoe zijn dit soort invloeden het beste uit te sluiten? Of anders gezegd: hoe is

ervoor te zorgen dat de conclusie over het effect van de interventie zo zeker mogelijk is te

trekken? Met betrekking tot deze vraag zijn er drie onderwerpen relevant om te bespreken. In

de eerste plaats gelden er een aantal algemene vuistregels die gevolgd kunnen worden om te

bepalen of een conclusie over het effect stevig is te trekken of niet. Ten tweede is het goed om

in de interventietheorie aandacht te geven aan zowel de werkzame factoren van de interventie,

als de variabelen die de verklaring van het effect kunnen vertroebelen. Ten derde is het goed

om een onderzoeksopzet te kiezen die zoveel mogelijk alternatieve verklaringen elimineert. In

de volgende paragrafen gaan we op elk van deze onderwerpen in.

3.4 De interventietheorie als wegwijzer

In de vorige paragraaf gaven we aan dat naarmate de onderzoeksresultaten beter passen op de

interventietheorie, dan is dat – zeker als de theorie heel specifiek is – een ondersteuning van

de veronderstelling dat de interventie voor het resultaat verantwoordelijk is. Van belang is in

dat verband dat de interventietheorie niet alleen de relatie tussen de onafhankelijke en

afhankelijke variabelen specificeert (ingrediënten van de interventie en de verwachte

uitkomst). Ook moet er aandacht zijn voor de context waarin de beïnvloeding plaatsvindt (het

causaal veld) en voor variabelen eveneens van invloed zijn op de uitkomsten van de

interventie (vergelijk paragraaf 3.2). De interventietheorie legt een consistente, logische en

onderbouwde verbinding tussen het te behandelen probleem en de factoren die dat in stand

houden enerzijds, en anderzijds de (behandel- of begeleiding)activiteiten die hierin

verandering zouden moeten brengen en de resultaten die daarvan, op korte en langere termijn,

het gevolg zouden moeten zijn (Rossi e.a., 2004). Of, in termen van het model dat in

hoofdstuk 2 is gepresenteerd: de theorie geeft zo goed mogelijk aan wat de ingrediënten zijn

van de interventie, en welke andere factoren en mechanismen er in het spel zijn die invloed

hebben op de uitkomst, maar die niet door de interventie benut worden of die niet met de

interventie beïnvloedbaar zijn. Met behulp van een dergelijke interventietheorie is goed te

bepalen met welke factoren men bij de opzet van een onderzoek rekening moet houden. Met

= 46

behulp hiervan zijn immers de ‘concurrerende’ of storende invloeden te identificeren, uit te

sluiten of gecontroleerd mee te nemen in de onderzoeksopzet.

Ook de praktijkonderzoeker zal ervaren dat – vrij naar Kurt Lewin – niets praktischer is dan

een goede interventietheorie. Want een gedegen interventietheorie biedt een basis voor het

waarborgen van de interne validiteit van de onderzoeksresultaten. Hoe sterker de

onderbouwing en hoe ‘dwingender’ de logica van de interventietheorie, hoe meer zekerheid

over een causaal verband tussen interventie en effect. Natuurlijk bestaat de ultieme test van de

houdbaarheid van een interventietheorie uit een toetsing aan de praktijk. Het verzamelde

bewijsmateriaal uit de praktijk moet de specificaties uit de interventietheorie kunnen

ondersteunen; hieruit moet blijken in hoeverre de veronderstelde causale mechanismen of

ketens houdbaar zijn (Barkham & Mellor-Clark, 2003; Reynolds, 2004). Als de

interventietheorie deze toets met succes doorstaat, dan is het bestaan van een causale relatie

tussen interventie en effect aannemelijker geworden. Of anders gezegd: de onzekerheid over

de causale relatie is gereduceerd. Of nóg anders, met een bepaalde graad van zekerheid

kunnen we iets zeggen over de werkzaamheid van de interventie.

3.5 Designs op de effectladder

Onderzoekers houden niet van alternatieve verklaringen voor de veranderingen die zij hebben

gemeten. Deze verklaringen zijn lastig, omdat zij onzekerheid geven over het echte of ware

effect van de interventie. Daarom proberen onderzoekers zoveel mogelijk onzekerheid uit te

sluiten. Dat doen zij door factoren die de interne validiteit van het onderzoek bedreigen via

maatregelen zoveel mogelijk onder controle te brengen. Grofweg zijn daar twee methoden

voor (maar in de praktijk worden ook tal van mengvormen gebruikt).

• Designcontrole. Hierbij vindt controle vooraf plaats door bij het onderzoeksontwerp

expliciet rekening te houden met de invloed van een aantal bekende storende factoren (zie

het rijtje in paragraaf 3.3). De onderzoeker schept zodanige onderzoekscondities dat de

invloed van deze variabelen op de uitkomsten zoveel mogelijk wordt voorkomen of

geneutraliseerd.

• Statistische controle. In de fase waarin de onderzoeksgegevens worden geanalyseerd,

wordt de invloed van storende variabelen gecorrigeerd. Controle vindt dus achteraf plaats.

Het bijzondere van deze werkwijze is dat storende variabelen opzettelijk worden

opgenomen in het onderzoek en niet, zoals bij de eerst genoemde methode, worden

uitgesloten (Bijl, 1996; Saris & Stronkhorst, 1984).

Onderzoeksdesigns zijn er in vele soorten en maten. Van belang op dit moment is dat

onderzoeksdesigns zich van elkaar onderscheiden in de mate waarin zij de interne validiteit

van het onderzoek waarborgen. Het ene design biedt meer graden van zekerheid dan het

andere. Figuur 3.2 laat dat zien. Daarbij beperken we ons, omwille van de overzichtelijkheid,

tot drie hoofdtypen: het experimenteel, het quasi-experimenteel en het niet- of pre-

experimenteel design (zie box 3.3 t/m 3.5). Elk hoofdtype kent diverse varianten. Een

compleet overzicht is te vinden in het standaardwerk van Shadish e.a. (2002). ==

= 47

Figuur 3.2 Onderzoeksmethoden en daarmee corresponderende graden van zekerheid

De designtypen zijn op een methodologisch continuüm te plaatsen (zie ook Van Loon & Van

der Meulen, 2004). Op het ene uiterste liggen de designs (non-experimenteel) die op

voorhand weinig waarborgen bieden voor de interne validiteit. Daar tegenover bevinden zich

de designs (experimenteel) die juist ontworpen zijn om van tevoren zoveel mogelijk storende

factoren uit te kunnen schakelen; het bestrijden van onzekerheid staat in dit type designs

voorop. Bij niet-experimenteel onderzoek is het vooraf uitschakelen van storende factoren

niet aan de orde. Hier wordt als het ware de omgekeerde weg bewandeld: onzekerheid wordt

niet bestreden, maar zekerheidsgraden worden verworven. Er worden argumenten verzameld

die de conclusie (logisch gezien) onontkoombaar moeten maken dat het gevonden resultaat

niet anders dan aan de interventie móet worden toegeschreven. Quasi-experimenteel

onderzoek is hier ergens tussenin te plaatsen en controle vindt hier vooraf plaats, maar kan,

afhankelijk van de invulling van het design, ook deels achteraf worden uitgevoerd. Uit de

afbeelding blijkt ook dat het onderscheid tussen niveau 3 (‘Doeltreffend’) en niveau 4

(‘Werkzaam) niet absoluut, maar gradueel is.

Maar het design is niet allesbepalend. In figuur 3.2 is ook te zien dat extra zekerheidsgraden

worden verworven als bijvoorbeeld resultaten uit eerder onderzoek naar het effect van de

interventie worden ‘gerepliceerd’. Dat betekent dat de interventie in een andere context en/of

op een ander tijdstip soortgelijke of – in het ideale geval – identieke resultaten te zien geeft.

Het wordt dan aannemelijker dat de relatie tussen interventie en uitkomsten causaal is.

Zekerheid over het effect van de interventie wordt als het ware opgebouwd met behulp van

een stelsel of reeks van (deel)onderzoeken. Vanuit methodologisch oogpunt mag dan

misschien het een en ander aan te merken zijn op de interne validiteit van de afzonderlijke,

non-experimentele onderzoeken, tezamen vormen zij (in beginsel) een steviger basis voor

causale uitspraken. Bij experimenteel onderzoek is geïnvesteerd in de kwaliteit van de

onderzoeksopzet, met een hoge interne validiteit als gevolg. Hierdoor kan (in beginsel) een

non-experimenteel

of

pre-experimenteel

quasi-experimenteel experimenteel(RCT)

onderzoeksopzet

effe

ctla

dder

niveau 4

niveau 3

meer

mindergraden van zekerheid

eenmalig effectonderzoek reeks van effectonderzoeken (o.m. replicatiestudies)

non-experimenteel

of

pre-experimenteel

quasi-experimenteel experimenteel(RCT)

onderzoeksopzet

effe

ctla

dder

niveau 4

niveau 3

meer

mindergraden van zekerheid

non-experimenteel

of

pre-experimenteel

quasi-experimenteel experimenteel(RCT)

onderzoeksopzet

effe

ctla

dder

niveau 4

niveau 3

meer

mindergraden van zekerheid

eenmalig effectonderzoek reeks van effectonderzoeken (o.m. replicatiestudies)

= 48

gering aantal herhalingen van het onderzoek volstaan, om een overtuigend bewijs te leveren

van het effect van een interventie. In de volgende paragraaf gaan we daar nader op in. ==

Box 3.3 De ‘Gouden Standaard’: het experimenteel design

=De bewijskracht van het wetenschappelijk experiment wordt algemeen erkend. Ook in praktijkonderzoek is het experiment een beproefde methode om de effecten van een interventie vast te stellen. De ‘veldvariant’ van het laboratoriumexperiment (de Randomized Control Trial of Randomized Clinical Trial, kortweg RCT) wordt algemeen beschouwd als het design dat de beste waarborgen biedt voor de interne validiteit. Storende variabelen worden op grond van dit design het meest overtuigend geneutraliseerd. Om die reden wordt het (gerandomiseerde) experimentele onderzoeksontwerp volgens Rossi e.a (2004) vaak de ‘Gouden Standaard’ genoemd. In de meest eenvoudige opzet worden de deelnemers aan het onderzoek (individuen als kinderen met angststoornissen of ‘first offenders’, of collectieven als multi-problem gezinnen of residentiële leefgroepen) willekeurig (at random) toegewezen aan één van in totaal twee groepen. De experimentele groep of interventiegroep ontvangt of ondergaat de interventie, waarvan men het effect wil vaststellen. De interventie wordt niet toegepast bij de deelnemers in de controle- of vergelijkingsgroep. Zij ontvangen een gangbare of traditionele behandeling (‘care as usual’), een pseudobehandeling (een ‘nepmiddel’ of placebo) of geen behandeling (omdat zij bijv. nog op de wachtlijst staan). De deelnemers zijn, als het enigszins kan, onwetend over de onderzoeksgroep waaraan zij zijn toegewezen (wat in het geval van een wachtlijstconditie uiteraard niet realiseerbaar is). Dit wordt een single blind opzet genoemd. In een double blind procedure weten ook de behandelaars niet of ze te maken hebben met de experimentele conditie of de controleconditie. In de meest beperkte uitvoering vinden bij beide condities twee metingen van de afhankelijke variabele plaats. Tussentijds heeft de interventie plaatsgevonden in de experimentele groep. Veranderingen die tussen de meetmomenten plaatsvinden worden exclusief toegeschreven aan de interventie. Verondersteld wordt namelijk dat de experimentele conditie en de controleconditie, op alle andere aspecten, identiek zijn, dus ook voor wat betreft hun vatbaarheid of ontvankelijkheid voor de storende invloeden.

==

Box 3.4 ‘Effect meten met hindernissen’: het quasi-experimenteel design

=Quasi-experimenteel onderzoek verschilt op één wezenlijk punt van de RCT en dat is dat de deelnemers aan het onderzoek (cliënten, gezinnen, groepen etc.) niet willekeurig aan de onderscheiden experimentele condities worden toegewezen. Omdat daardoor niet op voorhand kan worden aangenomen dat de onderzoeksgroepen op een aantal cruciale kenmerken aan elkaar gelijk zijn, ligt hier een potentiële alternatieve verklaring voor het optreden van effecten (Rossi e.a., 2004; Shadish e.a., 2002). De weg naar de conclusie dat interventie en effect causaal gerelateerd zijn kent dus wat hindernissen. Het voorbeeld waarmee we paragraaf 3.3 begonnen, heeft een quasi-experimenteel onderzoeksontwerp. Het experiment van uw collega wordt uitgevoerd op bestaande Daghulplocaties, waarvan de personele samenstelling en de samenstelling van de betrokken cliëntgroepen als een gegeven wordt beschouwd.

==

Box 3.5 ‘Tenminste verandering, mogelijk effect’: het niet-experimenteel of pre-experimenteel design

=Bij non-experimentele designs ontbreekt een controle- of vergelijkingsgroep. Het onderzoek naar veranderingen ten gevolge van een interventie spitst zich dus toe op één onderzoeksconditie. Bovendien heeft de onderzoeker niet altijd controle over de interventie. Dat wil zeggen, soms kan hij, anders dan bij (quasi-) experimenteel onderzoek, de onafhankelijke variabele niet manipuleren. Bijvoorbeeld omdat de interventie al heeft plaatsgevonden (Saris & Stronkhorst, 1984). De eventueel waargenomen veranderingen kunnen pas als effect worden geïnterpreteerd als (achteraf) de aanspraak op zekerheidsgraden overtuigend kan worden beargumenteerd.

===

3.6 Een zeker bewijs

Zekerheid is geen alles-of-niets toestand. Zij hangt af van de mate waarin de onderzoeker

alternatieve verklaringen voor de gemeten veranderingen overtuigend weet te verwerpen.

Zekerheid is dus gradueel. Op niveau 3 van de effectladder (zie fig. 3.1) resteert een bepaalde

mate van onzekerheid over de causale relatie tussen interventie en het gemeten resultaat. De

bewijsvoering is nog niet helemaal rond, maar de puzzel is, als het ware, bijna gelegd. Op dit

= 49

niveau is het echter niet haalbaar om ‘met een aan zekerheid grenzende waarschijnlijkheid’

uitspraken te doen over causale relaties. Bij maximale zekerheid zeggen we dat ‘het bewijs is

geleverd’. Dit is het type bewijsvoering (‘evidence’) dat we kunnen verkrijgen op de hoogste

sport van de effectladder (niveau 4). De (interne) validiteit van de onderzoeksresultaten is hier

het best gewaarborgd.

Maar als niet alleen het design maatgevend is voor de zekerheid van het bewijs, hoe krijgen

we daar dan wel zicht op? Een handig hulpmiddel is de werkwijze die Reynolds (2004) heeft

uitgewerkt om de interne validiteit te boordelen, aan de hand van zes criteria. Naarmate een

onderzoek aan meer van deze criteria voldoet, wordt het waarschijnlijker dat de relatie tussen

interventie en effect een causale is. De criteria betreffen:

• Consistentie van de relatie. Als een bepaalde interventie (bijv. een opvoedcursus voor

ouders van kinderen met gedragsproblemen) onder uiteenlopende omstandigheden (bij

verschillende populaties, in andere sociale contexten, bij ‘x’ programmavariaties) een

consistent patroon van resultaten laat zien, dan mogen we hieruit concluderen dat deze

interventie effect heeft. Dit is de situatie waar we in figuur 3.2 in de vorige paragraaf aan

refereerden: replicaties dragen bij aan bewijskracht. Dat geldt des te meer als die

replicaties niet alleen in dezelfde omstandigheden worden uitgevoerd, maar ook in

variabele situaties.

• Volgorde van gebeurtenissen (in tijd). Een belangrijk criterium is voorts dat de uitvoering

van de interventie (onafhankelijke variabele) vooraf moet zijn gegaan aan het moment

waarop de uitkomsten (afhankelijke variabele) worden gemeten.

• Statistische relatie. Er dient een (statistisch) aantoonbare relatie te zijn tussen de uitvoering

van de interventie en de uitkomsten van de ingreep (onder overigens gelijkblijvende

omstandigheden). Hoe sterker of groter dit verband is, hoe waarschijnlijker het is dat de

relatie een ‘echt’ effect is.

• ‘Dosis-respons relatie’. Dit criterium, ontleend aan medisch onderzoek, verwijst naar het

verband tussen de mate waarin cliënten de interventie ‘ondergaan’ en de uitkomsten die bij

hen worden gemeten (opnieuw onder overigens gelijkblijvende omstandigheden). Een

hogere dosis (bijv. meer contacturen of deelname aan meer componenten van de

interventie) vertaalt zich in een gunstiger respons. Een dosis-respons patroon rechtvaardigt

de aanspraak op een causaal verband tussen interventie en effect.

• Specificiteit van de relatie. Hier gaat het om de precieze formulering (in de

interventietheorie) van de veranderingen die als gevolg van de interventie worden

verwacht op specifieke gebieden (bijv. toename van prosociaal gedrag) of bij specifieke

groepen (bijv. bij jongeren met een hoog recidiverisico). Als vervolgens juist dit soort

specifieke veranderingen worden gemeten en er zich tegelijkertijd geen wezenlijke

veranderingen aftekenen op andere gebieden (bijv. algemeen welbevinden) of bij andere

groepen (bijv. bij jongeren met een laag recidiverisico), dan mogen we dit opvatten als een

ondersteuning van de causale relatie tussen interventie en effect.

• Samenhangend patroon van bevindingen (coherentie). Dit criterium stelt aan de kaak of de

onderzoeksbevindingen ‘passen op’ de interventietheorie (‘goodness of fit’). We moeten

dan kunnen bevestigen dat de bedoelde interventies daadwerkelijk zijn uitgevoerd bij de

beoogde doelgroep en dat deze inspanningen de gewenste uitkomsten hebben opgeleverd

= 50

(binnen de noodzakelijk geachte organisatorische context). Als dit het geval blijkt, is de

conclusie dat de interventie ook ‘werkt’ zoals bedoeld. Anders gezegd, in de praktijk

blijken de causale mechanismen, zoals die in de interventietheorie zijn verondersteld, de

verandering te kunnen verklaren (zie ook Axford, Little, Morpeth & Weyts, 2005;

Veerman, 2004).

Als een onderzoek aan een van deze criteria voldoet, biedt dat al een basis voor het bewijs dat

een interventie ‘effect’ heeft. Vanzelfsprekend wordt de zekerheid over de causale relatie

groter als gelijktijdig aan meer criteria wordt voldaan (door één onderzoek of door een reeks

van onderzoeken naar dezelfde interventie). Met steeds meer graden van zekerheid kunnen we

dan conclusies trekken over het effect van de interventie. ==

3.7 Aan elk bewijs hangt een prijs

‘Een kwestie van bewijzen …’ luidt de titel van dit hoofdstuk – bewijzen of aantonen dat een

interventie doet waarvoor het ontworpen is: gewenste veranderingen bewerkstelligen bij

cliënten. Wij hopen te hebben laten zien dat er vele wegen naar Rome leiden; voor het

aandragen van evidence staan de onderzoeker, de beleidsmaker en de praktijkwerker tal van

onderzoeksdesigns ter beschikking. Maar welke kan het best worden gebruikt? Een algemeen

advies is niet te geven. Eigenlijk – zo luidt voor sommigen misschien de wat teleurstellende

conclusie – zijn ze allemaal even geschikt. Elke planner van onderzoek, elke manager of

opdrachtgever zal hierin zijn eigen afwegingen moeten maken. Daarbij zal ‘de prijs’ die hij

voor het gewenste bewijs kán of wíl betalen van doorslaggevend belang zijn. ‘Prijs’ moet

allereerst letterlijk worden opgevat: hoeveel tijd en geld heeft men er voor over om

effectonderzoek uit te voeren? Opvattingen over ‘nut en noodzaak’ van het onderzoek bepalen

voor een belangrijke deel hoeveel men wil investeren. Experimenteel onderzoek (de RCT)

heeft een grote potentiële bewijskracht, maar heeft als bezwaar dat het een groot beslag legt

op mensen en middelen. Daarnaast betaalt men ook inhoudelijk een prijs. Twee aspecten

willen we hiervan belichten.

Ten eerste de ethische kant van de methodekeuze. Zo is het voorstelbaar dat het niet ethisch is

om een (even hulpbehoevende) controlegroep doelbewust een potentieel doeltreffende ingreep

te onthouden of, willens en wetens, een (in potentie) minder effectieve interventie aan te

bieden. Hiermee vergelijkbaar is het de vraag of het verdedigbaar is dat sommige cliënten,

uitsluitend om onderzoeksredenen, een interventie in volle omvang ontvangen, terwijl

anderen bepaalde onderdelen niet ontvangen (dosis-respons). Het is aan de betrokkenen bij

het onderzoek om deze en dergelijke afwegingen te maken (vgl. Axford e.a., 2005; Shadish

e.a., 2002).

Ten tweede, in termen van validiteit van de onderzoeksresultaten wordt ook altijd een prijs

betaald. Met de wens om ‘effecten’ (in de causale zin van het woord) te meten, zit men al snel

op het spoor van (quasi-) experimentele designs, omdat daarmee de interne validiteit

(redelijk) goed is gewaarborgd. Maar het realiseren van een zo hoog mogelijke interne

validiteit gaat vaak ten koste van de generaliseerbaarheid of de externe validiteit. De

onderzoeker boetseert als het ware de werkelijkheid. Hij probeert zodanige condities te

creëren dat de kans van het optreden van een bepaald effect zo groot mogelijk is, door er

tegelijkertijd voor te zorgen dat storende factoren een (hooguit) minimale invloed kunnen

hebben. Dit wordt wel het ‘maxmincon-principe’ genoemd: het maximaliseren van de

= 51

effecten door het minimaliseren van storende factoren en het controleren van de interventie

(Veerman, 2004). Het risico ligt voor de hand. Door alle ingrepen ontstaat een situatie die

geen getrouwe afspiegeling (meer) is van hoe het er in de praktijk werkelijk aan toe gaat. De

onderzoeksomgeving is vervreemd van de praktijk en niet meer (voldoende) representatief.

Het tegenovergestelde gebeurt ook: een zwaar accent op externe validiteit betekent dat het

onderzoek vaak inlevert op interne validiteit (vgl. Axford e.a., 2005).

Kortom, bij voorbereiding op elk onderzoek moeten de betrokkenen (de onderzoekers, de

beleidsmakers, de praktijkwerkers etc.) vaststellen welke prijs (of prijzen) zij bereid zijn te

betalen. In het spanningsveld van wat praktisch haalbaar, inhoudelijk wenselijk en

methodologisch vereist is, dienen zij hun positie te bepalen. Waar het optimum ligt, is van

geval tot geval anders. De volgende vragen kunnen als leidraad dienen bij de bepaling van een

standpunt.

a. Hoe luidt de onderzoeksvraag of –opdracht: moet in termen van effect (causaliteit) worden

gerapporteerd?

b. Is er voldoende budget om een omvangrijk experimenteel onderzoek (in de vorm van een

RCT) uit te voeren?

c. Wat is de status van de interventie: gaat het om een goed gedocumenteerd, methodisch en

theoretisch min of meer uitgekristalliseerd programma?

d. Is het mogelijk om een of meer controle- of vergelijkingsgroepen samen te stellen?

e. Wordt het (ethisch) aanvaardbaar gevonden om de controle- of vergelijkingsgroepen de

interventie geheel of gedeeltelijk te onthouden?

f. Is randomisatie mogelijk? Kunnen cliënten willekeurig worden toegewezen aan

onderzoekscondities?

g. Is het mogelijk om een voor- of nulmeting te doen?

h. Is al eerder onderzoek gedaan naar de uitkomsten van de interventie of naar een (min of

meer) verwante vorm?

Als het antwoord op de vragen 1 tot en met 7 ‘nee’ is, dan ligt een non-experimenteel design

(niveau 3 van de effectladder) voor de hand. Zeker als de opdracht slechts bestaat uit het

verkrijgen van een eerste indruk van gerealiseerde veranderingen, of de interventie nog

methodisch en theoretisch sterk in ontwikkeling is, heeft het weinig zin of al met

experimenteel onderzoek te starten. Naarmate meer vragen met ‘ja’ worden beantwoord,

lijken er op voorhand meer garanties te bestaan voor de interne validiteit. Quasi-

experimenteel onderzoek en uiteindelijk experimenteel onderzoek (RCT; niveau 4) komen

dan allengs meer in zicht.

De vraag naar eerder onderzoek (vraag 8) heeft een andere achtergrond. Een bevestigend

antwoord zou kunnen betekenen dat geprofiteerd kan worden van elders opgebouwde kennis

over de causale relatie tussen interventie en effect (hoe pril dan ook). Mocht dat inderdaad zo

zijn, dan legt dit in nieuwe gevallen een minder grote druk op de interne validiteit van het

onderzoek. Immers, een aantal zekerheidsgraden wordt als het ware meegenomen vanuit het

bestaande bewijsmateriaal (evidence). Een tweede RCT (niveau 4) voor een interventie is dan

misschien niet meer noodzakelijk. In plaats daarvan zou een goed opgezet

veranderingsonderzoek (niveau 3) kunnen volstaan. Als het bewijs uitsluitend op

veranderingsonderzoek (niveau 3) is gebaseerd, moet hieraan de eis worden verbonden dat het

gewicht van dit materiaal bestaat uit meerdere onderzoeken. Natuurlijk biedt dit bouwwerk

van afzonderlijke onderzoeken meer zekerheid naarmate de bevindingen sterker met elkaar

= 52

overeenkomen. Langs deze weg kan de praktijk – zelfs met betrekkelijk bescheiden middelen

– het effect van haar werk met cliënten bewijzen.

Hoe ziet dit alles nu in de praktijk eruit? In dit hoofdstuk is het vraagstuk van de bewijskracht

in algemene zin aan de orde gesteld. In de volgende delen zullen illustraties volgen van

onderzoeken die de effectiviteit van een interventie in meer of mindere mate aantonen. Ook

zullen er uitwerkingen volgen van onderzoeksopzetten die in de praktijk vrij gemakkelijk te

realiseren zijn en die – zeker bij voldoende herhaling van de studies – bij elkaar redelijk veel

aanwijzingen voor de effectiviteit van een interventie kunnen opleveren. Langs deze weg zijn

de interventies van het niveau ‘veelbelovend’ naar de niveaus ‘doeltreffend’ of ‘werkzaam’ te

brengen. In dit hoofdstuk is daarvoor het kader aangereikt. De uitwerkingen volgen.

3.8 Bronvermelding

Axford, N., Little, M. Morpeth, L. & Weyts, A. (2005). Evaluating Children’s Services: recent conceptual and

methodological developments. British Journal of Social Work, 35, 73-88.

Barkham, M., & Mellor-Clark, J. (2003). Bridging evidence-based practice and practice-bases evidence.

Developing a rigorous and relevant knowledge for the psychological therapies. Clinical Psychology and

Psychotherapy, 10, 319-327.

Bijl, B. (1996). Innovaties in de jeugdhulpverlening. Over het rendement en de soliditeit van nieuwe

programma's. Leiden: DSWO Press (academisch proefschrift).

Loon, D. van & Meulen, B. van der (2004), Effectonderzoek naar vroegtijdige orthopedagogische interventies.

Methodologische moeilijkheden en mogelijkheden. Amsterdam: Boom.

Reynolds, A.J. (2004). Research on early childhood interventions in the confirmatory mode. Children and Youth

Services Review, 26, 15-38.

Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation: A Systematic Approach (7e druk). Thousand

Oaks: Sage Publications.

Saris, W.E. & Stronkhorst, L.H. (1984). Causal Modelling in Nonexperimental Research. An introduction to the

LISREL approach. Amsterdam: Sociometric Research Foundation.

Shadish, W.R., Cook, T.D. & Campbell, D.T. (2002). Experimental and quasi-experimental designs for

generalized causal inference. Boston/New York: Houghton Mifflin Co.

Veerman, J.W. (2004). Wanneer mogen we over effect spreken? Notitie over causaliteit bij effectonderzoek in de

zorgpraktijk. Nijmegen: Radboud Universiteit/Praktikon.

= 53

Hoofdstuk 4. Praktijk, beleid en wetenschap verbinden

Tom van Yperen, Jan Willem Veerman en Bas Bijl ==

4.1 Circuits verbinden

In de vorige hoofdstukken is de aandacht uitgegaan naar de verschillende niveaus van

effectiviteit en de wijze waarop van het ene naar het andere niveau is te komen. Belangrijk

uitgangspunt daarbij is dat het belang van de praktijkfunctionarissen bij elke stap voorop

staat. Praktijkgestuurd effectonderzoek geeft immers antwoord op vragen van praktijkwerkers

over de resultaten van hun werk. Hun interessen staan dan ook bij dit type studie centraal.

Maar niet alleen praktijkwerkers hebben belang bij dit onderzoek. Ook beleidsmakers zijn er

mogelijk in geïnteresseerd. Immers, zij kunnen met gegevens over de effectiviteit van het

aanbod beleid in gang zetten om geld vrij te maken voor de verdere ontwikkeling van de

interventies. Een probleem is wel dat het uitvoeren van onderzoek niet de ‘corebusiness’ van

praktijkwerkers. Van oudsher zijn het wetenschappers die zich met die activiteit bezighouden.

Zij zijn dan ook doorgaans diegenen die voor de opzet, de uitvoering of de ondersteuning van

het onderzoek uitgenodigd worden om deel te nemen. Het resultaat is dat er bij

praktijkgestuurd onderzoek vaak drie ‘partijen’ in het spel zijn: praktijkwerkers,

beleidsmakers en onderzoekers. Van belang is nu te beseffen dat deze ‘partijen’ niet per

definitie dezelfde kijk op het onderzoek hebben. Elk neemt belangen en interesses mee die

kenmerkend zijn voor het circuit waartoe ze behoren. De vraag is dan hoe zowel praktijk,

beleid en wetenschap van het onderzoek kunnen profiteren, zonder dat de belangen en

interesses van de verschillende partijen een belemmering vormen voor het gebruik in de

praktijk. Om dat te kunnen beoordelen is het nodig drie circuits van nabij te gaan bekijken: de

praktijk van het primaire proces, het beleid en de wetenschap. Door de belangen en

mogelijkheden binnen elk circuit te expliciteren, kan er een vruchtbare wisselwerking gaan

ontstaan. Ook kunnen mogelijke belangentegenstellingen duidelijk worden gesignaleerd en

ingecalculeerd.

De drie circuits worden in de paragrafen 4.2 tot en met 4.4 elk afzonderlijk besproken. We

doen dat sterk profilerend, soms misschien erg zwart-wit, om de verschillende belangen en

interesses zo scherp mogelijk te kenschetsen. Vervolgens gaat in paragraaf 4.5 de aandacht uit

naar de verbinding tussen die circuits. Het leggen van die verbinding biedt veel

mogelijkheden om de praktijk van de hulpverlening, het functioneren van de

hulpverleningsorganisatie en het wetenschappelijk onderzoek naar de effectiviteit van de hulp

vooruit te brengen. In paragraaf 4.6 maken we aan de hand van enkele voorbeelden duidelijk

dat er bij het uitwerken van de verbindingen er belangentegenstellingen kunnen voordoen die

moeten worden overbrugd. In paragraaf 4.7 volgt een samenvatting van het voorgaande.

= 54

4.2 De praktijk van het primaire proces

In het primaire proces staat de concrete hulpverlening aan cliënten centraal. Deze

hulpverlening wordt gekenmerkt door een interactie tussen hulpverlener en cliënt. In dit

interactieproces brengt men de problematiek in beeld, stelt men de hulpvraag vast, worden de

doelen van de hulp bepaald, de hulp uitgevoerd en uiteindelijk bepaald of de doelen zijn

bereikt. Dit proces is met de volgende kenmerken te typeren.

• Het belang van de hulpverlener is cliënten goed te helpen. Hier is het proces op gericht.

• De focus van de hulpverlener is sterk gericht op ‘zijn’ cliënten, of ‘zijn’ doelgroep en de

daarbinnen voorkomende variëteit aan gezinnen, jeugdigen en ouders.

• Evaluatie maakt een vast onderdeel uit van de dagelijkse praktijk van de hulpverlening. De

hulpverlener heeft in zijn opleiding geleerd deze evaluaties te gebruiken, hetzij in het kader

van het individuele hulpverleningsplan bij casus X of Y, hetzij in het kader van de meer

algemene reflectie op zijn handelen en de verdere optimalisering van zijn aanpak.

• De hulpverlener is gewend zijn werkwijze te evalueren in een cyclus waarin de casuïstiek centraal staat (figuur 4.1): onderzoek met de cliënt wat het probleem is en wat de hulpvraag is (Vraag), stel doelen en plan de hulp (Plan), voer de hulp uit (Hulp), evalueer de hulp (Eval). Deze werkwijze staat ook wel bekend als de regulatieve cyclus (Van Strien, 1984).

Figuur 4.1 De hulpverleningscyclus

Dit model heeft in handboeken voor diagnostiek en indicatiestelling diverse uitwerkingen

gekregen. In de bureaus jeugdzorg volgt men een soortgelijk model. De vraaganalyse is

daar verder uitgesplitst in de zogeheten diagnostische cyclus (voorafgegaan door de

aanmelding en acceptatie van de cliënt):

o Analyse: analyseren en taxeren van informatie over klacht en hulpvraag, aard en ernst van de problematiek, risico- en beschermende factoren, oplossingsmogelijkheden en aangrijpingspunten voor in te zetten hulp;

o Conclusie: kernachtige samenvatting / integratie van de klacht, hulpvraag of

hulpbehoefte van de cliënt, aard / ernst van de problematiek, risico- en beschermende factoren, verklaring (ontstaan/voortbestaan) van de problematiek of de beperking, oplossingsmogelijkheden en prognose;

o Vaststellen benodigde zorg: bepaling van doelen en argumentatie wat de cliënt aan

middelen nodig heef om het probleem te kunnen oplossen / hanteren.

Vraag

Plan Hulp

Eval

Vraag = Stel hulpvraag op Plan = Stel doelen, plan hulp Hulp = Voer hulp uit Eval = Evalueer de hulp

= 55

(Eijgenraam & Van der Steege, 2005).

In de verschillende uitwerkingen van de hulpverleningscyclus is de evaluatie van de

effecten van de hulp een vast onderdeel. De hulpverlener optimaliseert aan de hand van dit

soort evaluaties niet alleen het individuele hulpverleningsproces. De werkwijze in het

primaire proces ontwikkelt zich aan de hand van dergelijke evaluaties voortdurend.

Hulpverleners leren hun lessen op basis van hun ervaring en stellen naar aanleiding van de

bevindingen hun persoonlijke werkwijze met cliënten bij. Langs deze weg bouwt hij

algemene kennis en ervaring op met betrekking tot vragen als: Hoe kan ik het type cliënt

waar ik veel mee te maken heb het beste helpen? Hoe kan ik de hulpverleningsdoelen het

beste bereiken? Bij sommige van mijn cliënten mislukt de hulpverlening. Hoe kan ik dat

voorkomen? Bij andere cliënten verloopt de hulp heel goed. Hoe kan ik dat vaker

bereiken? Deze kennis is vaak niet geëxpliciteerd, maar bevindt zich ‘tussen de oren’ en

‘in de vingers’ van de praktijkwerkers.

• De maatstaf om te bepalen of de hulp voldoende effectief is, ligt bij de hulpvragen van de

cliënten (zijn deze voldoende beantwoord?) en bij de doelen van de hulpverleningsplannen

(zijn deze gerealiseerd?). Een criterium om van een geslaagde hulp te spreken is verder of

de cliënten en de hulpverlener zelf tevreden zijn.

• De hulpverlener is bij het bepalen van effecten niet geneigd tests en vragenlijsten als

meetinstrumenten te gebruiken (Eijgenraam, Bothof & Van Yperen, 2001; Van Yperen,

Van den Berg & Eijgenraam, 2002). Aan het kwalitatieve (en subjectieve) oordeel van

verschillende deelnemers aan het hulpverleningsproces hecht men veel belang. Dat oordeel

is vaak gebaseerd op ´het timmermansoog´.

• Als hulpverleners hun gegevens verzamelen op het algemene niveau van al ‘hun’ cliënten,

hun afdeling, of hun team, dan is dat om te reflecteren op hun werk, en om die reflecties te

gebruiken voor de verbetering van het concrete hulpverleningsproces. Overzichten van

gegevens moeten snel na het verzamelen worden teruggekoppeld en herkenbaar zijn voor

de concrete praktijk, willen ze voor de hulpverlener interessant zijn. Hulpverleners ervaren

gegevensverzameling als een last als de informatie niet in het hulpverleningsproces te

gebruiken is, of als ze pas laat of op een te abstract niveau wordt teruggerapporteerd.

Al met kenmerkt het primaire proces door een sterke en directe oriëntatie op de concrete

casuïstiek en de vragen en behoeften die bij de hulpverleners in dat verband leven. Evaluatie

maakt deel uit van het werkproces van de hulpverleners en is vaak kwalitatief van aard. Als de

hulpverleners verzamelde gegevens op bovenindividueel niveau gebruiken, dan is dat om de

bevindingen direct en herkenbaar op hun eigen werk te betrekken.

4.3 Het beleid

Een belangrijke doelstelling van beleid is de kwaliteit van de hulpverlening vast te stellen,

daarover verantwoording af te leggen en de kwaliteit – waar nodig – via maatregelen te

verbeteren. Dat beleid is op verschillende niveaus te situeren, zoals: de instelling (de directie

en het management), de gemeente of provincie (de gezamenlijke instellingen, de ambtenaren,

de politiek) en op landelijk niveau (de brancheorganisaties, de ministeries).

= 56

Er zijn modellen in omloop die aangeven welke aspecten van de hulpverlening bij die

kwaliteitsvraag aan de orde zijn. Het model voor de Harmonisatie Kwaliteitsbeoordeling

Zorgsector (HKZ) en het model van het Instituut voor Nederlandse Kwaliteit (INK) zijn

daarbij de meest gebruikte. Voor een handzame samenvatting en vergelijking van deze

modellen, zie Diephuis (2004). De kwaliteitseisen in deze modellen hebben betrekking op

verschillende aspecten van de organisatie: enerzijds de ‘productiefactoren’ zoals het

personeel, de materiële middelen, de werkprocessen, en anderzijds de ‘uitkomst- of

resultaatfactoren’ zoals de tevredenheid van de klanten, of de mate waarin belangrijke

maatschappelijke problemen worden opgelost.

Als het gaat om het werken met dit soort modellen, laat het beleid zich als volgt kenmerken.

• Het primaire belang ligt erin te bezien of de hulpverleningsorganisatie, een groep

instellingen, een werksoort of een hele sector aan de belangrijkste kwaliteitseisen voldoet.

De eisen gelden ten aanzien van zowel het resultaat van de hulp, als de context waarin dat

resultaat tot stand komt (de randvoorwaarden, de organisatie, etc. – die ook hoofdstuk 1).

• De focus van de beleidsmaker is niet gericht op de individuele cliënt, maar op de sector of

de organisatie als geheel, of op deelsectoren, of afdelingen, doelgroepen of hulpvormen

binnen de organisatie.

• Net als de hulpverlener, wil de beleidsmaker de hulpverlening optimaliseren. De

managementliteratuur presenteert in dat verband vaak een stappenmodel dat wordt

aangeduid als Nolan’s PDSA-cyclus (Langley, Nolan, Nolan & Provost, 1996; figuur 4.2):

formuleer welke kwaliteitseisen gelden ten aanzien van de resultaten van de hulp en stel

een plan op om de uitvoering daarop te toetsen (P = Plan); voer het plan uit (D = Do);

bestudeer de resultaten (S = Study); zorg indien nodig voor bijsturing en verbeteracties (A

= Act).

Figuur 4.2 Kwaliteitsontwikkeling in beleid: de PDSA-cyclus

• De maatstaven om al dan niet van goede kwaliteit te spreken, worden bepaald door de

doelen die door de doelen die de financier, de politiek, de cliënten- of de

beroepsorganisaties met de instellingen voorhebben en de kwaliteitsnormen die men

daarbij hanteert. Prestatie-indicatoren geven aan hoe goed of slecht de organisatie scoort

ten aanzien van die normen (zie ook box 4.1). Om op instellingsniveau de resultaten van de

hulp in beeld te brengen, gebruikt men bijvoorbeeld als indicatoren: ‘het percentage

cliënten dat op de tevredenheidsschaal een 8 of hoger scoort’ en ‘het percentage cliënten

dat aangeeft dat de doelen van de hulp zijn gehaald’. De normen die hier voor een goede

kwaliteit gelden, zijn bijvoorbeeld: minstens 85% moet op de tevredenheidsschaal een 8 of

hoger scoren èn bij minstens 70% moeten de doelen zijn gehaald.

P

D S

A

P = Stel eisen en plan toetsing (Plan) D = Voer plan uit (Do) S = Bestudeer de resultaten (Study) A = Zorg voor verbeteracties (Act)

= 57

• Scores op prestatie-indicatoren worden bepaald aan de hand van registraties, al dan niet

afkomstig uit meetinstrumenten (vragenlijsten, tests, beoordelingsschalen) die de

hulpverlener gebruikt.

• Kenmerkend is verder dat de prestaties periodiek worden opgemaakt. Dat kan bijvoorbeeld

gebeuren in beleidscycli van een jaar, in het circuit van het opmaken van een

kwaliteitsjaarverslag. Ook kan het voorkomen dat er frequenter overzichten worden

gemaakt, bijvoorbeeld in het circuit van specifieke kwaliteitstrajecten.

Kwaliteitsvraagstukken op het niveau van de organisatie staan hier centraal. Prestatie-

indicatoren geven daarbij aan wat de belangrijkste ´meetpunten´ zijn waaraan de kwaliteit is

te bepalen. De geformuleerde normen zijn belangrijke ijkpunten om de gemeten prestaties

tegen af te zetten. Scoort de organisatie onder de norm, dan is dat een belangrijke aanleiding

om de vraag op te werpen: hoe kan ik beter presteren? Haalt men de norm, dan hoeft men niet

zelfgenoegzaam achterover te leunen. De norm kan worden opgetrokken (bijvoorbeeld: over

een jaar zijn bij 80% van de cliënten zijn de doelen gehaald!). Verbeteracties kunnen er

vervolgens op gericht zijn om ook weer aan die nieuwe norm te gaan voldoen.

Box 4.1 Prestatie-indicatoren

Een prestatie-indicator is een onderwerp waarop gemeten wordt in welke mate een prestatie wordt geleverd. Er bestaan vele aspecten waarop prestatie-indicatoren betrekking op kunnen hebben: niet alleen resultaten van de hulp, maar ook bijvoorbeeld de kwaliteit van het hulpverleningsproces (voor een overzicht zie Groenewoud & Huijsman, 2003). Een belangrijk uitgangspunt is daarbij dat de prestatie-indicator is ingebed in een systeem van evaluatie en verbetering van de organisatie. Er zijn verschillende modellen gemaakt die handen en voeten geven aan dit uitgangspunt. Een bekend model in dat kader in de Balanced Scorecard (zie Ahaus & Diepman, 1998). De kern daarvan komt op het volgende neer: • Een organisatie heeft een visie of een missie ten aanzien van wat zij wil bereiken. • Deze missie/visie leidt tot de benoeming van factoren die het succes van de organisatie op korte en langere termijn

bepalen. Die factoren kunnen op verschillende aspecten betrekking hebben (in de figuur: klanten, financieel, bedrijfsprocessen, lerend vermogen).

• Een prestatie-indicator is een meetbare eenheid die aangeeft in welke mate een succesbepalende factor aanwezig is.

• Een doel is in het model opgevat als een te bereiken waarde op de prestatie-indicator (bijvoorbeeld: criminaliteitspreventie bij Harde-Kern-jeugdigen is geslaagd als de recidive is teruggebracht naar 20% of minder). In de jeugdzorgsector spreken we hier liever van een norm.

• Uitgangspunt is dat de prestatie-indicatoren iemand of iets in de organisatie moeten aanspreken op een verantwoordelijkheid en een bevoegdheid. Immers, wat heeft het voor zin om te meten dat de recidive 80 % is, en vervolgens niemand in de organisatie verantwoordelijk is om daar iets mee te doen en niemand ook bevoegd is om er wat aan te doen?

• Om de prestaties te realiseren, worden er verbeteracties gekozen en ingezet. Deze acties worden idealiter zo gekozen, dat deze maximaal bijdragen aan de succesbepalende factoren en daarmee ook aan de realisering van de missie of de visie.

De kunst is dus om die prestatie-indicatoren te selecteren, die een bijdrage leveren aan een doelbewuste én (be)stuurbare verbetering die past bij de belangrijkste taken van de organisatie.

4.4 De wetenschap

Het wetenschappelijk circuit bevindt zich in belangrijke mate in universitaire

onderzoekscentra en andere wetenschappelijke onderzoeksinstituten. Dit circuit heeft de

volgende kenmerken.

• Het primaire belang van de wetenschapper is kennis vergaren, theorieën opbouwen, deze

theorieën toetsen en over de bevindingen publiceren in wetenschappelijke tijdschriften.

= 58

• Ook een onderzoeker hanteert een model waarin evaluaties worden benut om tot

verbetering te komen, in dit geval verbetering van zijn theorieën. Daar heten de stappen:

observeer, verzamel en groepeer feitenmateriaal (Orden); stel inductief een theorie op en

leidt deductief hypothesen af in de vorm van toetsbare voorspellingen, in dit geval over

‘wat werkt’ in de hulpverlening (Th); voer een onderzoek uit om de hypothesen te testen

(Test); evalueer de bevindingen (Eval); groepeer al het feitenmateriaal opnieuw, ook met

gegevens van andere, nieuwe onderzoekingen etc. Deze werkwijze staat bekend als de

empirische cyclus (vgl. De Groot, 1968).

Figuur 4.3 De empirische cyclus in de wetenschap

• De focus van de wetenschappelijk onderzoeker is daarbij niet primair gericht op instelling

A of B of op het werk van hulpverlener X of Y. De onderzoeker wil over personen en

instellingen heen kunnen generaliseren; de kennis en theorie moet daarom zo algemeen

mogelijk geldig zijn.

• Bij de maatstaven die de onderzoeker aanlegt om al dan niet van effectiviteit te spreken,

speelt de mate waarin het onderzoek en de resultaten geaccepteerd worden door het

wetenschappelijk forum een belangrijke rol. Een goede doordenking vooraf, een gedegen

onderzoeksopzet en een adequate analyse van de resultaten zijn daarbij van groot belang.

Zo wordt een effect pas van belang geacht, als analyses laten zien dat resultaten statistisch

significant zijn en als er gecontroleerd is op allerlei storende invloeden die het resultaat

ook beïnvloed kunnen hebben. Belangrijk is daarbij tevens dat de resultaten van het

onderzoek iets toevoegen aan de theorievorming of het kennisbestand. Oud nieuws is voor

wetenschappers zelden goed nieuws, tenzij het om een doelbewuste replicatiestudie gaat.

• De wetenschapper verzamelt zijn gegevens bij voorkeur aan de hand van tests,

vragenlijsten of beoordelingsschalen die op betrouwbaarheid en validiteit zijn getest.

• Om een wetenschappelijk onderzoek goed voor te bereiden, op een gedegen manier uit te

voeren, te analyseren en te rapporteren is doorgaans veel tijd nodig. Niet zelden geschiedt

het onderzoek in het kader van een dissertatie. Studies die enkele jaren duren zijn geen

bijzonderheid.

Een enkel effectonderzoek in een instelling kent vanuit het wetenschappelijk perspectief

geredeneerd allerlei beperkingen. Het hoort bij het werk van de wetenschapper om bij die

beperkingen uitgebreid stil te staan en van daaruit de resultaten van de studie te relativeren.

Niettemin vormt een enkelvoudig onderzoek in een instelling een steen in een bouwwerk dat

bestaat uit een verzameling van studies in allerlei instellingen. Wetenschappers hechten dan

ook veel belang aan overzichtsstudies (reviews, meta-analyses), om daaruit af te leiden wat de

globale trends zijn in de resultaten van het effectonderzoek, en welke factoren met een hoge

of lage uitkomst lijken samen te hangen. Met behulp van dit soort overzichten wil de

Orden

Test

Eval

Theor Orden = Verzamel, groepeer feiten Theor = Stel theorie, hypothesen op Test = Toets hypothesen Eval = Evalueer bevindingen

= 59

wetenschapper bijdragen aan de formulering van steeds trefzekere regels over ‘Wat werkt’ in

de hulpverlening in het algemeen, bij specifieke doelgroepen of bij bepaalde hulpvormen. Het

tot stand komen van dergelijke overzichten vergt een lange adem: het duurt vaak vele jaren

voordat er voldoende zicht komt op wat nu wel en niet werkt.

4.5 Verbinden met het oog op praktijkverbetering

In de voorgaande paragrafen zijn drie circuits geschetst waarin hulpverleners, beleidsmakers

en wetenschappers hun werk doen. Figuur 4.4 vat samen wat de kenmerken van de drie

circuits zijn. Ze zijn hier geschetst als drie duidelijk verschillende typen. De werkelijkheid is

een stuk genuanceerder. Veel beleidsmakers werken met hulpverleners samen om in hun

organisatie zicht te krijgen op de kwaliteit van het werk en om verbeterslagen door te voeren.

Hetzelfde geldt voor samenwerkende onderzoekers en hulpverleners. Er zijn ook

praktijkwerkers die hun werk zelf vanuit een wetenschappelijk circuit weten te evalueren – en

daar bijvoorbeeld in een meerjarig traject een dissertatie aan wijden.

Circuit

Primair proces Beleid Wetenschap

Focus Individuele cliënt en hulpverlener (‘microniveau’ of N=1), alsook voor hulpverlener relevante en herkenbare doelgroepen.

De organisatie als geheel, of afdelingen, doelgroepen of hulpvormen binnen de organisatie.

Generaliseerbare kennis en theorie (niet gebonden aan specifieke instellingen), t.a.v. werksoorten, doelgroepen, hulpvormen.

Vraag naar optimalisering

Hoe kan ik de hulpverlenings-doelen het beste bereiken? Hoe kan ik mijn werkwijze verbeteren?

Hoe kan ik (nog beter) aan de doelen van de organisatie en de kwaliteitsnormen voldoen?

Kan ik (nog meer) precies aangeven ‘wat werkt’ bij welke doelgroepen?

Verbetercyclus Hulpverleningscyclus • Vraaganalyse • Hulpverleningsplan • Uitvoering • Evaluatie

Kwaliteitscyclus (PDSA) • Planning (Plan) • Doen (Do) • Studie (Study) • Verbeteractie (Act)

Empirische cyclus • Ordening feiten • Theorie + Plan onderzoek • Onderzoek en toetsing • Evaluatie

Belang bij evaluatie of effectonderzoek

Vooruitgang in de hulp bepalen en nagaan of doel is bereikt. Bijdragen aan verbetering werkwijze eigen praktijk.

Bepalen of de organisatie voldoet aan kwaliteitseisen (ter verantwoording en/of verbetering). Bijdragen aan optimalisering.

Kennis vergaren, theorie opbouwen over ‘wat werkt’ in de hulpverlening en daarover publiceren. Bijdragen aan verbetering kennis en theorie.

Maatstaf Het bereiken van hulpverleningsdoelen, tevreden cliënt, tevreden hulpverlener.

Het bereiken van beleids- en organisatiedoelen, voldoen aan kwaliteitsnormen t.a.v. de resultaten van de hulp.

Een door het wetenschappelijk forum geaccepteerde verbetering van kennis en theorie t.a.v. ‘wat werkt’.

Toetsing aan de hand van

Oordelen van betrokkenen. Registraties, al dan niet met instrumenten.

Betrouwbare en valide meet-instrumenten.

Tijdsbestek De duur van het hulpverlenings-proces.

De duur van beleidscycli of van kwaliteitsprojecten.

Lange adem (soms over vele jaren heen).

Figuur 4.4 Vergelijking circuits effectonderzoek

==

De verbinding ligt echter ook in de wisselwerking die in hoofdstuk 1 is geschetst. Evaluaties

in het primaire proces leveren immers de benodigde practice-based evidence. De

wetenschappelijke cyclus kan die kennis verder ordenen, er een theorie op bouwen over ‘wat

werkt’ en dit aan verdere toetsing onderwerpen. Dat levert weer belangrijke gegeneraliseerde

kennis die nodig is voor de evidence-based practice. Het beleid neemt daarbij een belangrijke

= 60

sleutelpositie in. Door hulpverleners in staat te stellen mee te doen aan onderzoek, helpt het

beleid mee aan de opbouw van praktijkkennis die tot verbeteracties kan leiden. Andersom

geldt dat het beleid de hulpverleners in staat kan stellen – bijvoorbeeld via bijscholing,

deelname aan congressen e.d. – kennis te nemen van nieuwe wetenschappelijke inzichten.

Ook kan ze actief beleid voeren om hulpvormen die op basis van wetenschappelijk onderzoek

effectief zijn gebleken in eigen huis in te voeren.

De geschetste circuits kunnen elkaar dan ook voor een belangrijk deel aanvullen. Dat gebeurt

zeker, waar er sprake is van meer systematische vormen van praktijkontwikkeling, waarin

hulpverleners, kwaliteitsfunctionarissen en wetenschappers in het kader van een project

samenwerken om een hulpverleningsmethodiek steeds hoger op de effectladder te brengen.

Praktijkgestuurd effectonderzoek is er nu op gericht om ten behoeve van de

praktijkontwikkeling een slimme verbinding te maken tussen de verschillende circuits (zie

figuur 4.5). ========================

Figuur 4.5 De circuits van effectonderzoek jeugdzorg in wisselwerking.

In de lijn met wat in hoofdstuk 1 is geschetst, geldt bij het maken van die verbindingen een

drietal uitgangspunten.

• Aansluiting. De onderzoeksopzet sluit aan bij praktijk en de ontwikkelingsfase van de

hulpverlening. Als de interventie waarop het onderzoek is gericht nog in ontwikkeling is,

werkt het onderzoek met een opzet en met methoden die ervoor zorgt dat de interventie een

stap verder wordt geholpen. Het onderzoek loopt, met andere woorden, niet teveel stappen

vooruit.

• Inbedding. Het onderzoek past qua opzet, meetinstrumenten en belasting van hulpverleners

goed bij het werk en de vragen interesses van de praktijkwerkers. De instrumenten zijn

goed hanteerbaar. De gegevens die ermee worden vastgelegd, zijn voor de hulpverlener

Weten-schap

(de empirische

cyclus)

Primaire proces (hulp-

verlenings-cyclus)

Beleid (PDSA-cyclus)

Practice-

Based

Evidence

Evidence-

Based

Practice

= 61

bruikbaar en beschikbaar in het kader van zijn primaire kwaliteitscyclus

(hulpverleningsplan, uitvoering, evaluatie, bijstelling, etc.).

• Benutting. De verzamelde gegevens worden gebruikt om de effectiviteitvragen te

beantwoorden op het niveau van hulpvormen of doelgroepen die voor de hulpverlener

herkenbaar en relevant zijn. Voor een belangrijk deel zullen dit ook vragen zijn die in het

kader van kwaliteitsbeleid en wetenschappelijk onderzoek aan de orde zijn. Er wordt

echter op gelet dat de resultaten altijd naar de hulpverlener worden teruggekoppeld op een

voor hem begrijpelijke en motiverende manier, en dat hij wordt gestimuleerd en

ondersteund bij het gebruik van de gegevens om de kwaliteit van zijn werk te

optimaliseren.

Het praktijkgestuurd effectonderzoek diskwalificeert niet het onderzoek dat uitsluitend in het

kader van kwaliteitsbeleid of wetenschappelijk onderzoek gebeurt. Integendeel, dat werk is

van groot belang om verbeteringen in organisaties, theorievorming en kennisvermeerdering

tot stand te brengen. De verschillende circuits kunnen elkaar in die zin sterk voeden. Daarbij

zijn de volgende mogelijkheden denkbaar (zie ook figuur 4.6).

Primair proces Beleid Wetenschap

• Gegevensbron

• Vindplaats succesvolle praktijken

• Proeftuin nieuwe aanpak

• Afzetgebied ontwikkelde hulpvormen

• De uiteindelijke toetssteen van verbeteracties (“Wordt de hulpverlening er beter van?”)

• Plaats binnen organisatie voor bezinning op kwaliteit

• Middelen voor bundeling gegevens over kwaliteit

• Middelen voor uitwisseling praktijkkennis

• Middelen voor uitvoering verbeteracties

• Plaats voor kritische en onafhankelijke reflectie

• Vindplaats van theorieën

• Bron van en middelen voor methoden en technieken van onderzoek

• Kennisbron verbeteracties m.b.t. ‘wat werkt’

Figuur 4.6 Wat hebben de circuits aan elkaar?

=

In praktijkgestuurd onderzoek is het primaire proces een belangrijke gegevensbron om vragen

in het kader van kwaliteitsbeleid en onderzoek te beantwoorden. Daarmee is het ook een

vindplaats voor succesvolle en minder succesvolle praktijken: via kwaliteitsmonitors en

onderzoek kunnen deze boven komen drijven. Maar tegelijk is de praktijk van de

hulpverlening ook een belangrijke proeftuin voor vernieuwingen die primair vanuit het

kwaliteitsbeleid en het wetenschappelijk onderzoek worden ingezet. Vanuit dat oogpunt is de

werkvloer een afzetgebied voor goed ontwikkelde en op effectiviteit getoetste hulpvormen.

Verbeteracties die vanuit het praktijkgestuurd onderzoek worden ingezet, kunnen daarop

inspelen. Het is niet nodig om overal het wiel uit te vinden; het getuigt van wijsheid om elders

succesvol gebleken praktijken over te nemen.

Het kwaliteitsbeleid is voor hulpverleners een belangrijk vehikel om verbeteracties in de

eigen praktijk door te voeren. In het kader van dat beleid is het mogelijk om op een wat

algemener niveau te kijken naar de kwaliteit van het eigen werk en te zoeken naar manieren

om verbeteringen in het dagelijkse werk door te voeren. Praktijkgestuurd onderzoek en

kwaliteitsbeleid kunnen daarmee hand-in-hand gaan. Ook de wetenschappelijk is vanuit de

praktijk een interessante partner. Daar vindt men immers expertise om op een zeer grondige

en neutrale manier te bepalen of de praktijk aan kwaliteitsnormen voldoet en of verbeteracties

die de organisatie doorvoert tot het gewenste resultaat leiden. Tevens kan de

wetenschappelijke kennis zijn toepassing vinden in de praktijk.

= 62

In de wetenschap zoekt men naar fundamentele kennis en theorie die helpt de werkzame

principes van de hulpverlening te ontdekken. Een kritische en onafhankelijke reflectie op de

hulpverlening vormt daarin een essentieel onderdeel. De daarvoor benodigde gegevens kan

men eventueel uit de hulpverlening en het kwaliteitsbeleid halen. Tegelijk geldt de

wetenschappelijke kennis en theorie als een belangrijke inspiratiebron bij het verzinnen van

verbeteracties in de praktijk en het kwaliteitsbeleid.

De conclusie hieruit is evident: een productieve wisselwerking tussen de circuits kan de

vooruitgang in de hulpverlening enorm stimuleren. Ook het wetenschappelijk onderzoek heeft

daarin een belangrijke rol. In de praktijk zien we echter dat resultaten van onderzoek

waarvoor hulpverleners gegevens hebben geleverd lang niet altijd bij de praktijk

terechtkomen. Ze blijven hangen bij de beleidsmakers of onderzoekers die er ‘hun ding’ mee

doen. Bij praktijkgestuurd effectonderzoek geldt echter als uitgangspunt dat de vragen van

praktijkwerkers worden beantwoord. Dat gebeurt onder meer door de gegevens altijd en zo

mogelijk ook snel terug te koppelen naar de hulpverleners. Beleidsmakers of onderzoekers

mogen met de gegevens ook ‘hun ding’ doen – graag zelfs -, zolang dat maar niet ten koste

gaat van die terugkoppeling naar de praktijk.

4.6 Omgaan met verschillende belangen

Praktijkgestuurd onderzoek stelt het belang van het primaire proces centraal. Het haakt in op

de belangen en interesses van hulpverleners. Tegelijk heeft het duidelijk zijn basis in het

wetenschappelijk onderzoek. Dit brengt spanningen met zich mee. Het is wetenschappelijk

onderzoek midden in de turbulentie van de dagelijkse realiteit. Dat betekent werken met

cliënten die soms niet komen opdagen, vergeten vragen op de vragenlijst in te vullen, de

Nederlandse taal soms niet machtig zijn, niet duidelijk in een diagnosecategorie te plaatsen

zijn, de interventie niet helemaal willen uitvoeren, naast de interventie ook andere activiteiten

doen om de problemen de baas te worden, enzovoort. Het betekent ook werken met

hulpverleners die niet altijd tijd of zin hebben om alle onderdelen van het onderzoek trouw uit

te voeren, dat ze door alle drukte soms vergeten vragenlijsten af te geven of in te vullen, soms

de metingen en de interventie aanpassen omdat ze vinden dat het met het oog op de cliënt echt

noodzakelijk is, de hulp anders uitvoeren van voorgeschreven is, enzovoort.

Een deel van deze beperkingen zijn te verkleinen door een zo gering mogelijke belasting van

de betrokkenen, door goede afspraken te maken en door een training en ondersteuning van de

betrokkenen om de vereiste discipline op te brengen de gegevens te leveren én te gebruiken.

Een deel van de beperkingen zij echter niet te voorkomen. Het is goed om dat te signaleren,

om te voorkomen dat praktijkgestuurd onderzoek discussie oproept die contraproductief

werkt. We illustreren dit punt kort aan de hand van twee kwesties die doorgaans bij de

uitwerking aan de orde zijn. In het vervolg zullen deze kwesties nog geregeld aan de orde

komen.

= 63

Hulpverlening en effectonderzoek

In de praktijk is geregeld te horen dat hulpverlening en wetenschappelijk effectonderzoek

twee verschillende zaken zijn. Voor een deel is dat waar, maar voor een deel ook niet. Strikt

genomen verschillen hulpverlening en effectonderzoek niet zoveel. Immers, bij beide

a. vindt een voormeting plaats (het in beeld brengen van de problematiek en de

hulpvraag);

b. er volgt een interventie (de uitvoering van de hulp) en

c. er wordt een nameting uitgevoerd (de bepaling of de doelen zijn bereikt).

De metingen gebeuren soms aan de hand van tests of vragenlijsten, maar vaak ook kwalitatief,

met vraaggesprekken en observaties. In beide gevallen worden de metingen verricht om te

bepalen wat de beginsituatie is en of aan het einde van de hulp de doelen zijn gehaald.

In de praktijk is het niet erg gebruikelijk om het hulpverleningsproces en effectonderzoek zo

aan elkaar te relateren. Dat blijkt alleen al in de taal. In plaats van een voormeting heeft de

hulpverlener het over diagnostiek. In plaats van een nameting, heeft men het over de evaluatie

van de hulp of over het bepalen van de mate van doelrealisatie. De hulpverlener duidt dit hele

proces aan met de hulpverleningscyclus. In het onderzoek heet dit een effectbepaling op

individueel niveau (het zogeheten N=1 – onderzoek).

Maar in essentie doet de hulpverlener in de praktijk altijd aan effectonderzoek. Niet voor niks

duidde Van Strien (1984) het hulpverlening aan als een proces op N=1 – niveau. Volgens hem

hebben professionele hulp en wetenschap alles met elkaar te maken. De hulpverlener is zijn

eigen onderzoeker: hij verzamelt en ordent gegevens, stelt samen met de cliënt een theorie op

over wat er aan de hand is en welke interventie waarschijnlijk effectief zal zijn, voert de

interventie uit en verzamelt opnieuw gegevens om te bekijken (te testen) of de theorie over de

effectiviteit van de interventie klopt. Ook op globaler niveau liggen er belangrijke

dwarsverbanden. Net als de wetenschapper is de hulpverlener nieuwsgierig naar ‘wat werkt’

bij de doelgroepen waar hij mee te maken heeft. De evaluatie van hulpvormen, modules of

zorgprogramma’s is een herkenbaar onderdeel van zijn werk.

Hoewel er dus veel raakvlakken zijn, is het cruciaal om te realiseren dat hulpverleners in de

eerste plaats hulpverlener zijn en geen wetenschappelijk onderzoeker, en dat het in de praktijk

primair draait om hulpverlening, niet om wetenschappelijk onderzoek. Wat betekent dit?

• In de eerste plaats is het nuttig te beseffen dat veel hulpverleners niet uitgebreid zijn

opgeleid als wetenschappelijk onderzoeker. Groepsleiders, gezinsondersteuners, trainers

hebben vaak een HBO-opleiding gehad. Zij hebben in dat kader kennisgemaakt met

onderzoek, maar kennen niet alle ins and outs van de empirische wetenschap.

• Veel hulpverleners ontlenen niet hun beroepsidentiteit aan het doen van wetenschappelijk

onderzoek, maar aan het helpen van jeugdigen en opvoeders. Dat betekent niet dat ze

onderzoek niet belangrijk vinden; zij zien het gewoon niet als hun vak.

• Theorie, reflectie en meten hoort bij het vak van hulpverlener. Het vakmanschap van de

hulpverlener wordt daarbij gekenmerkt door de mate waarin hij die theorie, reflectie en het

= 64

meten op een creatieve manier kan inzetten in het hulpverleningsproces. Als het in een

bepaald geval niet slim of zinvol is om een instrument af te nemen, dan hoort het bij het

vakmanschap om dat niet te doen en naar andere wegen te zoeken om te weten te komen

wat je moet weten.

• Een hulpverlener moet productie maken: zoveel mogelijk cliënten helpen tegen zo laag

mogelijke kosten. Kritische reflectie op het vak moet zeer efficiënt gebeuren. Reflectie die

niet duidelijk bijdraagt aan verbetering van het primaire proces is iets voor heidagen en

gesprekken tijdens de boterham … en voor wetenschappers.

Net zoals een wetenschappelijk onderzoeker zijn beroepsidentiteit niet ontleent aan de

hulpverlening met concrete cliënten, mag van de hulpverlener niet verwacht worden dat deze

zich zonder meer identificeert met het wetenschappelijk onderzoek. Van een hulpverlener

mag echter wel verwacht worden dat hij zijn eigen werk kritisch volgt. Binnen de

mogelijkheden betekent dat: theorie, reflectie, meten, verbeteren. Voor zowel de onderzoeker

als de hulpverlener zijn dat elementen die behoren tot ieders vakmanschap. Daar kunnen ze

elkaar dan ook op vinden.

Wat zijn de gehanteerde normen?

Van groot belang is er rekening mee te houden dat een ieder vanuit zij eigen kader kijkt naar

de resultaten van onderzoek. Wat voor de wetenschapper interessant kan zijn, hoeft de

hulpverlener nog niet zomaar aan te spreken. Dit laat zich goed illustreren aan de hand van de

vraag wat de normen zijn om al dan niet van effectieve zorg te spreken. Daarbij zijn er

grofweg drie mogelijkheden te onderscheiden.

• De eerste mogelijkheid zijn kwalitatieve normen, zoals: de cliënten zijn over het algemeen

tevreden over het resultaat; de hulpverleners geven aan dat de doelen in de meerderheid

van de cliënten worden gehaald. Praktijkwerkers voelen zich vaak hierdoor aangesproken.

• De tweede mogelijkheid zijn de absolute, kwantitatieve normen. Bijvoorbeeld: meer dan

80% van de doelen in de hulpverleningsplannen zijn behaald; de score op een landelijk

gestandaardiseerd meetinstrument voor gedragsproblemen laat zien dat 90% van de

cliënten er na de hulp minder problemen hebben. Dit soort normen zijn erg populair bij

beleidsmakers.

• De derde mogelijkheid betreft de hantering van relatieve, kwantitatieve normen.

Bijvoorbeeld: er is een statistisch significant verschil (p < .05) tussen de voor- en de

nameting; er is een statistisch significant verschil (p < .05) tussen de behandelde groep en

een vergelijkingsgroep (controlegroep). Wetenschappers zijn gewend om in het kader van

effectonderzoek dergelijke normen te hanteren.

Wat voor de ene partij een geldige norm kan zijn, hoeft voor de andere nog niet van belang te

zijn. Voor praktijkwerkers kan het bijvoorbeeld erg frustrerend zijn een tabel voorgeschoteld

te krijgen waarin staat dat de gemeten veranderingen niet statistisch significant zijn, terwijl ze

daarvan weinig herkennen in hun eigen werk. Ze zien bij de meeste cliënten toch veelal

duidelijk vooruitgang? Hoe kan dat? Omgekeerd geldt dat een wetenschapper soms tevreden

kan zijn als een experimentele groep er significant meer op is vooruitgegaan dan een

= 65

controlegroep. De hulpverlener hoeft daarvan echter nog niet onder de indruk te zijn, als de

vooruitgang te gering is om daarmee de hulpverleningsdoelen te kunnen realiseren.

Bij het interpreteren van de resultaten is het dan ook goed in de gaten te houden dat cijfers

zelden voor zich spreken; vaak is het van belang om over de cijfers te spreken. ‘Harde’

wetenschappelijke gegevens zullen daarbij pas tot bereidheid voor verbeteracties in de

praktijk leiden, als ze tot herkenning leiden. Om de kans op verbeteracties te vergroten, is het

dan ook van groot belang om bij de opzet van het onderzoek ruim aandacht te besteden aan de

vraag wat de verschillende betrokkenen onder effectieve zorg verstaan, welke normen ze

daarbij hanteren en hoe ze denken zichtbaar te kunnen maken in welke mate de normen

worden gehaald. Ook zal de interpretatie van de resultaten vanuit de verschillende

perspectieven ruimschoots aandacht moeten krijgen. Zonder deze stappen kunnen de

onderzoeksgegevens het zand worden in de verbetercyclus van de praktijk, en niet de

smeerolie.

4.7 Samenvatting en conclusies

In dit hoofdstuk hebben we laten zien dat praktijkgestuurd effectonderzoek een verbindende

schakel kan zijn tussen de hulpverleningscyclus, het kwaliteitsbeleid en de wetenschappelijke

theorievorming. Een productieve wisselwerking tussen de circuits kan de vooruitgang enorm

stimuleren. De focus in de wisselwerking die wordt gezocht, is gericht op praktijkverbetering.

Het praktijkgestuurd effectonderzoek diskwalificeert daarmee niet het onderzoek dat

uitsluitend in het circuit van kwaliteitsbeleid of wetenschappelijk onderzoek gebeurt.

Integendeel, dat werk is van groot belang om verbeteringen in organisaties, theorievorming en

kennisvermeerdering tot stand te brengen. Bij praktijkgestuurd effectonderzoek geldt echter

als uitgangspunt dat de vragen van praktijkwerkers worden beantwoord. Beleidsmakers of

onderzoekers mogen met de gegevens ook ‘hun ding’ doen – graag zelfs -, zolang dat maar

niet ten koste gaat van de terugkoppeling naar de praktijk.

Praktijkgestuurd effectonderzoek vindt plaats in de turbulentie van de dagelijkse realiteit van

de hulpverlening. Bovendien is het primair gericht op praktijkrelevante vragen. Dit levert bij

de uitwerking van het onderzoeksmodel mogelijk spanning op tussen belangen van de

hulpverlener, de beleidsmaker en de wetenschapper. Een deel van deze spanningen zijn te

verkleinen, maar een deel ook niet. Het is goed om dit expliciet te signaleren. Dat moet

voorkomen dat praktijkgestuurd onderzoek discussie oproept die contraproductief werkt. De

kracht van het verbinden van de verschillende circuits zit in de vraag wat men voor elkaar kan

betekenen. Dat moet – oneerbiedig gezegd – uitgebuit worden. Daarnaast is de spanning

tussen de circuits ook een gezonde stimulans om de effectladder steeds hoger te beklimmen.

= 66

4.8 Bronvermelding

Ahaus, C.T.B. & Diepman, F.J. (1998). Balanced Scorecard & Model Nederlandse Kwaliteit. Deventer: Kluwer.

Diephuis, K.H. (2004). Doorbreken met kwaliteit. Programma Kwaliteitszorg in de Jeugdzorg II. Utrecht: GGZ

Nederland / Maatschappelijk Ondernemers Groep.

Eijgenraam, K., Bothof A. & Yperen, T. van (2001). Haalbaarheid samenhangend instrumentarium Bureaus

Jeugdzorg. Eindrapport. Utrecht: NIZW.

Eijgenraam, K. & Steege, M. van der (2005). Een samenhangend instrumentarium voor het bureau jeugdzorg.

Eindrapport project ‘Ontwikkeling Samenhangend Instrumentarium bureau jeugdzorg’ (OSI). Utrecht:

NIZW.

Groenewoud, A.S. & Huijsman, R. (2003). Prestatie-indicatoren voor de kiezende zorggebruiker. Den Haag:

ZonMw.

Groot, A.D. de (1968). Methodologie. Grondslagen van onderzoek en denken in de gedragswetenschappen. Den

Haag: Mouton.

Langley, C., Nolan, K., Nolan, T., Norman, C. & Provost, L. (1996). The Improvement Guide: A Practical

Approach to Improving OrganizationalPerformance. San Francisco: Jossey-Bass Publishers.

Lodewijks, H. P. B., Doreleijers, Th. A. H., de Ruiter, C. & de Wit-Grouls, H. F. (2001). SAVRY: Handleiding

voor de gestructureerde risicotaxatie van gewelddadig gedrag bij jongeren. Geautoriseerde

Nederlandse vertaling Ib. Effde: Rentray.

Strien, P.J. van (1984). Naar de verwetenschappelijking van de praktijk. Tijdschrift voor Orthopedagogiek, 23, 162-

180.

Yperen, T.A. van, Berg, G. van den & Eijgenraam, K. (2002). Project ´Registratie ernst problematiek´. Eerste

deelrapport: begrippen, doelen en instrumenten. Utrecht: NIZW.

= 67

Hoofdstuk 5. Organiseren van het onderzoek =

Dries Roosma, Herma Ooms en Jan Willem Veerman ==

5.1 Inleiding

=

In de vier voorgaande hoofdstukken is een weg aangegeven waarlangs meer zicht op

effectiviteit van jeugdzorg kan gaan ontstaan. In plaats van top down de sector op te leggen

hoe effectieve zorg georganiseerd en geïmplementeerd moet worden is een omgekeerde

bottom up route voorgesteld. Met de term praktijkgestuurd effectonderzoek werd die route

van een naam voorzien die aangeeft dat de praktijk aan het roer zit, maar de wetenschap nodig

blijft. Praktijkgestuurd effectonderzoek veronderstelt een nauwe samenwerking tussen

praktijkfunctionarissen en wetenschappers. Aansluiten bij wat er is, inbedden in het

hulpverlenend handelen en benutten van resultaten werden als de drie werkzame principes

van dit soort onderzoek gezien. Door het benoemen van potentieel, veelbelovend, doeltreffend

en werkzaam als vier verschillende niveaus van effectiviteit werd een eenheid van taal

gecreëerd die het mogelijk maakt over de effecten van interventies in de jeugdzorg te spreken

op een manier die de praktijk recht doet en toch wetenschappelijk houvast biedt. Door deze

niveaus op een effectladder te plaatsen kon de route verder worden uitgetekend en in een

ontwikkelingsperspectief worden geplaatst. Door het gebruik van steeds sterkere

onderzoeksdesigns ontstaat er op hogere niveaus steeds meer bewijskracht voor de

effectiviteit van een interventie. Praktijkgestuurd onderzoek is een kwestie van (het leveren

van) bewijzen. Via de effectladder kon de route tevens tussen praktijk en wetenschap

geplaatst worden. De empirische cyclus, respectievelijk de hulpverleningscyclus werden

opgevoerd als beschrijving van de kernactiviteiten in deze werkterreinen. Om

praktijkgestuurd effectonderzoek in een instelling te kunnen uitvoeren is het noodzakelijk

deze twee cycli met elkaar te verbinden. Hiervoor werd de beleidscyclus als middel gezien.

De beleidscyclus verbindt de wetenschappelijke eisen van een evidence based practice met de

mogelijkheden van de praktijk voor het produceren van practice based evidence.

Praktijkgestuurd effectonderzoek is daarmee ook een kwestie van organiseren. In dit

hoofdstuk gaan we hier verder op in.

We beginnen, in paragraaf 5.2, met een visualisatie van een droom: Hoe ziet een

jeugdzorginstelling eruit die praktijkgestuurd effectonderzoek op een succesvolle wijze heeft

ingevoerd? Deze droom vertellen we middels gefingeerde interviews met betrokkenen. Dit

geeft een voorstelling van zaken. De volgende paragrafen handelen over hoe deze droom

werkelijkheid kan worden. In paragraaf 5.3 gaan we in op de kwaliteitscriteria die een

instelling kan gebruiken bij het bepalen welke stappen ondernomen moeten worden in de

richting van de gedroomde situatie. In paragraaf 5.4 geven we praktische tips op welke wijze

vier kernprocessen (techniek, logistiek, methodiek en statistiek) ingericht moeten worden om

praktijkgestuurd effectonderzoek minimaal op de derde trede van de effectladder binnen een

jeugdzorg instelling aan het draaien te krijgen en vervolgens ook draaiend te houden. In

paragraaf 5.5 gaan we nader in op het huiswerk van de overheid en de brancheorganisaties in

de jeugdzorg om instellingen en professionals bij het realiseren van de gedroomde situatie een

flinke steun in de rug te geven.

= 68

5.2 Praktijkgestuurd effectonderzoek: een droom van een casus

Stichting ‘Jeugd in Balans’ (afgekort JIB, een fictieve instelling) is een jeugdzorgaanbieder

die de afgelopen jaren, met ondersteuning en instemming van VWS, de provincie en het

regionale zorgkantoor, praktijkgestuurd effectonderzoek op een succesvolle wijze binnen de

gehele instelling heeft ingevoerd. Kern van dit onderzoek is het gebruik van enkele

gestandaardiseerde meetinstrumenten om opgroei- en opvoedingsproblemen van aangemelde

kinderen en jeugdigen vast te kunnen stellen en om het verloop van die problemen te kunnen

volgen. Mede omwille van de vergelijkbaarheid met onderzoeksresultaten van andere

instellingen heeft JIB heeft gekozen voor instrumenten die ook elders al gebruikt worden (Ten

Brink, Kerkstra, Roosma & Veerman, 2001): de Child Behavior Checklist – CBCL (Verhulst,

Van der Ende & Koot, 1996) en de Youth Self-Report – YSR (Verhulst, Van der Ende &

Koot, 1997) voor het vaststellen van de opgroeiproblemen in termen van emotionele en

gedragsproblemen en de Nijmeegse Ouderlijke Stress-Index – NOSI (De Brock, Vermulst,

Gerris & Abidin, 1992) voor het vaststellen van opvoedingsproblemen in termen van

opvoedingsbelasting. Na afloop van de hulp vullen alle cliënten van JIB een

cliënttevredenheidslijst in waarmee ze de hulpverleners feedback geven over verschillende

aspecten van de geboden hulp (de C-toets; Stichting Alexander, 2003).

Wat zouden ouders en kinderen hiervan merken?

Wij interviewen een moeder en haar 14-jarige zoon die via het Bureau Jeugdzorg (BJZ) hulp

hebben gehad van de stichting JIB.

Welke hulp hebben jullie gehad?

Moeder: Van het Bureau Jeugdzorg kregen wij een indicatiebesluit waarmee wij hulp konden

krijgen van IOG (Intensieve Orthopedagogische Gezinsbehandeling, red.). In het

indicatiebesluit stond dat wij deze hulp bij ons in de buurt konden krijgen bij JIB. Wij

kregen van onze casemanager een folder over IOG waarin heel duidelijk beschreven werd

wat deze hulp inhoud en hoe ze te werk gaan.

Zoon: Ik heb toen op internet deze instelling opgezocht.

Moeder: Ja, mijn zoon liet mij een website zien waarop alle resultaten van JIB en van andere

instellingen in Nederland op een rijtje stonden. Ik zag dat IOG van JIB hele goede

resultaten haalde, en wat mij vertrouwen gaf was dat andere ouders IOG een heel hoog

cijfer hadden gegeven (op de C-toets, red.).

Zoon: Ik zag dat IOG ook van andere jongeren een behoorlijk hoog cijfer had gekregen, ik

dacht dan zullen ze wel niet alleen partij voor mijn moeder kiezen, maar misschien ook wel

luisteren naar wat ik ervan vind.

Hoe zijn jullie in contact gekomen met IOG van JIB?

Moeder: We hebben met onze casemanager (van BJZ, red) besproken om hulp te zoeken bij

IOG van JIB. Zij heeft toen een afspraak bij IOG voor ons geregeld.

En toen?

Moeder: Toen kregen we na drie weken bezoek van Stella (de gezinshulpverlener van IOG,

red.). We hebben kennisgemaakt. Zij had gelukkig het rapport van BJZ ook al gelezen,

zodat we niet ons hele verhaal weer opnieuw hoefden te doen. Na een tijdje vroeg ze ons of

wij voor het volgende bezoek een paar vragenlijsten wilden invullen.

= 69

Zoon: Ik kreeg ook een vragenlijst (de YSR, red.), die erg veel leek op die ene die mijn

moeder kreeg (de CBCL, red).

Moeder: Ja, de ene was een gedragsvragenlijst, waarin ik moest aankruisen welk gedrag op

mijn zoon van toepassing was. De andere lijst ging meer over mijzelf en over hoe ik de

opvoeding van mijn zoon ervaar (de NOSI, red.). Stella vertelde ons dat zij de lijsten nodig

had om op een goede manier samen met ons op een rijtje te zetten wat niet goed gaat en

ook wat al wel goed gaat.

En?

Moeder: Wel het invullen van de lijsten vond ik niet makkelijk, ik denk dat ik daar toch bijna

wel een uur mee bezig ben geweest.

Zoon: Ik was veel sneller klaar.

Moeder: Ja, maar jij hoefde ook maar één lijst. Stella heeft de lijsten de keer daarop

meegenomen, en het volgende bezoek was voor mij heel belangrijk.

Ja, waarom?

Moeder: Zij kwam toen bij ons met drie plaatjes (de profielen van de vragenlijsten, red.).

Stella heeft ons uitgelegd dat in deze plaatjes te zien is hoe wij op dat moment tegen onze

problemen aankijken. Wat ik het meest opvallend vond was dat ik en mijn zoon op de

meeste punten er wel hetzelfde tegenaan keken (de vergelijking van het CBCL en YSR

profiel, red.). Behalve op twee punten. Ik vond het agressieve gedrag van mijn zoon een

veel groter probleem dan mijn zoon en ik had niet in de gaten dat hij met allerlei kleine

angsten en zorgen zat.

Zoon: Dat is zo, maar wat ik goed vond van Stella is dat zij toen aan ons ging vragen of jij en

ik dat ook herkennen. Uit dat gesprek kwam in elk geval naar voren dat jij ook vond dat ik

niet altijd agressief ben en vaak ook wel naar jou luister.

Moeder: Dat klopt, maar duidelijk werd ook dat zowel jij als ik vonden dat hier wel een groot

probleem zat, waar we mee aan het werk moesten.

Zoon: Wat ik erg fijn vond was dat duidelijk werd dat niet alles zo slecht ging als dat jij altijd

zegt. Ook kon ik eindelijk eens vertellen wat soms allemaal in mijn hoofd omgaat, de

dingen waar ik mee zit.

Moeder: Dat ben ik helemaal met je eens. Stella was ook de eerste die mij echt begreep. Op

die andere lijst over mijzelf (de NOSI, red.) scoorde ik op bijna alle punten heel erg hoog

(in het klinische deel, red.). Ook hierover vroeg Stella mij of ik dit herkende. En dat deed ik

zeker! Zij vroeg mij daarna hoe ik het zo heb kunnen volhouden! En ja, dat vraag ik mij

zelf ook regelmatig af. Uit het gesprek met Stella kwam ik erachter dat dit toch ook erg

knap van mij is, maar ook dat de problemen niet altijd spelen, dat ik ook goede momenten

heb met mijn zoon. Aan het eind van dat bezoek weet ik nog, hadden we alledrie helder

waar we aan wilden en moesten werken.

Zoon: Het mooie vond ik dat ik niet alleen doelen voor mij had, maar jij ook voor jou ma!

Tsjonge, dat is wel veel in een bezoek?

Moeder: Ja dat bezoek is heel belangrijk voor mij geweest, dat had ik nooit willen missen!

En, hoe ging het verder?

Moeder: We zijn toen aan het werk gegaan.

Zoon: Stella kwam vaak als ik er ook was, ze heeft mij echt goed geholpen met mijn doelen.

Op school en tussen mij en mijn moeder ging het steeds beter.

Moeder: Na een aantal maanden zei Stella dat het tijd werd om eens met elkaar te kijken hoe

ver we al opgeschoten waren. Zij vroeg ons om de vragenlijsten weer een keer in te vullen.

= 70

Ja?

Moeder: Uit de vergelijking van de plaatjes van deze lijsten met die we in het begin hadden

ingevuld, werd erg duidelijk welke dingen we al veel beter vonden gaan en aan welke

dingen we nog moesten werken.

Zoon: Jij was zo blij dat we daarna patat hebben gegeten, dat vond ik echt leuk om mijn

moeder zo vrolijk te zien!

Moeder: Ja ik was ook blij. Nog niet alles ging zoals dat ik wilde, maar er was toch al heel

veel veranderd.

Moeder: Daarna hebben we nog een periode aan de nieuwe doelen gewerkt, en bij de

afsluiting ging het op dezelfde manier als bij de evaluatie.

Zoon: Behalve dat we toen een feestje hebben gevierd met Stella erbij.

Moeder: Stella gaf ons toen ook nog een andere vragenlijst, die we later konden opsturen

naar JIB (de C-toets, red.), in die lijst heb ik de hulp van Stella toen een 10 gegeven!

Zoon: Ik een 9 want ik ben kritischer dan mijn moeder.

Reactie van Stella

Stella vertelde ons dat de manier van werken met de vragenlijsten bij hun in de instelling

altijd zo gebeurt als in het interview met dit gezin naar voren komt.

Stella:Werken met de vragenlijsten op zo’ n manier is erg leuk en scheelt mij echt heel veel

tijd. Ik heb veel sneller de problemen en ook krachten van ouders en kinderen op een rijtje,

en ook nog op een manier die aansluit bij zoals zij er tegenaan kijken.

Ons werd verteld dat dit werken met vragenlijsten bij JIB een aantal jaren geleden is

ingevoerd. Dat iedereen hier toen een training in heeft gehad en dat er in de werkbegeleiding

ook elke keer aandacht voor was.

Stella: Niet alleen wij als hulpverleners waren ermee bezig. Ook onze secretaresse had extra

tijd. Zij hebben een computerprogramma en een training gekregen om ons op tijd de

profielen (de plaatjes, red.) van de vragenlijsten te kunnen geven, zodat wij ze ook direct

met de gezinsleden kunnen bespreken.

Reactie van de teamleider van Stella

Sinds de invoering van dit nieuwe beleid heeft mijn werk echt meer diepgang gekregen. De

vragenlijsten worden niet alleen gebruikt op individueel niveau, maar omdat ze verwerkt

worden in een onderzoeksdatabase krijgen wij elk jaar van de onderzoekers ook een

tabellenboek en een power-point presentatie van de uitkomsten op team- en

afdelingsniveau. In de teams bespreek ik die onderzoeksuitkomsten, waarbij we eerst

bekijken wat de opvallende zaken zijn die we in de uitkomsten zien. Vervolgens vraag ik de

teamleden of deze uitkomsten voor hen herkenbaar zijn en of zij mogelijke verklaringen

hebben waarom de uitkomsten eruit zien zoals ze eruit zien. Als laatste vraag ik de

teamleden of zij de uitkomsten goed genoeg vinden en of zij denken dat er nog

verbeteringen mogelijk zijn. Ik maak van deze bijeenkomsten dan een verslag, wat ik in de

daarop volgende teambijeenkomst laat vaststellen. In deze teambijeenkomst vraag ik de

teamleden dan wat zij denken nodig te hebben om de voorgestelde verbeteringen te

bereiken.

= 71

De teamleider gaf aan dat binnen JIB alle teamleiders een training hebben gehad in het

gestructureerd bespreken van onderzoeksuitkomsten in de teams, waardoor dit op dezelfde

manier in alle teams gebeurt. De verslaglegging vindt ook binnen eenzelfde format plaats.

De sectormanagers en directie gebruiken de ingevulde analyse en verbeterplannen die wij als

teamleiders hebben gemaakt in een bijeenkomst met ons. Daarin wordt een gezamenlijke

analyse gemaakt van hoe wij als instelling dat jaar gepresteerd hebben. Ook worden er de

prioriteiten bepaald in de verbeteracties.

De onderbouwing van het instellingsjaarverslag en het instellingsjaarplan wordt gevormd

door de onderzoeksuitkomsten, de analyse en de verbeterplannen van de teams en de

afdelingen.

Ik voel echt wind in de rug van de directie en mijn sectormanager bij het werken aan de

verbeteracties met mijn team. Bij mijn teamleden merk ik een grote betrokkenheid bij het

halen van de verbeterdoelen. Het is eigenlijk een wedstrijd die we doen met onszelf voor

het halen van een nog beter resultaat met onze cliënten!

Korte reactie van de sectormanager

Sinds we zo werken voel ik me veel minder een crisismanager. Omdat we dit nu een aantal

jaar al doen, gaan we door de jaarlijkse rapporten van de onderzoeksuitkomsten veel meer

zicht en inzicht krijgen in de trends over de jaren heen. Werken we nog met dezelfde

doelgroepen? Veranderen de effecten van de door ons geleverde zorg? Door het

benchmarken van de uitkomsten tussen verschillende afdelingen en met de uitkomsten van

gelijksoortige afdelingen bij collega-instellingen is er van hoog tot laag binnen de

instelling een sterke focus op het halen en verbeteren van onze resultaten gekomen. Dit

haalt bij iedereen in de instelling onvermoede spirit en creativiteit naar boven. Door de

vergelijking met andere instellingen en door vergelijking over de jaren heen krijg je ook

zicht op waar de lat ligt wat betreft het aangebodene. Wat is haalbaar binnen de

methodiek? Wat zou je aan methodiekontwikkeling kunnen doen opdat resultaten nog meer

verbeteren?

Korte reactie van de directeur/bestuurder

Bij ons in de instelling is erg veel veranderd sinds dat wij een aantal jaren geleden onze visie

op zorg hebben opgefrist. Het zichtbaar maken van de resultaten van de door ons

geleverde zorg is toen een expliciet onderdeel van onze zorgvisie geworden. Opmerkelijk

was dat alle medewerkers bij onze instelling zich hier direct in konden vinden. Zij gaan

gewoon voor resultaat! Als je dit in je visie opneemt geeft dat direct een verplichting om

daar concreet handen en voeten aan te geven. Wat ik kon doen is de financiële en

organisatorische randvoorwaarden realiseren die het voor onze medewerkers mogelijk

maken om daadwerkelijk onze resultaten zichtbaar te maken. We hebben daarbij dankbaar

gebruik gemaakt van goede voorbeelden om ons heen. Met mijn financier kon ik afspreken

om een deel van de doeluitkering te besteden aan kwaliteit, onderzoek, opleiding en

ontwikkeling: 1,2 procent van mijn doeluitkering besteed ik momenteel aan een

stafafdeling kwaliteit en onderzoek, 0,3 procent gebruik ik voor het inhuren van

onderzoeksexpertise van de universiteit. Vijf procent van de doeluitkering gebruiken wij

voor de organisatie, ontwikkeling en uitvoering van functiescholing en training van onze

medewerkers. Een deel hiervan wordt gebruikt voor het leren werken met de

onderzoeksinstrumenten en voor het gebruiken van onderzoeksinformatie voor het

= 72

onderbouwen van (beleids)beslissingen. Het lijkt duur, maar inmiddels behandelen wij

voor hetzelfde geld veel meer cliënten dan voorheen, is het ziekteverzuim teruggelopen en

hebben wij geen problemen met het invullen van vacatures met nieuwe medewerkers die

gaan voor resultaat. = Box 5.1 Alle drie circulaire processen in beweging De droom van een casus geeft een beeld van beweging, op de drie in hoofdstuk 4 beschreven circulaire processen, in de richting van steeds effectievere jeugdzorg. De casus geeft een beeld van een instelling die het benutten van onderzoeksinformatie uit het praktijkgestuurd effectonderzoek in de hulpverleningscyclus op een hele mooie manier verbonden heeft met de benutting van onderzoeksinformatie binnen de interne PDSA beleidscyclus. Dit geschiedt in een systematische, periodieke, dialoog tussen professionals, teams, afdelingen en directie, gericht op borging en verbetering van de resultaten van de zorg. Een het gebeurt in de externe PSDA beleidscyclus als een systematische, periodieke, dialoog tussen directie(s), financiers en overheden, gericht op verantwoording van de geleverde prestaties. JIB heeft een structurele samenwerkingsrelatie met een aan een universiteit gelieerd wetenschappelijk onderzoeksinstituut. Deze samenwerking wordt gebruikt voor het tijdig en op onafhankelijke wijze beschikbaar hebben van onderzoeksinformatie met daarbij een toetst van kwaliteit, betrouwbaarheid en zeggingskracht van deze informatie. Dit een belangrijk begin voor het in beweging krijgen van de wetenschappelijke, empirische cyclus, waarmee meer kennis verkregen kan worden over welke algemene en specifieke werkzame factoren van een interventie het best werken bij het behandelen van welke problemen bij welke doelgroepen. Bij JIB speelt dit onderzoek zich vooralsnog op niveau 3 van de effectiviteitladder af (Doeltreffend). Het onderzoeksinstituut kan de wetenschappelijke cyclus inzetten voor het toetsen van in de praktijk - op basis van de onderzoeksuitkomsten - geformuleerde hypothesen over ‘wat werkt bij wie’ en daaruit voortvloeiende verbeteracties. Deze empirische onderzoekscyclus kan dan gericht gebruikt worden voor nadere analyse van de verzamelde data, eventueel aangevuld met dossieranalyses of interviewanalyses. Hiermee wordt de stap van het niveau Doeltreffend naar het niveau Werkzaam gezet en kunnen meer graden van zekerheid over effectiviteit worden verkregen. Ook kan dit leiden tot het organiseren van een voor de praktijk relevante randomized controlled trial (het ideale onderzoeksdesign op het niveau Werkzaam). Ook kan het onderzoekinstituut binnen de reeds bestaande samenwerking met JIB ondersteuning bieden bij het verbeteren van de theoretische onderbouwing van de zorgmodules, interventies en programma’s die door JIB uitgevoerd worden. Ook hiermee kunnen meer graden van zekerheid over effectiviteit worden verkregen.

=

=

Weten-schap

(empirische cyclus)

Primaireproces

(hulp-verlenings-

cyclus)

Beleid

(PDSA-cyclus)

Practice-Based

Evidence

Evidence-Based Practice

Practice-Based

Evidence

Evidence-Based

Practice

Werkzaam

Doeltreffend

Veelbelovend

Potentieel

= 73

5.3 Kwaliteitscriteria voor de praktijk

=

Dromen, zoals in de droom van een casus, is altijd leuk. Wat zou er moeten gebeuren om op

een dag wakker te worden en te merken dat de droom werkelijkheid is geworden? Dat is,

zoals we in de inleiding al stelden, een kwestie van organiseren. Om dit goed te kunnen doen,

dienen we eerst met beide voeten op de grond te gaan staan en rond te kijken hoe een

jeugdzorginstelling met een bloeiende praktijkgestuurde effectonderzoekscultuur er uit ziet.

Welke kwaliteitscriteria kunnen aan zo’n best (reseach) practice gesteld worden? Daarna

dienen we ons af te vragen welke processen in gang moeten worden gezet om daar te komen.

De kwaliteitscriteria komen hieronder aan bod, de processen bespreken we in de volgende

paragraaf.

De criteria voor een best (research) practice zijn in figuur 5.1 op een rij gezet. == Deze lijst is bedoeld als checklist voor instellingen die van plan zijn om met praktijkgestuurd effectonderzoek te starten of de hier al mee gestart zijn. De lijst werkt als een diagnosticum waarmee bepaald kan worden wat al goed gaat en op welke punten verbeteracties genomen moeten worden. A. Gebruik van onderzoeksuitkomsten:

1. Individuele uitkomsten worden besproken met cliënten.

2. Individuele uitkomsten spelen een rol bij diagnostiek en behandelplanning (bijvoorbeeld in werkoverleg en

behandelplanbesprekingen).

3. Uitkomsten van een team komen in teambesprekingen aan de orde en zetten aan tot reflectie en verbeteracties ten

aanzien van het methodisch handelen.

4. Uitkomsten van meerdere teams (afdelingen, units, hele locatie) worden door management (middenniveau, directie)

zichtbaar benut in het sturen van hun beleid, uitkomsten spelen een rol in de kwaliteitscyclus.

5. Uitkomsten worden gebruikt voor verdere wetenschappelijke theorievorming. B. Dataverzameling:

6. Er wordt gebruik gemaakt van gestandaardiseerde en valide instrumenten.

7. Werkers zijn gemotiveerd om onderzoeksinstrumenten in te (laten) vullen.

8. Er is sprake van een voormeting en een nameting.

9. Er is sprake van een follow-up meting

10. Er is een respons van minimaal 80% op één meetmoment, en minimaal 70% op twee meetmomenten.

11. Er is een voor iedereen duidelijk protocol voor de dataverzameling.

12. Er is goede software aanwezig om de gegevens op te slaan en aan onderzoekers aan te leveren (BergOp of

anderszins). C. T.a.v. de randvoorwaarden:

13. Er is een (pro)actief secretariaat.

14. Er is een (pro)actieve procesbewaker aanwezig (aandachtsfunctionaris).

15. Er is een (pro)actieve functionaris voor het vertalen van onderzoeksuitkomsten in verbeteracties voor de module.

16. Er is een (pro) actieve belangstelling vanuit directie en management.

17. De omgeving (verwijzers, vervolghulp) is op de hoogte van het onderzoek en werkt hier, indien gevraagd, aan mee.

18. Er is een programma voor scholing en bijscholing ten aanzien van het gebruik van onderzoeksinstrumenten en

uitkomsten.

19. De financiering van de onderzoeksactiviteiten is structureel verankerd in het instellingsbudget en/of in de kostprijs

van de module.

20. Er is een goede inhoudelijke en procesmatige modulebeschrijving. Figuur 5.1 Criteria en scoringslijst best (research) practice voor praktijkgestuurd effectonderzoek

=

= 74

De lijst is gemaakt op basis van de ervaring van al langer lopende Nederlandse good

(research) practice projecten die een ontwikkeling naar een best (research) practice hebben

ingezet. De lijst is binnen het project ‘Zicht op effectiviteit’, op basis van een dialogisch

proces tussen onderzoekers en praktijkdeskundigen, ontwikkeld en gebruikt voor het maken

van een sterkte-zwakte analyse van de reeds lopende good practice projecten op het gebied

van praktijkgestuurd effectonderzoek. Het gaat hierbij om de praktijken van Hulp aan huis

Drenthe, Groningen en Overijssel (Schot & Van der Steege,1998; Roosma, 2000; Ten Brink

e.a. , 2001; De Meyer & Veerman, 2005; Leysen, 2005), klinische gezinsbehandeling de Bron

en Oude Pastorie in Beilen (Roosma, 1999; Harink, 2003; Kroes & Veerman, 2005a) ,

klinische gezinsbehandeling de Bellenbergh in Zeist (Kroes & Veerman, 2005b) en het

follow-up onderzoek van de Hoenderloogroep en onderzoekers van Praktikon Nijmegen

(Janssen, Kroes & Van Dam, 2005). Binnen deze projecten wordt de lijst nu gebruikt als

instrument om per project een sterkte-zwakte analyse te maken die leidt tot het formuleren

van verbeteracties in de richting van best (research) practice. De lijst geeft alle

kwaliteitscriteria weer waar een project of instelling aan moet voldoen om het predicaat best

(research) practice voor praktijkgestuurd effectonderzoek te krijgen. Tevens is de lijst te

gebruiken als hulpmiddel bij het beoordelen van wat de instelling al goed doet, en voor het

maken van een stappenplan voor de invoering van praktijkgericht effectonderzoek binnen de

instelling

Twee van de drie in Hoofdstuk 1 genoemde principes van praktijkgestuurd effectonderzoek

komen in de lijst duidelijk voor het voetlicht: (1) Inbedding in het hulpverlenend handelen

(criteria categorie B en C). Duidelijk is dat randvoorwaarden met betrekking tot de

betrokkenheid van verschillende personen en partijen goed geregeld moeten zijn om het

onderzoek op gang te brengen en gaande te houden. (2) Benutting van onderzoeksgegevens

(criteria categorie A). Duidelijk is dat de onderzoeksgegevens op diverse manieren binnen de

instelling gebruikt dienen te worden. Allereerst gebeurt dat binnen het primaire proces tussen

hulpverlener en cliënt, maar ook op team- en instellingsniveau in een planmatige

beleidscyclus gericht op praktijkverbetering. Het derde principe (3) Aansluiten bij wat er is,

komt niet expliciet aan de orde. Uitgangspunt is dat dit principe een belangrijke rol speelt bij

de aanpak om van de huidige naar de gewenste situatie te komen: maak gebruik van de goede

praktijken die reeds in de organisatie en bij collega-instellingen ontwikkeld zijn.

5.4 Het organiseren van praktijkgestuurd onderzoek

In de casus uit paragraaf 5.2 komt naar voren dat JIB in staat is gebleken om het bottom-up

onderzoek van interventies dat in de praktijk plaatsvindt, goed te verankeren in de

instellingspraktijk. Instellingen die aan de gang willen met het bereiken van de geschetste

droom doen er goed aan een project te starten, waarin een aantal zaken vanaf het begin goed

is geregeld:

• Zorg dat het project gedurende de gehele looptijd expliciet gedragen wordt en blijft door

directie en management. Voor directie en management betekent dit: Blijf voor

medewerkers zichtbaar de leiding geven aan dit proces!

• Zoek contact en afstemming met gelijk gezinde projecten bij andere jeugdzorginstellingen

in Nederland, wissel ervaringen en plannen uit, kies voor dezelfde protocollen en

instrumenten, deel problemen en zoek samen naar oplossingen.

= 75

• Neem de financier en beleidsverantwoordelijke overheid (voor de jeugdzorg: de provincie

of grootstedelijke regio en/of het regionale zorgkantoor) mee in de ontwikkeling en

uitvoering van het project.

Met dit als basis gaat de instelling verder planmatig en stapsgewijs aan het werk (Senge,

1992; Mintzberg, 1994; Mastenbroek, 1996; Boonstra, 2000; Cauffman, 2005). De

belangrijkste stappen zijn:

Stap 1

Veranker het doen van praktijkgestuurd effectonderzoek in de visie van de instelling. Maak

daarbij helder door welk soort praktijkvragen het onderzoek gestuurd wordt en welke overige

doelen het onderzoek dient. Communiceer hierover binnen en buiten de instelling.

Stap 2

Stel een projectleider aan die met de visie als vertrekpunt een plan van aanpak maakt. Geef dit

project een voor medewerkers aansprekende naam. Kijk of je met het project kunt aansluiten

bij good practices op dit terrein die er nu al zijn binnen en buiten de eigen instelling, betrek

medewerkers erbij die hier nu al goede dingen op doen, of enthousiast zijn om hierin wat te

gaan doen. Zorg dat de opdracht gericht is op het ontwikkelen en daarna verankeren in de

reguliere structuren van de instelling. Integreer het project in de verbetercyclus van de

instelling en zorg dat het niet iets wordt wat er ook nog bij gedaan moet worden.

Stap 3

Benoem binnen de instelling een aantal aandachtsfunctionarissen, die het mandaat hebben om

binnen de instelling al het nodige te regelen wat nodig is om bij het proces genoemde doelen

te realiseren. Zorg er in ieder geval voor dat er vier aandachtsfunctionarissen zijn, elk voor

één van de volgende kernprocessen voor het organiseren van praktijkgestuurd onderzoek in

een instelling:

1. Het technische proces. De opdracht is hier om een goed functionerende software in de

instelling te hebben.

2. Het logistieke proces. Het gaat er hier om dat de gegevensstroom binnen de organisatie en

naar samenwerkende instituten vloeiend verloopt.

3. Het methodische proces. De aandachtsfunctionaris is hier verantwoordelijk voor het

inbedden van de gegevensverzameling en gegevensbenutting in de verschillende

benuttingscycli.

4. Het statistische proces. Deze opdracht heeft betrekking op de totstandbrenging en het

functioneren van de verbinding tussen de instelling en het onderzoeksinstituut.

Deze vier processen moeten als radertjes zo in elkaar haken, dat ze alle vier goed draaien om

het praktijkgestuurde effectonderzoek binnen instellingen goed aan te laten sluiten, in te

bedden en te benutten.

Stap 4

Organiseer binnen de instelling een periodiek overleg van aandachtsfunctionarissen onder

leiding van de projectleider(s). Dit is belangrijk omdat de vier processen een sterke onderlinge

afhankelijkheid hebben. Gebeurt dit niet, dan hangt het gehele praktijkgestuurde

effectonderzoek aan het zijden draadje van een of enkele “zeer gedreven” medewerker(s)

= 76

binnen de instelling. Verdwijnt deze medewerker, dan stort direct de hele onderzoekspraktijk

in.

Stap 5

Zorg ervoor dat elke aandachtsfunctionaris ‘zijn’ kernaspect uitwerkt, op gang brengt en laat

functioneren. Begin bij de deelprocessen die nodig zijn voor de verankering van het

praktijkgestuurd onderzoek in het primaire proces. Leg het een en ander vast in een werkboek

of een protocollenboek (zie bijvoorbeeld De Meyer e.a., 2005). Het overzicht in figuur 5.2

maakt duidelijk wat er voor elk proces bij komt kijken. =Proces Wat te doen?

1. Techniek a. Zorg voor goed werkende onderzoekssoftware op het netwerk van de instelling. Veel instellingen maken inmiddels gebruik van de in opdracht van Praktikon ontwikkelde onderzoeksdatabase BergOp (Kroes, 2005), een database waarin de meeste in de jeugdzorg gebruikte vragenlijsten (zoals ook de CBCL, NOSI, C toets) verwerkt en verzameld kan worden. b. De instelling zorgt voor applicatiebeheerders die de werking van deze onderzoekssoftware op het netwerk van de instelling kunnen ondersteunen.

2. Logistiek a. Het cliëntsecretariaat van een afdeling zorgt ervoor dat de door hulpverleners aangeleverde vragenlijsten in de onderzoeksdatabase ingevoerd worden en zorgt dat de hulpverlener op tijd de uit de vragenlijsten voortkomende profielen in het bezit heeft. b. De instelling zorgt voor voldoende cliëntsecretariaat op de afdeling. Het gaat hierbij om een tijdige administratieve afhandeling van registratie, rapportage, onderzoek en dossiervorming taken. c. De instelling zorgt ervoor dat de cliëntsecretariaten zijn getraind in het gebruiken van de voor deze taken beschikbare software.

3. Methodiek a. Er vindt een matching plaats tussen de doelen die in de hulpverlening veel worden gesteld en de vragenlijsten die de effectiviteit van de interventies in beeld moeten brengen. b. De teamleiders en werkbegeleiders zorgen ervoor dat de uitkomsten van de vragenlijsten door de hulpverleners worden besproken met ouders en jeugdigen. c. Hulpverleners worden in de methodische werkbegeleiding door hun werkbegeleider ondersteund in het goed gebruiken van de uitkomsten in de gesprekken met ouders en jeugdigen . d. Werkbegeleiders en hulpverleners worden (periodiek) getraind in het (beter leren) gebruiken van deze uitkomsten binnen het hulpverleningsproces. De instelling organiseert deze trainingen. e. Teamleider en/of de voor een afdeling verantwoordelijke manager bespreekt jaarlijks de teruggekoppelde onderzoeksuitkomsten met het team van hulpverleners.

4. Statistiek a. De instelling sluit een overeenkomst met een wetenschappelijk onderzoeksinstituut dat de statistische analyses van de verzamelde data verzorgt dat de resultaten rapporteert in op maat gemaakte tabellenboeken die (mede) voor de teams interessant zijn. b. Er is een planning waarin is opgenomen wanneer welke onderzoeksinformatie in welke tabellen beschikbaar is. Door het jaar heen wordt periodiek informatie geleverd over de kwaliteit van de verzamelde data (responscontrole). c. De gewenste tabellen en data responscontrole overzichten zijn zoveel mogelijk geprogrammeerd.

Figuur 5.2 Processen bij inbedding van het praktijkgestuurd effectonderzoek in het primaire proces

=

Stap 6

Herhaal stap 5, maar nu voor de benutting van de gegevens in de beleidscyclus en de

empirische cyclus. Start dit zo mogelijk al op tijdens fase 5. Maar neem niet teveel hooi op de

vork. Waak er ook voor dat de benutting voor de beleidscyclus en de empirische cyclus niet

de benutting in de hulpverleningscyclus gaat overstemmen.

5.5 Huiswerk voor overheid en instellingen

Duidelijk is dat werken met praktijkgestuurd effectonderzoek door professionals binnen een

jeugdzorginstelling veel van zowel de instelling als van de professional vraagt. Duidelijk is

ook dat het erg veel kan opleveren. Voor het realiseren van een dergelijke ambitie is er steun

in de rug nodig van de overheid en brancheorganisaties.

= 77

Het beste en snelste zal het werken als ieder op zijn eigen niveau met dit huiswerk aan de

gang gaat. Toch willen we iedereen vragen om niet op elkaar te gaan zitten wachten. De al

bestaande praktijkvoorbeelden laten zien dat er veel te bereiken is als je gewoon zelf binnen je

eigen mogelijkheden met je eigen huiswerk begint!

Het huiswerk van de overheid en financier

De overheid mag en moet hierbij instellingen en professionals verplichten zich op een

transparante en navolgbare wijze te verantwoorden over de resultaten van de geleverde zorg.

Dit kost de instellingen echter tijd en energie. De overheid doet er goed aan hierbij een

prikkel in te bouwen die instellingen beweegt om steeds beter te worden in het afleggen van

de gevraagde verantwoording. Het zou goed zijn als de overheden en financiers met de

branche nagaan welke prikkels dit zijn en hoe deze het beste zijn in te bouwen.

Aandachtspunt is voorts hoe de kosten voor bijscholing, voor het meten van resultaten, het

laten uitvoeren van effectonderzoek gericht op het bereiken van de laatste trede van de

effectladder, en voor het onderhouden van kwaliteitssystemen in de financiering van de

instellingen zijn te verankeren.

Tot slot is aandachtspunt de landelijke borging en verspreiding van kennis. Immers, we

hebben aangegeven dat het samenwerken met en te rade gaan bij collega-instellingen

belangrijk is. Lastig punt daarbij is hoe de kennisverspreiding optimaal is te realiseren in een

meer marktgerichte sector. Mooi onderwerp voor een nationaal kennisdebat over de

jeugdzorg.

Het huiswerk van de instellingen en haar brancheorganisaties

De instellingen hebben de taak om effectieve hulp te verstrekken (Stam, 2004) en om ruimte

te bieden voor vakmanschap (Dresen, 2005). Het organiseren van de vier processen voor

praktijkgestuurd effectonderzoek vragen van elke instelling een behoorlijke inspanning. Dit is

zeker het geval als elke instelling hierbij zelf het wiel moet gaan uitvinden. Het scheelt enorm

als instellingen gezamenlijk via bijvoorbeeld hun brancheorganisaties hierbij een aantal

richtinggevende kaders ontwikkelen. Zo is het verstandig om in elk geval gezamenlijke

afspraken te maken over welke instrumenten worden gebruikt bij het meten van de aard en

ernst van de opgroei- en opvoedproblemen en op welke meetmomenten deze instrumenten in

de hulpverleningscyclus worden ingezet. Een dergelijke afspraak geeft de mogelijkheid om

ook gezamenlijk te investeren in het ontwikkelen en verspreiden van een goede methodiek

voor het gebruiken van deze instrumenten door professionals in hun hulpverlenend handelen

en voor het gebruiken van deze gegevens in het onderbouwen van beslissingen in de

beleidscyclus. Ook ontstaat er zo een mogelijkheid de uitkomsten onderling te vergelijken

(benchmarking).

Een ander aandachtspunt is het maken van afspraken over de wijze waarop doelen van de

hulpverlening worden vastgelegd en op welke manier de doelrealisatie wordt gemeten.

Bij het maken van afspraken op deze beide punten moeten we ons realiseren dat er op dit

moment (nog) geen ideale instrumenten bestaan voor het meten van de aard en de ernst van de

opgroei- en opvoedproblemen. Ook bestaat er (nog) geen ideale manier voor het meten en

= 78

vastleggen van doelrealisatie. Door de “goede praktijkvoorbeelden” bij verschillende

instellingen in Nederland te bekijken, hierbij te leren van de professionals die in de dagelijkse

hulpverleningspraktijk op een methodische wijze instrumenten gebruiken, werken met het

stellen van doelen en het evalueren van doelen is het zeer wel mogelijk om uit een aantal

alternatieven de beste te kiezen.

5.6 Bronvermelding

Boonstra, J.J. (2000). Lopen over water: over dynamiek van organiseren, vernieuwen en leren. Amsterdam:

Vossiuspers AUP.

Brink, T., ten, Kerkstra, G., Roosma, A.H. & Veerman, J.W. (2001) Het Onderzoek IAG, doelgroep, resultaten

en werkwijze. Assen: Uitgeverij Hulp aan Huis.

Brock, A.J.L.L. de, Vermulst, A.A., Gerris, J.R.M. & Abidin, R.R. (1992). NOSI, Nijmeegse Ouderlijke Stress

Index, Handleiding experimentele versie. Lisse: Swets en Zeitlinger.

Cauffman, L. (2005). Oplossingsgericht management: simpel werkt het best. Utrecht: Lemma.

Dresen, C. (2005) Effectiviteit en vakmanschap. Nederlands Tijdschrift voor Jeugdzorg, 9 (6), 268-275.

Harink, M. (2003). De methodiek van de gezinsdagbehandeling. Beilen: Programma Psychiatrische

Gezinsgerichte Behandeling Noord Nederland.

Janssen, M., Kroes, G. & Dam, G. van (2005). De knuppel in het Hoederhok: resultaten follow-up onderzoek

2005. Hoederloo: Hoenderloogroep.

Kroes, G. (2005). Handleiding BergOp. Nijmegen: Praktikon.

Kroes, G. & Veerman, J.W. (2005a). Resultaten van de gezinskliniek en gezinsdagbehandeling in Beilen,

Tabellenboek 2004. Nijmegen: Radboud Universiteit, ACSW/ Praktikon.

Kroes, G. & Veerman, J.W. (2005b). Resultaten van de gezinskliniek de Bellenbergh in Zeist, Tabellenboek

2004. Nijmegen: Radboud Universiteit, ACSW/ Praktikon.

Leysen, M. (2005). Praktijk en effectonderzoek van intensieve thuishulp in de eigen instelling. In: J.R.M. Gerris

(red.) Interventie en preventie samen met effectonderzoek: professionele winst. Assen: van Gorcum.

Mastenbroek, W.F.G. (1996). Conflicthantering en organisatieontwikkeling. Diegem: Samsom.

Meyer, R.E. de, Rijks, K., Roosma, A.H. & Veerman, J.W. (2005). Handleiding registratie, rapportage,

onderzoek en dossiervorming. Assen/ Papenvoort: BJZ Drenthe en Jeugdzorg Drenthe.

Meyer, R.E. de & Veerman, J.W. (2005). Resultaten Hulp aan Huis Drenthe, Tabellenboek 2004. Nijmegen:

Radboud Universiteit, ACSW/ Praktikon

Mintzberg, H. (1994). Organisatiestructuren. Schoonhoven: Uitgeverij Academic Service Economie en

Bedrijfskunde.

Roosma, A.H. (1999). Het project Psychiatrische Gezinsgerichte Behandeling Noord Nederland. Assen/ Beilen:

GGZ Drenthe.

Roosma, A.H. (2000). Het projectplan Hulp aan Huis Twente, Assen: Uitgeverij Hulp aan Huis.

Roosma, A.H. (2005). Het monitoringsysteem Resultaatgericht Meten, systematisch meten en volgen van de

effectiviteit van de jeugdzorg. Assen: BJZ Drenthe en Jeugdzorg Drenthe.

Schot, E. & Steege, M. van der (1998). De methodiek van IOG. Assen: Uitgeverij Hulp aan Huis

Senge, P.M. (1992). De vijfde discipline: de kunst en praktijk van de lerende organisatie. Schiedam: Scriptum

Books.

Stam, P. (2004). Oplossingsgerichte beleidsvorming, beweging richting een effectievere jeugdzorg. Notitie

gepresenteerd aan de vaste Tweede Kamercommissie Jeugdbeleid. Assen: Jeugdzorg Drenthe.

Stichting Alexander (2003). Verantwoording C-toets. Amsterdam: Stichting Alexander.

Verhulst, F.C., Ende, J, van der & Koot, H.M. (1996) Handleiding CBCL / 4-18. Rotterdam: Erasmus

Universiteit / Sophia Kinderziekenhuis, afdeling Kinder- en Jeugdpsychiatrie.

Verhulst, F.C., Ende, J. van der, & Koot, H.M. (1997). Handleiding voor de Youth Self-Report (YSR).

Rotterdam: Erasmus Universiteit/ Sophia Kinderziekenhuis, Afdeling Kinder- en Jeugdpsychiatrie.

= 79

Blik op de overige delen

Deel 2. Beschrijving van voorbeeldpraktijken

In dit deel worden verschillende thema’s die in hiervoor aan de orde zijn geweest aan de hand

van praktijkvoorbeelden uitgewerkt. Aan bod komen onderwerpen als

• de opleiding van hulpverleners in het inbedden van het gebruik van instrumenten in

het primaire proces;

• het gebruik van onderzoeksinformatie in het primaire proces en op teamniveau;

• het organiseren van de dataverzameling en de benutting van de gegevens;

• het benchmarken van resultaten over afdelingen en instellingen heen;

• het organiseren van follow-up-metingen.

De voorbeelden zijn afkomstig van Hulp aan Huis in Groningen, Drenthe en Overijssel,

Klinische gezinsbehandeling De Bellenbergh en Beilen, de Hoenderloogroep en Spirit.

Deel 3. Methoden en technieken

Hier volgen hoofdstukken die een nadere theoretische en praktische verdieping geven aan

belangrijke ingrediënten van het praktijkgestuurd onderzoek. Elk hoofdstuk biedt praktische

handreikingen. Daarbij gaat de aandacht uit naar

• de verschillende onderzoeksopzetten voor praktijkgestuurd effectonderzoek;

• de keuze van instrumenten voor het meten van verrichtingen en effecten;

• de procedures die nodig zijn voor een succesvolle registratie en gegevenslogistiek;

• het analyseren van de gegevens op verandering in de problematiek van cliënten en het

succes van de hulpverlening;

• het benutten van de gegevens in de verschillende cycli en het formuleren van

verbetervoorstellen.

Deel 4. Strategie en context

In het laatste deel gaat de aandacht uit de verbeterstrategieën en de context waarvan

praktijkgestuurd onderzoek deel van uitmaakt. Het gaat hierbij onder meer om

• het werkendeweg ontwikkelen van methodieken;

• het opleiden van behandelaars tot actieve participanten in praktijkverbetering;

• het in de organisatie verankeren en financieren van praktijkgestuurd onderzoek.

= 80

= 81

Over de projectgroep

Dr. B. Bijl

Bas Bijl is kinder- en jeugdpsycholoog en als senior onderzoeker/adviseur verbonden aan PI

Research te Duivendrecht. Zijn werkgebied betreft de jeugdzorg en het speciaal onderwijs. De

ontwikkeling van ‘solide’, werkzame interventies is een thema waarmee hij zich de afgelopen

vijftien jaar in verschillende functies heeft beziggehouden. Onderbouwing van interventies

met onderzoeksresultaten is hiervan een wezenlijk onderdeel. In zijn werk als onderzoeker

heeft hij diverse projecten onder handen (gehad) waarin de vraag over het effect van

interventies. Tevens is hij als adviseur betrokken bij projecten die tot doel hebben onderzoek

naar hulpverleningsresultaten structureel in te bedden in het primair proces.

H.A.M. Ooms-Temmink

Herma Ooms is verandermanager en heeft een arbeidsverleden als uitvoerende,

leidinggevende en docent/trainer binnen de (Jeugd)zorg. Zij is als senioradviseur/manager

werkzaam bij Collegio, kennispraktijk voor de Jeugdzorg. Daar houdt ze zich vooral bezig

met het begeleiden en implementeren van veranderingen in organisaties, waarbij de

doorvertaling van de consequenties voor de beroepsbeoefenaar speciale aandacht krijgt.

Binnen het project Zicht op Effectiviteit is zij voorzitter van het Effectiviteitsplatform.

Drs. A.H. Roosma Dries Roosma is psycholoog / andragoog. Hij is als projectleider werkzaam bij BJZ Drenthe

en de zorgaanbieder Jeugdzorg Drenthe. Daar houdt hij zich vooral bezig

methodiekontwikkeling en kwaliteitsverbetering in de Drentse jeugdzorg, jeugd-GGZ en

jeugd-Gehandicaptenzorg. Hij is betrokken geweest bij de ontwikkeling en invoering van

Hulp aan Huis Drenthe, het programma Psychiatrisch Gezinsgerichte Behandeling Noord

Nederland en meer recent het Voordeurprogramma BJZ Drenthe en de ontwikkeling en

invoering van het monitoringsysteem Resultaatgericht Meten in de Drentse jeugdzorg.

Prof. dr. J.W. Veerman (projectleider en penvoerder)

Jan Willem Veerman studeerde klinische psychologie. Hij is vanwege de Stichting De

Waarden te Nijmegen bijzonder hoogleraar Speciale Kinder- en Jeugdzorg aan de Radboud

Universiteit Nijmegen (RU). Tevens is hij hoofd van Praktikon, een onderzoeksorganisatie in

de jeugdzorg die deel uitmaakt van de Stichting de Waarden. Hij houdt zich bezig met

evaluatie- en effectonderzoek in de praktijk van de jeugdzorg. Vanuit die rol heeft hij

meegewerkt aan en gepubliceerd over onderzoek naar verschillende vormen van jeugdzorg.

Prof. dr. T.A. van Yperen (projectleider)

Tom van Yperen is orthopedagoog. Hij is als expert medewerker verbonden aan het Centrum

Jeugd van het Nederlands Instituut voor Zorg en Welzijn. Daar houdt hij zich vooral bezig

met de kwaliteit van de jeugdzorg. Zijn publicaties gaan hoofdzakelijk over diagnostiek en

indicatiestelling, instrumentgebruik en de effectiviteit van interventies. Tevens is hij vanwege

het NIZW bij de Universiteit Utrecht werkzaam als bijzonder hoogleraar op het terrein van

het onderzoek en de ontwikkeling van effectieve jeugdzorg. In die functie ondersteunt hij de

opbouw van een opleiding voor Onderzoek & Ontwikkeling in de sector en stimuleert hij

onderzoek naar de resultaten van jeugdzorginterventies. ==

= =

=Effectiviteit van de jeugdzorg is ‘in’. Het thema staat op vele plaatsen en in uiteenlopende kringen hoog op

de agenda. Algemeen is de behoefte om via onderzoek meer zicht te krijgen op de effectiviteit van de

interventies in de praktijk. Ook is er brede steun voor het gebruik van dit onderzoek om – waar nodig – de

praktijk verder te ontwikkelen. Hulpverleners, beleidsmakers en wetenschappers kunnen echter nogal

verschillend aankijken tegen het doen van onderzoek. Vaak leidt dat tot een kloof die niet productief is.

Het boek ‘Zicht op effectiviteit’ biedt een uitstekend kader om deze kloof te overbruggen. Centraal staat het

doen van onderzoek naar de effectiviteit van jeugdzorginterventies in de praktijk. Het boek biedt vele ideeën

en handreikingen voor hoe het onderzoek is te verbinden aan het ontwikkelingsstadium waarin een

interventie verkeert, en hoe de uitkomsten in te passen zijn in de hulpverleningscyclus, de beleidscyclus en

de empirische cyclus van de wetenschap.

De onderhavige publicatie omvat het eerste deel van het boek. Het is een zogeheten nulversie: een concept

waarmee gewerkt wordt om de overige delen van het boek te produceren. De concepten van de volgende

delen verschijnen in de loop van 2006. Gebruikers van de publicatie hebben de mogelijkheid hun

commentaren op de teksten in te brengen in de totstandkoming van de definitieve versie van het boek. Deze

zal in 2007 het licht zien.

De auteurs van het boek zijn werkzaam in verschillende praktijk- en ondersteuningsinstituten. In hun functie

hebben zij veel te maken met effectiviteitsvraagstukken en praktijkonderzoek. Het werk dat zij verrichten

voor de totstandkoming van deze publicatie is in belangrijke mate mogelijk gemaakt door financiële

ondersteuning van het ministerie van Volksgezondheid, Welzijn en Sport.

=