Bijlage 3 Prestaties in de Praktijk€¦ · Ad 1 – zonder hulp verder De hoofdaannemer dient bij...

Prestaties in de praktijk Een handreiking voor het uniform en geharmoniseerd meten van resultaten van

specialistische jeugdhulp

Jeugdregio’s Amsterdam-Amstelland en Zaanstreek-Waterland

Versie 4 juni 2016

2

Inhoud

1. Operationalisatie resultaten specialistische jeugdhulp ........................................................... 3

De indicatoren en de verwachte resultaatmaat ....................................................................... 3

Uitval .................................................................................................................................. 4

Tevredenheid ...................................................................................................................... 5

Doelrealisatie ...................................................................................................................... 7

2. Nadere specificaties .............................................................................................................. 14

Tijdspad implementatie ........................................................................................................ 14

Bouwen aan normen ............................................................................................................. 14

Prestatiedialoog: ter verbeteren en verantwoording van de jeugdhulp ................................ 15

Resultaat meten bij wisseling van profiel of hoofdaannemer .............................................. 15

Risico’s ................................................................................................................................. 16

3. Prestaties in de Praktijk: Hoe nu verder ............................................................................... 17

3

1. Operationalisatie resultaten specialistische jeugdhulp

De gemeenten beogen te gaan werken met elf ondersteuningsprofielen die getypeerd

worden door in het gezin aanwezige problematiek. Binnen elk profiel kan de problematiek

ingedeeld worden aan de hand van drie intensiteiten.

De combinatie van profielen en intensiteiten wordt ingezet om de heterogene populatie van

jeugdigen te clusteren tot een overzichtelijk aantal subgroepen. Binnen deze profielen dient

gewerkt te worden met een vaste set van meetinstrumenten waaruit gekozen kan worden

(geharmoniseerd). Voor de verschillende intensiteiten (of zelfs op het niveau van de

aanbieder) wordt gewerkt met verschillende normen.

Op 20 januari 2016 werd een basisset van instrumenten gepresenteerd door de landelijke

werkgroep Harmonisatie Outcome Jeugdhulp, welke op initiatief van VNG is opgericht. De

gepresenteerde instrumenten bouwen voort op een eerdere verkenning van de VNG waaruit

een drietal belangrijke indicatoren naar voren zijn gekomen die iets kunnen zeggen over de

kwaliteit van de geleverde hulp: uitval, cliënttevredenheid en vier subdimensies voor het

meten van doelrealisatie (deze worden later in dit stuk uitgebreid toegelicht).

In het advies wordt verder het werken met vaststaande meetmomenten vastgelegd: bij start

behandeling, eind behandeling, zes maanden na afsluiting van behandeling en (eventueel)

twee jaar na afsluiting van de behandeling. Het advies van de werkgroep Harmonisatie

Outcome Jeugdhulp sluit inhoudelijk gezien aan op de staande praktijk waarin

(gecertificeerde) instellingen middels Routine Outcome Monitoring (ROM) metingen

uitvoeren op vooraf bepaalde tijdstippen met een vaststaand (wetenschappelijk

onderbouwd) instrumentarium.

Het werken volgens de ROM-systematiek draagt bij aan het vergelijkbaar en eenduidig

maken van resultaten. Daarnaast biedt het werken met de bestaande ROM-systematiek de

mogelijkheid om te werken aan onderbouwen en verbeteren van aanbod. Op de lange

termijn draagt het uitvoeren van ROM-metingen bij aan het ontwikkelen van evidence based

aanbod en dus aan betere jeugdzorg op landelijk niveau.

De samenwerkende gemeenten in de jeugdregio’s Amsterdam-Amstelland en Zaanstreek-

Waterland onderschrijven het belang van werken met betrouwbare en valide instrumenten

om resultaten te meten. De gepresenteerde basisset met daaraan gekoppeld het

gedachtegoed achter ROM en de herhaalde vaststaande meetmomenten sluiten aan op dit

belang. Daarnaast beogen de samenwerkende gemeenten door het advies van de werkgroep

Harmonisatie op hoofdlijnen te volgen uniformiteit in de manier waarop gemeten wordt op

landelijk niveau. Opdrachtnemers worden hierdoor zo min mogelijk belast met verschillende

eisen vanuit verschillende gemeenten. Daarnaast wordt vergelijking tussen regio’s mogelijk,

wanneer gewerkt wordt met een soortgelijke set instrumenten. In het kader van het

toewerken naar een geharmoniseerd beeld is het essentieel dat in alle documenten

(inkoopdocumenten, overeenkomsten etc.) eenduidig terminologie gehanteerd wordt.

Kortom, het in dit document gepresenteerde instrumentarium om kwaliteit in de jeugdhulp

te meten sluit aan op landelijke gedeelde werkwijze, de staande praktijk in de jeugdhulp en

leidt tot een uniform beeld van de behaalde resultaten over hoofdaannemers.

De indicatoren en de verwachte resultaatmaat In deze paragraaf wordt voor de drie indicatoren: uitval, cliënttevredenheid en doelrealisatie

uitgewerkt wat precies onder deze begrippen wordt verstaan en welk uniforme standaard

4

resultaatmaat wordt gehanteerd (ongeacht het specifieke meetinstrument) om de indicator

te kwantificeren. Wanneer de manier van meten verschilt per profiel en/of per intensiteit,

dan zal een nadere specificatie worden gegeven.

De eindmaten zeggen iets over de geboden kwaliteit en de bereikte resultaten op het niveau

van de jeugdige. Daarnaast levert de Opdrachtnemer – de hoofdaannemer - jaarlijks

geaggregeerde gegevens aan de Gemeente, waaruit de algemene kwaliteit en resultaten

blijken, die de Opdrachtnemer – de hoofdaannemer - heeft bereikt binnen de verschillende

profielen waar hij werkzaam is.

In de uitwerking van de indicatoren wordt ervan uitgegaan dat de beschikbare cijfers binnen

een volledig kalenderjaar worden gebruikt om de geaggregeerde eindmaten te berekenen.

Wanneer gesproken wordt over ‘afgeronde trajecten’, dan wordt hiermee ieder traject

bedoeld dat formeel afgerond is tussen 1 januari en 31 december van voorgaand

kalenderjaar. Wanneer gesproken wordt over ‘tussenmetingen’, dan wordt hiermee iedere

tussentijdse meting bedoeld die is uitgevoerd tussen 1 januari en 31 december van

voorgaand kalenderjaar.

In aanvulling op de geaggregeerde eindmaten die de Opdrachtnemer aanlevert, is het bij de

(meer)jaarlijkse bespreking van de resultaten met de Gemeente zinvol om het aantal

trajecten per profiel X intensiteitscombinatie aan te geven. Het aantal trajecten op basis

waarvan de geaggregeerde eindmaten zijn berekend, zegt namelijk iets over de

betrouwbaarheid van de meting. Hoe meer metingen, hoe zuiverder de inschatting van de

algemene kwaliteit en resultaten die de Opdrachtnemer levert of bereikt.

Uitval

Deze indicator sluit aan op de registraties die jeugdhulpaanbieders verplicht moeten

verstrekken aan het CBS ten behoeve van de beleidsinformatie voor gemeenten en de

ministeries VWS en VenJ. Instellingen registreren de ‘reden beëindiging’ van een

behandeltraject standaard volgens een vaststaand informatieprotocol. Hierbij zijn vijf opties:

• Beëindigd volgens plan (01)

• Voortijdig: in overeenstemming (02)

• Voortijdig: eenzijdig door de cliënt (03)

• Voortijdig: eenzijdig door de aanbieder (04)

• Voortijdig: wegens externe omstandigheden (05)

Of een Opdrachtnemer in de basis kwalitatief goede hulp biedt, of heeft georganiseerd, kan

terug te zien zijn in het aandeel jeugdigen waarbij het behandeltraject enkelzijdig door de

jeugdige wordt beëindigd. De gemeente is daarom met name geïnteresseerd in het aantal

keer dat een behandeltraject op initiatief van de jeugdigen voortijdig beëindigd is.

In Tabel 1 wordt de operationalisatie van de indicator Uitval weergegeven.

5

Tabel 1. Overzicht operationalisatie indicator Uitval.

Specificaties Invulling

Wie stelt vast? Opdrachtnemer (is hoofdaannemer)

Wat wordt geregistreerd? Of het traject eenzijdig (voortijdig) door jeugdige is

beëindigd.

Eenheid/antwoordcategorieën Nee (0) versus Ja (1)

Wanneer geregistreerd? Op het moment dat de hoofdaannemer aan de jeugdige /

het gezin afronding van het behandeltraject vraagt.

Geaggregeerde eindmaat % eenzijdig voortijdig door de jeugdige beëindigde

trajecten

=

Aantal trajecten met codering ‘03’ gedeeld door het

totaal aantal behandeltrajecten *100

De Opdrachtnemer laat bij beëindiging van het traject aan de jeugdige / het gezin weten of

er sprake is van een afsluiting in overeenstemming of dat het traject eenzijdig door de

jeugdige is afgesloten.

De Opdrachtnemer - die als hoofdaannemer optreedt - dient daarnaast op jaarlijkse basis de

geaggregeerde eindmaat aan te leveren bij de gemeente. Daarnaast dienen Opdrachtnemers

die in meerdere profielen en/of intensiteiten opereren te rapporteren welke percentages

per profiel X intensiteitcombinatie zij hebben bereikt.

Tevredenheid

Of jeugdigen tevreden zijn over de geboden hulp of ondersteuning is een belangrijke

indicator voor kwalitatief goede hulp, ongeacht of de beoogde doelen (reeds) bereikt zijn. In

de vrijwillige jeugdhulp wordt het meest gewerkt met de Exit-vragenlijst, de

Jeugdthermometer GGZ, de C-toets en de CQI. Deze instrumenten meten verschillende

aspecten die tezamen cliënttevredenheid1 bepalen (bijvoorbeeld resultaatervaring,

bejegening of mate van ervaren inspraak). De hoofdaannemer is vrij in zijn keus voor een

van deze instrumenten (of een andere valide en genormeerde vragenlijst).

Al deze lijsten bevatten in een of andere formulering een vraag naar het overkoepelende

oordeel van de jeugdige en/of zijn ouders/verzorgers. Ervaring leert dat dit overkoepelde

oordeel sterk samenhangt met de inschatting op de afzonderlijke aspecten). Om een

geharmoniseerde en uniforme uitvraag van de cliënttevredenheid te krijgen is het echter

van belang dat alle hoofdaannemers exact hetzelfde item voorleggen aan de jeugdige en/of

zijn ouders/verzorgers.

Daarom dienen de hoofdaannemers te zorgen dat zowel ouders/verzorgers als jeugdigen

van 12 jaar of ouder de volgende vraag beantwoorden bij afsluiting van het hulptraject:

‘Geef met een schoolcijfer van 1 tot 10 aan hoe nuttig deze hulp voor u / jou was’ (1 =

volkomen nutteloos, ik had er niets aan; 10 = uitstekend, ik heb er heel veel aan gehad.

Voor langdurige trajecten met een intensieve of duurzaam intensiteit dient minimaal op

jaarlijks niveau dit item uitgevraagd te worden zowel bij ouders/verzorgers als bij jeugdigen

1 Gemeente spreekt in dit kader liever van gezinstevredenheid, maar in dit document wordt de term cliënttevredenheid gebruikt, om in lijn met de uitkomsten van het NJI-onderzoek te blijven.

6

van 12 jaar of ouder. In aanvulling op dit item zijn instellingen vrij om te kiezen voor een

aanvullende cliënttevredenheidlijst die zij voor intern gebruik kunnen benutten.

In Tabel 2 wordt de operationalisatie van de indicator Tevredenheid weergegeven.

Tabel 2. Overzicht operationalisatie indicator Tevredenheid.


Wie stelt vast? Minstens één ouders/verzorger van jeugdige

& jeugdigen vanaf 12 jaar

Wat wordt geregistreerd? Het antwoord op het item ‘Geef met een schoolcijfer van

1 tot 10 aan hoe nuttig deze hulp voor u / jou was’

Eenheid/antwoordcategorieën Rapportcijfer van 1 (volkomen nutteloos, ik had er niets

aan) tot 10 (uitstekend, ik heb er heel veel aan gehad)

Wanneer geregistreerd? Op het moment dat de hoofdaannemer aan het gezin

afronding van het behandeltraject vraagt

+ minstens jaarlijks voor jeugdigen met een langdurig

behandeltraject.

Geaggregeerde eindmaten Gemiddeld rapportcijfer eindmetingen

=

Sommering alle rapportcijfers van alle beschikbare

eindmetingen gedeeld door het totaal aantal beschikbare

metingen.

% afgeronde trajecten met een gemiddeld rapportcijfer

lager dan 6

=

Aantal afgeronde trajecten met een gemiddeld

rapportcijfer lager dan 6 gedeeld door het totaal aantal

afgeronde trajecten.

% afgeronde trajecten met een gemiddeld rapportcijfer

hoger dan 8

=

Aantal afgeronde trajecten met een gemiddeld

rapportcijfer hoger dan 8 gedeeld door het totaal aantal

afgeronde trajecten.

Gemiddeld rapportcijfer tussenmetingen

=

Sommering alle rapportcijfers van alle beschikbare

tussenmetingen gedeeld door het totaal aantal

beschikbare tussenmetingen.

% tussenmetingen met een gemiddeld rapportcijfer

lager dan 6

=

Aantal tussenmetingen met een gemiddeld rapportcijfer

lager dan 6 gedeeld door het totaal aantal

7

tussenmetingen.

% tussenmetingen met een gemiddeld rapportcijfer

hoger dan 8

=

Aantal tussenmetingen met een gemiddeld rapportcijfer

hoger dan 8 gedeeld door het totaal aantal afgeronde

tussenmetingen.

De Opdrachtnemer laat bij beëindiging van het traject aan het gezin weten welke

rapportcijfers door ouder(s)/verzorger(s) en eventueel de jeugdige zijn gegeven. Het gezin

kan hierin ondersteund worden door het lokale team en/of de GI.

De Opdrachtnemer - die als hoofdaannemer optreedt - dient daarnaast op jaarlijkse basis de

geaggregeerde eindmaat aan te leveren bij de gemeente. Daarnaast dienen Opdrachtnemers

die in meerdere profielen en/of intensiteiten opereren te rapporteren welke percentages

per profiel X intensiteit combinatie zij hebben bereikt.

Van sommige jeugdigen is te verwachten dat zij niet in staat zullen zijn om de beoordeling te

geven. Het gaat dan met name om de jeugdigen met een verstandelijke beperking. Dit

gegeven heeft geen invloed op de geaggregeerde eindmaat, omdat deze berekend wordt op

het totaal aantal jeugdigen dat de vraag wel heeft beantwoord. Zoals eerder aangegeven is

het relevant om te weten wat het totaal aantal trajecten is dat de Opdrachtnemer heeft

uitgevoerd, zodat de verwijzer (in het lokale team, of de GI) een beeld krijgt van de

representativiteit van de uiteindelijke groep jeugdigen die een beoordeling heeft gegeven.

Doelrealisatie

Doelrealisatie wordt aan de hand van vier subindicatoren in beeld gebracht.

1. De mate waarin een jeugdige na jeugdhulp zonder hulp verder kan;

2. De mate waarin er na beëindiging van de jeugdhulp geen nieuwe start hulp is;

3. De mate waarin er sprake is van afname problematiek / toename zelfredzaamheid /

toename participatie;

4. De mate waarin overeengekomen doelen zijn gerealiseerd.

Ad 1 – zonder hulp verder

De hoofdaannemer dient bij de beëindiging van een behandeltraject aan minstens één

ouder/verzorger en jeugdigen van 12 jaar of ouder het volgende item voor te leggen:

‘Ik heb voldoende geleerd om na de hulp zelf verder te gaan (helemaal niet mee eens, niet

mee eens, wel mee eens, helemaal mee eens).

Bij langdurige zorg of ondersteuning bij jeugdige met chronische problematiek is de uitvraag

niet zinnig.

Ook voor jeugdige met een traject in profiel ‘Crisis’ is het meten van deze indicator niet

nuttig. Het is immers niet de verwachting dat deze jeugdige na afsluiting van het acute

traject geen andere hulp meer nodig hebben. In de meeste gevallen zal aansluitend een

traject in een andere intensiteitklasse starten.

In Tabel 3 wordt de operationalisatie van de indicator Zonder hulp verder weergegeven.

8

Tabel 3. Overzicht operationalisatie indicator Zonder hulp verder.




Wat wordt geregistreerd? Het antwoord op het item ‘Ik heb voldoende geleerd om

na de hulp zelf verder te gaan (helemaal niet mee eens,

niet mee eens, wel mee eens, helemaal mee eens).

Eenheid/antwoordcategorieën Vierpuntsschaal, te weten 1 = helemaal niet mee eens, 2

= niet mee eens, 3 = wel mee eens, 4 = helemaal mee

eens


afronding van het behandeltraject vraagt.

Geaggregeerde eindmaat Gemiddelde score item ‘zonder hulp verder’ voor

ouder(s) / verzorger(s)

=

Sommering scores van ouder(s) / verzorger(s) gedeeld

door het totaal aantal oudermetingen.

Gemiddelde score item ‘zonder hulp verder’ voor

jeugdigen van 12 jaar of ouder

=

Sommering scores van jeugdigen van 12 jaar of ouder

gedeeld door het totaal aantal metingen van jeugdigen

die 12 jaar of ouder zijn.

Ad 2 – geen nieuwe start van hulp

Deze indicator is voor de gemeente als financier interessant, omdat het iets zegt over de

duurzaamheid van bereikte effecten. Praktisch gezien is het echter niet mogelijk dat

hoofdaannemers gegevens aanleveren over de mate waarin jeugdigen in het algemeen

terugkeren in jeugdhulp. De hoofdaannemer heeft wettelijk gezien immers niet het recht om

gegevens in te zien van jeugdigen die eventueel bij een andere (opvolgende, later in de tijd)

hoofdaannemer worden verzameld. Ook worden jeugdhulpaanbieders niet geïnformeerd

wanneer een jeugdige aanklopt bij de volwassenen hulp.

Hoofdaannemers kunnen echter wél aangeven in hoeverre een jeugdige in het verleden

eerder bij henzelf hulp heeft gekregen. Dit is echter een onvolledig beeld van de mate

waarin er herhaald beroep op de jeugdhulp in de regio wordt gedaan. Daarnaast zeggen

deze gegevens niets over de kwaliteit van hulp zoals die in het huidige traject bereikt wordt.

De gemeente krijgt het meest complete beeld van deze indicator wanneer zij vertrouwen op

gegevens die het CBS kan aanleveren. Het CBS heeft vanaf 2011 persoonsgegevens van

iedereen die in hulp is geweest en/of die een maatregel heeft gehad en kan van elke nieuwe

ingestroomde jeugdige bepalen of die eerder in hulp is geweest. Dat geeft indicatie van mate

waarin geen nieuwe start van de hulp plaatsvindt, de mate waarin een nieuwe

jeugdbeschermingsmaatregel uitblijft en/of er recidive van jonge delinquenten uitblijft.

De CBS-gegevens geven een algemeen beeld van het herhaald beroep op jeugdhulp per wijk,

per gemeente, of per regio. Die informatie is er niet per instelling beschikbaar, omdat het

9

CBS geen informatie teruggeeft per instelling en omdat de nieuwe hulp ook bij een andere

instelling kan zijn.

Kortom: deze indicator kan op gemeenteniveau mogelijk interessant zijn om het effect van

de jeugdhulp in kaart te brengen, maar zegt niks over de mate waarin een hoofdaannemer

kwaliteit levert.

Ad 3 – afname problematiek, toename zelfredzaamheid/participatie

Voor het vaststellen van de mate waarin de problematiek is afgenomen/zelfredzaamheid

en/of participatie is toegenomen wordt gewerkt met de systematiek die in de Routine

Outcome Monitoring (ROM) wordt gebruikt. ROM houdt in dat een vaste (grotendeels

bekende) set instrumenten gebruikt wordt om op vastgestelde momenten tijdens de inzet

van hulp de stand van zaken in kaart te brengen. De vastgestelde momenten zijn: bij start

hulp, bij afsluiting van de hulp, zes maanden na afsluiting hulp en eventueel twee jaar na

afsluiting van de hulp. Bij duurzame trajecten wordt de meting jaarlijks herhaald.

Het grote voordeel van het werken met de ROM-systematiek is dat deze bij allerlei

verschillende instrumenten tot een vergelijkbare scoring leidt. Dat is belangrijk, want in de

jeugdhulp zijn de beoogde veranderingen in gedrag en functioneren heel divers, afhankelijk

van de leeftijd, hulpvraag, type problematiek, etc. Aan de hand van de ruwe score van een

jeugdige op een inhoudelijk passend (wetenschappelijk onderbouwd) instrument wordt een

gestandaardiseerde T-score berekend. Deze T-score kan weer gebruikt worden om een

‘Reliable Change Index’ te berekenen, waarmee kan worden vastgesteld of de bereikte

verandering bij de jeugdige statistisch significant is. Vervolgens wordt op basis van de

statistische significantie (of het ontbrekend daarvan) het bereikte resultaat gecategoriseerd:

Verbeterd, Onveranderd/gestabiliseerd of Verslechterd.

Overigens moet vermeld worden dat de mate waarin een verandering bij jeugdigen

verwacht wordt, flink kan verschillen. In sommige situaties is stabilisatie van de problematiek

al een goede prestatie, bijvoorbeeld wanneer jeugdigen lijden aan een degeneratieve

aandoening. Deze constatering leidt tot de conclusie dat de interpretatie van

resultaatgegevens het meest betrouwbaar kan gebeuren aan de hand van normen2 voor

verschillende typen trajecten die voorkomen. Ook wanneer de resultaten worden afgezet

tegen normen, blijft het voeren van het gesprek hierover (tussen gezin, jeugdige,

hoofdaannemer, verwijzer en gemeente) belangrijk voor een juiste duiding van de behaalde

resultaten. In een dergelijk gesprek is bijvoorbeeld ruimte voor input over onverwachte

factoren die van invloed zijn geweest op het behaalde eindresultaat.

Welke instrumenten geschikt zijn verschilt per profiel en per type problematiek. Er wordt

bijvoorbeeld niet in ieder behandeltraject standaard gewerkt aan zelfredzaamheid of

toename in participatie. Een eerste set geschikte instrumenten wordt in onderstaande

schema weergegeven, maar is zeker niet volledig. In overleg met de verwijzer en/of de

gemeente kan gekozen worden voor aanvullende instrumenten, mits deze aan de volgende

voorwaarden voldoen:

- Het meetinstrument betrouwbaar, gevalideerd en genormeerd is.

- Het meetinstrument inhoudelijk aansluit bij de inhoud van de geboden hulp.

2 Bij de start van de implementatie van de voorgestelde meet- en verbetersystematiek zijn nog geen

normgegevens per type traject (ondersteuningsprofiel X intensiteit X aard problematiek) beschikbaar. Deze

zullen gaandeweg verzameld moeten worden.

10

In Tabel 4 wordt een overzicht gegeven van bij voorbaat door de gemeenten geaccepteerde

meetinstrumenten. De gemeente staat echter open voor aanvullingen vanuit de

Opdrachtnemers.

Tabel 4. Overzicht standaard geaccepteerde meetinstrumenten


Klachten/problemen CBCL, TRF, YSR, SDQ, SPSY

Kwaliteit van leven Kidscreen, POS/Quality of Life

Functioneren HoNOSCSA, ZRM(-Young), Vineland Screener

Ouderlijke stress NOSIK, OBVL

Problematiekspecifieke lijsten

Bijvoorbeeld:

Post-traumatische stress-symptomen

Leesvaardigheid/snelheid

Spellingvaardigheid

CRIES-13

3DM-dyslexie, EMT

PI Dictee

In Tabel 5 wordt de operationalisatie van de indicator Afname problematiek weergegeven.

Tabel 5. Overzicht operationalisatie indicator Afname problematiek



en jeugdigen vanaf 12 jaar en hulpverlener/behandelaar

Wat wordt geregistreerd? Afhankelijk van doel hulpverleningstraject: in ieder geval

de ernst van de problematiek, aanvullend eventueel

kwaliteit van leven/functioneren/ouderlijke

stress/problematiekspecifieke meting etc.

Eenheid/antwoordcategorieën T-score per meetmoment,

& bij meerdere meetmomenten RCI ten opzichte van

beginmeting

& bij meerdere meetmomenten drie categorieën voor

vooruitgang: 1 = verbeterd, 2 =

onveranderd/gestabiliseerd, 3 = verslechterd

Wanneer geregistreerd? Bij start hulp, bij afsluiting hulp, zes maanden na

afsluiting hulp en eventueel twee jaar na afsluiting.

Bij langdurige ondersteuning wordt de tweede meting na

zes maanden uitgevoerd en vervolgens jaarlijks herhaald.

Geaggregeerde eindmaat % ouder(s)/verzorger(s) die significante verbetering

ervaart

=

Sommering aantal ouder(s)/verzorger(s) dat significante

verbetering ervaart gedeeld door het totaal aantal

oudermetingen.

% ouder(s)/verzorger(s) die stabilisatie ervaart

=

Sommering aantal ouder(s)/verzorger(s) dat stabilisatie

ervaart gedeeld door het totaal aantal oudermetingen.

11

% ouder(s)/verzorger(s) die significante verslechtering

ervaart

=

Sommering aantal ouder(s)/verzorger(s) dat significante

verslechtering ervaart gedeeld door het totaal aantal

oudermetingen.

% jeugdigen die significante verbetering ervaart

=

Sommering aantal jeugdigen dat significante verbetering

ervaart gedeeld door het totaal aantal metingen van

jeugdigen.

% jeugdigen die stabilisatie ervaart

=

Sommering aantal jeugdigen dat stabilisatie ervaart

gedeeld door het totaal aantal metingen van jeugdigen.

% jeugdigen die significante verslechtering ervaart

=

Sommering aantal jeugdigen dat significante

verslechtering ervaart gedeeld door het totaal aantal

metingen van jeugdigen.

% hulpverleners/behandelaars die significante

verbetering ervaart

=

Sommering aantal hulpverleners/behandelaars dat

significante verbetering ervaart gedeeld door het totaal

aantal metingen van hulpverleners/behandelaars.

% hulpverleners/behandelaars die stabilisatie ervaart

=




% hulpverleners/behandelaars die significante

verslechtering ervaart

=




NB

Bij alle bovenstaande eindmaten dient apart vermeld te

worden op basis van welk aantal ouder(s)/verzorgers,

12

jeugdigen of hulpverleners/behandelaars de eindmaat

berekend is.

Ad 4 - doelrealisatie

Het werken met doelen is gemeengoed in de jeugdhulp. De doelrealisatie wordt

geoperationaliseerd (meetbaar te maken) door de systematiek van Goal Attainment Scaling

(GAS) toe te passen. In deze systematiek wordt voor de doelen die in het perspectiefplan, de

behandelovereenkomst en/of de beschikking zijn geformuleerd aan het einde van de hulp

door de jeugdige aangegeven:

-1 = doel niet behaald, situatie ongunstiger dan bij start;

0 = doel niet behaald, situatie gelijk aan start;

+1 = doel deels behaald;

+2 = doel behaald.

Ter herinnering, het gaat hierbij dus om het hoofddoel/de hoofddoelen die bij aanvang in

het behandelplan zijn geformuleerd en, welke afgestemd zijn met het gezin – al dan niet

ondersteund door het lokale team/de GI, zodat zij aansluiten op de doelen in het

perspectiefplan3.

Bij het afsluiten van een traject wordt voor ieder doel berekend in welke mate het doel

behaald is.

In Tabel 6 wordt de operationalisatie van de indicator Doelrealisatie weergegeven.

Tabel 6. Overzicht operationalisatie indicator Doelrealisatie.




Wat wordt geregistreerd? De mate waarin de afzonderlijke doelen voor jeugdige

en/of ouder in het behandelplan gerealiseerd zijn.

Eenheid/antwoordcategorieën GAS-score per geformuleerd doel (-1 = doel niet behaald,

situatie ongunstiger dan bij start, 0 = doel niet behaald,

situatie gelijk aan start, 1 = doel deels behaald, 2 = doel

behaald)


afronding van het behandeltraject vraagt.

Geaggregeerde eindmaat Gemiddelde GAS-score volgens ouder(s)/verzorger(s)

=

Sommering GAS-scores van ouder(s) / verzorger(s)

gedeeld door het totaal aantal oudermetingen op de

afzonderlijke doelen.

Gemiddelde GAS-score volgens cliënten

=

Sommering GAS-scores van jeugdigen gedeeld door het

3 Opdrachtnemers en verwijzers in het lokale team/de GI dienen voor 1 januari 2018 richtlijnen te krijgen voor

het formuleren van doelen, zodat deze daadwerkelijk SMART-geformuleerd worden en gericht op het

bevorderen van gewenst gedrag in plaats van het afwezig zijn van ongewenst gedrag.

13

totaal aantal metingen van jeugdigen op de afzonderlijke

doelen.

14

2. Nadere specificaties

Tijdspad implementatie Het meten van de resultaten van specialistische jeugdhulp is slechts voor een deel bedoeld

ter verantwoording van besteed budget. De samenwerkende gemeenten hebben helder

voor ogen dat het meten van resultaten onderdeel is van een algehele meet- en

verbeterbeweging bij instellingen. Deze meet- en verbeterbeweging leidt op de langere

termijn namelijk tot meer kwalitatief hoogstaande zorg.

Zoals de term ‘beweging’ impliceert, is het invulling geven aan en het opstarten van de

meet- en verbeterbeweging binnen instellingen niet een momentopname, maar een proces.

Beter gezegd, een cyclisch proces van vaststellen van inhoud, vervolgens het daadwerkelijk

implementeren, het verzamelen van gegevens, het evalueren van zowel de resultaten als de

werkwijze en tot slot weer het bijstellen van de inhoud.

Door te werken met de ondersteuningsprofielen, gegevens te verzamelen over indicatoren

en het voeren van gesprekken over de resultaten, bouwen de gemeenten samen met de

Opdrachtnemers in de loop der jaren aan kennis over de resultaten van hulp, maar ook over

verschillende typen jeugdigen en de mate waarin doelen realistisch zijn voor deze

verschillende typen.

Deze kennis komt aan het licht door systematisch praktijkonderzoek op basis van de

verzamelde gegevens. Het is wenselijk dat de gemeenten de uitvoering van de werkwijze

evalueert door middel van onderzoek. Waar nodig kunnen de processen of richtlijnen

vervolgens worden bijgesteld zodat een optimale uitvoering bereikt wordt. Het onderzoek

dient zich te richten op de onderbouwing van de validiteit van de ondersteuningsprofielen

en intensiteiten en de (praktische) bruikbaarheid van het gekozen instrumentarium om de

indicatoren te meten. Een systematische procesevaluaties maakt daarnaast inzichtelijk

welke succesfactoren en struikelblokken optreden tijdens de implementatie van de

werkwijze en de mate waarin de werkwijze uiteindelijk wordt uitgevoerd zoals

oorspronkelijk bedoeld.

Bouwen aan normen De insteek is om per 1 januari 2018 de voorgestelde dataverzameling te starten bij de

instellingen. Vervolgens gaan instellingen al hun jeugdigen volgen. Er moet echter voldoende

data verzameld zijn, voordat er betrouwbare conclusies getrokken kunnen worden over de

bereikte resultaten om de inkoop op te baseren.

Het is de verwachting dat er minstens een jaar lang gegevens verzameld moet worden,

voordat er inhoudelijke gesprekken gevoerd kunnen worden tussen Gemeente en

Opdrachtnemer over de duiding van bereikte resultaten. Concreet betekent dit dat de eerste

inhoudelijke gesprekken over de in 2018 bereikte resultaten aan het begin van 2019 plaats

kunnen vinden. Bij deze voorspelling is het uitgangspunt dat de dataverzameling direct vanaf

1 januari zo goed als volledig wordt uitgevoerd. Om een solide implementatie te bevorderen,

lijkt het de Gemeente echter zinvol om in de loop van 2018 ook gesprekken met

Opdrachtnemers te voeren. In deze gesprekken kunnen naast inhoudelijke en financiële

thema’s, maar ook de eerste bereikte resultaten aan bod komen.

De gegevens die gedurende 2018 verzameld worden bieden een eerste praktijknorm

waartegen toekomstige prestaties afgewogen kunnen worden. De verzamelde gegevens

kunnen door onderzoekers geaggregeerd worden en geanalyseerd op patronen. De kwaliteit

15

en volledigheid van gegevens bepalen vervolgens de mogelijkheid om de data als

‘benchmark’ te gebruiken.

Het gesprek over resultaten: ter verbeteren en verantwoording van de

jeugdhulp Het meten van resultaten vinden zowel de gemeenten als de Opdrachtnemers belangrijk,

omdat gegevens over de kwaliteit van geleverde hulp een voedingsboden bieden voor een

gesprek over hoe de jeugdhulp nog beter kan worden. Deze discussie wordt gevoerd binnen

de aanbieders van jeugdhulp als onderdeel van hun kwaliteitsvisie. Ook tussen de

uitvoerende aanbieders kan het gesprek over resultaten gevoerd worden, bijvoorbeeld in

het geval van hoofdaannemer- en onderaannemerschap. Tot slot wil ook de gemeente

gesprekken gaan voeren over bereikte resultaten met de hoofdaannemer van trajecten.

De meet- en verbeterweging vindt idealiter plaats op verschillende niveaus:

• op het niveau van de jeugdige/het gezin,

• op instellingsniveau door de individuele gegevens te aggregeren (eventueel

onderscheid makend tussen afdelingen of doelgroepen binnen een instelling),

• op profiel/intensiteitniveau door de gegevens van trajecten te aggregeren,

• op het maatschappelijk niveau.

De resultaten op het maatschappelijke niveau worden geformuleerd in het perspectiefplan:

hoe merkt de maatschappij dat het beter gaat met het gezin? De gemeenten zijn met name

geïnteresseerd in gegevens over resultaten op profiel/intensiteitniveau en de resultaten op

maatschappelijk niveau. Opdrachtnemers dienen een kwaliteitsvisie te hebben op de manier

waarop de gegevens op individueel of geaggregeerd niveau gebruikt kunnen worden binnen

de organisatie. Dit is belangrijk, omdat benutting van resultaten op de werkvloer leidt tot

betere zorg.

Naast kwaliteitsverbetering is dit gesprek over de resultaten tussen gezin, jeugdige,

hoofdaannemer, lokaal team/GI en de gemeente ook bedoeld als middel om

verantwoording af te leggen. Verantwoording van de hoofdaannemer naar het gezin als de

regiehouder (is uitgevoerd en bereikt wat is beoogd?), maar ook naar de gemeente als

financier van het uitgevoerde traject (is het geld effectief en efficiënt besteed, waardoor

geformuleerde maatschappelijke resultaten zijn bereikt?).

Overigens is de visie achter het werken met resultaatindicatoren per behandeltraject niet

louter gericht op het afrekenen op basis van bereikte resultaten. In dit gesprek komt het

complete samenspel van factoren aan bod, als ook de bereikte resultaten. In beginsel wordt

een traject vergoed wanneer de hoofdaannemer de inspanningen heeft geleverd die hij

heeft benoemd in het behandelplan.

Resultaat meten bij wisseling van profiel of hoofdaannemer Indien tijdens het uitvoeren van het behandelplan blijkt dat de jeugdige en het gezin feitelijk

beter past binnen een ander profiel of intensiteit, dan maakt de hoofdaannemer dat

bespreekbaar met de verwijzer. Dit gesprek kan tot de conclusie leiden dat het huidige

traject (financieel) wordt afgesloten en feitelijk een nieuw traject wordt opgestart. Wanneer

het eerste traject voor meer dan 50% is uitgevoerd, wordt een eindmeting van de tussentijds

bereikte resultaten uitgevoerd. Hierbij wordt als aparte variabele bijgehouden dat er sprake

is van een herzien traject.

16

In aanvulling op de geaggregeerde resultaatgegevens die de hoofdaannemer jaarlijks aan de

gemeente aanlevert, kan op basis van de extra variabele ‘herzien traject’ gefilterd worden

wat de bereikte kwaliteit en resultaten zijn van trajecten die volledig zijn uitgevoerd versus

trajecten die in de loop van de uitvoering afgesloten zijn in verband met een hernieuwde

inschatting van het passende profiel.

Risico’s Veel Opdrachtnemers zijn gewend aan het verzamelen van gegevens over bereikte

resultaten bij jeugdigen. De mate waarin dit in het verleden gelukt is, varieert echter nogal

per opdrachtnemer. Voor een deel heeft dit te maken met weerstand op de werkvloer. Men

ervoer het nut van de gegevensverzameling niet, dat wil zeggen men ziet niet hoe de

gegevensverzameling bijdraagt aan kwaliteitsverhoging van het primaire proces. Bij de

implementatie van de in deze notitie beschreven werkwijze dient rekening gehouden te

worden met deze weerstand. Instellingen moeten aangemoedigd worden om de verzamelde

gegevens intern te benutten, bijvoorbeeld middels jaarlijkse terugkoppeling aan de

medewerkers, vergezeld van aanwijzingen voor verbetering in de werkwijze.

Het niet volledig kunnen verzamelen van de verlangde gegevens ligt echter niet altijd aan de

inspanningen van de Opdrachtnemer, maar wordt eveneens veroorzaakt door het niet willen

of kunnen invullen van de vragenlijsten door de jeugdige. In het huidige voorstel wordt

daarom slechts een zeer beperkt aantal items verplicht gesteld. De haalbaarheid van

volledigheid van dataverzameling wordt hierdoor vergroot. Deze beperking in items laat

onverlet dat instellingen gestimuleerd worden om zelf meer uitgebreide ervaringen van

jeugdigen en gezinnen in kaart te brengen door middel van uitgebreidere, gevalideerde en

genormeerde vragenlijsten. Deze meer uitgebreide informatie dient intern benut te worden

om wederom op jaarlijks niveau te analyseren en vervolgens het werkproces te

optimaliseren.

Hoe de geregistreerde gegevens teruggekoppeld worden aan de gemeente dient te worden

geüniformeerd. Om te voorkomen dat allerlei verschillende soorten bestanden worden

aangeleverd, dient uitgewerkt te worden in welk concreet format de gewenste resultaten

teruggekoppeld dienen te worden naar de gemeenten. Om de instellingen te ontlasten (wat

de kans op volledige dataverzameling vergroot) kan de gemeente er eventueel voor kiezen

om een tussenpartij in te schakelen die de verzamelde gegevens omrekent naar dezelfde

standaardmaten en in hetzelfde digitale format plaatst.

Daarnaast heeft de gemeente de wens uitgesproken dat de resultaten te zijner tijd

inzichtelijk gemaakt worden naar de burgers. De manier waarop deze resultaten transparant

en eenduidig gedeeld kunnen worden, verdient eveneens aandacht. Temeer daar het

huidige plan toewerkt naar het weergeven van prestaties in dezelfde meeteenheid. Hierdoor

kan ten onrechte de verwachting ontstaan dat voor alle hoofdaannemers in alle profielen en

alle intensiteiten dezelfde prestaties verwacht mogen worden. Voor de verschillende

profielen en intensiteiten zullen in de loop der tijd passende normgegevens verzameld

moeten worden. In het bijzonder dient daarom gewaakt te worden voor oneigenlijk gebruik

en interpretatie van aangeleverde data. De gemeente streeft daarom naar een transparant

beleid over het wetenschappelijk en statistisch verantwoord gebruik van de verzamelde

gegevens.

De drie indicatoren geven tezamen bij benadering een beeld van de kwaliteit die is geleverd.

Het overleg met de Opdrachtnemers biedt het noodzakelijke kader waarbinnen de

17

aangeleverde eindmaten ‘tot leven komen’. Het is essentieel dat de cijfermatige indicatoren

niet geïnterpreteerd worden of openbaar gepresenteerd worden zonder deze duiding.

3. Prestaties in de Praktijk: Hoe nu verder In dit document is een voorzet gegeven voor de operationalisatie (dat wil zeggen, de

concrete inhoudelijke invulling) van de indicatoren waarmee vanaf 2018 de resultaten van

de jeugdhulp inzichtelijk gemaakt kunnen worden.

De voorgestelde dataverzameling leidt tot twee informatiestromen over geleverde kwaliteit:

1) informatie over geleverde kwaliteit in één behandel/hulpverleningstraject;

2) informatie over geleverde kwaliteit door een Opdrachtnemer (is hoofdaannemer)

gedurende een bepaalde periode.

Ad 1: resultaten van één specifiek behandeltraject

De gegevens over uitval, tevredenheid en doelrealisatie op cliëntniveau wordt door de

hoofdaannemer verzameld en gedeeld met de verwijzer (lokaal team/GI). Gezamenlijk

gebruiken zij deze gegevens om te bepalen of de gewenste resultaten zijn behaald en/of dat

aanvullende hulp nodig is. De gegevens op individueel niveau is herleidbaar tot personen en

is wettelijk gezien zeer privacygevoelige informatie. Deze informatie mag niet zonder

toestemming van de ouders en/of jeugdige gedeeld worden met de gemeente. Dit hoeft

geen probleem te zijn, want de gemeente heeft in feite geen belang bij het weten wat er

precies op cliëntniveau speelt qua problematiek of type behandeling. Het advies is dan ook

dat ten behoeve van uitbetaling van individuele trajecten geen gegevens worden

opgeslagen/gedeeld met de gemeente over de resultaatindicatoren.

Ad 2: resultaten van een hoofdaannemer gedurende een bepaalde periode

De hoofdaannemers verzamelen continu gegevens over alle jeugdigen waar zij hulp

verlenen. Dit doen zij vaak in bestaande datasystemen zoals BergOp en NetQ. Het verdient

de aanbeveling om het gebruik van deze systemen voort te zetten, in plaats van zelf een

datasysteem te bouwen. Het bouwen van een dergelijk systeem is een kostbare

aangelegenheid. Daarnaast zou het beheer van een dergelijk systeem in beginsel niet in

handen van de gemeente moeten zijn, daar zoals gezegd gegevens van jeugdigen met naam

en toenaam opgeslagen worden. Het effectief verzamelen van de resultaatgegevens van een

hoofdaannemer kan aan de hand van drie stappen, die hieronder toegelicht worden.

Stap 1 Regelmatige uitvraag aan de hand van extractie van datasystemen

Om toegang te krijgen tot de gegevens in deze bestaande systemen kan de gemeente ervoor

kiezen om met regelmaat een uitvraag te doen bij de instellingen. In veel gevallen betalen de

instellingen een klein bedrag aan de beheerders van de systemen om een extractie te maken

van de gevraagde data. Als alternatief kan de gemeente ervoor kiezen om in overleg te gaan

met de organisaties die de datasystemen beheren, zodat bekostiging en organisatie van deze

uitvraag overkoepelend geregeld wordt. Dit alternatief is wenselijk omdat een

overkoepelende uitvraag de regeldruk voor Opdrachtnemers verlaagt en de kans vergroot

dat de gewenste data aangeleverd wordt.

De extractie bevat geen naam, postcode of BSN-nummer, maar een code per jeugdige.

Daarnaast bevat het bestand die (individuele) gegevens die nodig zijn om de standaard

18

resultaatindicatoren te berekenen op cliëntniveau. Daarnaast kunnen aanvullende

variabelen geregistreerd worden, zoals profielnummer, intensiteit inschatting en codering

problematiek aan de hand van de CAP-J.

Stap 2 Uniformeren extracties

De verschillende systemen leiden tot extracties die verschillen in vormgeving en

standaardmaten. De extracties moeten daarom bewerkt worden zodat zij gelijk zijn qua

opzet (rijen X kolommen) en inhoud (definities variabelen en berekening gewenste

eindmaten). De gemeente kan ervoor kiezen om een externe partij in te schakelen die kennis

en ervaring heeft op het gebied van het uniformeren van databestanden en het (statistisch)

bewerken van item/schaalscores tot de gewenste eindmaten. Voor voorbeeldregio West

Brabant West neemt Praktikon deze rol op zich, maar ook andere onderzoeksbureaus (met

meer kennis van de regionale situatie en instellingen) kunnen deze rol voor de gemeente

vervullen.

Stap 3 Inlezen uniforme extracties in systeem gemeente

De geüniformeerde databestanden kunnen in het bestaande datamanagementsysteem van

de gemeente ingelezen worden, waarna met behulp van standaard queries de gewenste

tabellen met uitkomstmaten gegenereerd kunnen worden.

De gemeente kan vervolgens zelf aan de hand van de uitkomstmaten de resultaten

analyseren op het niveau van de hoofdaannemer. Het strekt tot aanbeveling om de

resultaten echter met name op ‘kleiner’ niveau te interpreteren. De resultaten van een

hoofdaannemer kunnen beter onderverdeeld worden naar profielniveau X

intensiteitsniveau, waaronder weer onderscheid gemaakt kan worden in type problematiek

(CAP-J indeling). Zo wordt inzichtelijk voor welk type jeugdigen/problematiek de

hoofdaannemer goede resultaten behaalt en waar mogelijk ruimte voor verbetering is.

Vergelijking met andere Opdrachtnemers wordt op deze wijze ook beter mogelijk doordat bij

de interpretatie van resultaten, rekening kan worden gehouden met verschillen in

beïnvloedbaarheid van problematiek tussen groepen jeugdigen.

Nadere aanwijzingen

ͼ Het item dat cliënttevredenheid meet, kan eventueel digitaal via de bestaande

datasystemen verzameld worden. Het voordeel hiervan is dat de behandelaar niet

betrokken is bij het invullen van dit item, wat de betrouwbaarheid van de meting ten goede

komt. De verwachting is dat jeugdigen via een dergelijke constructie minder sociaal

wenselijk zullen antwoorden. De jeugdigen dienen deze beoordeling bij voorkeur wel voor

het eindgesprek gegeven te hebben, zodat het cijfer alsnog onderdeel kan zijn van de

prestatiedialoog die zij voeren met de hoofdaannemer.

ͼ Voor kleinere zorgaanbieders (ZZP-er, vrijgevestigden) die nog niet de beschikking

hebben over een standaard dataverzamelingssysteem zoals BergOp (en voor wie een

abonnement op een dergelijk systeem relatief kostbaar is ten opzichte van voor een grote

aanbieder), kan de gemeente in overleg met de ontwikkelaar van het systeem afspraken

maken over het afkopen van het abonnementsgeld/bedrag per afname.

ͼ Ook voor instellingen die reeds werken met ROM en de bestaande systemen zal het

tijd kosten om de voorgestelde meetsystematiek volledig te implementeren. In de praktijk

laat de volledigheid van dataverzameling momenteel nog te wensen over. Daarnaast is het

19

systeem mogelijk wel bekend, maar worden deels nieuwe maten gevraagd. Ook deze

wijziging kost tijd om uitgerold te krijgen binnen grote organisaties.

ͼ De gemeente dient zich te realiseren dat gegevens uit de twee informatiestromingen

niet 1-op-1 aan elkaar te relateren zijn. Stroming 1 geeft gegevens over aantallen jeugdigen

waarvoor een beschikking is afgegeven (en bijvoorbeeld in welke prijscategorie zij vallen).

Aan het einde van een kalenderjaar kan een dergelijke beschikking al volledig uitgediend

zijn, waardoor de resultaten van de jeugdige terug te zien zijn in de uitvraag in stroming 2.

Dit hoeft echter niet het geval te zijn.

ͼ De huidige inkoopvisie geeft ouders de regie. Onderdeel van deze rol is de bespreking

van de verzamelde resultaatgegevens. Indirect heeft deze rol de functie van procesbewaker,

die bevordert dat de gewenste gegevens verzameld worden. Het is de verwachting dat

ouders deze rol als procesbewaker van de dataverzameling niet (altijd) kunnen of willen

vervullen, omdat het hen aan kennis en motivatie ontbreekt. De gemeente dient zich te

realiseren dat in een dergelijk geval voor trajecten in segment A en enkelvoudige trajecten in

segment B de kans vergroot dat de dataverzameling voor deze groepen jeugdigen onvolledig

zal zijn.

Bijlage 3 Prestaties in de Praktijk€¦ · Ad 1 – zonder hulp verder De hoofdaannemer dient bij...

Documents

Transcript of Bijlage 3 Prestaties in de Praktijk€¦ · Ad 1 – zonder hulp verder De hoofdaannemer dient bij...