Foto: Jan van der Ploeg

Toetscommissie Interventies Jeugd

Weet wat werkt!

Toetscommissie Interventies Jeugd (TIJ) Juli 2020

Toetscommissie Interventies Jeugd

Inhoudsopgave 1 Samenvatting, werkwijze en leeswijzer 3

1.1 Samenvatting 3 1.2 De werkwijze van TIJ 3 1.3 Leeswijzer 3

2 Bevindingen op hoofdlijnen 4

3 Bevindingen van TIJ: Bijbanenproject Charlois 5 3.1 Interventie 5 3.2 Toetsing 5 3.3 Eindoordeel 6 3.4 Aanbevelingen 6

4 Reactie van opdrachtgever en uitvoerder 8

Geraadpleegde bronnen 9 Bijlage 1: Toetscriteria deel B 10 Bijlage 2: Samenstelling Toetscommissie Interventies Jeugd (TIJ) 2020 16 Colofon 17

2

Toetscommissie Interventies Jeugd

1 Samenvatting, werkwijzeen leeswijzer

1.1 Samenvatting

Dit rapport bevat de uitkomsten van de toetsing door de Toetscommissie Interventies Jeugd (TIJ) van de interventie Bijbanenproject van Citysteward. Met deze interventie helpt Citysteward overlast gevende jeugd (jongens) van 15 tot 22 jaar een bijbaan te vinden bij lokale werkgevers. Overlastvermindering en het aanleren van werknemers-vaardigheden zijn de belangrijkste doelen.

Deze interventie ontvangt op basis van het toetskader als eindoordeel van de commissie: project ter verbetering. TIJ onderzoekt na ongeveer een jaar wat uitvoerder en opdrachtgever met de aanbevelingen hebben gedaan.

1.2 De werkwijze van TIJ

TIJ voert geen empirisch evaluatieonderzoek uit maar toetst aan de hand van een toetsingskader. Deze toetsing heeft het karakter van een audit. TIJ maakt daarbij gebruik van bestaand theoretisch en empirisch onderzoek dat relevant is voor de te toetsen interventies. De werking van de interventie in de Rotterdamse uitvoeringspraktijk is een belangrijk aspect voor TIJ.

Er zijn drie mogelijke eindoordelen die TIJ aan een inter-ventie kan geven: 1. Kansrijke interventie: de interventie is als goed

beoordeeld op volledigheid van de beschrijving, degelijkheid van de methodiek, uitvoering en evaluatie en resultaten.

2. Interventie ter verbetering: 1 of meer van de onder- delen (volledigheid van de beschrijving, degelijkheid van de methodiek, uitvoering en evaluatie en resultaten) heeft de beoordeling verbetering mogelijk én 1 of meer van de onderdelen heeft beoordeling verbetering nodig.

3. Kansarme interventie: de interventie is op zowel de volledigheid van de beschrijving, degelijkheid van de methodiek, uitvoering en evaluatie en resultaten beoordeeld als verbetering nodig.

1.3 Leeswijzer

De opbouw van dit rapport is als volgt. Hoofdstuk 2 gaat in op een aantal algemene aspecten van de getoetste interventie: Rotterdams beleid, het belang en hoe de inter-ventie zich daartoe verhoudt. In hoofdstuk 3 volgt de be-schrijving van de getoetste interventie. Dit hoofdstuk bevat ook het resultaat van de toetsing en tot slot de reactie van de opdrachtgever en de uitvoerder van de interventie. Een uitgebreide beschrijving van de interventies en overige bron-documenten kunt u opvragen bij TIJ via tij@rotterdam.nl

Bijlage 1 bevat de complete toetsing van de interventie. In bijlage 2 staat wie de TIJ leden zijn op dit moment en hoe u TIJ kunt bereiken.

3

Toetscommissie Interventies Jeugd

2 Bevindingen op hoofdlijnen Het bijbanenproject Charlois is gestart in 2017, nadat overlastgevende jeugd zelf bij de politie aangaf geen bijbaan te kunnen vinden. Werkgevers hadden een negatief beeld van de jongeren, de jongeren zelf werden geconfronteerd met vooroordelen, en het ontbrak hen aan voldoende vaardigheden om de stap naar werk te zetten1.

Bij de start in 2017 was in eerste instantie de HIT2-aanpak van Directie Veiligheid betrokken, waarna Cluster Maat-schappelijke ontwikkeling de aanpak heeft voortgezet. Het betreft een samenwerking van de gemeente Rotterdam, jongerenwerk (DOCK, Thuis op Straat, Stedelijk Team Jongerenwerk/Jongerenwerk op Zuid), Pit Consultants en Citysteward.

De borging van de aanpak in 2018 resulteerde in meer betrokken werkgevers en aanmeldingen van jongeren. Ook in 2019 is er sprake van een vervolgopdracht voor 30 jongeren.

Inzet van het project is om jongeren die wat bij willen verdienen en weinig te doen hebben in hun vrije tijd toe te leiden naar bijbanen. Tweede opgaaf is jongeren te trainen en te coachen op het aanleren van de juiste (werknemers) vaardigheden.

In 2018 hebben 31 jongeren deelgenomen aan het project, in leeftijd variërend van 15 tot 22 jaar. Het betrof: • 11 jongeren uit Pendrecht; • 10 jongeren uit de Tarwewijk; • 5 jongeren uit Zuidwijk; • 5 jongeren uit Oud-Charlois.

Doelen zijn: • Versterken en ontwikkelen van competenties waarmee

de jongere in staat is werk of opleiding vast te houden en voortijdige uitval te voorkomen.

• Wegnemen van belemmeringen die een plaats op de arbeidsmarkt of het succesvol afronden van een opleiding in de weg staan.

• Het uitbouwen van een werkgeversnetwerk en het vergroten van bereidheid onder werkgevers om deze jongeren een kans te bieden op de arbeidsmarkt.

1) Werkproject geeft jongeren het juiste zetje. Bijbaantje houdt jeugd van de straat. AD 26 januari 2019. 2) High Impact Targets, zie eventueel https://www.veiligheidshuizen.nl/doc/veiligheidshuizen/rotterdam/Factsheet-HIT.pdf geraadpleegd 17-8-2020

4

Toetscommissie Interventies Jeugd

3 Bevindingen van TIJ:Bijbanenproject Charlois

Naam opdrachtgever: Gemeente Rotterdam, Cluster Maatschappelijke Ontwikkeling Naam uitvoerder: Pit Consultants en Stichting Citysteward Rotterdam Periode uitvoering: 2017: pilotperiode.

2018: borging bijbanenproject. 2019-heden: vervolg borging en uitvoering.

3.1 Interventie De interventie ‘Bijbanenproject Charlois’ is ontwikkeld door Stichting Citysteward en Pit Consultants in samenwerking met de gemeente Rotterdam en de politie.

In 2017 zijn twee pilotgroepen gestart. Tijdens de pilot bleek dat jongeren niet altijd goed te matchen waren op opengestelde vacatures. Bijvoorbeeld doordat bijbanen de ene keer met spoed moesten worden ingevuld en de andere keer al ingevuld bleken te zijn. Ook specifeke eisen bij bepaalde vacatures (zoals een brommerrijbewijs) of leeftijds-voorkeuren hebben hier invloed op. Daarom is de aanpak nu interactief: jongeren hebben een wenscategorie, vervolgens wordt gekeken wat daadwerkelijk past en wordt geboden wat beschikbaar is op de arbeidsmarkt. Hierdoor worden betere matches gemaakt dan tijdens de pilotperiode.

De interventie heeft inmiddels navolging gekregen in gebied Feijenoord. Ook vanuit IJsselmonde is interesse.

3.2 Toetsing Voor het toetsen van de interventie gebruikt TIJ een vaststaand toetsingskader en kijkt naar de volledigheid en duidelijkheid van de beschrijving van:

• de probleemomschrijving, aanleiding voor en de keuze van inzet van de interventie;

• doelgroep, doelstellingen; • de degelijkheid van de methodiek en werkzame

elementen; • de uitvoering; • de evaluatie en de Rotterdamse resultaten.

Onderstaand is het resultaat van de toetsing weergegeven, waarbij bij elk criterium staat of de interventie goed is beoordeeld op het betreffende criterium, of dat er verbetering mogelijk dan wel nodig is. Het volledige toetsrapport is te lezen in de bijlage.

Toetsing

Beoordeling

Toetscriteria Goed Verbetering mogelijk Verbetering nodig

1. Volledigheid van de beschrijving x

a. Probleemomschrijving en keuze voor interventie

x

b. Beschrijving doelgroep

c. Beschrijving doelen x x

d. Beschrijving aanpak x

2. Degelijkheid van de methodiek x

a. Beschrijving ontwikkeling x

b. Criteria voor effectiviteit x

3. Uitvoering x

4. Evaluatie en resultaten x

a. Evaluatie x

b. Rotterdamse resultaten x

5

Toetscommissie Interventies Jeugd

3.3 Eindoordeel

Uitvoerder geeft een goede beschrijving van het probleem, de keuze voor deze interventie, op welke doelgroep deze is gericht en hoe de uitvoering plaatsvindt. De doelstellin-gen zijn niet SMART en de aanpak en de (theoretische) onderbouwing zijn nog weinig systematisch en overtuigend. Deze beschrijvingen kernmerken een interventie die vanuit de praktijk is ontwikkeld (hetgeen overigens op zich geen diskwalifcatie is). Dit geldt ook voor het ontbreken van een gedegen analyse en monitoring. Daarmee kan een leer- en verbetercyclus ontstaan die ten goede komt aan de kwaliteit van de interventie. Uitvoerder geeft aan deze ontwikkeling door gebruikmaking van onder meer een registratiesysteem wel te zijn gestart.

De onderdelen die met deels zijn beoordeeld, hangen sterk met elkaar samen. Eén van de drie subdoelen is Ouders ondersteunen bij een positieve gezonde ontwikkeling van hun kind. Er wordt niet beschreven wat de behoefte van ouders is en op welk gebied zij onder- steuning nodig hebben. Ook wordt niet beschreven hoe wordt gemonitord of ouders gedurende het traject en na afoop inderdaad ondersteund zijn.

Om deze redenen beoordeelt TIJ deze interventie als op de tabel onderaan deze pagina.

Eindoordeel

Kansarm Project ter verbetering

Kansrijk

Eindoordeel x

3.4 Aanbevelingen

Algemeen Het Nederlands Jeugdinstituut heeft voor kwaliteitsver- beteringen van interventies diverse instrumenten ontwikkeld waar zowel uitvoerder als opdrachtgever gebruik van kan maken.

Volledigheid van de beschrijving Uitvoerder geeft een aantal verbeterpunten aan waar de commissie zich in kan vinden. Uitvoerder wil in de toekomst op meerdere leefgebieden uitkomsten op cliëntniveau registreren en op basis van onderzoek de interventie theo-retisch onderbouwen. Het gaat onder meer om de ontwik-kelbehoeften van jongeren en wat daarbij een passende aanpak is. Daarnaast wil uitvoerder inzichtelijk maken wat het traject doet voor de positieve beeldvorming bij en over jongeren, de verbetering van het zelfbeeld, toekomstper-spectief, zinvolle (vrije) tijdsbesteding en duurzame arbeids-marktprestaties en -kansen.

Opdrachtgever heeft aan uitvoerder niet gevraagd de resultaten, zowel op cliënt- als op interventieniveau, meetbaar te maken. TIJ adviseert om dit in de toekomst wel te doen. Uitvoerder kan daarvoor gebruik maken van de reeds door Movisie ontwikkelde zelfredzaamheid-matrix (ZRM)3, eventueel aangevuld met een zelf te ontwikkelen meetinstrument. De ZRM is in de praktijk bruikbaar als er minstens 3 maanden zit tussen 0- en 1-meting.

Opdrachtgever maakt duidelijk dat de interventie lastig te vangen is in SMART termen. Voor deelnemers gaat het om een continu proces van aandacht en om de opbouw van een netwerk in de wijk waarin begrip en waardering voor elkaar belangrijke bouwstenen zijn. Juist de combinatie van toeleiden van jeugd en inzet op werkgevers is de kracht van dit traject, aldus de opdrachtgever.

TIJ is van mening dat men wel kan komen tot een scherper beeld van concrete resultaten voor jongeren en de wijk-partners. Naast de matrix is een basisoverzicht van harde cijfers ook relevant: hoeveel jongeren doen mee, hoeveel werkgevers doen mee, hoeveel geschikte vacatures waren er, hoe vaak is er een match geweest, in hoeveel gevallen heeft dit tot een bijbaan geleid, hoe lang heeft de jongere de bijbaan (behouden). Dat geeft een indicatie van het feitelijke effect dat je sorteert met het realiseren van de doelen van de interventie, zoals genoemd in paragraaf 2.1. Bij de beschrijving van de (uiteindelijke) doelen is het gewenst dat opdrachtgever en uitvoerder zowel hoofd- als tussendoelen op interventie- en op cliëntniveau helder onderscheidt.

Uitvoerder wil over deze thema’s graag met TIJ in gesprek, ons advies is om de opdrachtgever hierbij te betrekken. Uitvoerder geeft aan dat de borging van de interventie afhankelijk is van investering in verdere doorontwikkeling, daarover heeft uitvoerder een en ander geschreven. De vraag of deze interventie gebaat is bij een afhankelijkheid van fondsen is echter niet gesteld.

Degelijkheid van de methodiek Hoe de aanpak bijdraagt aan de gestelde doelen blijkt voor-al uit het ‘vertellen’ over de werkzame bestanddelen, deels gebaseerd op aannames. Hiervoor zijn de SMART afspra-ken nodig, zodat je kunt meten. Zoals eerder aangegeven zou een meting voor en na dit beter kunnen aantonen, zo-wel bij de jongeren als bij de ondernemers en andere part-ners. Uitvoerder maakt aannemelijk dat werkzame elemen-ten, zoals deze in het jeugdbeleid uit onderzoek bekend zijn, deel uitmaken van de interventie. De onderbouwing hiervan kan echter wel systematischer en overtuigender.

Uit recent onderzoek (H.E.T. onderzoek naar De Nieuwe Kans4) bleek weer dat juist de samenhang met andere interventies veel meerwaarde kan hebben. Uitvoerder

3) https://www.movisie.nl/tool/zelfredzaamheid-matrix-zrm, geraadpleegd 17-8-2020. 4) Publicatie in Gast, mei 2019, een uitgave van de academische werkplaats bij De Nieuwe Kans, een samenwerkingsverband tussen

stichting De Verre Bergen, DNK en VUMC. https://deverrebergen.nl/app/uploads/2019/05/MAGAZINE-Gast-AW-DNK.pdf geraadpleegd 17-8-2020

6

Toetscommissie Interventies Jeugd

noemt alleen dat In sommige gevallen die samenhang er is als de jongere bijvoorbeeld in traject zitten bij de Reclassering of Jeugdbescherming Rotterdam Rijnmond. Uitvoerder kan onderzoeken of meer samenhang en samenwerking mogelijk is met trajecten van de wijkteams, met programma’s die naar vast werk of vervolgopleiding toeleiden, of met interventies zoals coaching door het jongerenwerk (Welzijn). Het advies aan uitvoerder is om de summier beschreven samenhang verder uit te werken en mee te nemen in de doorontwikkeling.

Feedback op de eigen situatie van cliënt is genoemd, maar ook dit zou uitgebreidere beschrijving verdienen. Dat geldt ook voor beloningsstrategieën en het stellen van concrete praktische doelen bijv. voor gedragsverande-ring. Deze werkzame elementen lijkt uitvoerder nu weinig gestructureerd en planmatig in te zetten. Opname als vast onderdeel in het plan van aanpak kan dit versterken.

Uitvoering De uitvoering van de interventie verdient een goede beoordeling. Op alle relevante getoetste subonderwerpen wordt een ‘goed’ gescoord. Hierbij gaat het om:

• De uitvoering van de interventie vindt plaats volgens het plan van aanpak (programma integriteit).

• Er zijn oplossingen voor gesignaleerde knelpunten. • De interventie is generaliseerbaar naar andere situaties. • De daadwerkelijke uitvoering vindt plaats door

professionals. • Er is binnen het protocol ruimte om de interventie / de

aanpak aan te passen als de problematiek die zich voordoet bij de doelgroep daar aanleiding toe geeft.

• De cliënt krijgt nazorg na afronding van de interventie. • Er is afstemming met verwijzers. • Er wordt doorverwezen naar ander aanbod als dat

nodig is.

De enige kanttekening bij de uitvoering is dat het een interventie betreft die niet generaliseerbaar is naar andere situaties.

Evaluatie Uitvoerder wil de cliëntregistratie op individueel niveau verder ontwikkelen. Met een uitgebreide(re) persoons- analyse is de persoonlijke ontwikkeling van de jongere beter te volgen. Het behalen van tussendoelen wordt dan eveneens meetbaar, als deze expliciet opgenomen zijn. Hetzelfde geldt voor zowel positieve als negatieve neven-

effecten, als die optreden.

Uitvoerder kan bij de evaluaties de meningen van uitvoerders en cliënten gestructureerd verzamelen, registreren en benutten bij de doorontwikkeling van de interventie. De commissie TIJ acht deze verbeteringen noodzakelijk om de interventie op een hoger kwaliteits- niveau te brengen en deze ook aan andere uitvoerders overdraagbaar te maken.

Opdrachtgeverschap De opdrachtgever heeft maar gedeeltelijk inhoudelijke en SMART doelen in de opdracht geformuleerd. Voor de aanbevelingen voor het meetbaar maken van de resultaten en het SMART formuleren van doelstellingen op verschillende niveaus: zie hiervoor de aanbevelingen voor de beschrijving. Uitvoerder wil over deze thema’s graag met TIJ in gesprek, ons advies is om de opdracht- gever hierbij te betrekken.

7

Toetscommissie Interventies Jeugd

4 Reactie van opdrachtgeveren uitvoerder

Onderstaande geeft de reactie van zowel de uitvoerder als de opdrachtgever op de toetsing door TIJ integraal weer.

Reactie van de opdrachtgever Als het gaat tot het komen van een betere doelomschrijving op het niveau van de cliënt ga ik op korte termijn met de uitvoerder in gesprek over de mogelijkheid om in de rapportage en mijn uitvraag het volgende op te nemen (waarbij ik natuurlijk ook kijk wat binnen de aard van de opdracht haalbaar is):

• V oorgang meten in de ontwikkeling van de cliënt op basis van de ZRM;

• Aantal bereikte uniek e werkgevers, aantal jaren dat werk-gever al betrokken is, aantal werkgevers dat afhaakt en aantal nieuwe (dit zit nu al in de uitvraag);

• Aantal uitg edeelde certifcaten, aantal bijbanen, aantal jeugdigen dat afgehaakt is op bijbanen, aantal nieuwe bijbanen.

Mogelijk heeft de uitvoerder daarin ook nog een aantal ideeën.

Tot slot heb ik de uitvoerder geadviseerd om bij verdere beschrijving van de methodiek daarvoor ook uren in de vervolgsubsidieaanvraag op te nemen en samenwerking met ons als gemeente te zoeken. Een en ander bespreken we voor de nieuwe aanvraag Bij-banen 2021 die 1 oktober as. moet zijn ingediend.

Reactie van de uitvoerder Een mooie beoordeling van TIJ, daar zijn we blij mee. We willen het project verder ‘volwassen’ gaan maken en door het hele TIJ-traject hebben we daar meer richting in gekre-gen. Waarvoor dank. Het enige waar ik het niet mee eens ben is bij 4b. De 2x nee. Dat moet zijn NVT naar mijn mening. Er zijn geen tussendoelen en er zijn geen negatieve neveneffecten. Kunnen we het daar nog over hebben met elkaar?

8

Toetscommissie Interventies Jeugd

Geraadpleegde bronnen Geïnterviewden mw. J. Medema, algemeen directeur Stichting Citysteward. dhr. M. Pierau, eigenaar PIT Consultants BV. dhr. A. de Beer, gebiedsadviseur jeugd, gemeente Rotterdam

Geraadpleegde literatuur en documenten • Borging Bijbanen-project Pendrecht/Zuidwijk/Tarwewijk,

Stichting Citysteward Rotterdam/Pit Consultants, versie 2.0, 20-12-2017 • Verleningsbeschikking gemeente Rotterdam, 23-2-2018 (dossier 17.09.00301) • Beschrijving Bijbanen Charlois – Pendrecht/Zuidwijk/Tarwewijk,

Stichting Citysteward Rotterdam/Pit Consultants, versie 1.0, 25-9-2018 • Aanvraag - Persoonlijk activatie- en ontwikkelingstraject Citysteward,

Stichting Citysteward Rotterdam, 27-09-2018 • Verleningsbeschikking gemeente Rotterdam, 15-1-2019 (dossier 18.09.00306) • Artikel AD: Bijbaantje houdt jeugd van de straat, 26-1-2019 • Eindrapportage Bijbanen Charlois 2018, Stichting Citysteward Rotterdam/Pit Consultants, versie 1.0, 1-7-2019 • Ingevulde vragenlijst, deel A toetskader TIJ, Stichting Citysteward Rotterdam/Pit Consultants, 14-4-2020

9

Toetscommissie Interventies Jeugd

Bijlage 1Toetscriteria deel B

Naam interventie: Bijbanen project Naam uitvoerder: Citysteward (samen met Pit consultants) Naam opdrachtgever: Alex de Beer, afd Jeugd Naam toetser 1: Marco Conijn Naam toetser 2: Monique van Deursen Versie: 17-3-2020

1. Volledigheid van de beschrijving

a. Probleemomschrijving en keuze voor interventie ja nee deels n.v.t.

Aard, omvang, spreiding en ernst van het probleem zijn beschreven x

De risicofactoren m.b.t. het probleem zijn beschreven x

De beschermende factoren die het probleem kunnen verminderen zijn beschreven

x

b. Beschrijving doelgroep ja nee deels n.v.t.

De kenmerken van de doelgroep zijn beschreven (leeftijd, sekse, omvang/aantal, inzet op wijk(en)/gebied(en)) PT

x

Er is duidelijk beschreven aan de hand van welke criteria wordt bepaald of iemand in aanmerking komt voor de interventie (indicaties)

x

Er is duidelijk beschreven aan de hand van welke criteria wordt bepaald of iemand niet in aanmerking komt voor de interventie (contra-indicaties)

x

c. Beschrijving doelen ja nee deels n.v.t.

De opdrachtgever heeft de inhoudelijke doelen van de interventie SMART (Specifek, Meetbaar, Aanvaardbaar, Realistisch,Tijdgebonden) geformuleerd

x

De uitvoerder heeft inhoudelijke (sub-)doelen op interventie-niveau SMART geformuleerd in relatie tot de risico- en beschermende factoren

x

De uitvoerder heeft inhoudelijke (sub-)doelen op cliënt-niveau SMART geformuleerd in relatie tot de risico- en beschermende factoren

x

Er is beschreven welke SMART prestatiecriteria er zijn afgesproken met de opdrachtgever (denk aan kenmerken en aantallen cliënten, maximum aantal uitvallers, ingezette producten etc.)

x

10

Toelichting:

Toetscommissie Interventies Jeugd

d. Beschrijving aanpak ja nee deels n.v.t.

De manier van werving/ signalering en toeleiding naar de interventie is duidelijk beschreven

x

De manier van intake/ diagnostisering naar de interventie is duidelijk beschreven x

De methodiek/ werkwijze is volledig beschreven op het niveau van concrete activiteiten

x

De concrete activiteiten zijn gespecifceerd beschreven (volgorde, frequentie, duur/ intensiteit, timing en locatie)

x

Er is beschreven welke materialen worden gebruikt voor de interventie, waar deze worden verkregen en hoe deze worden ingezet

x

De capaciteit in termen van personele inzet en tijdsbesteding van de interventie is gespecifceerd

x

De kosten van de interventie zijn voldoende inzichtelijk x

De opleiding, ervaring en competenties van de uitvoerende professionals zijn beschreven

x

De betrokken partijen bij de uitvoering en de samenwerking tussen deze partijen is beschreven

x

Er is beschreven hoe de interventie wordt geborgd (verantwoordelijkheden, fnanciën, terugkerend onderhoud, verankering)

x

De uitvoerder heeft een systeem van monitoring opgenomen in zijn aanpak om het behalen van de inhoudelijke doelen en prestatiecriteria te volgen

x

Beoordeling ‘Volledigheid van de beschrijving’: verbetering mogelijk

Uitvoerder geeft zelf een aantal verbeterpunten aan waar de commissie zich in kan vinden. Uitvoerder wil in de toekomst op meerdere leefgebieden uitkomsten op cliëntniveau registreren en op basis van onderzoek de interventie theoretisch onderbouwen. Het gaat onder meer om de ontwikkelbehoeften van jongeren en wat daarbij een passende aanpak is. Daarnaast wil uitvoerder inzichtelijk maken wat het traject doet voor de positieve beeldvorming bij en over jongeren, de verbetering van het zelfbeeld, toekomstperspectief, zinvolle (vrije) tijdsbesteding en duurzame arbeidsmarktprestaties en -kansen.

Opdrachtgever heeft aan uitvoerder niet gevraagd de resultaten, zowel op cliënt- als op interventieniveau, meetbaar te maken. TIJ adviseert om dit in de toekomst wel te doen. Uitvoerder kan daarvoor gebruik maken van de reeds ontwikkelde Zelfredzaamheidsmatrix (ZRM), eventueel aangevuld met een zelf te ontwikkelen meetinstrument. De ZRM is in de praktijk bruikbaar als er minstens 3 maanden zit tussen 0- en 1-meting. Zie ook https://www.movisie.nl/tool/zelfredzaamheid-matrix-zrm.

Opdrachtgever maakt duidelijk dat de interventie lastig te vangen is in SMART termen. Voor deelnemers gaat het om een continue proces van aandacht en om de opbouw van een netwerk in de wijk waarin begrip en waardering voor elkaar belangrijke bouwstenen zijn. Juist de combinatie van toeleiden van jeugd en inzet op werkgevers is de kracht van dit traject, aldus de opdrachtgever. TIJ is van mening dat men wel kan komen tot een scherper beeld van concrete resultaten voor jongeren en de wijk.

Bij de beschrijving van de (uiteindelijke) doelen is het gewenst dat opdrachtgever en uitvoerder doelen op interventie- en op cliëntniveau helder onderscheidt, evenals hoofd- en tussendoelen. Uitvoerder wil over deze thema’s graag met TIJ in gesprek, ons advies is om de opdrachtgever hierbij te betrekken. De borging van de interventie maakt uitvoerder afhankelijk van verdere doorontwikkeling, daarover heeft uitvoerder een en ander geschreven. De vraag of deze interventie gebaat is bij een afhankelijkheid van fondsen is echter niet gesteld.

11

Toetscommissie Interventies Jeugd

2. Degelijkheid van de methodiek

a. Beschrijving ontwikkeling ja nee deels n.v.t.

De keuze voor het inzetten van deze specifeke interventie is verantwoord / gemotiveerd / onderbouwd door de opdrachtgever

x

De keuze voor het inzetten van deze specifeke interventie is verantwoord / gemotiveerd / onderbouwd door de uitvoerder

x

Er is beschreven hoe de aanpak bijdraagt aan het behalen van de gestelde doelen

x

Er is beschreven waar en door wie de interventie is ontwikkeld en welke aanpassingen eventueel zijn gedaan aan de oorspronkelijke interventie

x

Er is beschreven hoe de doelgroep betrokken is bij het ontwikkelen van de interventie

x

Als de interventie elders al effectief is gebleken, is beschreven waaruit dit blijkt (bronvermelding)

x

Als de uitvoerder een pilot heeft uitgevoerd van de interventie dan zijn de resul-taten hiervan beschreven

x

Samenhang met andere interventies is beschreven x

DDe plaats van de interventie in het beleid is beschreven x

b. Criteria voor effectiviteit ja nee deels n.v.t.

De aanpak maakt gebruik van werkzame elementen die volgens de literatuur als bewezen effectief bekend staan

x

De aanpak maakt gebruik van werkzame elementen die vanuit ervaringen in de praktijk als effectief bekend staan

x

De werkzame elementen sluiten aan bij de doelgroep en de gestelde doelen x

De volgende werkzame elementen gebaseerd op de literatuur worden genoemd

ja nee on-

bekend n.v.t.

Ruimte voor persoonlijke benadering x

Feedback over de eigen situatie, gedrag of effecten x

Gebruik van beloningsstrategieën x

Risicofactoren • kind • gezin • peers • brede omgeving

x

Barrières voor gewenst gedrag wegnemen x

Mobiliseren van sociale steun en betrokkenheid x

Aanleren van vaardigheden x

Interactieve benadering x

Concrete praktische doelen stellen met planning x

Concrete voornemens ten aanzien van de gedragsverandering x

Is er sprake van follow-up / nazorg na de interventie x

andere werkzame elementen x

12

Toelichting:

Toetscommissie Interventies Jeugd

De volgende werkzame elementen gebaseerd op de ervaringen vanuit de praktijk worden genoemd

ja nee on-

bekend n.v.t.

De persoonlijke en individuele coaching en begeleiding op maat, de trainingen en de ontwikkeling van (werknemers)vaardigheden, de mentoring, het netwerk, de ontzorging van de werkgevers en het stimuleren van goed werkgeverschap

x

Ontwikkeling van zelfvertrouwen, verantwoording, communicatie, ervaring en bewustwording bij de jongeren

x

De sluitende samenwerking in de wijk, goede communicatie en korte lijnen x

Beoordeling ‘Degelijkheid van de methodiek’: verbetering mogelijk

Hoe de aanpak bijdraagt aan de gestelde doelen blijkt vooral uit het ‘vertellen’ over de werkzame bestanddelen, deels gebaseerd op aannames. Zoals eerder aangegeven zou een meting voor en na dit beter kunnen aantonen, zowel bij de jongeren als bij de ondernemers en andere partners. Uitvoerder maakt aannemelijk dat werkzame elementen, zoals deze in het jeugdbeleid uit onderzoek bekend zijn, deel uitmaken van de interventie. De onderbouwing hiervan kan echter wel systematischer en overtuigender.

Uit recent onderzoek (H.E.T. onderzoek naar De Nieuwe Kans *) bleek weer dat juist de samenhang met andere interventies veel meerwaarde kan hebben. Het advies aan uitvoerder is om de summier beschreven samenhang verder uit te werken en mee te nemen in de doorontwikkeling.

Feedback op de eigen situatie van cliënt is kort genoemd, maar ook dit zou uitgebreidere beschrijving verdienen. Dat geldt ook voor beloningsstrategieën en het stellen van concrete praktische doelen bijv. voor gedragsverandering. Deze werkzame elementen lijkt uitvoerder nu weinig gestructureerd en planmatig in te zetten. Opname als vast onderdeel in het plan van aanpak kan dit versterken.

*) Publicatie in Gast, mei 2019, een uitgave van de academische werkplaats bij De Nieuwe Kans, een samenwerkingsverband tussen stichting De Verre Bergen, DNK en VUMC

13

Toelichting:

Toetscommissie Interventies Jeugd

3. Uitvoering

ja nee deels n.v.t.

De uitvoering van de interventie vindt plaats volgens het plan van aanpak (programma integriteit)

x

Er zijn oplossingen voor gesignaleerde knelpunten x

De daadwerkelijke uitvoering vindt plaats door professionals x

De daadwerkelijke uitvoering vindt plaats door professionals. x

Er is binnen het protocol ruimte om de interventie/ de aanpak aan te passen als de problematiek die zich voordoet bij de doelgroep daar aanleiding toe geeft

x

De cliënt krijgt nazorg na afronding van de interventie x

Er is afstemming met verwijzers x

Er wordt doorverwezen naar ander aanbod als dat nodig is x

Beoordeling ‘Uitvoering’: goed

geen

14

Toelichting:

Toetscommissie Interventies Jeugd

4. Evaluatie en resultaten

a. Evaluatie ja nee deels n.v.t.

De registratie is voldoende om te kunnen beoordelen of de gestelde (sub-)doe-len met betrekking tot gedrag of omstandigheden van de cliënt worden behaald

x

De registratie is voldoende om te kunnen beoordelen of de gestelde prestatiecriteria worden behaald

x

De registratie is voldoende om te kunnen beoordelen of de gestelde (sub-)doelen met betrekking tot gedrag of omstandigheden op interventieniveau worden behaald

x

De interventie is geëvalueerd. Duidelijk is wanneer en door wie de laatste evaluatie is gedaan

x

De uitvoerder gebruikt de resultaten van de evaluatie om de interventie te verbeteren

x

Meningen van uitvoerders over de interventie zijn beschreven x

Meningen van cliënten over de interventie zijn beschreven x

b. Rotterdamse resultaten ja nee deels n.v.t.

Het bereik van de interventie is in verhouding tot de omvang van de beoogde doelgroep

x

De bereikte doelgroep komt overeen met de doelgroep, zoals beschreven in plan van aanpak? Zo nee, dan is het toegelicht

x

Het aantal cliënten dat voortijdig is gestopt, is beperkt en de redenen van uitval zijn bekend

x

Succesfactoren zijn beschreven x

Faalfactoren zijn beschreven x

Uit de gegevens blijkt dat de afgesproken prestatie-indicatoren zijn gehaald x

Uit de gegevens blijkt dat de beoogde tussendoelen zijn gerealiseerd x

Uit de gegevens blijkt dat de beoogde einddoelen zijn gerealiseerd x

Er is beschreven wat de bestendigheid van de effecten van de inzet op langere termijn is

x

Positieve neveneffecten zijn beschreven x

Negatieve neveneffecten zijn beschreven x

Beoordeling ‘Evaluatie en resultaten’: verbetering mogelijk

Uitvoerder wil de cliëntregistratie op individueel niveau verder ontwikkelen. Met een uitgebreide(re) persoonsanalyse is de persoonlijke ontwikkeling van de jongere beter te volgen. Het behalen van tussendoelen wordt dan eveneens meetbaar, als deze expliciet opgenomen zijn. Hetzelfde geldt voor zowel positieve als negatieve neveneffecten, als die optreden.

Uitvoerder kan bij de evaluaties de meningen van uitvoerders en cliënten gestructureerd verzamelen, een plek geven en benutten bij de doorontwikkeling van de interventie.

De commissie TIJ acht deze verbeteringen noodzakelijk om de interventie op een hoger kwaliteitsniveau te brengen en deze ook aan andere uitvoerders overdraagbaar te maken.

15

Toetscommissie Interventies Jeugd

Bijlage 2Samenstelling Toetscommissie Interventies Jeugd (TIJ) 2020

Voorzitter: Chantal Tuinier, Maatschappelijke Ontwikkeling, Clusterbureau

Secretaris: Vacature

Toetsers: Ivy Bujoczek, Bestuurs- en Concernondersteuning Marco Conijn, Maatschappelijke Ontwikkeling, directie Jeugd en Onderwijs Monique van Deursen, Maatschappelijke Ontwikkeling, directie Jeugd en Onderwijs Joke Donkervoort, Maatschappelijke Ontwikkeling, directie PGW&Z Florence Mulken, Bestuurs- en Concernondersteuning

16

Colofon Uitgave van de Toetscommissie Interventies Jeugd Rotterdam

Juli 2020

tij@rotterdam.nl

Opmaak Tappan

www.rotterdam.nl/bestuur-organisatie/tij/