Context

Community arts evalueren? Hoe pak je dat aan? Een vraag die centraal staat binnen dit ‘handboek’ voor evaluatie. Het handboek biedt zowel algemene informatie als praktische tools voor projectmatig evalueren.

Door evaluatie te beschouwen als een integraal onderdeel van hun praktijk, kunnen community arts een start maken met het monitoren van hun werkwijze, het toewerken naar professionalisering en het vergroten van hun draagvlak.

Dit evaluatiehandboek is de leidraad voor het seminar “Community arts evalueren, knelpunten en praktische handreikingen”, op 20 september 2006 georganiseerd door het Landelijk Platform Cultuurscouts. Dit Platform werd in 2005 opgericht en heeft de volgende functies:

Belangenbehartiging en ondersteuning van cultuurscouts;

Aanspreekpunt voor overheden en instellingen op het gebied van welzijn, cultuur en financiering;

Netwerk van kennis, ervaring en professionele inzet op het snijvlak van kunst en maatschappij.

Cultuurscouts vervullen een sleutelrol in het zichtbaar maken, stimuleren, verbinden en ondersteunen van community arts. Zij constateren binnen hun werkpraktijk een groeiende behoefte aan praktisch inzetbare evaluatiemethoden voor community arts projecten.

Het doel van dit evaluatiehandboek is om

INHOUDSOPGAVE:

Inleiding.........................................................................................................................................................41. Meten van maatschappelijke opbrengsten................................................................................................6

1.1 Oorzaak en gevolg...............................................................................................................................61.2 Mogelijke maatschappelijke opbrengsten............................................................................................61.3 Intersectoraal samenwerken................................................................................................................81.4 Kwaliteit en de invloed van waarden...................................................................................................8

Het meten van kwaliteit.........................................................................................................................82. Evalueren: geen standaard formule..........................................................................................................9

2.1 Mogelijke belemmeringen:...................................................................................................................92.3 Evaluatie: wie is er verantwoordelijk?................................................................................................10

Rol van de cultuurscout........................................................................................................................113. Evaluatie als kernactiviteit......................................................................................................................12

3.1 Zelfevaluatie:.....................................................................................................................................123.2 Community arts: sociaal-agogische projecten...................................................................................13

4. Werkmodel Projectmatig Evalueren........................................................................................................155. Ideevorming en oriëntatie.......................................................................................................................17

5.1 Het realiseren van een samenwerkingsverband tussen betrokkenen:...............................................175.2 Motivatie voor projectevaluatie..........................................................................................................185.3 Oriënterende gesprekken: zonder draagvlak geen evaluatie............................................................18

6. Trap 1: Vooronderzoek evaluatieaanpak.................................................................................................196.1 Definitie: Wat willen we evalueren?...................................................................................................19

Het definiëren van de uitgangssituatie:................................................................................................19Van visie naar doelstellingen................................................................................................................20Vaststellen van de inzet van het project:.............................................................................................20Soorten doelen: product, proces en effect............................................................................................21

6.2 Strategie: hoe willen we evalueren?..................................................................................................21Mogelijke indicatoren............................................................................................................................21Wees creatief!......................................................................................................................................22Mogelijke instrumenten voor evaluatie................................................................................................22Kwantitatief, kwalitatief en creatief:.....................................................................................................23

6.3 Ontwerp: hoe willen we het aanpakken?...........................................................................................24Wie doet wat?.......................................................................................................................................24Inschatting noodzakelijke middelen en budget....................................................................................25Tijdskader.............................................................................................................................................25

6.4 Evaluatieverantwoording...................................................................................................................257. Trap 2: evaluatieplan...............................................................................................................................26

7.1 Waarom twee trappen?......................................................................................................................267.2 Oriëntatie: controle evaluatieaanpak door evaluatieteam.................................................................26

Projectleider/ evaluatiecoördinator:......................................................................................................277.2 Definitie: wat gaan we evalueren?.....................................................................................................27

Van ‘objectives’ naar ‘targets’..............................................................................................................277.3 Strategie: hoe gaan we evalueren?....................................................................................................27

Vastleggen van indicatoren..................................................................................................................27Vastleggen van instrumenten...............................................................................................................28Uitwerken van instrumenten................................................................................................................29

7.4 Ontwerp: hoe pakken we het aan?.....................................................................................................29Planning................................................................................................................................................29Budgettering.........................................................................................................................................30Evaluatieplan........................................................................................................................................30

8. Aan de slag: uitvoering evaluatieplan.....................................................................................................318.1 Voorbereiding: evaluatiedraaiboek....................................................................................................318.2 Realisatie: dataverzameling en –verwerking......................................................................................32

Harde en zachte gegevens:..................................................................................................................32Het verzamelen van gegevens met de vastgestelde instrumenten.....................................................32Het verwerken en samenvatten van evaluatiegegevens......................................................................32Verwerken van kwalitatieve gegevens.................................................................................................32

8.3 Voortgangscontrole............................................................................................................................33GOTIKA.................................................................................................................................................33Procesmonitoring..................................................................................................................................33Feedback en bijsturen:.........................................................................................................................34

8.4 Assessment........................................................................................................................................34Langs de ‘meetlat’................................................................................................................................34

8.5 Analyse en conclusie..........................................................................................................................348.6 Nazorg................................................................................................................................................34

9. Rapportage en communicatie..................................................................................................................359.1 Rapportage........................................................................................................................................359.2 Communicatie....................................................................................................................................35

2

9.3 Vervolg...............................................................................................................................................35Tijd om te lobbyen!...............................................................................................................................35

10.Bronnenlijst.............................................................................................................................................36

3

InleidingCommunity arts zijn in opkomst. Het is een beweging die goed aansluit op het veranderingsproces dat de Nederlandse Cultuursector doormaakt. Met het Actieplan Cultuurbereik is een verandering in gang gezet die moet leiden tot een ondernemende en publiek toegankelijke cultuursector die qua samenstelling, aanbod en publieksbereik een reële afspiegeling vormt van de samenleving. Dit heeft zich geuit in een reeks aan projecten en programma’s gericht op wijkgericht werken, culturele diversiteit en het bereiken van specifieke doelgroepen.

De politieke belangstelling voor community arts in Nederland werd nog verder aangewakkerd door de veronderstelde bijdrage ervan aan de versterking van de sociale cohesie. Uit de ervaringen in het buitenland (in het bijzonder Groot-Brittannië), kan worden opgemaakt dat het een vorm van kunst is die op maatschappelijk gebied breed inzetbaar is. De kunsten gaan intersectorale samenwerkingen aan door hoogwaardige artistieke werkprocessen in te zetten voor een maatschappelijke behoefte, vraag of probleem. Het is in deze wisselwerking dat community arts een waardevolle bijdrage kunnen leveren aan de ‘problemen’ van deze tijd

In het Nederlandse ‘cultuurklimaat’, dat veel waarde hecht aan kwaliteit van kunst, is dit een controversieel onderwerp. Zorgt dit uitgangspunt van ‘kunst als maatschappelijke katalysator’ er niet voor dat kunst gedegradeerd wordt tot ‘artistiek welzijnswerk’? Er wordt sectorbreed gediscussieerd over wat community arts nu wel of niet is en hoe artistieke en andersoortige doelstellingen en belangen zich tot elkaar dienen te verhouden.

En hoe zit het nu eigenlijk met die veronderstelde maatschappelijke bijdrage? In ons huidige, marktgerichte cultuurklimaat wil men resultaat zien. Het probleem hierbij is dat de maatschappelijke opbrengsten van de sociaal-artistieke werkprocessen moeilijk in feitelijke gegevens zijn uit te drukken. De waarde ervan is aan te tonen, maar niet expliciet te herleiden of objectief meetbaar. Het is daarom moeilijk om draagvlak te genereren voor de werkwijze van community arts.

Het ‘experiment’ is aangegaan; talrijke community arts initiatieven hebben een voedingsbodem van kennis en ervaring gegenereerd waarop kan worden voortgebouwd. Cultuurscouts (culturele verbindingsmakelaars) hebben een sleutelrol vervuld in het genereren van netwerk en in het verbinden, stimuleren en ondersteunen van community arts. Inmiddels wordt er toegewerkt naar professionalisering. Om een vervolg te kunnen geven aan de opgedane expertise en het gegenereerde netwerk, moeten community arts zich kunnen legitimeren en moet de scout zijn sleutelrol kunnen aantonen.

Dit ‘vervolg’, met andere woorden de continuïteit van community arts, hangt in grote mate af van de financiering. Momenteel worden veel community arts projecten en ook cultuurscouts gefinancierd vanuit het Actieplan Cultuurbereik. De vraag is in hoeverre de overheid (met name provincies en gemeenten) continuïteit zal geven aan deze financiering na 2008. Ook bij andere financiers, m.a.w. de fondsenwereld, is het belangrijk om geboekte resultaten van cultuurscouting en community arts onder de aandacht te brengen en vormen van samenwerking te onderzoeken.

Vanuit deze achtergrond is er een praktische behoefte ontstaan naar geschikte evaluatiemethoden voor community arts. Grofweg zijn er twee redenen te benoemen voor het beter evalueren van community arts.

1. De ontwikkeling en verdere professionalisering van de werkwijze van community arts: hier gaat het om de kwaliteit van werken. Het vaststellen van doelmatigheid en doeltreffendheid. Hebben de inspanningen in de afgelopen periode de ontwikkelingen in de gewenste richting beïnvloed? Worden de resultaten op de juiste manier bereikt? Kan dit efficiënter? Evaluatie kan op projectniveau inzicht geven in sterktes en verbeterpunten, kansen en bedreigingen.

2. Draagvlak en continuïteit: community arts kennen vaak een combinatie van artistieke en andersoortige, vaak maatschappelijke doelen en kunnen in deze wisselwerking positief van invloed zijn op maatschappelijke problemen. Een steeds marktgerichter klimaat gecombineerd met het gevestigde ‘autonome’ Nederlandse cultuurklimaat, vergroot de druk om deze intersectorale werkwijze te legitimeren en mogelijke maatschappelijke opbrengsten inzichtelijk te maken. Een vergroot draagvlak voor community arts, zowel binnen de sector als bij subsidiegevers en andere financiers, maakt het mogelijk om continuïteit te geven aan de opgedane ervaring.

De evaluatiemethoden moeten recht doen aan de aard van artistieke werkprocessen. Ook is het van belang dat kwalitatieve en kwantitatieve aspecten geïntegreerd worden. Bezien moet worden welke rol de scout bij dit alles kan innemen en hoe hij kan bijdragen aan de ontwikkeling van community arts in zijn werkgebied.

4

Startvragen:

Hoe kunnen community arts projecten / de community arts werkpraktijk geëvalueerd worden?

Welke rol kan de scout vervullen bij het evalueren en ontwikkelen van de werkwijze van community arts?

Nu is vastgesteld waarom de behoefte aan geschikte evaluatiemethoden voor community arts zo actueel is en wat het belang hiervan is, zal ik ingaan op de maatschappelijke bijdragen van community arts en het meten ervan. In het daarop volgende hoofdstuk zal ik aangeven waarom er bij het evalueren van community arts geen standaard aanpak mogelijk is.

Het grootste deel van dit document zal gaan over het evalueren van community arts als kernactiviteit. binnen een projectmatige werkwijze. Hiervoor heb ik gebruik gemaakt van de ‘tweetrapsformule’ voor sociaal agogische projecten, ontwikkeld door Leida Schuringa.

5

1. Meten van maatschappelijke opbrengstenDe recente interesse in Nederland voor community arts heeft veel te maken de politieke zoektocht naar oplossingen voor problemen die samenhangen met de multiculturele samenleving en het ‘wegvallen’ van sociale cohesie. Na een periode van ‘pionieren’ wil men resultaat zien. Om continuïteit te kunnen geven aan de opgedane ervaring en toe te werken naar professionalisering, wordt het steeds urgenter om de werkwijze van community arts en de combinatie van sociale en artistieke doelen te legitimeren.

Community arts zijn procesgericht en kennen een hoge participatiegraad. Dit vereist andere methoden en instrumenten voor evaluatie die verder reiken dan alleen het meten van een prestatie; van bezoekersaantallen en andere feitelijke gegevens. Maar ook met de juiste methoden zal het niet mogelijk zijn om de opbrengsten van community arts projecten expliciet te herleiden. Community arts zijn gesitueerd binnen een complexe en voortdurend veranderende cultureel-maatschappelijke context. Hierdoor zijn ze vaak net zo dynamisch en complex zijn als die context. Oorzaak en gevolg, input en opbrengsten zijn hierdoor moeilijk te herleiden.

“We need to understand that the arts produce impacts as complex as the human beings who create and enjoy them.”1

Hierin zit een interessante paradox: hoewel de opbrengsten van de cultuurparticipatieve processen moeilijk ‘gevat’, gemeten en voorspeld kunnen worden, is dit ook juist hun kracht. Uit ervaring en onderzoek weten betrokkenen dat community arts van grote waarde kunnen zijn op tal van maatschappelijke terreinen. Toch is het in de wisselwerking van community arts met hun cultureel-maatschappelijke context dat deze waarde ontstaat.

1.1 Oorzaak en gevolgEen van de problemen bij het inzichtelijk maken van de maatschappelijke bijdrage van community arts, is dat het niet mogelijk is om een zuiver causaal verband aan te tonen. De projecten spelen zich af in een cultureel-maatschappelijk krachtenveld. Hierdoor kunnen er buiten het community arts project tal van andere factoren van invloed zijn op de uitkomsten van het project. Je kunt nooit met zekerheid aantonen of de verandering die je meet een direct gevolg is van het project dat jij hebt gedaan.

In de medische wereld, wordt in dit geval vaak een controlegroep ingezet. Dat is bij community arts onmogelijk en bovendien ethisch onjuist. Het zou inhouden dat deze groep moet instemmen met deelnamen, zonder te weten wat het doel van het programma is. En juist in de actieve participatie van de doelgroep ligt de kracht van community arts. Ook een ‘placebo-effect’ is niet te realiseren; de deelnemers weten vanzelfsprekend wanneer ze meedoen of niet.

Net zoals er geen standaard formule voor community arts projecten is – de context, vraag, werkwijze, doelgroep, et cetera, verschillen per project – zullen ook de uitkomsten verschillen. Er is geen ‘wonderpil’ die in alle soortgelijke situaties toegepast kan worden, net zoals de uitkomsten van de kunstparticipatieve werkprocessen in grote mate onvoorspelbaar zijn. Wel is vast te stellen waaraan community arts processen in het algemeen kunnen bijdragen. En is dat niet al het bewijs dat je nodig hebt?

1.2 Mogelijke maatschappelijke opbrengstenDe Britse onderzoeker en gemeenschapswerker François Matarasso, heeft een grootschalig onderzoek geleid om deze maatschappelijke opbrengsten meer in kaart te brengen. In ‘Use or Ornament’ doet hij hiervan verslag. Hij onderscheidt zes terreinen schetst waarop community arts een bijdrage kunnen leveren:

1 F. Matarasso, “Use or Ornament?”, pag. 9, Comedia, UK, 1997

6

Persoonlijke ontwikkelingOp dit vlak kan cultuurparticipatie leiden tot een vergroot vertrouwen en gevoel van eigenwaarde; de betrokkenheid bij sociale activiteiten verhogen; mensen invloed geven op de manier waarop zij door anderen gezien worden; ruimte bieden om persoonlijke rechten en verantwoordelijkheden te verkennen; interesse en vertrouwen in kunst en cultuur vergroten; bijdragen aan de schoolse ontwikkeling van kinderen; volwassenen aanmoedigen om kansen tot opleiding en training aan te grijpen; bijdragen aan het opdoen van vaardigheden en werkervaringen; bijdragen tot de inzetbaarheid van mensen; mensen motiveren tot en helpen bij een (loop)baan in de kunsten.

Sociale cohesieOp dit vlak kan cultuurparticipatie isolatie en uitsluiting helpen verminderen doordat in deze context gemakkelijk vriendschappen

gesloten kunnen worden; bijdragen aan het bevorderen van netwerken op gemeenschapsniveau die tot sociale insluiting

kunnen leiden; tolerantie vergroten en bijdragen tot een oplossing van conflicten; een forum bieden voor interculturele betrekkingen en vriendschapsrelaties; de bijdrage van een hele gemeenschap helpen bekrachtigen; contacten tussen verschillende generaties bevorderen; interculturele contacten en samenwerking bevorderen; zowel slachtoffers als delinquenten ondersteunen bij het aanpakken van misdaadvraagstukken; een route verschaffen voor rehabilitatie en de integratie van delinquenten.

‘Gemeenschaps-empowerment’ en zelfbeschikkingsrechtOp dit vlak kan cultuurparticipatie: de organisatiecapaciteit van de gemeenschap vergroten; de zelfredzaamheid van en projectmatig werken binnen de doelgroep vergroten; mensen meer controle geven over hun eigen leven; middelen aanreiken om inzicht te verkrijgen in politieke en sociale denkbeelden; maatschappelijke inspraak en participatie vergemakkelijken; bewoners betrekken bij (stedelijke) vernieuwingsprocessen; samenwerkingsverbanden/ partnerships vergemakkelijken; draagvlak vergroten voor community projecten.

Beeldvorming en identiteit van de buurtOp dit vlak kan cultuurparticipatie: een gevoel van trots op plaatselijke tradities en culturen bevorderen; ervoor zorgen dat mensen een gevoel van betrokkenheid en ‘erbij horen’ krijgen; bijdragen aan het ontwikkelen van gemeenschapszin en –tradities in nieuwe steden en buurten; mensen reden verschaffen om zelf initiatieven te ontplooien binnen de gemeenschap; het beeld van overheidsinstellingen veranderen; mensen een beter gevoel geven over waar ze wonen.

Verbeelding en visieOp dit vlak kan cultuurparticipatie: mensen helpen om hun creativiteit te ontwikkelen en uit te bouwen; het onderscheid tussen consument en schepper doen vervagen; het mensen mogelijk maken om hun waarden, betekenissen en dromen te verkennen; de werkpraktijk van beroepskrachten in de publieke en vrijwilligerssector verrijken; de aanspreekbaarheid van maatschappelijke dienstverlening verbeteren; mensen aanmoedigen om het nemen van risico’s als positief te aanvaarden; groepen in de samenleving aanmoedigen tot overwegen van lange termijn effecten in plaats van het

onmiddellijke; bijdragen aan het ontwikkelen van alternatieven voor de klassieke hulpverlening; verwachtingen wekken over wat mogelijk en wenselijk is.

7

Gezondheid en welzijnOp dit vlak kan cultuurparticipatie: een positieve impact hebben op hoe mensen zich voelen; een effectief middel bieden voor gezondheidsvoorlichting; bijdragen tot een ontspannen sfeer in gezondheidscentra; de kwaliteit van leven van mensen met een zwakke gezondheid verbeteren; een unieke en rijke bron van levensvreugde vormen.

1.3 Intersectoraal samenwerkenUit de bovenstaande ‘opsomming’ van de bevindingen van Matarasso blijkt dat de bijdrage van community arts ontstaat binnen de dynamiek van intersectorale samenwerkingsverbanden. Je zou kunnen stellen dat het in deze tijd, die gedomineerd wordt door voortdurende verandering, voor de publieke sectoren (kunst, onderwijs, welzijn, gezondheidszorg) niet langer voldoende is om alleen binnen eigen kaders te opereren. Dit is ook niet langer in overeenstemming met de maatschappelijke behoefte. Publieke sectoren kunnen, gebruik makend van elkaars expertise, hun kracht en draagvlak vergroten en verbreden.

Het Europese onderzoek “Creative Community Building through Cross-Sector Collaboration” benoemt voor de kunstensector drie ‘kansgebieden’ voor intersectorale samenwerking:

Social inclusion (sociale insluiting), Well-being (welzijn en gezondheid) en Creativity and learning (verbindingen tussen kunst, onderwijs en leren).

Dergelijke samenwerkingverbanden staan in Nederland nog in de kinderschoenen en behoeven nog nadere verkenning. De verschillende belangen vinden elkaar nog relatief weinig. Dat is te betreuren wanneer je bedenkt dat in samenwerking juist kostenbesparend en effectief gewerkt kan worden. Er wordt nog veel op ‘eilandjes’ gewerkt. Door grensoverstijgend te denken en te werken en gebruik te maken van elkaars kennis en expertise kunnen de krachten gebundeld worden.

1.4 Kwaliteit en de invloed van waardenEen van de factoren die intersectorale samenwerkingen in de kunsten belemmert, is de discussie over artistieke kwaliteit. Het gaat om de vraag waar de nadruk op zou moeten liggen bij kunstprojecten die sectoroverschrijdend zijn: op het proces of op het product?

Velen wijzen op het risico van kwaliteitsverlies van kunst wanneer de nadruk puur op het proces of doelstellingen op het gebied van welzijn wordt gelegd. Deze groep hecht veel waarde aan de kwaliteit van het artistieke product.

Anderen geven aan dat in projecten met sociale doelstellingen kwaliteit in de context moet worden bezien. Het eindproduct moet ondergeschikt zijn aan het proces; dit is alleen maar bevorderlijk voor dit eindproduct.

Een meer integrale benadering stelt dat de kracht van het proces juist gewaarborgd wordt door niets af te doen aan kwaliteit. Community arts is meer dan artistiek welzijnswerk. Deelnemers willen niet ‘betutteld’ maar uitgedaagd worden. Het grootste effect wordt gesorteerd door de kracht van kunstparticipatieve processen ten volste te benutten.

Bij evaluatie krijg je ongetwijfeld te maken met verschil in waarden, benaderingen en opvattingen. Dat wat je meet, de manier waarop je het meet en de uitkomsten ervan zijn sterk afhankelijk van waarden. Het is belangrijk om deze in de projectgroep boven tafel te krijgen en er discussie over te voeren. Wat versta je bijvoorbeeld onder kwaliteit en hoe is deze te waarborgen? Denk in dit verband ook aan de relatie met subsidiënten, fondsen en andere financiers. Community arts vragen om een andere betrokkenheid van financiële partners - evaluatie kan helpen die nieuwe relatie vorm te geven.

Het meten van kwaliteitHet meten van kwaliteit beperkt zich vaak tot de kwaliteit van het eindproduct. De professionalisering van community arts is echter gebaat bij het evalueren van kwaliteit in al haar facetten, namelijk:

De kwaliteit van uitvoering (hoe het werk wordt gedaan in relatie tot gehanteerde procescriteria), De kwaliteit van ervaring (hoe deelnemers het project ervaren en erop reageren), De kwaliteit van opbrengsten (de korte en lange termijn effecten op de deelnemers en op de wijdere

gemeenschap) en De artistieke kwaliteit (m.b.t. bijvoorbeeld techniek, originaliteit, ambitie, weerslag en ‘magie’).

8

2. Evalueren: geen standaard formuleDe reden waarom de term community arts zo moeilijk te omschrijven is, is omdat het projecten op maat zijn die gesitueerd zijn in een complex cultureel maatschappelijk krachtenveld. Er is geen project hetzelfde. In het algemeen kun je zeggen dan de kunsten samenwerkingen aan gaan met professionals in verwante werkgebieden en dat zij in overleg een aanpak ontwikkelen die ingaat op een maatschappelijk signaal, vraag of behoefte. De participatie van de doelgroep in de verschillende projectstadia is ook kenmerkend voor community arts.

In de praktijk resulteert dit in een grote variatie aan samenwerkingsverbanden, werkvormen, et cetera.Er is geen standaard community arts formule. Je kunt bijvoorbeeld een onderscheid maken in:

Verschillen in omvang en organisatiegraad: de initiatiefnemer kan een zelfstandige kunstenaar zijn, maar ook een gevestigde culturele organisatie. Sommige projecten zijn voor een groot deel afhankelijk van de inzet van vrijwilligers, daar waar andere projecten over betaalde medewerkers en goede facilitaire voorzieningen beschikken;

Verschillen in kunstvorm en doelgroep: sommige projecten passen een enkele kunstvorm toe, anderen gebruiken een multidisciplinaire benadering. Sommige projecten willen het cultureel erfgoed van de lokale Turkse gemeenschap zichtbaar maken, waar andere projecten kinderen in achterstandswijken meer kansen tot ontwikkeling willen bieden. De methode van evaluatie moet de doelgroep waarmee je werkt de mogelijkheid bieden zich te uiten. Ook moet het aansluiten op de gekozen werkvormen;

Verschillen in financiering en beschikbare middelen: Wanneer een project nauwelijks een budget heeft voor evaluatie zullen er andere vormen van evaluatie worden toegepast. Ook de steeds specifiekere evaluatie-eisen die gesteld worden door fondsen en andere subsidiënten zijn van invloed op het verloop van een project en de evaluatie. De eisen van financiers sluiten vaak nog onvoldoende aan op de praktijk. Community arts hebben een taak om in overleg te treden met fondsen en subsidiënten om tot een betere afstemming te komen. .

Door deze verschillen is het vrijwel ondenkbaar om een standaard formule voor evaluatie toe te passen. Net zoals het project op maat wordt ontwikkeld, moeten community arts hun evaluatiemethoden daarop laten aansluiten. In projectverband moet er gezocht worden naar een eigen unieke set van behoeftes, mogelijkheden, prioriteiten, doelstellingen, methoden, instrumenten, die aansluiten op de eigen kernactiviteiten.

Hetzelfde geldt voor de bevindingen van evaluatie en de kopieerbaarheid van projecten. Resultaten die in het ene project behaald zijn, kunnen bij dezelfde aanpak in een andere situatie geheel anders uitpakken. Er is bijvoorbeeld geen standaard oplossing voor de bijdrage van kunst aan sociale uitsluiting. Het maatschappelijk krachtenveld is daarvoor te complex. Je kunt weliswaar leren van successen in andere projecten, maar je zult ze niet kunnen kopiëren. De uitkomsten zullen steeds net anders zijn omdat het samenspel van factoren, die cultureel maatschappelijke kwestie beïnvloeden, te complex is.

2.1 Mogelijke belemmeringen2:Wanneer je als projectgroep een aanpak wilt ontwikkelen voor evaluatie die aansluit op jouw specifieke situatie, kun je tegen tal van knelpunten en belemmeringen aanlopen. Je zult onder andere rekening moeten houden met:

Beschikbare middelen: Sommige organisaties/ kunstenaars hebben weinig middelen tot hun beschikking (tijd, geld,

mankracht). Dit kan evaluatie bemoeilijken Organisaties en kunstenaars kunnen zichzelf te hoge doelen voor evaluatie stellen. Ook Fondsen

kunnen wat dat betreft te hoge eisen stellen Het probleem wanneer je gesubsidieerd wordt door meerdere geldschieters die elk hun eigen

evaluatie-eisen stellen Het beschikbaar maken van de uitkomsten van evaluatie is ook een geldpost. Hierdoor kunnen

organisaties/ projecten met een lager budget hiervoor minder goed uit de verf komen Veel kunstenaars en organisaties zien zelfevaluatie niet als een kernactiviteit of hebben niet de juiste

kennis en vaardigheden Niet elke organisatie of groep is in staat ‘de weg te vinden’ naar die instanties die ze kunnen

ondersteunen op het gebied van evaluatie. Ook als hiervoor wel faciliteiten zijn, kunnen ze evengoed nog te duur zijn.

2 Bron: “Sharing Practice: a guide to self-evaluation in the context of social exclusion”, G. Moriarty, Arts council England, 2002, pg. 19-21

9

Methodische kwesties: Methoden sluiten soms onvoldoende aan op de achtergrond en capaciteiten van de doelgroep. Denk

hierbij aan taalbarrières, lichamelijke handicaps, culturele drempels (uit beleefdheid altijd positief reageren), aversie tegen de manier van vragen stellen (bijvoorbeeld een voorkeur voor non-verbaal uiten)

Om goed aan te sluiten op de doelgroep, moeten methoden soms in hoge mate innovatief zijn. Bijvoorbeeld wanneer je werkt met groepen kinderen die moeilijk leren.

De verschillen die verband houden met de tijdslijn van een project. Afhankelijk van de duur van een project, zul je andere methoden kiezen. Ook is het moeilijk om kortdurende projecten te evalueren op hun impact.

Hoe verenig je kwantitatieve en kwalitatieve methoden binnen je evaluatie en hoe analyseer en presenteer je dergelijke gegevens?

Soms kan een te grote nadruk op evaluatie het creatieve proces belemmeren of het plezier van deelnemers ondermijnen.

Het delen van informatie met fondsen/ subsidiegevers: Dit vereist een zeker vertrouwen, dat niet altijd wordt gewaarborgd. ‘ze doen er niets mee’: Soms worden rapporten niet geheel gelezen of wordt het niet meegenomen

bij het vormen van nieuw beleid. ‘het wordt tegen ons gebruikt’: de angst dat het als bewijs wordt opgevat om subsidie te weigeren of

de organisatie in een negatief daglicht te stellen. Dit kan ertoe leiden dat de nadruk wordt gelegd op de positieve uitkomsten en de ontwikkelpunten buiten beschouwing worden gelaten.

Gebrekkige onderhandeling over eisen die aan evaluatie worden gesteld uit angst dat subsidie wordt geweigerd. Organisaties/ kunstenaars kiezen eieren voor hun geld en gaan toch akkoord met eisen die niet in verhouding staan tot hun mogelijkheden.

2.3 Evaluatie: wie is er verantwoordelijk?Je kunt evaluatieprocessen, afhankelijk van de context waarin je werkt, op veel verschillende manieren organiseren en vormgeven. Uiteindelijk komt het toch uit op de vraag: wie is er eindverantwoordelijk? . Je kunt hierin de volgende keuzes maken3:

Het gebruiken van een interne evaluator. Dit is iemand die al betrokken is in het werk binnen het project.Voordelen:

deze persoon is al bekend met de werkpraktijk van het project/ de organisatie; begrijpt de kernactiviteiten en doelstellingen; kan makkelijker aanwezig zijn bij sleutelactiviteiten; kan vanuit zijn knowhow op de juiste momenten feedback geven aan de projectgroep; hij kan te werk gaan vanuit een bestaande vertrouwensrelatie en is ‘geloofwaardig’.

Nadelen Het kan vanwege zijn interne betrokkenheid moeilijk zijn om kritiek te uiten; Beschikt niet altijd over de juiste vaardigheden; Taakconflicten bij andere werkzaamheden binnen het project; Beschikt niet altijd over een breder referentiekader; andere praktijkervaringen ter

vergelijking; Beschikt niet altijd over het vermogen het project in zijn externe context te

beschouwen; Kan een ‘status aparte’ krijgen binnen de projectgroep.

Het bieden van externe ondersteuning aan interne evaluatoren.Een externe facilitator die de projectgroep vanaf de zijlijn van advies kan dienen. Deze facilitator kan ondersteuning bieden bij het ontwerpen van een geschikt evaluatieplan, het bewaken van de voortgang en het analyseren van bevindingen. De facilitator kan een bestaande koepelorganisatie zijn, maar kan ook een onafhankelijke steunfunctie zijn.

Het betrekken van deelnemers als evaluatoren. Je vraagt mensen die als deelnemer betrokken zijn om vanuit hun ‘insidersview’ het project te evalueren. Ze zijn betrokken bij het ontwerpen van de evaluatieaanpak, de uitvoering (interviewen van deelnemers, afnemen van vragenlijsten, etc.) en de gegevensverwerking en -analyse. Voordeel:

Je bent ervan verzekerd van de betrokkenheid en ervaring van deelnemers als een wezenlijk onderdeel van het project.

3 Bron: “Sharing Practice: a guide to self-evaluation in the context of social exclusion”, G. Moriarty, Arts council England, 2002, pg. 27.

10

Nadeel: Het betalen en trainen van deelnemers als evaluatoren kan extra kosten met zich

meebrengen.

Het aanstellen van een externe evaluator. In sommige gevallen kan een externe evaluator een goede keuze zijn, zowel als alternatief voor of ter aanvulling op zelfevaluatie. De externe evaluator kan een organisatie zijn die hier specifiek op is ingericht. Het is ook mogelijk om een externe consulent aan te stellen. Soms is het aanstellen van een externe evaluator een eis voor financiering.

Voordelen: Je kunt kiezen voor een externe evaluator met een bepaalde specialisatie; Een externe evaluator vanuit een soortgelijke context heeft wellicht een breder

referentiekader; Het kan tijdbesparend werken in verhouding tot zelfevaluatie;

Nadelen: Het is moeilijk om die evaluator te vinden die over de juiste skills en ervaring beschikt

voor jouw project; Het kan moeilijk zijn om budget te genereren voor het inhuren van een externe

evaluator; Je bent evengoed nog tijd kwijt aan het voortdurend informeren van de evaluator en het

beoordelen van zijn bevindingen; Evaluatie kan een externe activiteit worden waar binnen het project geen aandacht

meer aan besteed wordt. Na afloop van het project verdwijnt het rapport in de kast.

Rol van de cultuurscout Nog uitwerken naar aanleiding van seminar

11

3. Evaluatie als kernactiviteitEvaluatie wordt vaak pas aan het eind gedaan. In veel gevallen wordt het beschouwd als een ‘extra’ activiteit of zelfs als een ongewenste formaliteit die het (artistieke) werkproces ondermijnt. Het is een eis die gesteld wordt door financiers. Echter: het wezenlijke doel van evaluatie moet verder reiken dan het verzekerd zijn van gelden. Een wezenlijke evaluatie bekijkt de sterke punten, maar vooral ook de verbeterpunten van een bepaalde aanpak. Een wezenlijke evaluatie dient beschouwd te worden als een kernactiviteit in plaats van een apart gegeven.

Evaluatie als integraal onderdeel van projectmatig werken, betekent waarde hechten aan het evalueren van het proces. Het gaat hierbij niet alleen om het meten van een feitelijke prestatie (bezoekersaantallen, publiekssamenstelling, etc. ). Dit is in deze benadering een onderdeel van het beschouwen van procesopbrengsten op het niveau van de deelnemers, de projectgroep en de wijdere gemeenschap.

Dit is een heikel punt binnen het huidige marktgerichte cultuurbeleid waarbij subsidiënten waarde willen zien voor hun ‘investering’. Het is nu aan de kunsten om zelf de verantwoording voor evaluatie te nemen en in dialoog met fondsen, de overheid en andere subsidiënten te treden. Deze laatste partijen krijgen in steeds grotere mate de rol van ‘social investors’ en worden daarmee aandeelhouders binnen de projecten. In dialoog kunnen evaluatie-eisen worden afgestemd

De kunsten zijn zich wat dat betreft nog onvoldoende bewust van hun eigen kracht. Kunst en wetenschap staan minder ver van elkaar af dan het lijkt en zijn beide manieren om te werkelijkheid te benaderen en vorm te geven.Objectief, wetenschappelijk onderzoek staat nog teveel op een voetstuk. De basis van het in gebruik nemen van geneesmiddelen, ligt vaak puur en alleen in het principe van ‘trial and error’. Veel van deze middelen zijn ook niet behoorlijk geëvalueerd. Objectiviteit is relatief aangezien je altijd handelt vanuit je eigen waardensysteem.

“Objectivity does not exist (…) One would need to be an object, a mere intellectual mechanism, not a subject, a person placed in time and space, loaded with memory and aspirations. But there is a great difference between those who strive towards objectivity, and those who turn away from it – deliberately, or through ignorance of their own determinants, of the internal prism which distorts their perception of others.”4

Vanuit creativiteit kunnen bruggen geslagen worden waardoor sociale en politieke grenzen vervagen. Het biedt een venster tot interculturele communicatie. Deze benadering stelt de waarde van de ervaring en het proces centraal en biedt ruimte om deze vanuit meerdere invalshoeken te beschouwen. De kunsten kunnen met deze eigen kracht een waardevolle bijdrage leveren aan beleidsvorming die aansluit op de praktijk.

3.1 Zelfevaluatie:Het karakter van kunstparticipatieve processen, is in grote mate reflectief. ‘Artist-workers’ zijn voortdurend bezig met reflecteren op wat ze doen en het effect dat het heeft op de participanten. Het gaat erom een manier te vinden om deze reflectie op verschillende niveaus (ook bij deelnemers) zichtbaar te maken. De methode van zelfevaluatie benut deze intrinsieke reflectie, die zo eigen is aan artistieke werkprocessen. Vrij vertaald naar de definitie van de Britse onderzoekster Gerri Moriarty:

Zelfevaluatie is een uitermate geschikt middel om het impliciete proces van reflectie, dat eigen is aan kunstparticipatieve projecten, explicieter te maken. Het is een vorm van evaluatie die geïntegreerd is in het project en binnen de verschillende organisatieniveaus.

4 Grosser, 1989:2, ontleend aan “Smoke and mirrors: a response to Paola Merli’s ‘evaluating the social impact of participation in arts activities’”, F. Matarasso, Comedia, Stroud, UK, artikel in “International Journal of Cultural Policy, 2003 Vol 9 (3), pg. 378

12

Zelfevaluatie draait om processen en methoden die kunstorganisaties, individuele kunstenaars en deelnemers aan kunst benutten en toepassen om te reflecteren op hun werkwijzen en deze te ontwikkelen. De methode van elfevaluatie stelt geen standaard succesmodel voor evaluatie centraal, maar pleit ervoor dat kunstorganisaties evaluatiemethoden ontwikkelen die aansluiten op hun behoeften, middelen en hun specifieke context van werken.

Moriarty geeft in haar rapport een duidelijke omschrijving van wat zelfevaluatie wel en niet is5:

Zelfevaluatie is niet hetzelfde als:

MonitorenDit betreft het regelmatig meten van de voortgang ten opzichte van vastgestelde doelen. Vaak gebeurt dit om het gebruik van organisatiemiddelen of subsidie te verantwoorden. Het betreft vooral ‘harde’ gegevens en kwantitatieve metingen.

Promoten (‘advocacy’): Hier betreft het letterlijk het ‘voorstaan’ van een bepaalde werkwijze. Het legt vooral de nadruk op de positieve aspecten, terwijl evaluatie een leerproces is waarbij ook negatieve aspecten naar voren komen. Informatie uit evaluatie kan natuurlijk wel ter promotie worden gebruikt.

Documentatie :Bijvoorbeeld foto’s, impressieverslagen. Deze kunnen wel ondersteunend aan evaluatie worden gebruikt.

Onderzoek : Dit richt zich op het bewijzen van een gestelde hypothese

Zelfevaluatie is wel:

Een manier om te reflecteren op en leren door ervaring. Je kunt een onderscheid maken in: Vormende evaluatie (‘formative’) vindt plaats tijdens de uitvoering van een programma, project of

activiteit en kan daarom gebruikt worden om tussentijds bij te sturen en noodzakelijke wijzigingen aan te brengen

Totaalevaluatie (‘summative’) is te zien als een optelsom of samenvatting die als afronding plaatsvindt aan het eind van een programma, project of activiteit.

Evaluatie versus zelfevaluatie:

Evaluatie kan ook uitgevoerd worden door een externe consulent. Zelfevaluatie wordt uitgevoerd door de direct betrokkenen: deelnemers, kunstenaars en organisatoren.

3.2 Community arts: sociaal-agogische projectenEen community arts project is in veel opzichten te zien als een intersectorale samenwerking; een beweging naar buiten toe waarbij de aanleiding vaak een maatschappelijke vraag of behoefte is. Deze overlapping in werkterreinen en doelstellingen en de wisselwerking met de maatschappelijke omgeving van het project, maken het tot een complex geheel.

Omdat community arts projecten vaak een bepaald veranderingsproces beogen kunnen ze opgevat worden als sociaal-agogische projecten. Dit zijn, naar de definitie van opbouwwerker en socioloog Leida Schuringa, projecten die opgezet worden om een aanpak te ontwikkelen voor een (maatschappelijk) probleem of behoefte in samenspraak met de direct betrokkenen.

In relatie tot de complexiteit van sociaal-agogische projecten, noemt zij vijf factoren:

1. de veranderingen zijn gericht op mensen: mensen zijn object van verandering;2. de betrokkenheid van mensen bij het project is van essentieel belang: zij zijn dus ook subject van

verandering;3. er is meestal sprake van een ingewikkelde organisatorische context;4. onzekerheid rond de financiering;5. het ontwerpproces dat niet lineair verloopt, maar in twee ‘trappen’

De aanpak van sociaal-agogische projecten is methodisch van aard. Dat wil zeggen: systematisch en planmatig handelen en het uitstippelen van ‘de weg waarlangs’ (methodos). Deze weg waarlangs leidt van een ongewenste naar een gewenste situatie en richt zich op het realiseren van beoogde verandering.

Schuringa onderscheidt drie vormen van planmatig werken: Aan het ene eind van het spectrum staat improviserend werken. Het probleem is nieuw en er moet gelijk gehandeld worden. Al doende stuur je bij. Aan het andere eind van het spectrum staat routinematig werken. Het gaat hier om reguliere activiteiten waarbij het probleem en de aanpak geïntegreerd zijn in de organisatie.

5 Bron: “Sharing Practice: a guide to self-evaluation in the context of social exclusion”, G. Moriarty, Arts council England, 2002, pg. 6

13

Daartussenin staat projectmatig werken: Projectmatig werken is meer bestemd voor (complexe) probleemsituaties waarin er een aantal bekende en een aantal onbekende elementen spelen. Vaak is een multidisciplinaire benadering nodig. Tijdens een project wordt er iets nieuws ontwikkeld of in een organisatie ingevoerd. Het gaat om innovatie. De inspanningen zijn eenmalig en uniek. Zodra een bepaalde aanpak ontwikkeld is en herhaaldelijk toegepast wordt, kan een en ander verder ‘routinematig uitgevoerd worden. Bij projectmatig werken wordt eerst een plan bedacht alvorens met de uitvoering begonnen wordt. Projectmatig werken is in het algemeen de meest effectieve aanpak(dat wil zeggen: leidt het meest direct tot het gewenste doel met een beperkte inzet van middelen

Schuringa heeft een projectmodel ontwikkeld voor sociaal-agogische projecten dat rekenschap geeft van de aard en complexiteit ervan. Het model is een ‘tweetrapsraket’. Leidende gedachte hierbij is dat een sociaal agogisch project het ontwerpproces twee keer doorloopt voorafgaand aan de uitvoering.

In schema ziet dit er als volgt uit:

Vanuit een bepaalde vraag of behoefte ontstaat een idee.

Trap 1: In een kleine initiatiefgroep wordt een idee gevormd en in grote lijnen uitgedacht. Vaak moet er eerst een subsidieaanvraag of concept ter goedkeuring van een opdrachtgever worden ingediend.

Trap 2: Pas als deze randvoorwaarden rond zijn, kan er een daadwerkelijke projectgroep worden samengesteld van direct betrokkenen. Door hun inbreng wordt het oorspronkelijke concept gecompleteerd en soms gewijzigd. Er wordt toegewerkt naar een definitief ontwerp.

Pas daarna wordt het project uitgevoerd

In het laatste stadium wordt het project afgerond en worden eventuele vervolgtrajecten verkend (ideevorming).

Dit werkmodel vormt de basis voor het nu volgende gedeelte over projectmatig evalueren.

Fasering werkmodel sociaal-agogische projecten0. Idee/ Oriëntatiefase

Besluit: Doorgaan of afblazen?I.Trap 1:vooronderzoek

DEFINITIE:STRATEGIE:ONTWERP:

WAT kan de inzet van het project zijn?Bouwstenen voor het HOEHOE kan het doel bereikt worden? (mijlpalenplan en 1e inschatting GOTIKA)

1 e beslisdocument : Projectopdracht/ subsidieaanvraagII. Trap 2: Projectplan

ORIËNTATIE:DEFINITIE:STRATEGIE:ONTWERP:

Controle gemaakte analyseWAT wordt de projectinzet?Extra bouwstenen voor het HOEHOE gaan we het doel realiseren?

2 e beslisdocument: Projectopdracht (aangepast en uitgewerkt mijlpalenplan +sleutelactiviteiten+ inschatting GOTIKA)III. UITVOERING

VOORBEREIDING:REALISATIE:VOORTGANGSCONTROLE:EVALUATIE:

Opstellen draaiboekenMijlpalen/ sleutelactiviteitenTussentijds bijsturenWat zijn de resultaten en effecten?

3 e beslisdocument: NazorgplanIV NAZORG: reguliere invoering, ideeën voor follow-up, afronding

EINDRAPPORTAGE

14

4. Werkmodel Projectmatig EvaluerenEen succesvolle evaluatie van community arts is projectmatig geïntegreerd in alle projectfasen. In schema ziet dit er als volgt uit:

Werkmodel sociaal-agogische projecten

Werkmodel voor projectmatige evaluatie

0. Idee/ Oriëntatiefase 0. Ideevorming en oriëntatie

Besluit: Doorgaan of afblazen?

WAAROM evalueren? Realisatie samenwerkingsverband; Motivatie voor projectevaluatie; Oriënterende gesprekken

Is er voldoende draagvlak voor evaluatie?

I.Trap 1:vooronderzoek I Trap I: vooronderzoek evaluatieaanpak

DEFINITIE:WAT kan de inzet van het project zijn?

STRATEGIE:Bouwstenen bedenken voor het HOE

ONTWERP:HOE kan het doel bereikt worden? (mijlpalenplan + 1e inschatting GOTIKA)

1 e beslisdocument: Projectopdracht/ subsidieaanvraag

DEFINITIE: WAT willen we evalueren?

STRATEGIE: HOE willen we evalueren?

ONTWERP: HOE willen we het aanpakken?

Evaluatieverantwoording:

Doelstellingen; wat willen we bereiken? ;

Definiëren van de uitgangssituatie; (nulmeting) en de gewenste situatie.

Mogelijke indicatoren; wat willen we meten? ;

Mogelijke instrumenten en methoden voor dataverzameling.

Mogelijke inzet van betrokkenen? ; Benodigde materialen, middelen, tijd,

manuren; Inschatting van noodzakelijk budget; Grove tijdsplanning.

Evaluatieaanpak en noodzakelijk budget.

II. Trap 2: Projectplan II. Trap 2: Evaluatieplan

ORIËNTATIE:Controle gemaakte analyse

DEFINITIE:WAT wordt de projectinzet?

STRATEGIE:Extra bouwstenen voor het HOE

ONTWERP:HOE gaan we het doel realiseren?

2 e beslisdocument:

ORIËNTATIE: Controle evaluatieaanpak

DEFINITIE: WAT gaan we evalueren

STRATEGIE: HOE gaan we evalueren?

ONTWERP: HOE pakken we het aan?

Stemt iedereen in met de gekozen aanpak?

Zijn er nog aanvullingen of wijzigingen?

Vastleggen van doelstellingen en gewenste opbrengsten.

Vastleggen van indicatoren; Bepalen

gegevensbronnen/respondenten; Dataverzameling: uitwerken

instrumenten en methoden; Vastleggen van kwaliteitscriteria.

Planning: Wie doet wat wanneer? Wie is verantwoordelijk? ;

Opstellen evaluatiebegroting

15

Projectopdracht (aangepast en uitgewerkt mijlpalenplan +sleutelactiviteiten+ inschatting GOTIKA)

Evaluatieplan

:

Projectinformatie, evaluatiemotieven, doelen, indicatoren, instrumenten, activiteiten en verantwoordelijkheden, coördinatie van de evaluatie, tijdsplanning.

III. UITVOERING III. AAN DE SLAG: uitvoering evaluatieplan

VOORBEREIDING:Opstellen draaiboeken

REALISATIE:Mijlpalen/sleutelactiviteiten

VOORTGANGSCONTROLE:Tussentijds bijsturen

EVALUATIE:Wat zijn de resultaten en effecten?

3 e beslisdocument: Nazorgplan

VOORBEREIDING: Evaluatiedraaiboek

REALISATIE:Dataverzameling

Dataverwerking

VOORTGANGSCONTROLE:

ASSESSMENT:Toetsen van vastgestelde indicatoren

ANALYSE EN CONCLUSIE:

Flexibel inzetbaar bij onverwachte ontwikkelingen;

Overzicht verantwoordelijkheden en activiteiten;

Afspraken voortgangsrapportage.

Het verzamelen van gegevens met de vastgestelde instrumenten.

Data invoeren in een database, bijv. Excel of SPSS. Kwalitatieve informatie eerst categoriseren/ coderen.

‘Reflection in action’, procesmonitoring;

Knelpunten doorgeven aan coördinator.

Aan de hand van de verzamelde data kan een vergelijking worden getrokken met de vastgestelde maatstaven en de nulmeting

Opbrengsten en verbeterpunten; Evalueren van samenwerking; Evalueren van gekozen instrumenten; Vervolgroutes en aanbevelingen.

Hoe ronden we de evaluatie af? Hoe communiceren we de bevindingen?

IV NAZORG: (reguliere invoering, ideeën voor follow-up, afronding)

IV Rapportage en communicatie

EINDRAPPORTAGE

RAPPORTAGE:

COMMUNICATIE:Welke informatie voor wie?

VERVOLG:

Verslaglegging en rapportage van sterke punten en verbeterpunten van het project

Welke groepen moeten geïnformeerd worden en via welke weg?

Respectvol omspringen met vertrouwelijke informatie van deelnemers en respondenten

Mogelijke vervolgroutes, bijstelling van beleid.

Ideevorming voor nieuwe projecten

In de nu volgende paragrafen worden de afzonderlijke stadia toegelicht en aangevuld met praktische tips en handreikingen.

16

5. Ideevorming en oriëntatie0. Idee/ Oriëntatiefase 0. Ideevorming en oriëntatie

Besluit: Doorgaan of afblazen?

WAAROM evalueren? Realisatie samenwerkingsverband; Motivatie voor projectevaluatie; Oriënterende gesprekken

Is er voldoende draagvlak voor evaluatie?

Elk community arts project begint met een idee; een signaal, vraag, behoefte of probleem. Voorafgaand aan de daadwerkelijke start van het project, is het noodzakelijk om dit idee verder te onderzoeken. Wanneer er voldoende mogelijkheden zijn om uit het idee een project vorm te geven, worden de voorbereidingen in gang gezet en wordt er een projectgroep vormgegeven.

5.1 Het realiseren van een samenwerkingsverband tussen betrokkenen:In het oriënterende stadium van een community arts project wordt een samenwerkingsverband aangegaan dat buiten de grenzen van organisaties en maatschappelijke sectoren reikt. Er zijn verschillende partijen betrokken bij het project met elk hun eigen belangen. Om alle ‘neuzen’ dezelfde kant op te krijgen, is het van belang om deze belangen in kaart te brengen en op elkaar af te stemmen. In het gemeenschappelijke belang ligt de succesfactor en het startpunt van het project.

Een belangrijk aandachtspunt bij het genereren van een samenwerkingsverband, is de betrokkenheid van de doelgroep. De participatie van deelnemers is een essentiële slagingsfactor voor community arts projecten. Je kunt immers geen veranderingsproces in gang zetten zonder de betrokkenheid van de doelgroep. Je zou dit zelfs als ethisch onjuist kunnen betitelen.

Een projectgroep moet een reële afspiegeling vormen van alle betrokken partijen bij het project. Dit geldt ook voor het te vormen evaluatiepanel, wat minimaal moet bestaan uit: De (potentiële) deelnemers De organisatie of afdeling die het project ontwikkelt Andere instanties of financiers (situatieafhankelijk)

In deze samenwerking worden vragen en behoeften benoemd en mogelijke doelstellingen verkend. Er wordt een idee voor een project ontworpen dat ingaat op de vastgestelde vraag. In sommige gevallen kan worden besloten dat een community arts project niet de meest geschikte oplossing vormt voor het betreffende vraagstuk.

17

‘Neuzen’

Om intern te kunnen samenwerken, te kunnen uitwisselen en te kunnen leren van elkaar, moeten de neuzen dezelfde kant op staan. Er zijn echter twee manieren waarop dat kan.1. ‘De neuzen staan in dezelfde richting, want we

denken hetzelfde’. Mensen worden ‘gedwongen’ binnen vastgestelde kaders te denken. Er ontstaat consensus dankzij het hoge abstractieniveau. In het handelen worden alle verschillen echter weer zichtbaar;

2. ‘De neuzen staan in dezelfde richting, want we willen hetzelfde.’ Betrokkenen worden uitgedaagd actief bij te dragen aan de constructie van de werkelijkheid en zijn bereid die te herzien. De kunst is niet zozeer overeenstemming te bereiken in het denken, als wel overeenstemming te bereiken in het handelen.

Op de laatste manier kan het beste worden voortgebouwd

5.2 Motivatie voor projectevaluatieNet zoals het vaststellen van een gemeenschappelijk belang en doel een voorwaarde is voor de start van een community arts project, zal ook projectevaluatie niet succesvol verlopen als de motivatie hiervoor niet gedeeld wordt. Het is dan ook belangrijk om in dit ideevormende stadium van het project het onderwerp evaluatie al aan de orde te stellen.

Op verschillende niveaus binnen verschillende groepen zullen mensen benaderd gaan worden om mee te werken aan evaluatieactiviteiten. Hoe meer zij hier zelf het belang van inzien, hoe waardevoller de opbrengst zal zijn. Ook voor de kwaliteit van de gegevens is het belangrijk de evaluatie niet op te leggen, maar samen met de betrokkenen vorm te geven.

Van elk van de betrokken partijen is een bepaalde inzet en motivatie vereist:De organisatie: moet zelforganisatie als kernactiviteit opnemen in haar beleid en er voldoende middelen voor beschikbaar stellen.De kunstenaar: moet de reflectie integreren in zijn of haar creatieve aanpak.De deelnemers: moeten bereid zijn om betrokken te zijn in het evalueren van een project en hun ervaringen willen delen (ethische kwestie)Fondsen/ subsidiegevers/ financiers: moeten hun eisen voor evaluatie meten aan de praktijk. Ook moeten ze het belang dat zij hechten aan evaluatie vertalen in een adequaat evaluatiebudget.

5.3 Oriënterende gesprekken: zonder draagvlak geen evaluatieLeida Schuringa stelt in haar boek ‘Sociaal agogische projecten’ dat de intrinsieke motivatie; m.a.w. het draagvlak voor een project/ activiteit van essentieel belang is voor het slagen ervan.

Het genereren van draagvlak voor de projectdoelstelling en voor evalueren als kernactiviteit staat centraal in de ideevormende fase. In oriënterende gesprekken kan worden ingegaan op het gezamenlijke doel van evaluatie en de mogelijke opbrengsten ervan. Voorbeelden van evaluatievragen zijn:

Waarom evalueren? Wat zijn de gezamenlijke motieven voor evaluatie? Waaraan kan de evaluatie bijdragen? Op korte en lange termijn? Voor wie is de evaluatie bestemd (interne werkpraktijk, externe

verantwoording)? Welke status heeft deze evaluatie? Wat wil je bereiken? Wat wil je meten? Hoe wil je gegevens verzamelen? Wat willen we met de bevindingen gaan doen?

Als er een gezamenlijke motivatie voor projectevaluatie is vastgesteld, kan er over de inhoud gesproken gaan worden en start het vooronderzoek (trap 1). Deze overgang verloopt over het algemeen vrij geleidelijk.

18

E= K x A

Het Effect van een bepaalde oplossing is afhankelijk van de Kwaliteit ervan en van de Accepatie door de betrokken partijen.

Evaluatie lijkt soms niet meer dan een formaliteit. Een verplichting die je kostbare tijd en geld kost en die weinig toevoegt aan het creatieve proces. Waarom zouden we er energie in steken? Enkele redenen voor evaluatie:

De ontwikkeling en professionalisering van onze werkwijze; Het meten van effectiviteit en doeltreffendheid; In kaart brengen van sterktes (vooruitgang) en zwaktes

(verbeterpunten); Het zichtbaar maken en uitbreiden van de vaak impliciete

reflectie die eigen is aan kunstparticipatieve processen; Het zichtbaar maken van het effect van onze werkzaamheden

op de groep en de gemeenschap; Betrokkenen de toegevoegde waarde van hun inzet tonen; Het ontwikkelingsniveau van de groep monitoren/ stimuleren; Controle van financiën: stellen we de juiste prioriteiten?; Het overtuigen van subsidiënten en andere financiers; Ter verbetering van de onderlinge samenwerking, afstemming

en betrokkenheid binnen de projectgroep. Om argumenten te leveren en draagvlak te genereren voor een

manier van werken die kunst middenin het maatschappelijk leven plaatst (breed cultuurbegrip)

6. Trap 1: Vooronderzoek evaluatieaanpakI.Trap 1:vooronderzoek I Trap I: vooronderzoek evaluatieaanpak

DEFINITIE:WAT kan de inzet van het project zijn?

STRATEGIE:Bouwstenen bedenken voor het HOE

ONTWERP:HOE kan het doel bereikt worden? (mijlpalenplan + 1e inschatting GOTIKA)

1 e beslisdocument: Projectopdracht/ subsidieaanvraag

DEFINITIE: WAT willen we evalueren?

STRATEGIE: HOE willen we evalueren?

ONTWERP: HOE willen we het aanpakken?

Evaluatieverantwoording:

Doelstellingen; wat willen we bereiken? ;

Definiëren van de uitgangssituatie; (nulmeting) en de gewenste situatie.

Mogelijke indicatoren; wat willen we meten? ;

Mogelijke instrumenten en methoden voor dataverzameling.

Mogelijke inzet van betrokkenen? ; Benodigde materialen, middelen, tijd,

manuren; Inschatting van noodzakelijk budget; Grove tijdsplanning.

Evaluatieaanpak en noodzakelijk budget.

Voorafgaand aan de daadwerkelijke start van het project, brengt de initiatiefgroep het verloop van het project in grove lijnen in kaart. Er wordt gewerkt aan een voorlopig ontwerp dat noodzakelijk is om subsidie of goedkeuring van de opdrachtgever te verkrijgen.

Een voorlopig ontwerp voor de evaluatieaanpak van het project hangt nauw samen met dit proces. Doelstellingen en kwaliteitscriteria voor het project kunnen vertaald worden in indicatoren en meetinstrumenten voor evaluatie. Ook de praktische randvoorwaarden (inzet van betrokkenen, middelen tijd en geld) komen aan bod. Het voorlopig ontwerp is een basis die in de tweede trap verder kan worden uitgewerkt.

6.1 Definitie: Wat willen we evalueren?Het definiëren van de uitgangssituatie: Het is aan te bevelen om bij de start van een project een soortement nulpunt vast te stellen. Deze nulmeting geeft zicht op de startsituatie en de behoefte van betrokkenen. Dit heeft de volgende voordelen: Bij latere evaluatiemomenten kan op deze nulmeting kan worden teruggegrepen; Vanuit de nulmeting kunnen programmadoelen worden gesteld; De uitvoerende partijen raken vertrouwd met evaluatie en resultaatgericht werken.

Een andere invalshoek is om de wens tot verandering als uitgangspunt te nemen:

Je formuleert de huidige (‘ongewenste’) uitgangssituatie en de uiteindelijk gewenste situatie. De pijl ertussen is de ‘methodos’; de weg waarlangs. Dat is in feite je projectontwerp.

Kurt Lewin onderscheidt op soortgelijke wijze 3 stadia van verandering:

Unfreezing: de bewustwording van het probleem/ de vraag en de wil er iets mee te doen. Moving: het in gang zetten van een beoogde verandering. Het plannen van ‘tussendoelen’ Freezing : het verankeren van de bereikte veranderingsopbrengst.

19

Ongewenste situatie Gewenste situatie

Unfreezing Moving Freezing

Van visie naar doelstellingenBij de vraag ‘wat ga je evalueren?’ is het goed om even stil te staan bij wat je visie is op community arts en waarom je het een belangrijke manier van werken vindt. De Britse onderzoeker en community worker F. Matarasso6 onderscheidt hierin grofweg drie bewegingen. Een belangrijke gemeenschappelijke waarde van deze bewegingen is de opvatting dat de toegang tot kunst en cultuur een democratisch recht van iedereen is.

1. “A wish to extend acces to the existing artistic offer”. In Nederlandse beleidstermen gaat het hier om publieksbereik; het benaderen van moeilijk bereikbare doelgroepen door hen te interesseren voor het bestaande aanbod. Deze motivatie komt veel voor bij gevestigde culturele organisaties..

2. “Organisations which use the arts as a means of achieving social objectives”. Kunst en cultuur zijn middelen en krachtige geleiders tot het bereiken van sociale doelstellingen.

3. “A third kind of work that aims to unite aspects of both these goals by helping people gain acces to the arts so that they can become creative actors in their own lives and become culturally included in society.” De combinatie van 1 en 2: Nieuwsgierigheid creëren naar bestaand aanbod, nieuw aanbod ontwikkelen dat aansluit op nieuwe doelgroepen, de kracht van kunst gebruiken als maatschappelijke katalysator.

Wanneer je weet wat je motivatie voor en het beoogde belang van je project is, kun je deze vertalen in doelstellingen en kwaliteitscriteria: wat wil je bereiken? Waar moet het project kwalitatief aan voldoen? Doelen en kwaliteitscriteria overlappen vaak. Het verschil is dat doelen afhankelijk zijn van de ontwikkelingsfase van een project. Kwaliteitscriteria staan in principe meer vast.

Vaststellen van de inzet van het project: Wat zijn de beoogde doelstellingen, in relatie tot de vragen en behoeften van de aandeelhouders in het project? Een succesvolle evaluatie hangt, zoals eerder vastgesteld af van heldere doelstellingen vertaald in een aanpak die gedeeld wordt door alle betrokkenen. Een bloemdiagram zoals hieronder verbeeld, brengt de afzonderlijke belangen en doelen in kaart. Deze openheid is van belang om conflicten in een later stadium te voorkomen.

Daar waar de doelen en belangen overlappen, ligt een gemeenschappelijk en gedeeld belang. Hieruit wordt de inzet en hoofddoelstelling van het project bepaald.

6 Bron: F. Matarasso, Comedia, UK, ??.

20

Partij C, belang C

Partij B, belang BPartij A, belang A

Gezamenlijk doel

Soorten doelen: product, proces en effectBij het uitwerken van de doelstellingen van een community arts project is het belangrijk om een onderscheid te maken in:

1. Prestatiedoelen2. Procesdoelen3. Effectdoelen

Prestatiedoelen: ‘outputs’Evalueren doe je vaak om meer zicht te krijgen op de tot dan toe bereikte resultaten en om vast te stellen of doelstellingen bereikt worden. De trend van de laatste jaren in de culturele sector is een methode van performance measurement. Het gaat hier om het meten van effectiviteit, waarbij een project wordt beoordeeld op zijn meetbare prestaties, bijvoorbeeld bezoekersaantallen/ deelnemersaantallen. Dit is een gevolg van een meer op de markt gerichte publieke sector.

Prestatiedoelen zijn vaak einddoelen of belangrijke tussendoelen die aangeven wat er aan het eind van een bepaald traject feitelijk gerealiseerd moet zijn. Bijvoorbeeld: “Na 6 maanden hebben we contact gelegd met 30% van de ouderen binnen de lokale Turkse gemeenschap”.

Procesdoelen: ‘work in progress’Community arts beogen meer dan een product of feitelijke prestatie. De nadruk ligt in grote mate op het sociaal-artistieke proces. Een artistieke inzet als antwoord op een maatschappelijke vraag of behoefte.

Een proces is volgens ‘Kramers handwoordenboek Nederlands’ een werking in haar voortgang beschouwd. Een procesdoel richt zich dus op het werk in voortgang. Het betreft de weg waarlangs er toegewerkt wordt naar de gewenste situatie.

Voorbeelden van procesdoelen: ‘het betrekken van deelnemers bij het ontwerpen van een activiteit’; ‘het vergroten van het zelforganiserend vermogen van de groep’; ‘het coachen van peergroup-educators’; ‘de deelname van community workers aan een workshop over zelfevaluatie’.

Effectdoelen: ‘outcomes’Community arts processen beogen meer dan een feitelijke prestatie maar dragen op diverse maatschappelijke terreinen bij. Het gaat hier om andersoortige opbrengsten die moeilijker te meten zijn aan de hand van performance management. Evaluatie is dan niet alleen gericht op het meten van een prestatie maar veel meer op de opbrengsten, uitkomsten en impact van een project binnen de gemeenschap.

Community arts is wat dat betreft gebaseerd op een ander waardensysteem; een breder cultuurbegrip dat kunsten midden in het maatschappelijk leven plaatst. Dit bredere cultuurbegrip, begint langzamerhand door te dringen in de culturele sector. De Britse onderzoeker en community worker F. Matarasso geeft aan dat de huidige wijzen van evalueren nog teveel gericht zijn op outputs en nog te weinig op outcomes:

“The emphasis on performance indicators in public and independent sectors had tended to concentrate on inputs and to a lesser extent outputs. As a result community-based arts groups are becoming used to setting objectives and targets and evaluating their progress.(…) This is a useful management tool, but it is restricted to inputs and outputs: i.e. what resources were applied and what was produces as a result. It scarcely touches on quality and still less to outcome, which is to say, what happened as a result of the outputs being achieved. What effect did it have on the participants?”7

6.2 Strategie: hoe willen we evalueren?Mogelijke indicatoren8

De gezamenlijke inzet van het project is bepaald en in grove lijnen vertaald naar prestatie-, proces- en effectdoelen. Maar hoe meet je die nu? Om de voortgang richting die doelen te kunnen vaststellen, zijn maatstaven nodig die daarop aansluiten. Deze maatstaven noem je indicatoren. Deze bepalen wanneer en in welke mate gestelde doelstellingen behaald zijn.

7 Bron: “Defining Values, evaluating arts programmes”, F. Matarasso, Comedia, UK, 1996, pg. 17-18 8 Bron: “Defining Values, evaluating arts programmes”, F. Matarasso, Comedia, UK, 1996, pg. 18-19

21

Het gebruik van indicatoren is geen nieuw gegeven. Wel is het zo dat de bestaande indicatoren vooral relateren aan harde gegevens; inputs en outputs. Prestatiedoelen worden op deze wijze gemeten. Community arts zijn veel meer gericht op proces- en effectdoelen. Het is van daarom van belang om actief te zoeken naar andere soorten indicatoren die de ‘zachte’ gegevens van een project in kaart brengen.

Community arts kennen bovendien altijd een zekere mate van onvoorspelbaarheid. Er moet binnen het project voldoende flexibiliteit bestaan om hierop in te spelen en onverwachte effecten mee te nemen in de evaluatie.

Wees creatief!maak gebruik van bestaande gegevens: stel jezelf de vraag of wat je wilt meten ook te destilleren is uit andere bronnen (beschikbare onderzoeken, organisatieplannen, evaluatiemodellen, enzovoort).

Wissel ervaringen uit: het kan nuttig zijn om bij collega-professionals of –organisaties na te gaan welke indicatoren en instrumenten zij gebruikt hebben en wat hun ervaringen hiermee waren. Hoewel een succesvol project niet als een wonderformule in een andere situatie kan worden toegepast, kan het je goede aanknopingspunten bieden

Evalueren is leuk: je zou het bijna vergeten, maar evalueren hoeft niet gelijk te staan met het invullen van een vragenlijst. Denk daarom na over manieren waarop je evaluatie kunt integreren in creatieve processen en over media waar je doelgroep zich vertrouwd bij voelen. Organiseer bijvoorbeeld een bijzondere workshop of bijeenkomst voor de evaluatie van het creatieve proces of product. Vraag deelnemers hun ervaringen gezamenlijk te uiten in een theaterstukje, een collage, een graffiti wand. Ze denken er bewust over na, overleggen erover en vertalen het naar een creatief beeld.

Mogelijke instrumenten voor evaluatieDe doelen en indicatoren zijn in grove lijnen bepaald. Welke instrumenten zijn er nu geschikt om de vereiste gegevens te kunnen verzamelen? Je gaat deze nog niet in detail uitwerken; dat komt aan de orde in ‘trap 2’. Je genereert ideeën en maakt keuzes.

Er is een onderscheid te maken in kwantitatieve en kwalitatieve methodes van informatieverzameling. Ook is het mogelijk om methodes te kiezen die meer eigen zijn aan het creatieve proces. Je stemt de keuze van je instrumenten af op de indicatoren.

22

Een voorbeeld:Wanneer je met een community arts project een vergrote sociale cohesie wilt bewerkstelligen in een bepaald gebied dan zou je kunnen kijken naar:

Veranderende patronen in de sociale netwerken van de deelnemers in verhouding tot niet- deelnemers

De groei van deelname aan ‘community groups’ Verandering in crimineel gedrag Openheid naar andere gemeenschappen en

culturen Veranderingen in de manier waarop in lokale

media over deze groepen wordt bericht

Nog een voorbeeld:

Wanneer je het succes van een bepaalde voorstelling, activiteit of evenement wilt meten, kun je kijken naar indicatoren als: De mate waarin mensen betrokken zijn bij de

totstandkoming en uitvoering; De diepgang van de respons op de ervaring,

zowel bij de deelnemers als het ‘publiek’; De mate waarin er binnen de gemeenschap over

gesproken wordt, ook na afloop; Het effect dat de ervaring op lange termijn op

mensen heeft.

Tips bij het kiezen van instrumenten Bij het inventariseren van mogelijke middelen voor jouw specifieke projectaanpak, denk je ook na

over bronnen en respondenten: wie gaan de gegevens aanleveren? De gekozen instrumenten moeten goed afgestemd zijn op degenen die bijdragen aan evaluatie. Het heeft geen zin om een groep aan een uitgebreide vragenlijst of interview te onderwerpen, als zij zich niet lang kunnen concentreren of als zij zich op die wijze onvoldoende kunnen uitdrukken.

Ook moet de organisatie een inschatting maken of ze de kennis, vaardigheden en middelen hebben om bepaalde methoden van evaluatie te kunnen ontwikkelen en toepassen

Kwaliteitscriteria: Er moeten eisen aan de betrouwbaarheid van de gegevens worden gesteld. Met andere woorden: Welke respons is minimaal vereist om de validiteit van de evaluatie te waarborgen? Er kan ook gekozen worden voor een soortement ‘steekproef’ of voor een ‘expert panel’ waarin alle betrokkenen, waaronder ook deelnemers, gelijk vertegenwoordigd zijn.

Kwantitatief, kwalitatief en creatief:De meeste boeken over evaluatie en monitoring maken een onderscheid tussen kwantitatieve en kwalitatieve benaderingen. De kunsten hebben echter, zoals eerder aangegeven, een eigen unieke inbreng. Een derde benadering bij het kiezen van instrumenten richt zich daarom op de integratie van evaluatie binnen het creatieve proces. Een overzicht van mogelijke instrumenten en bronnen9:

Kwantitatieve benaderingen: Het gebruik van externe bronnen (beleidsstukken, evaluaties van andere organisaties, data van

onderzoeksbureaus, enzovoort). Formulieren/ register: de artist worker houdt hierin zakelijke gegevens bij zoals deelnemersaantallen,

leeftijd, culturele achtergrond, et cetera. Tevredenheidsonderzoek deelnemers: formulieren waarop deelnemers hun tevredenheid met de

activiteit kunnen aangeven. Schriftelijke zelfevaluatie: deelnemers wordt aan het begin en eind van het proces gevraagd om

zichzelf op een schaal een score te geven voor een bepaalde ‘skill’ hebben eigen gemaakt. Testen van zelfvertrouwen: in meer ‘sociaal-maatschappelijke’ projecten, kan het nuttig zijn om te

monitoren in hoeverre het beeld wat deelnemers van zichzelf hebben veranderd is. Vragenlijsten: betrokkenen kunnen deze zelf invullen. Het is ook mogelijk om ze door iemand te laten

afnemen. Je kunt een onderscheid maken tussen gesloten vragen, multiple choice en open vragen. Open vragen zijn tijdrovender en je zult de antwoorden moeten coderen om de gegevens te verwerken.

Kwalitatieve benaderingen: Het inzien van bestaande documentatie: het kan nuttig zijn om de bestaande organisatieplannen,

projectomschrijvingen, subsidieaanvragen, functieomschrijvingen en dergelijke nog eens in te zien.Vaak verschilt de uiteindelijke uitvoering aanzienlijk van oorspronkelijke ideeën. Voor evaluatie is het van belang je af te vragen wat de oorzaak hiervan is. Dit wijst soms op onderliggende sterktes en zwaktes.

Interviews: er zijn verschillende soorten interviews10. Een gestructureerd interview is het uitgangspunt een voorgestructureerde vragenlijst. De vragen en antwoordmogelijkheden liggen vast en de interviewer moet zich hieraan houden. Er zijn ook geen open vragen waarbij de interviewer gericht moet doorvragenBij een open interview maak je een lijst met onderwerpen en begin je met een enkele startvraag.Vaak zijn interviews halfgestructureerd of gedeeltelijk gestructureerd.

Focus group: dit is een speciale vorm van een open interview waarbij een kleine groep wordt uitgenodigd om in groepsverband een aantal onderwerpen te bespreken en hier vragen over te beantwoorden. Dit kan een deelnemersgroep zijn, maar bijvoorbeeld ook een ‘expert panel’ waarin alle betrokkenen gelijk vertegenwoordigd zijn. Deze interviewtechniek vraagt het nodige aan begeleiding. De interviewer moet ervoor zorgen dat iedereen in gelijke mate aan bod komt. Ook moet hij de ‘topics’ van het interview bewaken, zodat de discussie gestructureerd verloopt. Antwoorden kunnen op flap-over worden genoteerd, er kan een rapporteur aanwezig zijn of het interview kan opgenomen worden om later te worden uitgewerkt.

Reflectie door deelnemers: dit kan in de vorm van een logboek of dagboek. Kunstenaars, deelnemers en andere betrokkenen geven hierin hun ervaringen en reflectie weer. Het kan geschreven zijn, maar ook bijvoorbeeld met foto’s of video-opnamen.

Participerende observatie: deelnemende waarneming aan activiteiten. Je observeert terwijl je ter plaatse aanwezig bent en deelneemt aan alledaagse activiteiten. De evaluator is lijfelijk aanwezig in het veld en verzamelt daar gegevens door te participeren in de activiteiten die daar plaatsvinden.

9 Bron: “Sharing Practice: a guide to self-evaluation in the context of social exclusion”, G. Moriarty, Arts council England, 2002, pg.33-3710 Bron: Baarda, de Goede en Teunissen, Basisboek kwalitatief onderzoek, Stenfert Kroese, Groningen, 2001, pag. 138

23

Persoonlijke ontwikkelingsplannen/ portfolio’s: deze aanpak is vooral geschikt voor langdurige trajecten met een educatief karakter. Deelnemers stellen onder begeleiding persoonlijke ontwikkelingsdoelen en houden bij welke ontwikkelingen zij doormaken bij het behalen ervan. Het geeft ook een overzicht van belangrijke ‘achievements’.

Creatieve procesbenaderingen: Georganiseerde groepsevaluaties Graffiti muur: op een centrale plek wordt een wand ingericht waarop mensen statements,

steekwoorden, tekeningen, tips, ideeën, enzovoort, kunnen schrijven. Je hebt weinig invloed op het soort commentaar. Dit is geen representatieve evaluatiemethode, maar kan wel aanvullend ter documentatie worden gebruikt.

Tijdslijn: de tijdslijn is gestructureerder. Op een grote rol papier, wandbord, of iets dergelijks, wordt het tijdsframe van het project (stadia en belangrijke activiteiten) verbeeld. Bij deze tijdslijn kunnen betrokkenen ervaringen, visies, ideeën, herinneringen en dergelijke weergeven. Rechtstreeks op het papier of juist met briefjes, foto’s en tekeningen.

Theatrale beelden: met behulp van hun eigen lichaamstaal en eventueel wat simpele attributen kunnen mensen een concept verbeelden dat voor hun symbool staat voor een bepaald thema. Degene die de activiteit leidt vraagt bijvoorbeeld om een beeld dat weergeeft wat het project je heeft opgeleverd. De visuele ‘statements’ die hieruit komen, worden vaak vastgelegd met een camera. Meestal is er weinig extra uitleg nodig, maar het kan helpen om extra toelichting te vragen of om reacties van anderen.

Stellingenspel: door bepaalde posities in de ruimte in te nemen geven groepen mensen antwoord op stellingen. Verschillende plekken in de ruimte staan voor ‘eens’, ‘gedeeltelijk eens’, ‘gedeeltelijk oneens’, ‘oneens’. Er kan ook gekozen hetzelfde te doen op een lijn. De coördinator van de activiteit kan om toelichting vragen: waarom eens of oneens?

‘Een schot in de roos’: dit is een manier om mensen te laten aangeven in welke mate zij vinden dat een bepaald doel bereikt is. Elk doel wordt boven een ‘roos’ of schietschijf geschreven. Mensen moeten hierop aangeven hoe goed of hoe slecht het doel bereikt is (100% is in de roos, 0% is aan de rand). Je kunt hiervoor ook een lijn gebruiken verdeeld in percentages of gradaties van slecht naar goed. Redenen voor het aangegeven oordeel kunnen worden weergegeven op een flap-over door de coördinator van deze evaluatie.

‘Big paper thinking’: op een flap-over worden antwoorden gegeven op vragen als: wat waren de sterke en zwakke punten van het project? Wat zijn mogelijke verbeterpunten voor de toekomst? Belangrijke punten worden vervolgens weer op aparte vellen geschreven. Betrokkenen wordt gevraagd hier commentaar, observaties, aanbevelingen en dergelijke bij te schrijven of op te plakken m.b.v. post-it briefjes. Je zou het kunnen vergelijken met een soort ‘evaluatiebrainstorm’; je kunt er vergelijkbare technieken voor gebruiken.

Digitale ‘nieuwe’ media: maak gebruik van de mogelijkheden tot interactie binnen het digitale domein: discussies op forums, online enquêtes, nieuwsbrieven, e-mail discussiegroepen, mogelijkheid tot commentaar op stukken op internet, webmeetings, chatten, enzovoort. Het geeft mensen de mogelijkheid te reageren wanneer zij daar tijd voor hebben. Het is een goede manier om ook lange-termijn feedback te genereren. Het nadeel is dat je hiermee slechts specifieke groepen aanspreekt, wat een eenzijdig beeld kan opleveren. Ook is het moeilijk in te passen in de deadlines van het project.

6.3 Ontwerp: hoe willen we het aanpakken?De gemaakte inventarisatie van doelen, mogelijke indicatoren en instrumenten wordt nu verwerkt in een eerste basisontwerp: wie doet wat wanneer en met welke middelen?

Wie doet wat?In de initiatiefgroep geven betrokkenen aan op welke manier zij zich kunnen en willen inzetten voor de uitvoering van evaluatie. Hierbij kan in grote lijnen aangegeven worden wat men aan expertise, materialen, tijd en geld in de evaluatie wil steken.

Ook moet bepaald worden wie er eindverantwoordelijk is voor de evaluatie. Opties zijn (zie pag. 9 “Wie is er verantwoordelijk?”): Een interne evaluator Externe steun voor interne evaluatoren Deelnemers als evaluatoren Een externe evaluator

Bij een evaluatie van meerdere soortgelijke projecten op gemeentelijk niveau kan een gemeentelijk projectleider (of programmamanager) worden ingesteld.

24

Inschatting noodzakelijke middelen en budgetDe uitgangssituatie: over welke middelen en budget beschikken we nu? Hebben we de vaardigheden in huis om de evaluatie naar behoren uit te voeren? Hebben we voldoende vrijwilligers? Hebben we extra ondersteuning nodig?

Wat hebben we nog nodig?: maak een schatting van de projectkosten. Manuren voor evaluatie, vrijwilligersvergoedingen, materialen, huur van apparatuur, huur van locaties, promotie, drukkosten, telefoonkosten, enzovoort. Indien mogelijk: kijk naar kostenramingen van soortgelijke projecten.

TijdskaderHet projectontwerp is te zien als een mijlpalenplan. Een mijlpaal is een belangrijk tussendoel op weg naar de gewenste eindsituatie. Een sleutelactiviteit is een belangrijke activiteit die hiertoe bijdraagt. Het evaluatieontwerp moet uiteindelijk geïntegreerd worden in dit tijdskader. Belangrijke projectmomenten lopen vaak synchroon met belangrijke evaluatiemomenten.

Evaluatie (voorbereiding, uitvoering, verwerking en analyse) kost altijd tijd. Wel kun je de activiteiten planmatig spreiden en de verantwoordelijkheden verdelen. Het is belangrijk hierin realistisch te zijn: evalueren naar vermogen.

Bij herhaaldelijke evaluatie kan ook gedacht worden aan een groeimodel. Hierbij begin je met een selectie van doelen, indicatoren en instrumenten om deze in de loop der jaren uit te bouwen naar een volledige evaluatie.

Tip: maak een schema met de geschatte tijdsinvestering per fase.

6.4 EvaluatieverantwoordingDe eerste, voorbereidende trap, werkt toe naar een projectopdracht of subsidieaanvraag. Evaluatie wordt daar als belangrijk onderdeel in opgenomen.

Er wordt een grove schets gegeven van de geformuleerde aanpak. Hoe wordt de progressie naar gestelde projectdoelen gemeten (indicatoren); Welke instrumenten worden er ingezet?; Welke bronnen en respondenten leveren de data voor evaluatie aan?; Hoe zijn de verantwoordelijkheden verdeeld?; Een inschatting en verantwoording van het noodzakelijke budget voor evaluatie. Deze wordt

opgenomen in de projectbegroting/ subsidieaanvraag.

25

7. Trap 2: evaluatieplan II. Trap 2: projectplan II. Trap 2: evaluatieplan

ORIËNTATIE:Controle gemaakte analyse

DEFINITIE:WAT wordt de projectinzet?

STRATEGIE:Extra bouwstenen voor het HOE

ONTWERP:HOE gaan we het doel realiseren?

2 e beslisdocument: Projectopdracht (aangepast en uitgewerkt mijlpalenplan +sleutelactiviteiten+ inschatting GOTIKA)

ORIËNTATIE: Controle evaluatieaanpak

DEFINITIE: WAT gaan we evalueren

STRATEGIE: HOE gaan we evalueren?

ONTWERP: HOE pakken we het aan?

Evaluatieplan

:

Stemt iedereen in met de gekozen aanpak?

Zijn er nog aanvullingen of wijzigingen?

Vastleggen van doelstellingen en gewenste opbrengsten.

Vastleggen van indicatoren; Bepalen

gegevensbronnen/respondenten; Dataverzameling: uitwerken

instrumenten en methoden; Vastleggen van kwaliteitscriteria.

Planning: Wie doet wat wanneer? Wie is verantwoordelijk? ;

Opstellen evaluatiebegroting

Projectinformatie, evaluatiemotieven, doelen, indicatoren, instrumenten, activiteiten en verantwoordelijkheden, coördinatie van de evaluatie, tijdsplanning.

7.1 Waarom twee trappen?Community arts reageren op cultureel-maatschappelijke signalen (problemen, vragen, behoeften). Vaak betreft het complexe zaken die een ‘aanpak-op-maat’ vereisen. Het zijn projecten die grensoverschrijdend zijn; er zijn verschillende organisaties en disciplines bij betrokken. Ook de betrokkenheid van de doelgroep is kenmerkend voor de aanpak van community arts.

In de eerste trap heeft een kleine initiatiefgroep het voorwerk verricht. Dit voorwerk wordt vaak niet betaald en de initiatiefnemer kan daarom niet al te uitgebreid te werk gaan. Het doel is om draagvlak voor het project te genereren, zodat de overgang naar de tweede trap soepel verloopt. Dit draagvlak is ook van belang om geld vrij te maken voor het project bij de subsidiënt of opdrachtgever.

Als de belangrijkste randvoorwaarden voor het project (draagvlak en financiering) geregeld zijn, kan de tweede trap in werking worden gezet. Er wordt een evaluatieteam samengesteld. Het ontwerp van de eerste trap geeft een goede indicatie van de meest optimale samenstelling van het evaluatieteam. Het is nu ook het moment om deelnemers/ de doelgroep te betrekken; je gaat immers nu pas echt naar realisatie toewerken.

7.2 Oriëntatie: controle evaluatieaanpak door evaluatieteamLeida Schuringa beschrijft de tweede trap als een soort Project Start Up. Het samengestelde evaluatieteam wordt bijeengeroepen door de projectleider die zijn voorlopige ontwerp presenteert. De stappen van de eerste trap worden in feite opnieuw doorlopen. Door er nogmaals kritisch naar te kijken en door de input van de nieuwe teamleden, kunnen er aanvullende of nieuwe ideeën en invalshoeken naar voren komen.

Van de projectleider vereist dit een flinke dosis flexibiliteit; hij doet in feite een stap terug. Het is belangrijk dat hij open staat voor nieuwe input, ook al heeft hij al een strategie en ontwerp uitgedacht. Hij kan ook te maken krijgen met kritiek en negativiteit. Een goede projectleider moet in staat zijn dit positief om te buigen.

26

In de meeste gevallen zal er niet een geheel ander plan op tafel komen, maar een completer en meer uitgedacht ontwerp. Zijn er wel radicale wijzigingen, dan is het prettig dat deze nu naar voren komen en niet onverwachts tijdens de uitvoering.

Synchroon aan het doorlopen van het voorlopig projectontwerp, komt ook het ontwerp voor evaluatie aan bod. Er worden aanvullingen en nieuwe ideeën aan toegevoegd of kleine wijzigingen gedaan. Vervolgens gaat het er nu om de inventarisatie van mogelijkheden en de grove lijnen van het ontwerp te gaan uitwerken. Het voorlopig ontwerp wordt een definitief ontwerp, gereed voor uitvoering.Het sleutelwoord van de tweede trap is: vastleggen.

Projectleider/ evaluatiecoördinator:In de meeste gevallen is de projectleider ook de evaluatiecoördinator. In sommige gevallen wordt voor de evaluatiecoördinatie een andere persoon aangewezen. De evaluatiecoördinator is verantwoordelijk voor de uitvoering van het evaluatieplan en de nazorg. In trap 1 en 2 is de projectleider de centrale actor.

7.2 Definitie: wat gaan we evalueren?Van ‘objectives’ naar ‘targets’In deze tweede trap worden kwaliteitscriteria en doelen gespecificeerd en vastgelegd. Het onderscheid met de eerste trap, is dat dit nu concreter gebeurt. De gestelde ‘objectives’ (wat wil je bereiken) worden vertaald in concrete ‘targets’ (concrete doelen).Targets zijn in feite SMART geformuleerde doelen. SMART staat voor Specifiek, Meetbaar, Acceptabel voor alle betrokkenen, Realistisch naar vermogen, en Tijdgebonden. Een voorbeeld:

Doelen Indicatoren TargetsProcesdoel: Het betrekken van de lokale gemeenschap

Het aantal actieve vrijwilligers

Het aantal geïnteresseerde groepen binnen de gemeenschap

Activiteiten binnen de brede school

Samenwerking Netwerk CKV

Maatschappelijke Stages

In het eerste jaar wordt minimaal eens per maand een actieve vrijwilligersbijeenkomst gehouden.

In het eerste jaar wordt minimaal twee keer per kwartaal een activiteit georganiseerd om vrijwilligers te werven

In het eerste jaar worden er minimaal 30 nieuwe netwerkcontacten gelegd (verenigingen, gezelschappen, sleutelfiguren, e.d.).

In het eerste jaar hebben er minimaal 75 basisschoolkinderen aan een dagactiviteit deelgenomen

In het eerste jaar hebben er minimaal 30 jongeren deelgenomen aan (de organisatie van) projectactiviteiten.

In het eerste jaar hebben er minimaal 5 jongeren een maatschappelijke stage gelopen binnen het netwerk van het project

7.3 Strategie: hoe gaan we evalueren?Vastleggen van indicatorenDe indicatoren hoeven niet meer bepaald te worden, maar wel aangevuld en gespecificeerd. Bij de indicator ‘het aantal geïnteresseerde groepen binnen de gemeenschap’, zul je bijvoorbeeld moeten specificeren wat je dan onder een groep verstaat, over welke gemeenschap je het hebt en waar interesse uit blijkt. Je zet dit in schema. Een voorbeeld uit de brede school praktijk:

Indicator Definitie

Aanbod De voorzieningen, projecten en activiteiten (oftewel programmering) die de betrokken scholen gezamenlijk realiseren.

Deelname en bereik Deelname van kinderen, ouders, wijkbewoners aan het aanbod en het bereik onder diverse doelgroepen.

Organisatie en samenwerking De wijze waarop de samenwerking tussen de betrokken scholen en instellingen georganiseerd is en verloopt.

Resultaten van de De resultaten van de samenwerking tussen de betrokken scholen en

27

samenwerking instellingen.Huisvesting De wijze waarop de brede school gehuisvest is.Meerwaarde kind De resultaten van de bredeschoolontwikkeling voor de kinderen die

tot de doelgroep van de brede school behoren. Meerwaarde ouders De resultaten van de bredeschoolontwikkeling voor ouders van

kinderen die tot de doelgroep van de brede school behoren.Meerwaarde wijk De resultaten van de bredeschoolontwikkeling voor wijkbewoners die

tot de doelgroep van de brede school behoren.

Vastleggen van instrumenten De instrumenten die je in trap 1 hebt gegenereerd, vul je met het evaluatieteam aan. Waar nodig breng je wijzigingen aan. Je bepaalt ook wat je gegevensbronnen zijn en wie de respondenten zijn. Dit is noodzakelijk om de instrumenten goed op de ‘gebruikers’ af te stemmen. In een schema geef je concreet aan welk instrument welke indicatoren meet. Het volgende voorbeeld komt ook uit de brede school praktijk. De instrumenten zijn niet representatief voor community arts; het zijn voornamelijk vragenlijsten. Wel geeft het een indruk van hoe je instrumenten en indicatoren in schema zet

Instrumenten Indicatoren*

Beschrijvingskader locaties 1 2In het beschrijvingskader wordt per brede school een aantal achtergrondgegevens ingevuld over de belangrijkste betrokken instellingen en hun populatie.Checklist programmering 1 2De checklist programmering is een leidraad voor het in kaart brengen van het complete activiteitenaanbod van iedere brede school. De onderscheiden activiteiten zijn onderverdeeld in verschillende velden, zoals; educatief, cultureel/expressief, zorg, sport, spel en opvang. Per activiteit wordt de daarvoor verantwoordelijke instelling, de doelgroep en het aantal deelnemers ingevuld.Interviews locatiemanagement 1 2 3 4 5 6 7 8De locatiemanagers worden geïnterviewd aan de hand van een gestructureerde vragenlijst. ER kan voor gekozen worden de vragenlijst mondeling of schriftelijk af te nemen. Een combinatie hiervan is ook mogelijk.Enquête personeel 3 4 5 6 7 8Het uitvoerend personeel (leerkrachten, leidsters, welzijnswerkers, etc.) en de directies krijgen een korte schriftelijke vragenlijst voorgelegd met gesloten vragen. Deze vragenlijst komt grotendeels overeen met het interview met de locatiemanagers, opdat vergelijking van antwoorden mogelijk is. Vragenlijst kinderen 6Voor de leerlingen op de basisschool is een eenvoudige korte invullijst met stellingen ontwikkeld, die de leerkrachten zelf kunnen afnemen. De lijst kan in een lesuur na een korte instructie door de leerlingen worden ingevuld. In navolging hierop worden de stellingen mondeling nogmaals doorgesproken aan de hand van het hiervoor ontworpen stellingenspel.Vragenlijst jongeren 6Het kan zijn de brede school zich niet alleen op kinderen in de basisschoolleeftijd richt, maar ook op jongeren. Voor jongeren is er een korte gesloten vragenlijst ontwikkeld die zij zelf schriftelijk kunnen invullen. Op basis van de vragenlijst kan een groepsdiscussie gevoerd worden.Ouderpeiling 6 7Om de ouders te bevragen is een korte vragenlijst ontwikkeld die ouders individueel in kunnen vullen. Afhankelijk van de

28

*1= aanbod2= deelname en bereik3= organisatie van de samenwerking4= resultaten van de samenwerking5= huisvesting6= meerwaarde kind7= meerwaarde ouders8= meerwaarde wijk.

doelgroep kan het nodig zijn aanvullende ondersteuning te bieden bij het invullen. Op basis van de vragenlijst kan een groepsdiscussie gevoerd worden.Gesprek met de wijk 8Wijkbewoners krijgen een korte gesloten vragenlijst die zij zelf schriftelijk kunnen invullen. Op basis van de vragenlijst kan een groepsdiscussie gevoerd worden.E-mailenquête beleidsmakers 3 4 5Beleidsmakers, zoals ambtenaren van bij de brede school betrokken afdelingen of besturen van betrokken organisaties krijgen via e-mail een kort vragenlijstje toegestuurd.

29

Uitwerken van instrumentenDe gedefinieerde instrumenten moeten nu ook ‘startklaar’ worden gemaakt. Aandachtspunten hierbij zijn:

Aantrekkelijk voor het oog Met name schriftelijk materiaal moet er uitnodigend

uitzien. Doe wat je kunt om het ‘luchtiger’ te maken en leuk om te doen Wees creatief in de vormgeving; gebruik plaatjes, kleuren, andere papierformaten, enzovoort. Bij kinderen kun je ook gebruik maken van stickers, smiley’s, plaatjes in plaats van de standaard mogelijkheden.

Gebruik ook geen grote lappen tekst; relateer aan de belevingswereld van je doelgroep

Denk bij vragenlijsten na over alternatieven voor de standaard multiple choice vragen of stellingen. Een schot in de roos, bijvoorbeeld

Doseer! Soms is het beter om meerdere korte vragenlijsten af te nemen, dan een ellenlange lijst in een keer.

Aansluiten op de doelgroep Om de juiste snaar te raken en mensen wezenlijk te betrekken bij de evaluatie is het noodzakelijk om

instrumenten zo te ontwikkelen dat zij aansluiten op de doelgroep. Het heeft geen zin om een groep aan een lange vragenlijst te onderwerpen, wanneer zij zich beperkt kunnen concentreren. Wanneer je net een enerverende activiteit achter de rug hebt, is het niet het juiste moment om een interview af te nemen. Enzovoort.

Gebruik ook een medium waar de doelgroep vertrouwd mee is. Bedenk welke begeleiding er nodig is voor de betreffende doelgroep. Vooral jonge kinderen zullen

slechts beperkt in staat zijn om diepgaand op hun vorderingen te reflecteren. Wel kun je onder goede begeleiding een beeld krijgen van wat hen aansprak en wat ze bijvoorbeeld een volgende keer zouden willen doen.

Uitvoerbaar door de evaluatoren De instrumenten moeten aansluiten op de vaardigheden van de evaluator. Het heeft weinig zin om

een evaluator een groepssessie te laten leiden, als hij geen overwicht heeft op een groep of geen kaas heeft gegeten van adequaat begeleiden.

Ook de kennis en ervaring van de evaluatoren is van belang. Als de evaluator veel ervaring heeft met het geven van dramaworkshops, misschien ligt dit middel hem in de evaluatie dan ook het meest. Maak dus gebruik van sterktes. Dit is een positiever ingangspunt dan te bedenken wat je niet kunt. Wissel kennis en ervaring ook uit. Leer van knelpunten en succesverhalen van anderen.

Geschikt voor dataverwerking Zorg ervoor dat de instrumenten die je maakt zoveel mogelijk geschikt zijn om de gegenereerde data

te verwerken. Als je de topics/ vragen van een interview hebt opgesteld, maak dan een inschatting van mogelijke antwoordcategorieën. Deze kunnen later nog aangevuld worden.

Sommige instrumenten zijn meer bedoeld ter documentatie/ ondersteuning. Wat ondersteunen ze dan? Hoe wordt de documentatie gebruikt?

Bereid voor wat je kunt: maak concepten voor excelsheets om de data in te verwerken. Schakel rapporteurs in voor groepsevaluaties. Enzovoort.

Heldere kwaliteitscriteria:

Bepaal per instrument ook waar deze kwalitatief gezien aan moeten voldoen. Wanneer is een groepsevaluatie geslaagd? Welke respons is minimaal vereist bij een vragenlijst? Enzovoort.

7.4 Ontwerp: hoe pakken we het aan?PlanningHet definitieve ontwerp is het evaluatieplan dat in de volgende projectfase wordt uitgevoerd. Na het vastleggen en uitwerken van concrete targets, indicatoren, en instrumenten, moet er voorbereidingen worden getroffen voor de uitvoering In de projectaanvraag stond al een indicatie van de geschatte tijdsinvestering per fase.

30

Je maakt nu een overkoepelend overzicht van activiteiten en verantwoordelijkheden per fase. In de voorbereiding van de uitvoering wordt deze evaluatieplanning verder uitgewerkt in (deel) draaiboeken.

De evaluatieplanning relateer je aan het mijlpalenplan van het project. Dit mijlpalenplan leidt, zoals eerder aangegeven, van een ongewenste naar een gewenste situatie. Er zijn vaak meerdere ‘resultatenpaden’ met elk eigen mijlpalen (belangrijke tussendoelen) en sleutelactiviteiten die hieraan bijdragen. De inspanningen voor projectevaluatie zijn hiervan een integraal onderdeel.

BudgetteringEvaluatie kost geld. Een schatting van deze kosten werd daarom eerder al opgenomen in de subsidieaanvraag. Nu het evaluatieontwerp concrete vormen heeft aangenomen, kun je deze uitwerken in een budgettering.

Een budget is niets meer dan een taakstellende begroting. Kenmerkende eigenschappen van een budget zijn11: Taakstelling: een budget is een opdracht tot het leveren van omschreven prestaties. Taakaanvaarding: de budgethouder is verantwoordelijk voor het leveren van de prestaties. Begrenzing: van de te gebruiken productiemiddelen Machtiging: tot het verwerven en gebruiken van de productiemiddelen. Controleerbaar: achteraf is duidelijk zichtbaar of de taakstelling binnen de begrenzing is gehaald.

EvaluatieplanHet doel van de tweede projecttrap is het opstellen van een projectplan. Een onderdeel daarvan is het evaluatieplan. Hierin staan keuzes en beslissingen over evaluatie, waarmee de betrokkenen hebben ingestemd. Het is ook een plan van aanpak. Het voordeel van een evaluatieplan is dat het overdraagbaar is en inzichtelijk voor alle deelnemers. Het maakt het gemakkelijk om overzicht te houden en om aanpassingen te doen bij onvoorziene omstandigheden.

Een evaluatieplan kent de volgende onderdelen:

AchtergrondDe aanleiding en eventuele voorgeschiedenis van het project.

ProjectorganisatieHoe ziet de projectgroep eruit? Wat zijn de afzonderlijke belangen vertaald in de gezamenlijke inzet? Wie coördineert het project?

EvaluatiemotievenWaarom wil je evalueren? Wat is de status van de evaluatie? Waarvoor wil je de bevindingen gebruiken?

DoelenWat wil je bereiken (prestatie, proces en effectdoelen)? Hoe vertaalt zich dit in concrete ‘targets’?

IndicatorenWat zijn de maatstaven om de gestelde doelen te meten? Wat verstaat u eronder? Waarom heeft u voor deze indicatoren gekozen?

InstrumentenWelke instrumenten zijn er gekozen en welke indicatoren meten ze? Sluiten ze voldoende aan op de doelstellingen, doelgroep en de lokale situatie? Waarom is juist voor deze ‘media’ gekozen?

Activiteiten en verantwoordelijkhedenWie is er voor welke taken verantwoordelijk? Wanneer worden ze uitgevoerd?

Coördinatie van de evaluatieWie coördineert de evaluatie (hoeft niet hetzelfde als de projectleider te zijn)?Wat is de rol van de evaluatiecoördinator? Wat is zijn tijdsinvestering?

TijdsplanningEen overkoepelend overzicht van evaluatieactiviteiten en verantwoordelijkheden, ingepast in de ‘mijlpalenplanning’ van het project.

Budgettering:Taakstellende begroting van verwachte kosten.

11 Kosten en baten met beleid, P. Verstegen, Elsevier/De Tijdstroom, Maarssen, 1998, pag. 90.

31

8. Aan de slag: uitvoering evaluatieplanIII. UITVOERING III. AAN DE SLAG: uitvoering evaluatieplan

VOORBEREIDING:Opstellen draaiboeken

REALISATIE:Mijlpalen/sleutelactiviteiten

VOORTGANGSCONTROLE:Tussentijds bijsturen

EVALUATIE:Wat zijn de resultaten en effecten?

3 e beslisdocument: Nazorgplan

VOORBEREIDING: Evaluatiedraaiboek

REALISATIE:Dataverzameling

Dataverwerking

VOORTGANGSCONTROLE:

ASSESSMENT:Toetsen van vastgestelde indicatoren

ANALYSE EN CONCLUSIE:

Flexibel inzetbaar bij onverwachte ontwikkelingen;

Overzicht verantwoordelijkheden en activiteiten;

Afspraken voortgangsrapportage.

Het verzamelen van gegevens met de vastgestelde instrumenten.

Data invoeren in een database, bijv. Excel of SPSS. Kwalitatieve informatie eerst categoriseren/ coderen.

‘Reflection in action’, procesmonitoring;

Knelpunten doorgeven aan coördinator.

Aan de hand van de verzamelde data kan een vergelijking worden getrokken met de vastgestelde maatstaven en de nulmeting

Opbrengsten en verbeterpunten; Evalueren van samenwerking; Evalueren van gekozen instrumenten; Vervolgroutes en aanbevelingen.

Hoe ronden we de evaluatie af? Hoe communiceren we de bevindingen?

Het project gaat na een laatste korte voorbereiding van start. We kunnen nu aan de slag met het gemaakte evaluatieplan. Het geheel aan inspanningen en activiteiten voor evaluatie wordt ‘bestuurd’ door de evaluatiecoördinator. Dit is, zoals eerder aangegeven, niet altijd dezelfde persoon als de projectleider.

8.1 Voorbereiding: evaluatiedraaiboekVoorafgaand aan de start van het project is er nog een stap te zetten: het uitwerken van de algemene evaluatieplanning in (deel) draaiboeken. Het verschil tussen de planning en het draaiboek, is dat een draaiboek veel meer in detail uitgewerkt is. Het gaat nu echt om data, tijdstippen, activiteiten en ‘poppetjes’. Wie doet wat wanneer? Ook de afzonderlijke activiteiten voor evaluatie, bijvoorbeeld een creatieve groepsevaluatie, vereisen eigen draaiboeken.

In schema zou je de volgende indeling kunnen gebruiken:

Draaiboek

Naam van het project: Evaluatie “Erfgoed op de planken”Naam opdrachtgever : KunstkringActiviteitnr.: 2datum: 01-09-06doelgroep: kinderen en ouders wijkcentrum‘Baarsjes’Evaluatoren: Jan Klink, Toos Hamer

Uitdraai voor: Jan Klink, Toos Hamer, Irma Frowijk, Fyke Jansen, Boy Ettema.

Dag/dd Tijd Plaats Activiteit Door Materiaal/ opmerkingen

32

33

8.2 Realisatie: dataverzameling en –verwerkingHarde en zachte gegevens:Bij het verzamelen en verwerken van gegevens, kun je een onderscheid maken in harde en zachte data of gegevens.

Het verzamelen van gegevens met de vastgestelde instrumentenZorg ervoor dat degenen die de gegevens verzamelen voldoende geïnstrueerd zijn en dat er tussen de samenwerkende partners goed gecommuniceerd wordt. Hierdoor kan er ad hoc en flexibel worden ingespeeld op knelpunten in de evaluatie en kunnen er eventueel andere/ aanvullende methoden worden gekozen. Neem bij vragenlijsten tijdig maatregelen tot responsverhoging.

Het verwerken en samenvatten van evaluatiegegevens Kwantitatieve informatie kan worden weergegeven in aantallen, percentages, grafieken,

circeldiagrammen, etc. Kwalitatieve informatie moet op gemeenschappelijkheden worden onderzocht, gecategoriseerd en

eventueel gecodeerd (om kwantitatief om te zetten). Het categoriseren is behulpzaam bij het terugzoeken van citaten, interessante ontdekkingen, enzovoort.

De gegevens worden ingevoerd in een databestand. Geschikte programma’s zijn SPSS of Excel. Kwalitatieve informatie moet eerst worden gecodeerd en kan dan worden ingevoerd. De volledige gegevens kunnen later nog ter documentatie/ illustratie worden gebruikt.

Verwerken van kwalitatieve gegevensOm conclusies te kunnen trekken uit kwalitatieve gegevens, zoals interviewgesprekken, videoregistraties, et cetera, moeten de gegevens eerst geanalyseerd, gecategoriseerd en gecodeerd worden. Dit verloopt via de volgende stappen (checklist):

34

Harde gegevens (kwantitatief)

Zijn meetbare, feitelijke gegevens, vaak uitgedrukt in getallen. Ze relateren aan prestatiedoelen. Harde gegevens worden vaak gebruikt om een beter profiel te kunnen schetsen van de doelgroep. Ze kunnen bijvoorbeeld aangeven hoeveel mensen we bereikt hebben, wat hun voorkeuren zijn, hoe oud ze zijn, uit welke buurt ze komen, enzovoort.

Zachte gegevens (kwalitatief)

Dit zijn (semi) subjectieve gegevens die het ‘ervaringsaspect’ van een project meten; het proces en de effecten op lange termijn. Deze gegevens relateren dan ook aan proces- en effectdoelen. In veel gevallen wordt deze informatie als ‘secundair’ beschouwd. Toch is het juist deze informatie die ons laat zien welke impact een project of ervaring op mensen heeft op mensen. Wanneer iemand aangeeft dat een bepaalde ervaring hem meer zelfvertrouwen heeft opgeleverd; dan is dat toch de meest betrouwbare bron? Kwalitatieve gegevens vormen daarom het hart van community arts evaluatie.

Checklist kwalitatieve gegevensverwerking

1. verzamelen: door middel van interviews, observaties en andere ‘kwalitatieve’ instrumenten, heb ik gegevens verzameld voor mijn evaluatie.

2. registreren: ik heb de verzamelde gegevens, verkregen uit interviews, observaties en andere ‘kwalitatieve’ instrumenten verwerkt in een tekstbestand.

3. selecteren: ik selecteer de informatie die ik nodig heb om de doelstelling/ gestelde ‘target’ te toetsen.

4. opdelen in fragmenten: Ik heb de relevante tekst opgedeeld in fragmenten die elk over één onderwerp gaan.

5. categoriseren: ik heb de fragmenten voorzien van een naam/nummer en ingedeeld in een categorie. De categorieën weet je in grote lijnen al; je weet immers wat je wilt meten. Je voorziet de fragmenten van een naam en deelt ze in bij een categorie. Een fragment kan ook bij meerdere categorieën horen.

6. ordenen en reduceren: ik heb de fragmenten per categorie geordend en eventueel ingedeeld in deelcategorieën. Ik heb een tweede selectie uitgevoerdBij overlappende fragmenten kies je de meest kenmerkende of voeg je meerdere fragmenten samen. Irrelevante informatie verwijder je alsnog.

7. verwerken: ik heb de gecodeerde informatie ingevoerd in een gegevens bestand (Excel, SPSS)8. toetsen: ik heb de gegevens vergeleken op gemeenschappelijkheden en discrepantie in relatie

tot gestelde doelen/ targets.9. analyse en conclusie: ik heb hieruit conclusies getrokken en mogelijke aanbevelingen gedaan.10. rapportage en communicatie: In overleg met de evaluatiecoördinator heb ik een keuze

gemaakt op welke wijze de informatie gerapporteerd en gecommuniceerd gaat worden.

8.3 VoortgangscontroleGOTIKAVoortgangscontrole gaat over het beheersen en sturen van een project. De GOTIKA-formule geeft een overzicht van de beheersaspecten van een project. Dit zijn: Geld Organisatie Tijd Informatie Kwaliteit Arbo

Hoewel deze aspecten vooral van belang zijn voor het project in zijn totaliteit en niet alleen voor de evaluatie, is het wel een goede leidraad om aan te houden. Degene die verantwoordelijk is voor deze voortgangsbeheersing is de evaluatiecoördinator. Hij bekijkt: of het evaluatiebudget binnen de perken blijft (geld); of de evaluatie gestroomlijnd verloopt (organisatie); of de planning nog een realistische weergave is van de praktijk (tijd); of de evaluatoren goed geïnstrueerd zijn, of zij hem in voldoende mate op de hoogte houden, en of

de communicatie in het evaluatieteam goed verloopt (informatie); of de evaluatie voldoet aan de gestelde kwaliteitscriteria, is er bijvoorbeeld voldoende respons

(kwaliteit); of de veiligheid van betrokkenen gewaarborgd is en of de werkomstandigheden goed zijn (arbo).

ProcesmonitoringDe echte voortgangscontrole vindt echter plaats op de werkvloer, door de direct betrokkenen waaronder ook de deelnemers. Het gaat hier om vormende zelfevaluatie (‘formative’), oftewel reflectie op het werk in voortgang. De community workers stellen zichzelf voortdurend vragen als:

Welke (groepen) mensen zijn er in beeld?Wie doen er mee? Hoeveel? Hoe oud? Waar wonen ze? Wat is hun culturele achtergrond? Hoe zijn ze op de hoogte geraakt van het project? Hebben ze al eerder meegedaan? Gaan ze vaker meedoen? Enzovoort.

Hoe ervaren mensen het project/ de activiteit?Hoe voelen mensen zich tijdens de deelname aan het project of de activiteit? Is het een waardevolle belevenis voor ze? Leg impressies vast met foto, video. Praat met mensen. Vraag ze ervaringen te schrijven op een ‘graffiti muur’, op een ‘tijdslijn’ of in een logboek.

35

Ook de ervaring van het evaluatieteam is belangrijk. Hoe ervaren zij het proces? Wat gaat er goed? Wat kan er beter? Communiceren we goed?

Zijn de inspanningen gelijk verdeeld?Houd bij wat de verschillende teamleden en actieve vrijwilligers bijdragen aan het proces. Welke inspanningen hebben ze verricht? Tegen welke problemen liepen ze aan? Het is belangrijk dat het voor iedereen een waardevolle activiteit is. Zorg dat iedereen in staat wordt gesteld zich te uiten over de voortgang van het proces en dat de inspanningen gelijkmatig verdeeld zijn.

Feedback en bijsturen:De communicatie binnen het evaluatieteam is tijdens de uitvoering van groot belang.Door middel van voortgangsrapportages en –gesprekken, wordt de evaluatiecoördinator ‘gevoed’ met informatie rechtstreeks van de werkvloer. Hij kan hierdoor snel inspelen op actuele ontwikkelingen en waar nodig het evaluatieplan bijschaven of wijzigen.

8.4 AssessmentNaar aanleiding van de gegevensverzameling en verwerking en de indrukken vanuit de voortgangsbewaking en procesmonitoring, kunnen de vastgestelde indicatoren getoetst worden. Het gaat hier om samenvattende zelfevaluatie (‘summative’). Deze vindt voornamelijk plaats aan het eind van een project of ter afronding van een belangrijke tussenactiviteit (mijlpaal).

Langs de ‘meetlat’Je hebt in de tweede trap een overzicht gemaakt van instrumenten en welke indicatoren ze meten. Dat is je leidraad bij de assessment (toetsing) van de verzamelde data. Je legt als het ware de verzamelde data ‘langs de meetlat’ van de betreffende indicator.

Aan de hand hiervan trek je een vergelijking met enerzijds je nulmeting/ uitgangssituatie en anderzijds je targets (gewenste opbrengsten). Assessment is nodig om de voortgang en opbrengsten van het project te beoordelen en vast te stellen.

8.5 Analyse en conclusieDe assessment en de analyse/conclusie overlappen in grote mate. Eigenlijk is de analyse en conclusie nog weer een extra stap, waarbij je vanuit alle deelresultaten en –bevindingen weer teruggaat naar de rode draad van het project.

De betrokken partijen kunnen hun assessment van de voortgang met elkaar bespreken en onderzoeken op gemeenschappelijkheden en discrepanties. Mogelijke vervolgroutes worden meegenomen in dit proces. Het eerder genoemde ‘Big Paper Thinking’ is hiervoor een geschikt instrument. Wat niet vergeten moet worden is het evalueren van de samenwerking en de gekozen instrumenten.

De originele doelstellingen en beoogde opbrengsten vormen het uitgangspunt voor het interpreteren en analyseren van de gegevens. Je stelt vast in hoeverre hieraan voldaan is. Ook moet de analyse oog hebben voor ontwikkelpunten en andere aanbevelingen voor de toekomst om voort te kunnen bouwen op de sterke en zwakke kanten van het project.

8.6 NazorgAls het evaluatieteam het eens is geworden over de conclusies van de evaluatie, moeten er in overleg nog beslissingen genomen worden ten aanzien van de rapportage en communicatie van de bevindingen van de evaluatie. Wie moeten er geïnformeerd worden en op welke wijze? Dit is de overgang naar de laatste projectfase.

36

9. Rapportage en communicatieIV NAZORG: (reguliere invoering, ideeën voor follow-up, afronding)

IV Rapportage en communicatie

EINDRAPPORTAGE

RAPPORTAGE:

COMMUNICATIE:Welke informatie voor wie?

VERVOLG:

Verslaglegging en rapportage van sterke punten en verbeterpunten van het project

Welke groepen moeten geïnformeerd worden en via welke weg?

Respectvol omspringen met vertrouwelijke informatie van deelnemers en respondenten

Mogelijke vervolgroutes, bijstelling van beleid.

Ideevorming voor nieuwe projecten

9.1 RapportageOm het project goed af te ronden is het belangrijk om door middel van een eindrapportage inzicht te geven in het verloop van de evaluatie en de belangrijkste bevindingen. Wat is de vooruitgang ten aanzien van de uitgangssituatie? In hoeverre is het hoofddoel gerealiseerd? De sterke punten, maar ook de verbeterpunten van het project worden schriftelijk vastgelegd. Ook wordt gerapporteerd in welke mate de gestelde deeltargets behaald zijn.

Een belangrijk aandachtpunt voor de rapportage is het respectvol omspringen met ervaringen en vertrouwelijke informatie van deelnemers en respondenten. Enerzijds moeten ze zich wel kunnen relateren aan de uitkomsten, anderzijds moet de vertrouwensrelatie beschermd worden. Maak een inschatting over wie je herkenbaar rapporteert en wanneer bevindingen beter geanonimiseerd kunnen worden weergegeven.

9.2 CommunicatieEr zijn verschillende partijen betrokken bij het project, maar deze hoeven niet allemaal op dezelfde wijze of in dezelfde mate geïnformeerd te worden. Ook moet je rekening houden met de vertrouwelijkheid van gegevens. Inventariseer wie er geïnformeerd moeten worden over de uitkomsten van het project. Bepaal welk middel voor welke groep geschikt is.

Moriarty noemt enkele manieren om de bevindingen van evaluaties te delen:

“Presentation or report for internal staff and/ or Board meetings Training sessions for staff and/or Board Part of an event for participants Basis of an article for sector magazine or journal Formal presentation to other agencies Written report which is available to a limited number of people Written report which is publicly available Publication available through the internet”12

Aan het publiceren en communiceren van bevindingen zijn kosten verbonden. Stel prioriteiten en weeg af wat de meerwaarde is voor het maken van kosten. Wat is het doel? Wat levert het op? Zijn er alternatieven?

9.3 VervolgTijd om te lobbyen!In het evaluatieteam zijn aan de hand van gegenereerde ontwikkelpunten mogelijke vervolgroutes besproken. Dit is de tijd om je hier sterk voor te maken. Met het presenteren van je bevindingen heb je

12 Bron: “Sharing Practice: a guide to self-evaluation in the context of social exclusion”, G. Moriarty, Arts council England, 2002, pg. 39

37

een sterk middel in handen om aandacht te genereren voor nieuwe ideeën. Van hieruit kan weer begonnen worden met het proces van oriëntatie en initiatief.

38

10.Bronnenlijstnog maken en nakijken in document.

39