Workshop 'Doelstellingen en indicatoren'

Het 7-‐fasen-‐plan 1.  De start 2.  De missie 3.  De gegevensverzameling 4.  De beleidsuitdagingen 5.  De doelstellingen 6.  De strategie 7.  De afronding

2

Gegevens verzamelen

Over en van “Stakeholders”

Over en van “Ext.

omgeving”

Over en van “Interne werking”

Samenbrengen in één gezamenlijke analyse (= SWOT)

BELEIDSUITDAGINGEN

Opmaak van een profiel

3

Fase 5: Doelstellingen

4

Samenhang doelstellingen’systeem’

Meerdere operationele doelstellingen

Lange termijn

Korte termijn

Volledige organisatie

Teams/onderdelen

(Nog) meerdere acties

Algemeen

Zoekvelden

Strategische doelstelling

Meerdere operationele doelstellingen

Lange termijn

Korte termijn

Volledige organisatie

Teams/onderdelen

(Nog) meerdere acties

Algemeen

Zoekvelden

5

Missie

Vele beleidsuitdagingen

BeleidsopGe 2 BeleidsopGe 1

Strategische doelst 1 Strategische doelst 2

OperaGonele

doelst 1.1

OperaGonele

doelst 1.2

OperaGonele

doelst 2.1

OperaGonele

doelst 2.2

Beleidsindicator(en) Beleidsindicator(en)

Resultaatsindicator(en) Resultaatsindicator(en)

AcGe 1.1.1 AcGe 1.1.2 AcGe 1.1.3 AcGe 2.2.1 AcGe 2.2.2 AcGe 2.2.3

6

Een doelstelling is …

… een formulering van een gewenste situaGe, gepreciseerd met beoogde effecten en/of gewenste

resultaten

… dus: wat je wil bereikt hebben/gerealiseerd zien

… en: zo weinig mogelijk hoe je dit gaat bereiken

Iedere doelstelling beschrijW dus (zo veel mogelijk) een bepaald effect of resultaat

dat bereikt moet worden!

7

Stijging van het aantal vormingsuren met 15% tegen 2015

2011 : + 2%

2012 : + 4%

2013 : + 5%

2014 : + 4%

Prov. A’pen : ICT (+ 3%)

Prov. OVL : NL (+ 2%)

Prov. WVL : Talen (+ 4%)

Brussel : ICT (+ 1%)

Nieuwe PR-kanalen

Samenwerking

Nieuwe thema’s

Nieuw prijzenbeleid

Meerdere activiteiten

Een voorbeeld:

8

Tegen eind 2015 een meetinstrumentenpakket introduceren

april ’10 : Bevraging

juli ’11 : Pakket Land.

dec. ’12 : Pakket Prov.

april ’13 : Bevraging lok.

juli ’14 : Testfase lok.

dec. ’15 : Pakket lok.

Landelijk (100%)

Provinciaal (100%)

Lokaal (50%)

Externe vorming

Overlegstructuren

Interne vorming

ICT + bibliotheek

Meerdere activiteiten

Nog een voorbeeld:

9

Doelstellingen formuleren •  Een doelstelling legt de focus op het DOEL, niet (of zo

weinig mogelijk) op de MIDDELEN. Ze zegt op een algemeen niveau hoe je naar de missie en de decretale opdrachten zal werken.

•  Ze zijn op zijn best retrospecGef, geformuleerd vanuit de toekomst

•  Hoe zal je de realisaGe toetsen: gebruik indicatoren! SMART of START?

•  Zij zijn de basis voor het beleid en het dagelijkse werk als referenGekader.

•  Ze vormen de toetssteen bij de jaarlijkse voortgangsrapportage.

10

De voorbereiding •  Bekijk het overzicht van de doelstellingen uit het vorige beleidsplan.

•  Check na of deze verwezenlijkt werden/zullen worden (Zo niet … zoek naar een plausibele verklaring!).

•  Leg deze doelstellingen naast de beleidskeuzes uit de nieuwe planning of al geformuleerde strategische doelen.

•  Kijk na of –  er overlappingen zijn –  verlenging nodig is –  er een goede verhouding is tussen conGnuïteit en vernieuwing

11

Het formuleren van strategische of algemene doelen

•  Bekijk de doelstellingen en de achtergond ervan: beleidsuitdagingen (SWOT).

•  Bekijk eventueel de nog niet gerealiseerde strategische doelstellingen van vorig plan (en de redenen van niet-‐realisaGe).

•  Zijn ze algemeen genoeg? •  Overspannen ze een periode van 5 jaar? •  Zijn er niet teveel? Hoeveel? Niet meer dan 6, 7, 8, …?

•  Is de formulering eenduidig? Niet te vaag?

12

Het operaGonaliseren van strategische doelen

•  Analyseer de formuleringen en probeer voor elk de samenstellende onderdelen voor realisaGe te vinden.

•  Splits zo nodig op volgens Gjdsbestek, spreiding, organisaGe-‐onderdelen, realisaGefasen.

•  Op basis van de samenstellende elementen bij ieder strategisch doel en met behulp van de SMART techniek kunnen de operaGonele doelen in een eerste versie geformuleerd worden.

•  Wat met de overgang tussen 2 beleidsperiodes?

13

Het START SMART-‐principe

•  Specifiek

•  Concreet en herkenbaar (intern en extern) •  Gericht op één richgactor (één situaGe die moet veranderen) à kiezen invalshoek

•  Geen verwarring over waar de doelstellingen over gaan en tegenover wie

•  Hoe meer je de realisaGe zélf in de hand hebt, hoe groter de kans dat hij gerealiseerd zal worden à welke (bescheiden?) rol kunnen wij spelen?

Een doelstelling moet in één oogopslag weergeven

wat de organisaGe wil bereiken, eenduidig en eenvoudig

14

START SMART

•  Specifiek •  Meetbaar / Toetsbaar

•  Evalueerbaar à hoe ver staan we hiermee? • Wanneer bereikt à een doel heeW een eindpunt •  Belang van indicatoren … zij bepalen meetbaarheid of toetsbaarheid

•  In ons werk: meten is meestal verifiëren of toetsen! (dus niet noodzakelijk tellen). Vandaar « START »

Een doelstelling moet in één oogopslag weergeven

wanneer de organisaGe dit doel heeW bereikt

15

START SMART

•  Specifiek •  Meetbaar / Toetsbaar •  AkracGef, ambiGeus & aanvaard

•  Iedereen is het er mee eens • Houdt een uitdaging in • Nodigt uit tot acGe • Aansluiten bij de belevingswereld

16

START SMART

•  Specifiek •  Meetbaar / Toetsbaar •  AkracGef, ambiGeus & aanvaard •  RealisGsch, resultaatsgericht

• Haalbaar • Rekening houden met mogelijkheden/omstandigheden/belemmeringen

•  Link met resultaten

17

START SMART

•  Specifiek •  Meetbaar / Toetsbaar •  AkracGef, ambiGeus & aanvaard •  RealisGsch, resultaatsgericht •  Tijdsgebonden (voorzien v/e Gming)

•  Een evaluaGemoment in de toekomst •  Inbouwen tussenGjdse meGngen • RetrospecGef • Deadline = automaGsch einde beleidsperiode

18

Toets der Toerekenbaarheid

Andermans werk

Eigen werk

Boze buitenwereld

19

Een voorbeeld Doelstelling:

“Onze vrijwilligers zijn méér en beter begeleid en ondersteund”

Tekstanalyse: •  Twee situaties: méér begeleiding & betere begeleiding •  Element 1: is ‘beter’ een evaluatie intern of van de vrijw.? •  Indien intern: bepalen hoe ‘beter’ we willen begeleiden •  Element 2 (als extern): waarop moeten wij dan ‘beter’

worden? •  Element 3: welke domeinen van de begeleiding willen we

aanpakken?

20

Doelstelling: “Onze vrijwilligers zijn méér en beter begeleid

en ondersteund”

Mogelijke SMART oplossingen = 3 operationaliseringen 1.  Tegen eind 2015 besteden wij gemiddeld 2 keer zoveel tijd

aan de begeleiding van de vrijwilligers, vergeleken met de nulmeting in 2010

2.  Vanaf het einde van de ontwikkelingsfase maakt jaarlijks min. 5% meer vrijwilligers gebruik van onze instrumenten

3.  In aanloop naar het volgende beleidsplan geeft 80% van de vrijwilligers aan ‘tevreden’ tot ‘zeer tevreden’ te zijn over onze begeleiding en ondersteuning

21

Doelstelling: “Onze vrijwilligers zijn méér en beter begeleid

en ondersteund”

Mogelijke START oplossingen = 1.  … 2.  … 3.  …

22

Oefening 1: doelstellingen operaGonaliseren

•  Jullie krijgen 1 strategische doelstelling, geplukt uit bestaande beleidsplannen.

•  Analyseer de formulering. Probeer ze op te splitsen in samenstellende elementen.

•  Probeer van de samenstellende elementen opera@onele doelen te maken (zo SMART mogelijk).

•  Denk daarom ook na over de ‘eindsitua@e’, de ‘mate van toetsbaarheid’, de ‘@ming’.

•  Noteer op het oefenblad.

23

Doelstelling : “Wij willen het niet-formele educatieve aanbod van alle

verstrekkers binnen de regio op elkaar afstemmen én op de vormingsbehoeften”

Vragen : •  Twee soorten afstemming: ‘tss. verstrekkers’ en ‘op behoeften’

•  Het eerste gaat over complementariteit en spreiden van ‘investeringen’

•  Het tweede gaat over vraaggericht werken

•  BELANGRIJK: welk effect willen wij genereren?

Zoek de kapitale fout

24

Dit is één mogelijke oplossing. Meerdere invalshoeken zijn mogelijk!

Doelstelling : “Wij willen het niet-formele educatieve aanbod van alle

verstrekkers binnen de regio op elkaar afstemmen én op de vormingsbehoeften”

SM/TART’er : 1.  Vanaf het werkjaar 2013 hebben méér dan de helft van alle verstrekkers

binnen het niet-formele educatieve circuit zich ingeschreven in een programmatie-uitwisselingssysteem.

2.  Tegen juli 2011 hebben alle verstrekkers toegang tot een instrumentarium om hun aanbod af te stemmen op de specifieke behoeften van hun specifieke doelgroep(en).

25

Oefening 2

•  Neem een strategische doelstelling uit een eigen beleidsplan.

•  Detecteer de samenstellende elementen. •  Vinden jullie de samenstellende elementen terug in de geformuleerde operaGonele doelstellingen?

•  Is het verband OD’s en SD in dit beleidsplan duidelijk?

26

De gouden doelstelling…

… bestaat niet

27

“Doelstellingen-‐zorg”

•  Werkbare systemaGek van opvolging gebruiken en planlast beheersen.

•  Medewerkers behouden zicht op die systemaGek door communicaGe en jaarlijkse voortgangsrapportage.

•  Doseer de registraGe van uitvoeringsgegevens (al of niet expliciete indicatoren).

•  Negeer de “verantwoordingsdruk” van hogerhand niet. •  En vergeet niet: feedback van derden (visitaGe bijvb) te confronteren met de zelfanalyse… 28

SMART is niet alGjd

smart

...verlies de achterban

niet!

29

Vaststellen of doelen gerealiseerd zijn

•  RealisaGe in funcGe van de missie! •  Bewijzen of indicaGes? •  De afgelegde weg richGng reisdoel kunnen tonen.

•  Feiten en gegevens verzamelen voor, Gjdens en na het realisaGeproces: geen gebakken lucht verkopen.

•  Indicatoren met normen, meten is weten.

30

Indicatoren: een definiGe

… geven een aanwijzing (“indicatie”) over een bepaalde situatie

… geven informatie, vaak in cijfers en/of grafieken over de richting of evolutie

… zijn kengegevens die een algemeen beeld geven van aspecten of het geheel van een reeks activiteiten

… geven een inzicht in de mate waarin beoogde effecten/resultaten gerealiseerd worden

31

Link met doelstellingen

•  Doelstelling = een formulering van een gewenste situaGe, liefst gepreciseerd met beoogde effecten en/of gewenste resultaten à de indicator verifieert dit

•  … dus: wat je wil bereikt hebben/gerealiseerd zien •  … dus: iedere START SMART-‐doelstelling geeW aanleiding tot het verzamelen van toets-‐ of meetgegevens à “T” of “M”

Hoe START’er of SMART’er je doelstellingen, hoe eenvoudiger de indicator gevonden wordt

32

Probleemstelling

•  Gewenst: niet enkel naar de inspanningen kijken maar vooral naar het resultaat.

•  Realiteit = – Meet-‐ of toetsbare indicatoren vinden is moeilijk – Goed meetbare indicatoren zijn niet alGjd relevant – Resultaten kunnen niet eenduidig aan één actor toegewezen worden (zie Toets der Toerekenbaarheid)

33

InformaGeparadox vermijden •  SelecGviteit is bij het kiezen van indicatoren een belangrijk uitgangspunt. Meer indicatoren leveren niet automaGsch een beter beeld van de prestaGes op: hoe meer informa@e, hoe beperkter het beeld…

•  Perfecte indicatoren bestaan niet, kies voor meer aangrijpingspunten en beperk het aantal indicatoren.

•  Pas op voor perverse effecten. •  Doe de toets der toerekenbaarheid (zie eerder). •  “What you measure is what you get”.

34

De voorbereiding

•  Maak een overzicht van de indicatoren uit het lopende beleidsplan.

•  Check na of deze ‘goed’ en ‘bruikbaar’ waren. •  Zo niet … zoek naar een plausibele verklaring. •  Leg deze indicatoren naast de huidige operaGonele doelstellingen.

•  Kunnen indicatoren gerecycleerd worden? Dat kan zinvol zijn om Gjdreeksen te maken!

•  Bij nieuwe indicatoren: denk aan de nulmeGng!

35

Soorten indicatoren

Een belangrijk onderscheid is te maken tussen :

1.  Directe versus indirecte indicatoren 2.  KwalitaGeve versus kwanGtaGeve indicatoren

(meten is niet alGjd tellen) 3.  Effect-‐ versus resultaats-‐ versus proces-‐ of

inspanningsindicatoren

Er zijn nog andere opdelingen mogelijk … indicatoren zijn te vinden in alle soorten, maten, gewichten en vormen!

36

Criteria Relevante en adequate indicatoren

•  Enkel ‘meten’ wat je kan en gaat gebruiken, wat zinvol en nusg is.

•  Evenwicht tussen systemaGek en spontaniteit. •  Kies voor meer aangrijpingspunten (bijvoorbeeld niet enkel het aantal deelnemers) en beperk de hoeveelheid indicatoren.

Vragen : Wat ga ik meten? Hoe ga ik meten? Wat kom ik hiermee te weten? Is dit zinvol? GeeW dit een meerwaarde? Heb ik hier behoeWe aan? Wat kost mij dit?

37

Een ‘perfecte’ indicator is dus … 1.  … valide 2.  … funcGoneel 3.  … legiGem 4.  … eenvoudig 5.  … actueel 6.  … nauwkeurig 7.  … betrouwbaar 8.  … geen wetenschap maar

een indica1e

Zie deelnemersmap: criteria voor adequate indicatoren 38

Meten versus Toetsen X of Y processen

•  CijfermaGg meten gaat uit van vooronderstellingen die niet op alle werkings-‐ of organisaGeprocessen van toepassing zijn

•  Er zijn processen met X en Y kenmerken (Spoorboekje blz. 83-‐87)

•  X kenmerken = verhogen onzekerheid m.b.t. meten

•  Y kenmerken = verhogen zekerheid m.b.t. meten

39

Oefening 3

•  Neem de operaGonele doelstellingen uit de vorige oefening op oefenblad 1 (voorbeelden).

•  Toets ze aan de tabel van Bullen en geef ze een X en Y score.

•  Hoe zal je de indicator kiezen: M of T ?

40

Wat bij overwicht Y-‐kenmerken?

•  SMART

41

Wat bij overwicht X-‐kenmerken?

START Aantonen van resultaten van de geformuleerde doelen kan door:

•  Toch proberen te operaGonaliseren in Y-‐variabelen.

•  KwalitaGeve beschrijving(en), evaluaGeverslag. •  Aantonen dat de juiste dingen worden gedaan. •  Focusgroepen en komen tot betekenisvolle en gedragen uitspraken over de werking.

42

Het zoekproces bij de START SMART werkwijze

Vinden van ‘zoek’velden of die elementen uit een doelstelling die het resultaat of de prestaGe van die doelstelling kunnen “bewijzen”

1.  Wat moeten we “weten” om aan te kunnen tonen dat deze

doelstelling verwezenlijkt werd? Daartoe analyseren we de tekst van de doelstelling.

2.  Hoe kunnen we dit meten, toetsen, verifiëren, aantonen of bewijzen?

Deze ‘zoek’velden zijn richGnggevend voor het vinden van de meest relevante indicator(en)

43

Doelstelling: “Het aantal leden in de categorie 25-‐40 jaar

is toegenomen met 10% tegen 2015”

WAT MOETEN WE WETEN? HOE KUNNEN WE DAT METEN?

Aantal leden nu à Telling uit ledenbestand

(nulmeting)

[ Evolutie laatste 5 jaar à Vergelijking stand per 31/12 ]

[ Evolutie leden per initiatief à Tussentijdse telling van % stijging ]

Aantal leden in 2015 à Telling uit ledenbestand

In uw eindevaluatie staat dan het percentuele verschil tussen de 1ste meting en de meting in 2015

Voorbeeld:

44

Doelstelling: “Tegen eind 2015 geven onze vrijwilligers aan dat ze zich

opmerkelijk meer gewaardeerd voelen”

WAT MOETEN WE WETEN? HOE KUNNEN WE DAT METEN?

Wat bepaalt deze waardering? à Steekproefbevraging

Op welke criteria stijging? à Bespreking intern (of extern?)

Hoe gewaardeerd nu? à Vragenlijst ontw. & gebruiken

Hoe gewaardeerd in 2015? à Idem

In uw eindevaluatie staat dan het meetbare verschil tussen de 1ste meting en de meting in 2015

Nog een voorbeeld:

45

Oefening 4

We nemen de operaGonele doelstellingen uit de 2 eerste oefeningen

Bekijk de indicatoren

die bij jullie gemeten of getoetst worden Bespreek

het X en Y gehalte van de doelstelling

46

Het vervolledigen van zoekvelden tot indicatoren

•  Bepalen meetmethode (hoe) •  Bepalen maatstaf (wat) •  Bepalen meetnorm

(wanneer OK = beredeneerd gokken?)

Invullen meeVabel voor iedere indicator, samen met : meeteigenaar, meetbewaker, meetfrequen@e,

meetmoment, meetbron(nen)

Meetplan … = M3

47

Oefening 5

•  Neem de reeds gebruikte doelstellingen en jullie indicatoren.

•  Stel de vragen, zoals aangegeven in de vorige dia’s.

•  Formuleer maatstaf, meetmethode en meetnorm op oefenblad.

•  Wat bij kwalitaGeve indicatoren? Expliciteer criteria!

48

Start met het correcte gebruik van de indicatoren en evalueer de bruikbaarheid per keer ze gebruikt worden. Bijpassingen van indicatoren kunnen:

•  als doelstellingen veranderen •  als organisaGe en/of maatschappij verandert •  op basis van ‘gebruikservaringen’ •  op basis van het aanleren van het gebruik

Maar niet zonder verantwoording of verklaring!

Tips voor gebruik van indicatoren

49

Overdaad schaadt!

•  Gebruik een ‘boordtabel’ met de belangrijkste centrale gegevens van je organisaGe en de werksoortelijke beoordelingselementen om de hoeveelheid indicatoren beheersbaar te houden!

•  Vul aan met de indicatoren bij de belangrijkste (of prioritaire) operaGonele doelstellingen.

51

Beoordelingselementen per werksoort

•  Verenigingen: 12 •  Volkshogescholen: 16 •  Gespecialiseerde vormingsinstellingen: 11 •  Syndicale vormingsinstellingen: 9 •  Vormingsinstellingen voor personen met een handicap: 9

•  Bewegingen: 12

52

Oefening 6

•  We nemen zo meteen steunpunt SoCiuS als voorbeeld met een uikreksel uit het voortgangsrapport 2008.

•  Oefening: Becommentarieer wat je ziet en probeer vergelijkbare centrale gegevens voor jouw organisaGe op te sommen.

Individueel en dan in groep

53

Overzicht begeleidingen

Aantal vragen 61

Spreiding over sector 30 buiten de sector 12 verenigingen 5 V+ 8 LVI 4 bewegingen 2 migrantenfederaties

Negatieve beoordeling 11

Positieve beoordeling 50

54

In globo: Aantal ac1viteiten/bereik

•  47 publieksac@viteiten / 277 dagdelen •  1176 deelnemende personen of organisa@es (+ 23% tov 2007)

–  913 personen (goed voor 530 unieke) en 263 organisaGes –  68% sector (sGjging van 13,5% tov 2007) / 32% buiten sector –  Aandeel verenigingen sGjgt. Aandeel deelnemers neemt voor alle

werksoorten toe behoudens gespecialiseerde vormingsinstellingen, instellingen bijzondere doelgroep en bewegingen

–  Werksoortelijk: •  29% V+ •  19% verenigingen •  5 % migrantenfederaGes •  7% gespecialiseerde vormingsinstellingen •  3 % bewegingen •  3 % instellingen bijzondere doelgroepen •  1 % syndicale vormingsinstellingen

55

Bereik organisa1es

•  Bereik organisaGes: –  100% V+ –  100% MigrantenfederaGes –  100 % gespecialiseerde vormingsinstellingen –  100 % vormingsinstellingen met bijzondere doelgroep

–  100 % syndicale vormingsinstellingen –  86% verenigingen –  68% bewegingen

56

Trends

2006 2007 2008 Aantal publieksactiviteiten

49 45 47

Aantal dagdelen 207 183 277

Aantal deelnemers 850 958 1176

Aantal dln sector 682 705 800

Aantal dln buiten sector

168 253 376

Aantal unieke dln 389 429 530

Bereik % sectororganisaties

88 87 87

57

Kennis-‐ en informa1ecentrum

media www.prettiggeleerd.be www.socius.be E-zine wisselWERK

WisselWERK-cahier

509.671 bezoeken 385.840 unieke 9.752 activiteiten 166 invoerders

591.282 bezoeken 353.976 bezoekers 487 nieuws-berichten 795 vacatures

2.781 abonnees

2.096 abonnees

58

Kennis-‐ en informa1ecentrum

•  Presggeleerd.be: +70% bezoekers, + 40% bezoeken, + 17% ingevoerde acGviteiten

•  Socius.be: 1.600 bezoeken per dag, groeipercentage van 60%

•  Bijleren.be: gebruiksvriendelijke restyling •  E-‐zine: 22 nummers naar 2.781 abonnees •  wisselWERK: vier nummers, 33 arGkels •  1 WisselWERK-‐Cahier: Het land van Maas en Waal •  Eenmalige publicaGes •  DocumentaGecentrum: 2000 boeken, arGkels of

rapporten 59

Middelenbesteding in rela1e tot inhoudelijk programma

Begroot 2008 Afrekening 2008

voorwaardenscheppend 21,30% 20,75%

Spoor 1 25,79% 25,91%

Spoor 2 12,50% 13,52%

Spoor 3 17,95% 14,10%

Spoor 4 10,32% 10,74%

Spoor 5 12,13% 14,99%

60

Kosten 2008

61

Resultaten van oefening

•  Na dit voorbeeld: welke centrale gegevens zou je zelf in je “boordtabel” zeken?

62

Hoe verder?

•  Wat met de acGes onder de operaGonele doelstellingen?

•  Wat met niet gehaalde normen bij indicatoren?

63

Slot •  Zet jezelf niet vast

–  Mijden van te rigide planning

–  Open staan voor ontwikkelingen

–  Verkeerd geformuleerde doelen of indicatoren: durf dumpen of bijstellen

•  Zorg voor argumenten en plausibele verklaring wanneer bijgestuurd wordt.

•  Beoordelingselementen spelen mee…

64

Workshop 'Doelstellingen en indicatoren'

Education

Transcript of Workshop 'Doelstellingen en indicatoren'