Rekenkamer Metropool Amsterdam | Homepage ......2015/01/12 · Rekenkamer 3 1.1.1 Doelrealisatie 3...
180
12 januari 2005 Directie II Bureau Europees en Rijksbreed Doelmatigheidsonderzoek Algemene Rekenkamer, Lange Voorhout 8, Postbus 20015, 2500 EA Den Haag Handleiding Onderzoek naar doelmatigheid en doeltreffendheid
Transcript of Rekenkamer Metropool Amsterdam | Homepage ......2015/01/12 · Rekenkamer 3 1.1.1 Doelrealisatie 3...
12 januari 2005
Directie II
Bureau Europees en Rijksbreed Doelmatigheidsonderzoek
Algemene Rekenkamer, Lange Voorhout 8, Postbus 20015, 2500 EA Den Haag
Handleiding
Onderzoek naar doelmatigheid
en doeltreffendheid
Handleiding DDO
Documentgegevens
Vul in:
Titel: Handleiding Onderzoek naar doelmatigheid en doeltreffendheid
Datum oorspronkelijke vaststelling: 1996
Datum vaststelling laatste herziening November 2005
Afdoeningsnummer: Nr. 5000452 dd 2 maart 2006
Vervangt document(en)
Handleiding doelmatigheidsonderzoek (1996)
Handleiding onderzoek naar beleidsresultaten (1997)
Handleiding efficiëntieonderzoek (2001)
Verplicht ja
Geschikt voor externe verstrekking nee
Handar-contactpersoon: Bureauchef Erdmo
Verantwoordelijke directeur: Directeur II
Vink aan:
jaarverslagen Rijk
doeltreffendheids- en doelmatigheidsonderzoek X
onderzoek naar instellingen / publieke-private samenwerking X
ontwikkelproject(en)
Heeft betrekking op:
overig
(strategische) voorbereiding
uitvoering X
rapportage / wederhoor
publicatie
Relevant in onderzoeksslangfase(n):
nazorg
Auditing standards Intosai X Voldoet aan internationale standaards:
Europese richtlijnen ter uitvoering van de Intosai-controlenormen X
geaccordeerd door College en MT X Status:
alleen geaccordeerd door MT
Handleiding DDO
Inhoud
Voorwoord 1
1 Inleiding 3 1.1 Doelmatigheids- en doeltreffendheidsonderzoek binnen de Algemene
Rekenkamer 3 1.1.1 Doelrealisatie 3 1.1.2 Doelgroepbereik 4 1.1.3 Doeltreffendheid 5 1.1.4 Doelmatigheid 5 1.2 Leeswijzer 7
2 Algemeen kader doelmatigheids- en doeltreffendheids-onderzoek 8 2.1 Inleiding 8 2.2 Wettelijk kader 8 2.2.1 Taken Algemene Rekenkamer 8 2.2.2 Bevoegdheden Algemene Rekenkamer 9 2.2.3 Bestuurlijke verantwoordelijkheid 10 2.2.4 Van beleidsbegroting tot beleidsverantwoording 11 2.2.5 Regeling prestatiegegevens en evaluatieonderzoek rijksoverheid 11
3 Onderzoeksobject en -varianten 13 3.1 Inleiding 13 3.2 Het productieproces in de publieke sector 13 3.2.1 Prestaties 14 3.2.2 Effecten 16 3.2.3 Activiteiten 18 3.2.4 Middelen 18 3.3 Verklaringen 19 3.4 Reikwijdte en methode van het onderzoek 21 3.4.1 Welke stappen moet je in het onderzoek zetten? 21 3.4.2 Hoe kies je een onderzoeksvariant? 22 3.4.3 Wie spreek je aan? 26 3.4.4 Hoe ga je om met gedecentraliseerd beleid? 27 3.4.5 Hoe onderzoek je prestaties en effecten van derden? 27
Handleiding DDO
4 Aanpak onderzoek 30 4.1 Inleiding 30 4.2 Doel-, probleem- en vraagstelling 30 4.2.1 Doelstelling 31 4.2.2 Probleemstelling 31 4.2.3 Onderzoeksvragen 32 4.2.4 Hypothesen 32 4.2.5 Overige preciseringen van het te onderzoeken veld 33 4.3 Onderzoeksmethoden 33 4.3.1 Keuze van onderzoeksmethode 34 4.3.2 Methoden 38 4.4 Methodenmatrix 53
5 Analyse van beleidsdoelen en beleidsinformatie 55 5.1 Inleiding 55 5.2 Beleidsdoelen 55 5.2.1 Algemeen 55 5.2.2 Reconstructie en operationalisatie van beleidsdoelen 56 5.2.3 Normen beleidsdoelformulering 58 5.2.4 Beoordeling beleidsdoelformulering 59 5.2.5 Aanbevelingen 59 5.3 Beleidsinformatie 59 5.3.1 Algemeen 59 5.3.2 Welke beleidsinformatie? 60 5.3.3 Bronnen van informatie over prestaties en effecten 61 5.3.4 Kwaliteit van de beleidsinformatie (product) 63 5.3.5 Kwaliteit van de beleidsinformatie (proces) 64 5.3.6 Gebruik van beleidsinformatie 67 5.3.7 Checklists voor de beoordeling van doelformulering en beleidsinformatie 68 5.3.8 Informatievoorziening aan Tweede Kamer 69 5.3.9 Nadere aandachtspunten 69 5.3.10 Aanbevelingen 70
6 Onderzoek naar doelrealisatie (en doelgroepbereik) 72 6.1 Inleiding 72 6.2 Onderzoek naar doelrealisatie 72 6.2.1 Probleemstelling en onderzoeksvragen 72 6.2.2 Normen 73 6.2.3 Onderzoeksontwerp 73 6.2.4 Indicatoren prestaties 74 6.2.5 Indicatoren effecten 75 6.2.6 Aanbevelingen 75 6.3 Onderzoek naar doelgroepbereik 76
Handleiding DDO
6.3.1 Probleemstelling 76 6.3.2 Onderzoeksvragen 77 6.3.3 Normen 79 6.3.4 Onderzoeksontwerpen 80 6.3.5 Indicatoren doelgroep 80 6.3.6 Aanbevelingen 80
7 Onderzoek doeltreffendheid 81 7.1 Inleiding 81 7.2 Probleemstelling en onderzoeksvragen 81 7.3 Normen 84 7.4 Onderzoeksontwerp 85 7.5 Onderzoeksmethoden 86 7.6 Indicatoren doeltreffendheid 87 7.7 Aanbevelingen 87
8 Onderzoek naar doelmatigheid 89 8.1 Inleiding 89 8.2 Opzet van doelmatigheidsonderzoek 89 8.2.1 Doelstelling 89 8.2.2 Probleemstelling en onderzoeksvragen 89 8.2.3 Normen 90 8.2.4 Aanbevelingen 91 8.3 Begrippen 92 8.3.1 Effecten, prestaties en middelen 92 8.3.2 Vergelijking 92 8.3.3 Kwaliteit 93 8.3.4 Verklaringen 94 8.4 Onderwerp afbakenen 94 8.4.1 Algemene of operationele doelstellingen? 95 8.4.2 Prestaties of effecten? 96 8.5 Gegevens verzamelen 97 8.5.1 Kwaliteit informatie 97 8.5.2 Informatie over effecten of prestaties 98 8.5.3 Middelen 99 8.5.4 Kwaliteit 101 8.5.5 Verklaringen zoeken en gebruiken 102 8.6 Doelmatigheid berekenen 104 8.6.1 Doelmatigheidskengetallen 106 8.6.2 FDH, DEA en SFA 112 8.6.3 Verklaren van doelmatigheidsverschillen 125
Handleiding DDO
Bijlage 1 Literatuur 134
Bijlage 2 Dataverzameling: (longitudinale) surveys 142
Bijlage 3 VBTB-begroting 144
Bijlage 4 Normen voor het beoordelen van de doelformulering 146
Bijlage 5a Normen voor de beoordeling van de (bruikbaarheid van)
beleidsinformatie 150
Bijlage 5b Uitwerking van de subnorm ‘volledigheid’ van
beleidsinformatie (onderdeel van relevantie) 153
Bijlage 5c Voorbeelden van toepassing normen uit eerder
Rekenkameronderzoek 156
Bijlage 6 Beschrijving modus-operandi-methode 166
Bijlage 7 Checklist: is het mogelijk zelf de doelmatigheid te
berekenen? 167
Bijlage 8 Algemene voorwaarden DEA en SFA 169
Bijlage 9 Begrippen 172
Handleiding DDO
1Voorwoord
Het onderzoek naar doelmatigheid en doeltreffendheid (DDO) bij de
Algemene Rekenkamer heeft sinds het uitkomen van de eerste
Handleiding doelmatigheidsonderzoek in 1996 een sterke ontwikkeling
doorgemaakt en is nog steeds sterk in beweging. Ontwikkelingen binnen
en buiten de Algemene Rekenkamer zijn hierop van invloed geweest.
Buiten de Algemene Rekenkamer hebben vooral de Comptabiliteitswet
2001 en de regeringsnota Van Beleidsbegroting tot Beleidsverantwoording
een belangrijke impuls betekend voor het DDO.
Binnen de Algemene Rekenkamer zijn vooral de missie en de
Rekenkamerstrategie relevant geweest. De handleiding is
strategieneutraal geschreven. De handleiding bevat onder meer
onderwerpen over de analyse van beleidsdoelen, de analyse van
beleidsinformatie, onderzoek naar prestaties en effecten en onderzoek
naar verklaringen. Dergelijke onderwerpen zullen in elke
rekenkamerstrategie in meer of mindere mate relevant zijn. Onderzoekers
zullen uit deze handleiding die onderdelen kunnen selecteren die relevant
zijn voor het onderzoek dat ze gaan doen.
De handleiding schetst om te beginnen het kader waarbinnen het DDO bij
de Algemene Rekenkamer wordt uitgevoerd en omschrijft de belangrijkste
begrippen.
Ook laat de handleiding zien welke keuzen je kunt maken als je een
onderzoek naar doelmatigheid en doeltreffendheid opzet en uitvoert. De
manier waarop je dat moet doen hangt sterk af van je probleemstelling
en het terrein dat je onderzoekt. Een dwingende richtlijn voor de
onderzoeksaanpak zul je in deze handleiding dan ook niet vinden. Wel zul
je altijd goed moeten onderbouwen hoe ver je in het onderzoek gaat (dit
kan variëren van louter in kaart brengen in hoeverre de doelen van
bepaald beleid zijn gerealiseerd, tot het beoordelen van de
maatschappelijke effecten en de kosten), wat voor gegevens je op welke
manier verzamelt en hoe je die zo analyseert dat je de probleemstelling
kunt beantwoorden.
Handleiding DDO
2In de formulering van conclusies spelen de normen die de Algemene
Rekenkamer stelt aan het optreden van de overheid een grote rol. In het
DDO liggen die normen vast als het gaat om de beoordeling van de wijze
waarop beleidsdoelen zijn geformuleerd (zie § 5.2.3) en om de
beoordeling van de kwaliteit van de beleidsinformatie (zie § 5.3.4).
Voor de beoordeling van de formulering van prestaties en effecten zijn er
geen algemene normen. Hier zul je specifieke normen moeten afleiden uit
de geformuleerde doelen en de gemaakte afspraken op het beleidsterrein
in kwestie (zie ook § 6.2.2). Vrijwel hetzelfde geldt voor de beoordeling
van de doeltreffendheid van beleid (§ 7.3). Om ervoor te zorgen dat we
consequent zijn bij het afleiden van normen, worden deze uitwerkingen
gecodificeerd in de Normenbank en is elk onderzoeksteam verplicht deze
te raadplegen als het een onderzoeksvoorstel opstelt en aan te vullen als
het klaar is met het onderzoek.
De handleiding DDO vervangt zowel de Handleiding
doelmatigheidsonderzoek (1996) als de Handleiding onderzoek naar
beleidsresultaten (1997) en de Handleiding efficiëntieonderzoek (2001).
Bij het schrijven van deze handleiding is gebruikgemaakt van het
materiaal uit beide handleidingen. Het materiaal dat wordt gebruikt bij de
cursus Methoden en technieken sluit aan bij de voorliggende handleiding.
Handleiding DDO
31 Inleiding
1.1 Doelmatigheids- en doeltreffendheidsonderzoek
binnen de Algemene Rekenkamer
In het doelmatigheids- en doeltreffendheidsonderzoek (DDO) van de
Algemene Rekenkamer staan prestaties en effecten centraal. In het
onderzoek naar prestaties en effecten onderscheiden we een aantal
varianten: analyse van de mate van doelrealisatie, analyse van de
doeltreffendheid van beleid en de analyse van de doelmatigheid van
effecten en prestaties.1 Deze varianten zijn gelaagd: onderzoek naar de
doeltreffendheid van beleid veronderstelt dat er ook inzicht is in de mate
waarin de doelen zijn gerealiseerd. Daarnaast is inzicht in de
doeltreffendheid van het beleid nodig om uitspraken te kunnen doen over
de doelmatigheid van de effecten. De onderzoeksvarianten – lopend van
doelrealisatie tot doelmatigheid – worden dan ook steeds complexer en
stellen steeds meer eisen aan de gebruikte gegevens (beleidsinformatie).
1.1.1 Doelrealisatie
Bij het onderzoek naar doelrealisatie breng je de na de invoering van het
beleid feitelijk ontstane (maatschappelijke) situatie in kaart en vergelijk
je deze met de doelstellingen van het beleid (de beoogde
maatschappelijke situatie). Een causaal verband tussen de prestaties van
het Rijk en de mate waarin effecten worden behaald, wordt daarbij echter
niet gelegd. Je kunt dus geen uitspraken doen over de mate waarin het
beleid van de minister wel of niet gewerkt heeft. Dit type onderzoek is
vanuit het perspectief van de Algemene Rekenkamer (verbeteren func-
tioneren van Rijk en/of rechtspersonen met een wettelijke taak) vooral
relevant als de verwachting gerechtvaardigd is dat de doelrealisatie vrij
gering zal blijken te zijn, of als je een ‘opstapje’ wilt creëren voor verder
onderzoek naar de doeltreffendheid van het beleid.
1 De analyse van doelgroepbereik wordt wel als vierde variant onderscheiden. Deze variant wordt
besproken in hoofdstuk 6; zie ook § 1.2.2 hierna.
Handleiding DDO
4De in hoofdstuk 6 geschetste aanpak voor het vaststellen van
doelrealisatie houdt daarom zoveel mogelijk rekening met nader
onderzoek naar de doeltreffendheid van het beleid.2
Soms is het nog te vroeg of om andere redenen onmogelijk om vast te
stellen of de einddoelen van beleid zijn bereikt. Dan kan het nuttig zijn
om te onderzoeken in hoeverre tussendoelen zijn gerealiseerd.Soms is
dat ook van belang omdat het realiseren van een einddoel niet onder de
verantwoordelijkheid van een minister valt, maar het realiseren van
bepaalde tussendoelen wel.
Dit geldt in het bijzonder voor doorwerkingsonderzoek. Het gaat hierbij
om de centrale vraag of de voorwaarden hebben gewerkt die de minister
gecreëerd heeft voor een goede uitvoering van het rijksbeleid op
regionaal, provinciaal of gemeentelijk niveau. Een tussenstap in de
beleidsketen dus, tússen de voorwaardenscheppende prestaties van het
Rijk en de prestaties van decentrale overheden en instellingen.
‘Doorwerkingsonderzoek’ is in een gedecentraliseerde beleidscontext een
goede aanvulling op onderzoek naar prestaties van het Rijk. De minister
is direct aanspreekbaar als blijkt dat zijn prestaties geen enkel effect op
decentraal niveau hebben teweeggebracht. Als prestaties van het Rijk
geen effect hebben bij lagere overheden (onvoldoende doorwerking) kan
dat een verklaring zijn voor het niet of onvoldoende realiseren van de
maatschappelijke effecten.
1.1.2 Doelgroepbereik
In de praktijk kan het voorkomen dat het bereiken van de einddoelen,
bijvoorbeeld ‘de bescherming van de natuur in Nederland’, zich moeilijk
laat onderzoeken. In dergelijke gevallen kun je tussendoelen
onderzoeken. De mate van doelgroepbereik is een voorbeeld van zo’n
tussendoel.
Onderzoek naar doelgroepbereik kan worden gebruikt wanneer als
beleidsresultaat wordt verondersteld dat (groepen van) mensen bepaald
gedrag gaan vertonen. Beleid kan in dergelijke gevallen alleen resultaten
teweegbrengen wanneer de juiste personen iets merken van dat beleid.
De beoogde doelgroep moet daarom op de een of andere manier in
contact komen met het beleid.
Het bereiken van de doelgroep is niet een voldoende voorwaarde om ook
de beleidsdoelen te bereiken. Maar wanneer de doelgroep of intermediairs
niet zijn bereikt, wordt het realiseren van de beleidsdoelen erg
2 Zie ook Lulofs en Schuddeboom (1991).
Handleiding DDO
5onwaarschijnlijk. In theorie kan daarom in elk onderzoek naar
beleidsresultaten aandacht besteed worden aan het bereiken van de
doelgroep of intermediairs.
1.1.3 Doeltreffendheid
Doeltreffendheidsonderzoek binnen de Algemene Rekenkamer is
onderzoek naar de vraag in hoeverre dankzij het regeringsbeleid de
gewenste beleidsresultaten worden bereikt. Onder beleidsresultaten
worden zowel prestaties (output) als de daarmee gerealiseerde effecten
(outcome) verstaan.
Onderzoek naar de doeltreffendheid van beleid is gecompliceerd, omdat
enerzijds sprake kan zijn van een lange beleidsketen en anderzijds omdat
er externe factoren kunnen zijn die ook van invloed kunnen zijn op de te
bereiken einddoelen. Tussen directe overheidsprestaties en de uiteindelijk
gerealiseerde maatschappelijke situatie zitten vaak vele schakels.3 Hoe
verder een prestatie of effect in de keten gelegen is, des te moeilijker de
causale relatie is te leggen met ingezet beleid. De bereikte effecten zijn
vaak niet alleen tot stand gekomen door het beleid van de minister, maar
ook door allerlei andere factoren. Zo wordt de herintreding van vrouwen
op de arbeidsmarkt niet alleen beïnvloed door maatregelen op het vlak
van de arbeidsbemiddeling van herintredende vrouwen, maar ook door
sociaal-economische omstandigheden.
1.1.4 Doelmatigheid
Voor de burger telt niet alleen of beleidsresultaten zijn geleverd, maar
ook tegen welke kosten dit is gebeurd en of dat beter kan. Daarom is het
van belang om – in het verlengde van onderzoek naar effecten
respectievelijk prestaties – onderzoek te doen naar de doelmatigheid
(efficiëntie). Dat onderzoek kan zich richten op de effecten of de
prestaties die zijn geleverd voor het beleid.
In het eerste geval wordt gesproken van doelmatigheid van
(beleids)effecten (ook wel: kosteneffectiviteit), in het tweede geval van
doelmatigheid van (beleids)prestaties. Het gaat daarbij om de vraag:
• of deze effecten respectievelijk prestaties niet met de inzet van
minder middelen gerealiseerd hadden kunnen worden; dan wel
3 Een voorbeeld: subsidies bij milieubeleid. De keten van prestaties naar maatschappelijk effect
omvat schakels als: uitgekeerde subsidies, bekendheid doelgroep met subsidie, aanschaf product
door doelgroep, gebruik van product door doelgroep, veranderingen in milieu.
Handleiding DDO
6• of niet méér effecten respectievelijk prestaties verwezenlijkt hadden
kunnen worden met dezelfde inzet van middelen.
In de praktijk worden ook wel de termen ‘doelmatigheid van beleid’ en
‘doelmatigheid van bedrijfsvoering’ gehanteerd. Het eerste begrip heeft
betrekking op de beleidseffecten, het tweede op de beleidsprestaties.
Figuur 1.1 geeft weer welke relatie doelmatigheids- en
doeltreffendheidsonderzoek hebben met de verschillende aspecten uit het
productieproces in de publieke sector. De varianten ‘doelrealisatie’ en
‘doelgroepbereik’ staan hier niet in, omdat ze eigenlijk slechts een
onderdeel zijn van doeltreffendheidsonderzoek.
Figuur 1.1 Productieproces in de publieke sector (Bron: Ministerie van
Financiën, 2001).
In bovenstaande figuur zijn zowel de beoogde als de daadwerkelijk
gerealiseerde prestaties en effecten van belang.
input
personeel, materieel, geld
throughput
productieproces
output
producten, diensten
outcome
effect
middelen activiteiten prestaties effecten
economy
zuinigheid
efficiency
Doelmatigheid van prestaties
(kosteneffectiviteit)
cost-effectiveness
Doelmatigheid van effecten
Doeltreffendheid van het beleid
effectivity
effectiviteit
Handleiding DDO
71.2 Leeswijzer
Hoofdstuk 2 van deze handleiding behandelt het wettelijk kader, relevant
voor het doen van onderzoek naar doelmatigheid en doeltreffendheid. Ons
instituut heeft een in de Grondwet verankerde onafhankelijke positie in
het staatsbestel. Taken en bevoegdheden zijn uitgewerkt in de
Comptabiliteitswet. In dit hoofdstuk beschrijven we hoe de staats-
rechtelijke positie en de taken en bevoegdheden van de Algemene
Rekenkamer aan het DDO zijn eigen karakter geven.
In hoofdstuk 3 bespreken we het onderzoeksobject: welke aspecten
kunnen we onderscheiden in het productieproces van de overheid en
welke typen prestaties en effecten komen aan de orde in
Rekenkameronderzoek? In dit hoofdstuk geven we ook aan hoe je een
keuze kunt maken tussen onderzoek naar doelrealisatie, doelgroepbereik,
doeltreffendheid en doelmatigheid.
Hoofdstuk 4 behandelt manieren waarop je in het DDO gegevens
verzamelt en analyseert. Afhankelijk van de probleemstelling en de
gekozen onderzoeksvariant kun je verschillende methoden van
dataverzameling gebruiken om uitspraken te doen over de al dan niet
gerealiseerde prestaties en effecten. Afhankelijk van de gekozen
dataverzamelingsmethode kun je vervolgens een aantal data-
analysemethoden gebruiken om mogelijke verklaringen voor verschillen in
prestaties en effecten te toetsen. In dit hoofdstuk passeren de
verschillende methoden de revue.
Hoofdstuk 5 schetst hoe beleidsdoelen onderzocht kunnen worden (welke
prestaties en effecten worden beoogd?), en welke normen gehanteerd
worden bij de beoordeling van beleidsinformatie.
De hoofdstukken 6 tot en met 8 behandelen hoe je aan de hand van
beleidsinformatie van voldoende kwaliteit of zelf verzamelde gegevens
prestaties en effecten kunt onderzoeken. We presenteren voor de
verschillende varianten voor onderzoek naar prestaties en/of effecten
de probleemstellingen, normen, onderzoeksontwerpen en mogelijke
aanbevelingen.
Het is nadrukkelijk niet de bedoeling dat in elk onderzoek de handleiding
van A tot Z wordt gevolgd. Het is juist de bedoeling dat onderzoekers de
onderdelen selecteren die relevant zijn voor het onderzoek dat ze gaan
doen.
Handleiding DDO
82 Algemeen kader doelmatig-heids- en doeltreffendheids-onderzoek
2.1 Inleiding
De Algemene Rekenkamer heeft een in de Grondwet verankerde onaf-
hankelijke positie in het staatsbestel. Taken en bevoegdheden zijn
uitgewerkt in de Comptabiliteitswet 20014 (CW 2001).
Richtinggevend voor het onderzoek van de Algemene Rekenkamer is de
bestuurlijke verantwoordelijkheid van bewindspersonen en besturen van
instellingen die met de rijksoverheid verbonden zijn (§ 2.2.3).
2.2 Wettelijk kader
2.2.1 Taken Algemene Rekenkamer
In de Grondwet is vastgelegd dat de Algemene Rekenkamer belast is met
het onderzoek van de ontvangsten en uitgaven van het Rijk (artikel 76
Grondwet). De inrichting, samenstelling en bevoegdheid van de Algemene
Rekenkamer moeten volgens de Grondwet geregeld worden in een wet.
Dit is de Comptabiliteitswet 2001 (CW 2001). Daarin is ook een nadere
uitwerking gegeven aan het onderzoek dat de Algemene Rekenkamer kan
verrichten. De Grondwet bepaalt verder dat ook in bijzondere wetten
taken aan de Algemene Rekenkamer kunnen worden opgedragen.
Het DDO is in de CW 2001 omschreven als onderzoek naar “de
doeltreffendheid en doelmatigheid van het gevoerde beleid, de
doelmatigheid van het financieel en materieel beheer, de daartoe
bijgehouden administraties en de organisatie van het Rijk” (artikel 85 CW
2001)5.
4 Stb. 2002, 413. 5 Uit de wet- en regelgeving wordt in elk geval niet duidelijk wat precies onder 'de doelmatigheid
van het financieel en materieel beheer, de daartoe bijgehouden administraties en de organisatie
van het Rijk' wordt verstaan. Zo verwijst de Memorie van Toelichting op de Comptabiliteitswet
2001 (MvT) bij dit artikel voor een nadere toelichting naar de toelichting op de artikelen 20 en 21.
Handleiding DDO
9
Artikel 91 CW 2001 geeft de Algemene Rekenkamer bovendien bepaalde
bevoegdheden tot onderzoek bij rechtspersonen met een wettelijke taak
(RWT’s) of een financiële binding met het Rijk.
Artikel 92 CW 2001 geeft de Algemene Rekenkamer daarnaast
bevoegdheden om onderzoek uit te voeren bij organisaties die Europese
subsidies ontvangen.6
Artikel 90 CW ten slotte, 2001 biedt de Staten-Generaal de mogelijkheid
om de Algemene Rekenkamer te verzoeken bepaalde specifieke
onderzoeken in te stellen.
2.2.2 Bevoegdheden Algemene Rekenkamer
De Algemene Rekenkamer beschikt over ruime bevoegdheden voor haar
onderzoek bij onderdelen van het Rijk. Artikel 87 CW 2001 bepaalt dat de
Algemene Rekenkamer bevoegd is administraties, documenten en andere
informatiedragers op door haar aan te geven wijze te onderzoeken.
Bewindspersonen zijn bovendien gehouden desgevraagd de inlichtingen te
verstrekken die de Algemene Rekenkamer voor de uitoefening van haar
taak nodig acht. Ook voor onderzoek bij met het Rijk verbonden organen
heeft de Algemene Rekenkamer bevoegdheden. Als geld met bepaalde
doelen van het Rijk naar een instelling stroomt, dan is de AR bevoegd te
onderzoeken wat er met deze geldstroom gebeurt. Bij RWT’s beperkt de
bevoegdheid van de Algemene Rekenkamer zich tot datgene wat met die
wettelijke taak heeft te maken (en geldt dus niet voor eventuele andere
activiteiten van diezelfde instelling).
In deze artikelen worden de begrippen doelmatigheid van beleid en doelmatigheid van
bedrijfsvoering gehanteerd. De MvT definieert de doelmatigheid van bedrijfsvoering als de relatie
tussen prestaties en middelen. De MvT is hier overigens niet geheel eenduidig in en rekent ook de
relatie tussen de (kosten van de) inzet van sturings- en beheersingsinstrumenten en de risico's die
de organisatie loopt (p. 33) tot de doelmatigheid van bedrijfsvoering. De Algemene Rekenkamer
heeft hierover al eerder opgemerkt dat deze omschrijving van doelmatigheid onjuist is en niet
consequent met hoe de term op andere plaatsen in de MvT is gebruikt De MvT hanteert daarnaast
het begrip doelmatigheid van apparaatsuitgaven dat in de MvT een identieke definitie heeft als
doelmatigheid van bedrijfsvoering (terwijl dit verschillende begrippen zijn). In deze handleiding
wordt uitgegaan van de termen doelmatigheid van beleid en doelmatigheid van bedrijfsvoering (zie
hoofdstuk 1). Voor een uitgebreidere beschrijving van een aantal onduidelijkheden en
onvolkomenheden op het gebied van doelmatigheid in de wet- en regelgeving verwijzen we naar
het Rekenkamerrapport Doelmatigheidsinformatie in begroting en jaarverslag. 6 Meer in het bijzonder heeft de Algemene Rekenkamer bevoegdheden ‘ten aanzien van
rechtspersonen, commanditaire vennootschappen, vennootschappen onder firma en natuurlijke
personen die een beroep of bedrijf uitoefen aan wie door de Raad van de Europese Unie, het
Europees Parlement en de Raad gezamenlijk of de Commissie van de Europese Gemeenschappen
op grond van een vastgesteld programma rechtstreeks of onmiddellijk een subsidie wordt
verstrekt.”
Handleiding DDO
10De Algemene Rekenkamer geeft geen jaarlijks oordeel over de
doelmatigheid en doeltreffendheid van het gevoerde beleid.
Ondoelmatigheid of ondoeltreffendheid van het beleid kan ook geen grond
zijn voor formeel bezwaar, zoals dat in het rechtmatigheidsonderzoek wel
het geval kan zijn als het gaat om het gevoerde financieel beheer, het
materieelbeheer of de verantwoording daarover (artikel 88 en 89
CW 2001).
2.2.3 Bestuurlijke verantwoordelijkheid
Uitgangspunt voor het onderzoek van de Algemene Rekenkamer is de
verantwoordelijkheid van bewindspersonen (zie artikel 42 Grondwet) en,
bij onderzoek naar RWT’s, ook van de besturen van deze instellingen.
Enkele artikelen in de CW 2001 zijn specifiek gewijd aan de ver-
antwoordelijkheid van bewindspersonen voor de doelmatigheid en
doeltreffendheid van het beleid. Volgens artikel 20 CW 2001, eerste lid, is
elke bewindspersoon verantwoordelijk voor de doelmatigheid en
doeltreffendheid van het beleid dat aan zijn of haar begroting ten
grondslag ligt. De invulling van deze algemene ministeriële verantwoorde-
lijkheid is afhankelijk van de mate waarin de uitvoering van beleid is
gedecentraliseerd naar RWT’s7 of lagere overheden. Deze invulling is een
belangrijk sturend element in het onderzoek naar doelmatigheid en doel-
treffendheid door de Algemene Rekenkamer (meer hierover in hoofdstuk
3). Het tweede lid van artikel 20 CW 2001 schrijft voor dat de minister
zorgdraagt voor het periodiek onderzoeken van de doelmatigheid en
doeltreffendheid van het door hem of haar gevoerde beleid. De centrale
directie Financieel-Economische Zaken (FEZ) heeft hierin een
coördinerende taak (Besluit taak FEZ). Het derde lid van artikel 20 CW
2001 bepaalt dat de minister de Algemene Rekenkamer tijdig op de
hoogte stelt van de onderzoeken naar doelmatigheid en doeltreffendheid
die hij doet instellen en van de resultaten ervan.8
De verantwoordelijkheid die besturen van de RWT’s hebben voor de
besteding van het aan deze instellingen verstrekte rijksgeld of de
uitoefening van de aan hen opgedragen wettelijke taak (voor zover
gefinancierd uit een wettelijke heffing) is bepalend voor de reikwijdte van
het onderzoek bij RWT’s (ook wel ‘artikel 91-onderzoek’ genoemd).
7 Meer in het algemeen: naar zelfstandige bestuursorganen. Zie de site van het RWT-onderzoek op
intranet voor een nadere uitleg van het precieze verschil tussen RWT’s en ZBO’s. 8 Vergelijkbare verantwoordelijkheden met betrekking tot de bedrijfsvoering zijn omschreven in
artikel 21 van de CW 2001.
Handleiding DDO
112.2.4 Van beleidsbegroting tot beleidsverantwoording
De regeringsnota Van beleidsbegroting tot beleidsverantwoording (VBTB)
is eind jaren negentig opgezet om de begrotingsstukken meer
beleidsgericht te maken. Het achterliggende besturingsmodel van VBTB is
resultaatgericht: de overheid stuurt actief op geleverde prestaties en de
effecten van die prestaties.9
Van belang voor het DDO zijn met name de beleidsparagrafen in de
nieuwe begrotingen en jaarverslagen. De beleidsartikelen, die onderdeel
zijn van de beleidsparagrafen, moeten antwoord geven op de volgende
drie w- en h-vragen:
• Wat willen we bereiken? (uitgedrukt in te bereiken effecten) / Hebben
we bereikt wat we ons hadden voorgenomen?
• Wat gaan we daarvoor doen? / Hebben we daarvoor gedaan wat we
zouden doen?
• Wat mag dat kosten? / Heeft het gekost wat we dachten dat het zou
kosten?
2.2.5 Regeling prestatiegegevens en evaluatieonderzoek rijksoverheid
In februari 2001 is de Regeling Prestatiegegevens en Evaluatieonderzoek
Rijksoverheid verschenen.10 De regeling is nadrukkelijk gekoppeld aan de
regeringsnota VBTB. Deze regeling van het ministerie van Financiën geeft
een aantal nadere invullingen aan bepalingen uit de Comptabiliteitswet,
die ook van belang zijn voor het DDO van de Algemene Rekenkamer. Zij
bevat voorschriften over (p.9):
• de geïntegreerde inzet van evaluatie-instrumenten;
• de afweging die gemaakt moet worden bij de inzet van
evaluatieonderzoek ex ante;
• de mate waarin en de frequentie waarmee beleid met periodiek
evaluatieonderzoek ex post wordt afgedekt (volledigheid en
periodiciteit);
• de methodologisch-technische kwaliteit van evaluatie-instrumenten
en de wijze waarop beleidsinformatie tot stand komt;
• de wijze waarop de ambtelijke en politieke top van de uitkomsten van
periodiek evaluatieonderzoek op de hoogte worden gebracht; en
• de verantwoordelijkheden binnen een departement voor een goede
uitvoering van deze regeling.
9 Van der Knaap (2000). 10 De regeling, die mede naar aanleiding van het Rekenkamerrapport Organisatie van de
beleidsevaluatie (maart 2000) is opgesteld, vervangt de Handleiding Kengetallen uit 1994 (Hafir
A2.6) en het Referentiekader voor evaluatie-instrumenten uit 1998 (Hafir A5.5). De nieuwe
regeling is eveneens opgenomen in Hafir.
Handleiding DDO
12
In de regeling verstaat men onder evaluatie-instrumenten zowel
(informatie)systemen van reguliere prestatiegegevens als periodiek uit te
voeren evaluatieonderzoeken. Beide leveren informatie op over de
doeltreffendheid en doelmatigheid van beleid (en de doelmatigheid van
bedrijfsvoering) en zijn daarmee ook voor de Algemene Rekenkamer een
belangrijke bron voor de beoordeling van (beleids)informatie.
Handleiding DDO
133 Onderzoeksobject en -varianten
3.1 Inleiding
Het doelmatigheids- en doeltreffendheidsonderzoek (DDO) van de
Algemene Rekenkamer richt zich op de vraag: worden de doelen
(prestaties en/of effecten) gerealiseerd, worden de doelen behaald
dankzij het gevoerde beleid en is het beleid doelmatig? Aan de hand van
het ‘productieproces van de publieke sector’ geeft dit hoofdstuk aan welke
aspecten van belang zijn om mee te nemen in het onderzoek naar
prestaties en/of effecten.
3.2 Het productieproces in de publieke sector
In het DDO bekijkt de Algemene Rekenkamer het functioneren van de
publieke sector (rijksoverheid en RWT’s) vooral als een productieproces.
In dat proces onderscheiden we vier aspecten: middelen, activiteiten,
prestaties en effecten (input, throughput, output en outcome). Door je
onderzoek te richten op verschillende combinaties van deze aspecten kun
je uitspraken doen over doelrealisatie, doelgroepbereik, doeltreffendheid
en doelmatigheid van beleid en de doelmatigheid van bedrijfsvoering. Bij
doelrealisatie, doelgroepbereik en doeltreffendheid zet je de betreffende
combinaties af tegen de doelstellingen van het beleid. Dit is al beschreven
in hoofdstuk 1.
Figuur 3.1. Productieproces publieke sector (Bron: Ministerie van Financiën 2001, met
aanpassing; zie ook Bouckaert 1999).
Het is niet altijd mogelijk om duidelijk onderscheid te maken tussen
prestaties en effecten. Vaak is er sprake van een keten van prestaties en
effecten, waarbij het een kwestie van afspraak is waar de grens wordt
input
personeel, materieel, geld
throughput
productieproces
output
producten, diensten
outcome
middelen activiteiten prestaties effecten
Handleiding DDO
14getrokken. Als je dit in het onderzoek moet doen, zorg dan in ieder geval
dat je er met het betreffende departement duidelijkheid over krijgt waar
de bewindspersoon of het bestuur van een RWT nog verantwoordelijk
voor is en waar niet meer voor.
Prestatie of effect?
Het Centrum voor Werk en Inkomen (CWI) heeft onder meer als taak (doel van het beleid)
werklozen aan een baan te helpen. Hiertoe verwijzen CWI’s werkzoekenden op vacatures.
Is deze verwijzing op zichzelf een prestatie of is het pas een prestatie als de verwijzing tot
een plaatsing (werk) heeft geleid? Of is dit laatste een effect? En wanneer telt een
plaatsing mee? Als de werkzoekende de baan accepteert of pas als hij een bepaalde
minimale periode is blijven werken?
3.2.1 Prestaties
(Beleids)prestaties zijn de resultaten van werkprocessen die binnen een
organisatie worden doorlopen om een beleidsdoelstelling te realiseren.
Prestaties van het Rijk
Prestaties van het Rijk zijn de aan de doelstelling van het beleid
gerelateerde resultaten van werkprocessen van een
organisatie(onderdeel) van het Rijk die bestemd zijn voor de
‘buitenwereld’. Prestaties van het Rijk kunnen verschillende soorten
producten en diensten behelzen. Enerzijds gaat het om prestaties die
extern merkbaar zijn bij burgers, maatschappelijke instellingen en
bedrijven. Voorbeelden van zulke prestaties zijn: subsidies, heffingen en
voorlichtingscampagnes.
Anderzijds zijn er ‘faciliterende’ prestaties waarbij de ministeries een
dienst verlenen aan derden, zoals lagere overheden of RWT’s/ZBO’s.
Voorbeelden hiervan zijn: wet- en regelgeving, het afsluiten van
convenanten, het houden van toezicht (op bijvoorbeeld de prestaties van
lagere overheden of RWT’s), het opzetten van een geautomatiseerd
systeem of het verzamelen van relevante beleidsinformatie.
Sommige van deze prestaties zijn meer intern dan extern gericht en lijken
daarmee eerder onderwerp voor een beheeronderzoek. Toch kan dit soort
prestaties, bijvoorbeeld het opzetten van een geautomatiseerd systeem
voor registratie van mestoverschotten, wel eens het enige zijn wat je op
een bepaald beleidsterrein mag verwachten van de rijksoverheid.
Daarmee is het dus ook een relevante prestatie voor het bereiken van
een extern effect.
Handleiding DDO
15
Faciliterende prestaties komen vooral voor bij territoriaal of functioneel
gedecentraliseerd beleid. De ‘echte’ extern gerichte prestaties, de finale
prestaties aan burgers, maatschappelijke instellingen en bedrijven –
waarop het DDO zich bij voorkeur primair richt –, worden in dat geval
door derden (zoals lagere overheden en RWT’s/ZBO’s) geleverd.11
Prestaties van derden
Prestaties van derden zijn de aan de doelstelling van het Rijksbeleid
gerelateerde resultaten van werkprocessen van een
organisatie(onderdeel) buiten het Rijk die bestemd zijn voor de
‘buitenwereld’. Het gaat het om prestaties die extern merkbaar zijn bij
burgers, maatschappelijke instellingen en bedrijven. Een voorbeeld: bij
het beleid gericht op het verminderen van de hoeveelheid bedrijfsafval in
Nederland, betreffen de beleidsprestaties van het Rijk onder meer het
ontwikkelen van wet- en regelgeving en het faciliteren van de
vergunningverlening van lokale overheden aan bedrijven. In dit voorbeeld
is het uiteindelijke effect, te weten minder afval, afhankelijk van onder
andere de vergunningverlening door lokale overheden (de prestatie).
Andere voorbeelden van prestaties van derden zijn: het aantal nieuwe
politieagenten (te leveren prestatie voor veiligheidsbeleid) en het aantal
beschikbare plaatsen voor inburgeringcursussen (te leveren prestatie voor
inburgeringbeleid).
Vaak is de gemeente of provincie ook nog een doorgeefluik voor
uitvoerende organisaties. Dit was bijvoorbeeld het geval bij
kinderopvang.12 Het Rijk geeft geld aan gemeenten die het vervolgens
weer verdelen over kinderopvanginstellingen (niet met de overheid
verbonden non-profit- en for-profit-instellingen). De
kinderopvanginstellingen leveren de uiteindelijke prestaties en als effect
daarvan zien we bijvoorbeeld een toename van het aantal moeders dat
blijft werken na de geboorte van hun kind(eren).13
Op grond van de bevoegdheden van de Algemene Rekenkamer kunnen de
prestaties van RWT’s zelf ook zelfstandig object van
Rekenkameronderzoek zijn. Voor het onderzoeken van de prestaties van
RWT’s gelden in principe dezelfde regels als voor onderzoek naar
prestaties van het Rijk. Bijzonder aan het RWT-onderzoek is wel – in
11 Zie ook De Groot & Goudriaan (1991) voor het onderscheid tussen intermediaire en finale
producten. 12 Bij de inwerkingtreding van de nieuwe Wet basisvoorziening kinderopvang is dat niet langer het
geval. De financiering loopt dan rechtstreeks via de ouders. 13 Zie Turksema (2000).
Handleiding DDO
16vergelijking met de andere derden die prestaties leveren voor Rijksbeleid
– dat ook de bedrijfsvoering van de RWT kan worden onderzocht.14
Heterogene prestaties
De prestaties van Rijk en derden kunnen heterogeen van aard zijn: ze
verschillen dan bijvoorbeeld in complexiteit en/of kwaliteit. In het geval
van heterogene prestaties is het van belang om de prestaties te
differentiëren. Dit kan door de prestaties te verdelen over een aantal
homogene categorieën (meer hierover in § 4.3.2.1).15
Het is van belang om de kwaliteit en complexiteit van de prestaties mee
te nemen in het onderzoek. Mogelijk hebben bijvoorbeeld toegenomen
prestaties (in kwantitatieve zin) als ongewenst neveneffect dat de
kwaliteit van de geleverde prestaties achteruit is gegaan.
Onderzoekbaarheid
Het in kaart brengen van de prestaties zal in de praktijk in vergelijking
met effecten gemakkelijker zijn. Informatie over prestaties is meestal
namelijk óf aanwezig óf betrekkelijk eenvoudig te verzamelen.
Van ministeries mag immers worden verwacht dat zij inzicht hebben in de
prestaties die zij zelf hebben geleverd ter realisatie van hun beleid.
Hetzelfde mag worden verwacht van derden die betrokken zijn bij (de
uitvoering van) het beleid, zoals RWT’s en decentrale overheden. De
rijksoverheid zal er door middel van afspraken met deze derden voor
moeten zorgen dat zij de benodigde informatie krijgt en verwerkt.
3.2.2 Effecten
Effecten
(Beleids)effecten zijn de gevolgen van beleid van het Rijk of RWT die
merkbaar zijn in de maatschappij. Voorbeelden van effecten zijn: de
reductie van CO2-uitstoot (beoogd effect van klimaatbeleid), meer
mensen die zich veilig voelen op straat (beoogd effect van
veiligheidsbeleid) en betere inburgering van allochtonen (beoogd effect
van inburgeringbeleid).
Onderzoekbaarheid
Effecten zijn lastig om te onderzoeken, omdat het lastig is om deze te
kwantificeren (bijvoorbeeld: ‘goede volksgezondheid in Nederland’) en
omdat vaak moeilijk is vast te stellen in hoeverre deze effecten dóór het
rijks- respectievelijk RWT-beleid zijn gerealiseerd. Bij effecten kunnen
14 Meer informatie over RWT’s (bijvoorbeeld over definities, normen, onderzoeksvoorstellen
enzovoort) kan worden gevonden op de site van het RWT-onderzoek op intranet (map
Kennisdomeinen/Toezicht – Publiek Privaat/RWT). 15 Zie hiervoor als voorbeeld Algemene Rekenkamer (2001a).
Handleiding DDO
17immers behalve de minister (of andere bij het beleid betrokken partijen)
ook andere factoren van invloed zijn, zoals demografische ontwikkelingen
of de situatie op de arbeidsmarkt. De rijksoverheid wil bijvoorbeeld dat de
Centra voor Werk en Inkomen mensen aan het werk helpen. De
mogelijkheid om mensen aan een baan te helpen wordt niet alleen
beïnvloed door de activiteiten van de Centra voor Werk en Inkomen, maar
ook door bijvoorbeeld de arbeidsmarktsituatie (het aantal beschikbare
vacatures) en daarmee samenhangend de economische situatie (meer
aanbod van werk in een goede economische situatie). Om de effectiviteit
van het beleid te kunnen bepalen, moet de invloed van externe factoren
worden geëlimineerd. Dat is een lastige klus. Daarom kun je soms beter
volstaan met het onderzoeken van prestaties. Jammer is dat wel, daarom
wordt aanbevolen om – indien mogelijk –, behalve de prestaties zelf, ook
de effecten van de geleverde prestaties te onderzoeken.16 Immers,
geleverde prestaties leiden niet noodzakelijkerwijs tot het beoogde
(maatschappelijke) effect. Ze zijn hoogstens een noodzakelijke, maar
geen voldoende voorwaarde voor het realiseren van het beoogde
eindeffect.
Daarnaast is een oordeel over effecten van belang omdat dit de
aansprekendheid en de relevantie van het onderzoek verhoogt. Voor de
burger telt uiteindelijk vaak niet de beleidsprestatie, maar de mate
waarin het (maatschappelijk) probleem wordt opgelost of verminderd. De
minister is daarop aanspreekbaar.
Een derde reden om effecten te onderzoeken is het gevaar dat de
toegenomen aandacht voor sturing op basis van prestaties met zich mee
kan brengen dat je de inhoudelijke doelstelling uit het oog verliest (het
optreden van de performance paradox). Zo kan, indien de bekostiging
van het onderwijs plaatsvindt op basis van het aantal afgestudeerden, de
neiging ontstaan in te leveren op het niveau van de afgestudeerden. Bij
onderzoek naar de gehele keten zou dit kunnen worden opgemerkt,
bijvoorbeeld doordat de betrokken generatie studenten minder snel werk
kan vinden (overige omstandigheden gelijkblijvend).
Neveneffecten
Het kan van belang zijn om in een onderzoek naar prestaties en effecten
ook eventuele (negatieve én positieve) neveneffecten te bekijken. Vooral
bij ongewenste neveneffecten is dat relevant.
16 Een voorbeeld van zoveel mogelijk aandacht voor de gehele keten van prestaties en effecten is
te vinden in het Rekenkameronderzoek Gesubsidieerde arbeid (Algemene Rekenkamer, 1996). In
dit onderzoek zijn diverse instrumenten ter bestrijding van werkloosheid bekeken; zowel prestaties
als effecten komen hierbij aan bod, zoals creatie additionele banen, uitstroom uit additioneel werk
en instroom in regulier werk.
Handleiding DDO
18
Onderzoek naar neveneffecten wordt gecompliceerd door het feit dat dit
in principe alle kanten op kan; het wordt niet begrensd door
beleidsdoelen. Een mogelijke manier om toch een afbakening aan te
brengen is: focussen op die neveneffecten die in ander dan het onder-
zochte beleid juist worden bestreden (bijvoorbeeld ongunstige
milieueffecten van economisch beleid).
3.2.3 Activiteiten
Onder ‘activiteiten’ verstaan we al datgene wat in een ministerie of bij
een derde wordt uitgevoerd om middelen om te kunnen zetten in
prestaties voor het beleid. Met andere woorden: activiteiten hebben
betrekking op de uitvoering van het beleid – niet op de uitkomsten van
het beleid (dat zijn immers prestaties en/of effecten). Voorbeelden van
activiteiten zijn: het beoordelen van vergunningen, het volgen van
trainingen en het werven en opleiden van personeel.
Het kan van belang zijn om de activiteiten mee te nemen in onderzoek
naar prestaties en effecten. Verkeerd gekozen activiteiten kunnen een
verklaring bieden voor onder andere achterblijvende prestaties en/of
effecten (zie § 3.3).
3.2.4 Middelen
Bij middelen gaat het om de middelen die zijn ingezet om de effecten dan
wel prestaties te realiseren.17 Middelen zijn: het ingezette personeel, het
verbruikte materiaal, de ingehuurde diensten en de uitgaven aan (niet-)
financiële beleidsinstrumenten (zoals subsidies, leningen en
voorlichtingsprogramma’s). Dit geldt voor zowel het Rijk als voor de
derden.
Om de totale inzet van middelen te bepalen is het voor het meten van
doelmatigheid noodzakelijk de verschillende middelen in één grootheid uit
te drukken. De meest voor de hand liggende is geld. Het uitdrukken van
middelen in geld kan op twee manieren: in termen van kosten en in
termen van uitgaven. Uitgaven zijn betalingen die zijn gedaan op basis
van aangegane verplichtingen. Kosten betreffen de waarde van de
verbruikte middelen die nodig zijn voor het kunnen uitoefenen van de
bedrijfsvoering.
17 Zie ook Hoogerwerf (1980): al datgene wat door het Rijk of een RWT gebruikt (kan worden) om
het bereiken van een of meer doeleinden te bevorderen.
Handleiding DDO
19
3.3 Verklaringen
In het onderzoek naar prestaties en/of effecten is het van belang om
inzicht te krijgen in mogelijke oorzaken van eventueel achterblijvende
prestaties en effecten of ondoelmatigheden. Inzicht in deze oorzaken kan
nodig zijn om relevante aanbevelingen te kunnen doen aan de ministers,
RWT’s en/of Tweede Kamer. De oorzaken voor achterblijvende prestaties
en effecten of ondoelmatigheden kunnen zowel intern als extern van aard
zijn.
Interne oorzaken zijn oorzaken die liggen binnen het ministerie en/of de bij
het beleid betrokken derde. Hierbij kun je denken aan: onvoldoende duidelijke
of realistische formulering van het doel van het beleid, het inzetten van de
verkeerde beleidsinstrumenten, het ondernemen van de verkeerde activiteiten
en het creëren van onvoldoende randvoorwaarden voor doeltreffendheid.
Maar ook kenmerken van de organisatie, zoals de (kwaliteit van de) personele
bezetting vallen hieronder.
Het is ook mogelijk dat externe factoren, die buiten de invloedssfeer van het
Rijk of derden liggen en moeilijk door de organisatie te beïnvloeden zijn, de
oorzaak vormen van achterblijvende prestaties en effecten of
ondoelmatigheden. Voorbeelden van externe factoren zijn: onvoldoende steun
voor het gevoerde beleid, bestuurlijke complexiteit (denk aan het complexe
gebouw van de sociale zekerheid, functioneel en territoriaal gedecentraliseerd
beleid, marktwerking en privatisering), onvoldoende mogelijkheden tot effect-
vergroting, andere (beleids)ontwikkelingen die het mogelijke positieve effect
van het gevoerde beleid tenietdoen, en conjuncturele ontwikkelingen.
Om het brede palet aan mogelijke verklaringen te schetsen gebruiken we
een matrix. Op de verticale as wordt een onderscheid gemaakt naar de
beïnvloedingsmogelijkheden van het rijk. Eigenlijk gaat het hier om het
vraagstuk van de ministeriële verantwoordelijkheid. Op de horizontale as
wordt een onderscheid gemaakt tussen verklaringen voor achterblijvende
prestaties en voor achterblijvende effecten. Die prestaties hebben we
ruim opgevat. Voor de burger maakt het immers niet uit of een minister
zijn werk niet goed doet of een uitvoerende instantie.
Handleiding DDO
20Tabel 3.1: De verklaringenmatrix
Verklaringen voor achterblijvende
prestaties van het Rijk en daarmee
verbonden organen én lokale
overheden (in medebewind)
Verklaringen voor
achterblijvende
maatschappelijke effecten
Binnen directe
beïnvloedings-
sfeer minister
ORGANISATIE EN UITVOERING VAN
BELEID
• Mismatch tussen prestatiedoelen, tijd,
mensen en middelen (overambitieus)
• Doelen te weinig sturend
• Doelen niet SMART-C
• Overproductie van beleid
• Strijdig beleid van andere ministeries
• Gebrekkig wetgevend kader
• Gebrekkige handhaving
• Bedrijfsvoeringsproblemen:
onvoldoende financieel en
materieelbeheer, ontoereikende ICT,
onrechtmatigheden
• Onduidelijke taken en bevoegdheden
• Discongruente gebiedsindelingen
KWALITEIT VAN BELEID
• Gebrekkige beleidstheorie
(instrumentkeuze is
ontoereikend of geen
rekening gehouden met
neveneffecten)
• Onvoldoende adaptief
vermogen om in te spelen op
veranderende
omstandigheden
• Achterblijvende prestaties
van het Rijk
Buiten directe
beïnvloedingssf
eer minister
BETROKKENHEID VAN EN UITVOERING
DOOR DERDEN
• Ontbreken van draagvlak bij
stakeholders (deels binnen en deels
buiten de beïnvloedingssfeer – moet
per geval worden beoordeeld)
• Strijdig beleid van EU, provincies en
gemeenten
• Uitvoerders die wel willen, maar niet
kunnen
OVERMACHTSITUATIES
• Ingrijpende gebeurtenissen
zoals oorlog, ongelukken en
natuurrampen
• Economische, demografische
of klimatologische
ontwikkelingen
• Strijdig beleid van EU,
provincies en gemeenten
De vier categorieën in de matrix sluiten elkaar niet volledig uit. Er blijft
sprake van een grijs gebied, bijvoorbeeld rondom het begrip draagvlak (is
de minister daarvoor verantwoordelijk, of liggen de belangen van diverse
betrokkenen zover uit elkaar dat het niet realistisch is om te stellen dat
de minister direct invloed op uit kan oefenen). Impliciet blijft dat niet
geleverde prestaties ook een verklaring kunnen zijn voor het niet
bereiken van effecten.
Handleiding DDO
21
3.4 Reikwijdte en methode van het onderzoek
Op basis van een aantal overwegingen (inhoudelijk, strategisch,
beheersmatig) zal het team een keuze moeten maken voor een bepaalde
onderzoeksvariant. Deze paragraaf behandelt enkele aspecten die hierbij
een rol kunnen spelen.
3.4.1 Welke stappen moet je in het onderzoek zetten?
De doelen van het beleid zijn het startpunt voor het doen van onderzoek:
wat wil de minister bereiken (beoogde prestaties en effecten) en is het
beleidsdoel SMART-C18 geformuleerd? Vervolgens is het van belang om
inzicht te krijgen in de gerealiseerde prestaties en effecten, bij voorkeur
aan de hand van al (bij het ministerie) beschikbare gegevens.
Niet altijd zullen de bij het ministerie aanwezige gegevens
(beleidsinformatie) bruikbaar zijn voor uitspraken over prestaties en
effecten. In dat geval komt de vraag aan de orde of de Algemene
Rekenkamer zelf gegevens gaat verzamelen. Hierbij moet wel worden
overwogen dat het verzamelen en vervolgens analyseren van gegevens
over prestaties en effecten erg tijdsintensief kan zijn. De inzet van veel
onderzoekscapaciteit moet in de fase van het onderzoeksvoorstel door het
team en vervolgens door het management en/of het College worden
afgewogen tegen het belang van het onderzoek (bijvoorbeeld de toe-
gevoegde waarde ervan).
Het kan ook voldoende zijn om, op basis van hetgeen in de fase van het
onderzoeksvoorstel is geconstateerd, de minister aan te sporen om te
zorgen voor een verbetering van de beleidsinformatie en het onderzoek
daarop te richten.
Als er wel informatie kan worden verzameld en deze is bruikbaar, dat wil
zeggen van voldoende kwaliteit, dan kun je aan de hand daarvan een
uitspraak doen over bijvoorbeeld de door het Rijk of derden gerealiseerde
prestaties en/of effecten.
18 Zie hoofdstuk 5.
Handleiding DDO
223.4.2 Hoe kies je een onderzoeksvariant?
Voor onderzoek naar prestaties en effecten moet je kiezen tussen de vier
onderscheiden onderzoeksvarianten (doelrealisatie, doelgroepbereik,
doeltreffendheid, doelmatigheid).
Welke van de vier onderzoeksvariant(en) je vervolgens moet / kunt
kiezen hangt af van onder meer de volgende factoren:
• de politieke context;
• de kwaliteit van de te onderzoeken doelstelling;
• de beschikbaarheid van onderzoeksmateriaal / beleidsinformatie;
• de complexiteit van het veld c.q. de lengte van de beleidsketen;
• het karakter van het onderzoek (opduwend of niet?);
• de beschikbaarheid van onderzoekscapaciteit (kwantitatief en
kwalitatief).
Wanneer beperk je je tot doelrealisatie?
Onderzoek naar de vraag of gestelde doelen werkelijkheid zijn geworden
kan vooral belangrijk zijn als hierover onduidelijkheid of
schijnduidelijkheid heerst en als dit verbonden is met discussies over
uitgevoerd of uit te voeren beleid. Is de criminaliteit in een bepaalde
periode toegenomen of afgenomen? Was de lucht anno 2004 schoner of
vuiler dan in 2000? Zijn er in 2003 meer of minder jongeren zonder
diploma van school gegaan dan in 2002?
Behalve op zo’n breed maatschappelijk niveau kan de vraag naar
doelrealisatie ook belangrijk zijn als het ‘alleen maar’ gaat om geleverde
diensten of producten (prestaties). De politieke context kan het zinvol
maken om na te gaan hoeveel kilometer dijk er in een bepaalde periode is
geïnspecteerd, hoeveel uren onderwijs er is gegeven, hoeveel uren de
politie heeft gesurveilleerd of hoeveel WAO-uitkeringen er zijn verstrekt.
Meer dan eens blijkt het antwoord op deze ogenschijnlijk eenvoudige
vragen helemaal niet eenvoudig te vinden, terwijl beleidsmakers en/of
volksvertegenwoordigers wél van bepaalde aannamen uitgaan.
Als de benodigde gegevens niet in een nette, bewerkte vorm in de
beleidsinformatie zijn te vinden is dat op zichzelf al een bevinding. Om
verder te gaan, kun je proberen een samenhangend beeld uit
verschillende deelbestanden, archieven en bestaande onderzoeken te
construeren (zie § 4.3.2.1).
Als ook dat niet kan en de Algemene Rekenkamer wil de conclusies
desondanks niet beperken tot de gebrekkigheid van de informatie, zul je
zelf gegevens moeten verzamelen. Voor dit type vragen heb je doorgaans
Handleiding DDO
23relatief grootschalige informatie nodig, zeker als het om het niveau van
de maatschappelijke veranderingen gaat. Het survey leent zich daar goed
voor (zie § 4.3.2.2).
Als je je beperkt tot de vraag of de beoogde doelen zijn gerealiseerd, kun
je natuurlijk niets zeggen over de mate waarin het beleid hieraan heeft
bijgedragen. Die vraag zal bij de lezers van je rapport heel vaak wel
opkomen en het is niet eenvoudig te voorkomen dat ze uit zo’n onderzoek
méér willen halen dan erin zit. Het is vaak dan ook de moeite waard om
na te denken – zeker als je toch al zelf gegevens aan het verzamelen
bent – of je niet verder kunt gaan in de richting van doeltreffendheids- of
doelmatigheidsonderzoek.
Wanneer beperk je je tot doelgroepbereik?
Ook voor onderzoek naar doelgroepbereik geldt: dit is vooral belangrijk
als er gerede twijfel is of belangrijke voorlichtingscampagnes of
regelingen eigenlijk wel bekend zijn bij de doelgroep. Als dat wel zo is,
weet je nog steeds niet of ze werken. Maar als het niet zo is, mag je het
tegendeel gerust aannemen.
Mocht je, anders dan verwacht, vaststellen dat de doelgroep wél in
voldoende mate wordt bereikt dan is eigenlijk hernieuwd overleg nodig: is
ons dit voldoende resultaat, of willen we verder kijken naar de effecten in
termen van veranderingen in kennis, houding, en gedrag?
Voor het pure doelgroepbereik zul je vaak met survey-methoden moeten
werken. Als je verder wilt gaan en ook effecten wilt vaststellen, moet je
doeltreffendheidsonderzoek doen. Zoals hieronder nog aan de orde komt,
is het in dit soort gevallen nodig (maar ook lastig) om vergelijkbare
gegevens te krijgen over de situatie voor én na (of met en zonder) de
campagne.
Wanneer doe je doeltreffendheidsonderzoek?
Doeltreffendheidsonderzoek dat verder gaat dan het bewerken van
bestaande beleidsinformatie doet de Algemene Rekenkamer alleen zelf:
• als dit niet op basis van bestaande beleidsinformatie is te
beantwoorden;
• als het niet te verwachten valt dat het betreffende ministerie of
anderen hier op afzienbare termijn gedegen onderzoek naar (laten)
doen;
• als het van groot maatschappelijk en/of financieel belang is om te
weten of het betreffende beleid tot resultaten leidt; en
• als de Algemene Rekenkamer in staat is om het benodigde onderzoek
uit te voeren.
Handleiding DDO
24
Dit alles moet je uiteraard nagaan als je het onderzoeksvoorstel schrijft.
In doeltreffendheidsonderzoek moet je altijd op twee vragen antwoord
geven:
• Zijn de met het beleid beoogde effecten daadwerkelijk gerealiseerd?
(Dit is dezelfde vraag die we zojuist hebben behandeld bij
doelrealisatie);
• Is het aan het beleid te danken dat de doelen bereikt zijn, of juist
niet bereikt zijn?
Om op deze beide vragen te kunnen antwoorden, moet je aan gegevens
komen over de door het beleid te beïnvloeden situatie of gedragingen,
liefst op verschillende tijdstippen (bijvoorbeeld het volgen van scholing
door jongeren vóór en een tijdje na de introductie van stimulerend
beleid), een solide beeld construeren van andere factoren die op deze
zelfde situatie inwerken (bijvoorbeeld de toestand van de arbeidsmarkt)
en een manier vinden om de invloed van het beleid te onderscheiden van
de andere factoren.
Het maken van vergelijkingen tussen verschillende tijdstippen (voor en na
nieuw beleid) en/of verschillende groepen (die meer en minder met het
beleid in aanraking zijn gekomen) is bij de beantwoording van
bovenstaande vragen essentieel. In § 7.4 komen we hier uitgebreider op
terug.
De beste manier van vergelijken is de experimentele opzet, waarin je
zowel tussen diverse tijdstippen als tussen diverse, gelijksoortige groepen
vergelijkt (zie § 4.3.2.2).
In de praktijk is dit vaak niet haalbaar en zul je veelal moeten terugvallen
op minder fraaie oplossingen, zoals een meting op één tijdstip en
vergelijking met ander materiaal over de voorgaande situatie. Je loopt
dan het risico dat vroeger gemaakte keuzen in vraagstelling en selectie
van ondervraagden niet zo gelukkig zijn voor jouw probleemstelling.
Ook is het mogelijk om mensen te bevragen over de situatie voor de
introductie van het nieuwe beleid. Dan heb je natuurlijk met het risico te
maken, dat het geheugen niet altijd betrouwbaar is en mensen
sociaalwenselijke antwoorden geven.
Een standaardoplossing is er niet. Wel zijn er diverse manieren om de
risico’s in te perken. Die komen steeds neer op het motto: weet wat je
vergelijkt. Let dus goed op de samenstelling van de onderzochte groepen,
zoek naar methoden om belangrijke verschillen te corrigeren. Vraag
Handleiding DDO
25advies bij het informatiepunt DDO van bureau Erdmo over de manier
waarop je zo’n onderzoek aanpakt.
Om erachter te komen, in hoeverre veranderingen echt aan het beleid zijn
te danken en niet aan andere factoren kun je verschillende benaderingen
volgen, die elkaar soms aanvullen. Ten eerste kun je het onderzoek zo
opzetten dat je de kans op andere factoren beperkt tot een berekenbare
kans. Dat doe je door twee groepen te vergelijken die volgens toeval
worden samengesteld uit een grotere groep (bijvoorbeeld door voor
iedereen kop of munt te gooien). De ene groep wordt vervolgens wel aan
het beleid ‘blootgesteld’, de andere niet. Dit is een echt experimentele
opzet. Quasi-experimenten en natuurlijke experimenten kunnen we zien
als een tweede benadering. Deze wijken af van de zuivere experimenten
doordat de toewijzing van respondenten aan de experimentele en de
controlegroep niet at random gebeurt. Deze varianten hebben als
voordeel dat ze kunnen worden onderzocht aansluitend op de
beleidspraktijk. Hierdoor kan op relatief goedkope wijze informatie over
de effecten van beleid worden verzameld.19 Een derde benadering is: zo
goed mogelijk nadenken, ook door zoveel mogelijk onderzoeksrapporten
te lezen, over andere factoren die van invloed zouden kunnen zijn en
systematisch nagaan of die een rol spelen. Een voorbeeld van zo’n
systematische redeneerwijze vind je in bijlage 6. Omdat een echt
experimentele opzet bij onderzoek achteraf niet meer mogelijk is, zul je
in de praktijk heel veel moeten werken volgens de tweede aanpak (quasi-
experimenten en natuurlijke experimenten).
Wanneer doe je doelmatigheidsonderzoek?
Voor de beslissing om zelf doelmatigheidsonderzoek uit te voeren gelden
dezelfde soort voorwaarden als voor doeltreffendheidsonderzoek. De
Algemene Rekenkamer verricht alleen doelmatigheidsonderzoek:
• als een bepaalde vraag rond mogelijke doelmatigheidswinst van groot
belang is;
• als er terzake onvoldoende informatie over doelmatigheid beschikbaar
is;
• als niemand anders daar op korte termijn voor gaat zorgen; en
• als de Algemene Rekenkamer daar wel voor kan zorgen.
Doelmatigheidsonderzoek gaat nog een stap verder dan
doeltreffendheidsonderzoek. Je kijkt niet alleen welke effecten dankzij het
beleid worden bereikt of welke prestaties voor het beleid zijn
19 Meer informatie over dergelijke experimenten is bijvoorbeeld te vinden in het CPB-rapport
Lerend beleid: het versterken van beleid experimenteren en evalueren (2004).
Handleiding DDO
26gerealiseerd, maar legt ook de relatie met de middelen die daarvoor zijn
ingezet.
Ook hier staat vergelijken centraal in de onderzoeksaanpak, want
doelmatigheid is op twee manieren een relatief begrip. Ten eerste gaat
het om de onderlinge relatie tussen de middelen, de aantallen prestaties
of effecten en de kwaliteit daarvan. Om doelmatigheidsinformatie te
genereren moeten al deze bouwstenen aan elkaar worden gerelateerd.
Ten tweede kan doelmatigheid alleen worden bepaald in relatie tot een
referentiepunt, een organisatie is (on)doelmatiger ten opzichte van een
andere organisatie of het verleden.
Zoals uitvoerig in hoofdstuk 8 aan de orde komt, kun je dit soort
onderzoek soms op basis van kengetallen doen. Maar er zijn ook
ingewikkelder econometrische technieken. Een lastige voorwaarde daarbij
is, dat je minimaal ongeveer vijftig vergelijkbare waarnemingen nodig
hebt.
3.4.3 Wie spreek je aan?
Een belangrijk uitgangspunt bij het DDO is de reikwijdte van de
verantwoordelijkheid van de minister. In het geval van (territoriaal of
functioneel) gedecentraliseerd beleid is de minister niet (volledig)
verantwoordelijk voor de resultaten van het beleid. In dergelijke gevallen
wordt gesproken van indirecte verantwoordelijkheid.
Van indirecte verantwoordelijkheid wordt volgens het ministerie van
Financiën gesproken wanneer een bewindspersoon uitsluitend een
voorwaardenscheppende verantwoordelijkheid heeft voor de te behalen
resultaten, en de directe verantwoordelijkheid voor resultaten bij andere
actoren is gelegd. Wanneer – bijvoorbeeld in het beleidsartikel in de
begroting – niet expliciet is aangegeven dat de minister niet
verantwoordelijk is voor alle te behalen beleidsresultaten, wordt de
minister geacht zowel direct als indirect verantwoordelijk te zijn.
Een indirecte verantwoordelijke minister blijft niettemin te allen tijde een
‘toetsende’ medeverantwoordelijkheid houden voor de resultaten, zoals in
de algemene beleidsdoelstelling beoogd, die door het systeem worden
voortgebracht. Hoe het beleidsprobleem zich ontwikkelt en hoe de
resultaten zich ontwikkelen, is onderwerp van monitoring, evaluatie-
onderzoek en eventuele bijsturing via (bestuurlijk) overleg.
Handleiding DDO
273.4.4 Hoe ga je om met gedecentraliseerd beleid?
De Algemene Rekenkamer wil komen tot een beoordeling van de
prestaties en effecten op rijksniveau. Om te komen tot een dergelijke
beoordeling kan het nuttig en nodig zijn de totstandkoming van prestaties
en effecten op decentraal niveau te onderzoeken. Daar kunnen oorzaken
liggen voor bijvoorbeeld onvolledige of slechte uitvoering van het beleid.
De boodschap wordt aan de minister gericht. De minister zal ervoor
moeten zorgen dat decentrale overheden bepaalde prestaties leveren of
effecten bereiken. Doet de minister voldoende om dat te bewerkstelligen?
Wat de Algemene Rekenkamer dan in feite doet is de minister inzicht
bieden in een toestand in het decentrale veld. Zij biedt de minister
relevante beleidsinformatie aan over een onderdeel van de totale
beleidsketen. Op grond daarvan kan zij de minister aanbevelen in het
kader van zijn/haar indirecte verantwoordelijkheid decentrale actoren
ertoe te bewegen verbeteracties te ondernemen.
De voor achterblijvende effecten gevonden verklaringen op rijksniveau,
zoals niet-effectieve rijksprestaties, leiden tot oordelen in de richting van
de minister; dit past in de rol van de Algemene Rekenkamer om het
functioneren van het Rijk (en RWT’s) te beoordelen.
De gevonden verklaringen op decentraal niveau kunnen leiden tot
aanbevelingen aan de minister om zijn/haar beleid te richten op het
wegnemen van de belemmeringen.
3.4.5 Hoe onderzoek je prestaties en effecten van derden?
Om de prestaties van (territoriaal) gedecentraliseerd beleid en de
effecten daarvan te onderzoeken kan het van belang zijn dat de
Algemene Rekenkamer zelf informatie verzamelt bij deze decentrale
actoren. De volgende lijn wordt daarbij gevolgd:
• Als sprake is van gedecentraliseerde uitvoering van beleid moet je
eerst vaststellen waarvoor de minister precies verantwoordelijk is.
Het onderzoek dient aan te sluiten bij de verantwoordelijkheid van de
minister. Vervolgens moet je vaststellen wat de minister heeft gedaan
(dat wil zeggen welke prestaties hij/zij heeft geleverd) om ervoor te
zorgen dat het beleid op decentraal niveau goed kan worden
uitgevoerd. Daarbij ga je tevens na of de minister voldoende
beleidsinformatie heeft verzameld over deze ‘rijksprestaties’;
• Als beleid (functioneel of territoriaal) gedecentraliseerd wordt
uitgevoerd, ga je na in hoeverre de minister beschikt over
deugdelijke informatie over de voortgang van de uitvoering van het
Handleiding DDO
28beleid (dus ook over prestaties en effecten). Indien de minister niet
beschikt over dergelijke informatie, kan de Algemene Rekenkamer
besluiten zélf die informatie te gaan verzamelen om op die manier
onderbouwde conclusies te kunnen trekken over de mate waarin de
prestaties/effecten van derden worden behaald c.q. of het beleid
effectief is. Voorbeelden van onderzoek waarbij dat gedaan is, zijn:
Preventie en bestrijding jeugdcriminaliteit, Voorbereiding
rampenbestrijding en Begeleiding en herplaatsing van voortijdige
schoolverlaters;
• Een verklaring voor het niet realiseren van prestaties door
bijvoorbeeld gemeenten en van effecten in de maatschappij kan zijn
dat het beleid van het Rijk (‘de rijksprestatie’) geen effect heeft
gehad bij lagere overheden. Bij onderzoek naar verklaringen voor het
niet (voldoende) realiseren van prestaties en effecten zal vooral ook
naar deze mogelijke verklaringsgrond moeten worden gekeken. Met
het onderzoek wordt immers primair de minister aangesproken.
Voor het onderzoeken van prestaties van lagere overheden zijn we
aangewezen op vrijwillige medewerking van deze overheden, aangezien
de Algemene Rekenkamer er geen controlebevoegdheid heeft. Deze
medewerking verloopt tot nu toe nagenoeg probleemloos. Dit komt
doordat teams de anonimiteit van individuele actoren garanderen
(bijvoorbeeld bij de onderzoeken Grotestedenbeleid, Begeleiding en
herplaatsing van voortijdig schoolverlaters en Voorbereiding
rampenbestrijding).
Als we steeds vaker een beroep doen op decentrale actoren kan de
vrijwillige medewerking wel de tocht komen te staan Het is dan ook
belangrijk om aan de mogelijkheid te denken om samen te werken met
lokale rekenkamers, zorgvuldig te zijn bij het benaderen van actoren voor
medewerking en ervoor te zorgen dat afspraken over anonimiteit niet
worden geschonden.
Meer in het algemeen geldt: wanneer in onderzoek de prestaties van
decentrale actoren worden bekeken, zou dat gericht moeten zijn op het
vellen van een oordeel over de minister. Hiervoor is inzicht nodig in de
relatieve bijdrage van het Rijk aan de geleverde prestaties door
decentrale actoren.
Andere zaken waar de minister op aangesproken kan worden zijn:
• de kwaliteit van de informatie die hij/zij heeft over de realisatie van
de gestelde doelen (inclusief de informatie die van de decentrale
actoren komt of zou moeten komen);
Handleiding DDO
29• de mate waarin hij/zij de decentrale actoren, gegeven de doelen,
aanspoort om bepaalde prestaties te leveren;
• meer algemeen: de mate waarin hij/zij een systeem bouwt om te
zorgen dat de prestaties en effecten geleverd kunnen worden (het
scheppen van voorwaarden) en dat daarover informatie wordt
verzameld.
Handleiding DDO
304 Aanpak onderzoek
4.1 Inleiding
In § 4.2 bespreken we kort de formulering van doel- en probleemstelling.
Een goede formulering van doel- en probleemstelling is van groot belang
voor het welslagen van een onderzoek. Afhankelijk van de
probleemstelling en de gekozen onderzoeksvariant (onderzoek naar
doelrealisatie, doelgroep, doeltreffendheid of doelmatigheid) kun je
verschillende methoden gebruiken om uitspraken te doen over de al dan
niet gerealiseerde prestaties en effecten en verklaringen daarvoor. De
verschillende methoden van explorerend tot toetsend. De verschillende
methoden worden besproken in § 4.3. In § 4.4, ten slotte, komen we
terug op de verklaringenmatrix uit § 3.3. Hier geven we aan welke
onderzoeksmethoden meer of minder geschikt zijn voor welk type
verklaringen20.
4.2 Doel-, probleem- en vraagstelling
De probleemstelling is mede bepalend voor de opzet en bevindingen van
een onderzoek. Een belangrijk onderdeel dus, dat de nodige aandacht
verdient. De praktijk leert echter dat veel onderzoekers niet de moeite
nemen om een goede probleem- en doelstelling te formuleren. Het is
waarschijnlijk een van de meest verwaarloosde aspecten van het
onderzoek doen.
Het ontbreken van een goede probleem- en doelstelling vormt een van de
belangrijkste oorzaken van problemen in het onderzoeksproces. Zo
ontstaat vertraging vaak doordat onderzoekers bij het ontbreken van een
goed afgebakende probleemstelling de neiging hebben steeds meer
onderwerpen in hun onderzoek te betrekken en als het ware ‘alles’ willen
onderzoeken.
20 De tekst van dit hoofdstuk is deels ontleend aan het materiaal van de cursus Methoden en
technieken
Handleiding DDO
314.2.1 Doelstelling
De doelstelling van een onderzoek geeft aan wat de onderzoeker met een
onderzoek wil bereiken. Het gaat hier dus om de vraag waarom het
onderzoek gedaan wordt. Voor Rekenkameronderzoek geldt in het
algemeen dat met de doelstelling wordt aangegeven welk
(maatschappelijk) effect men wil bereiken met het onderzoek. Vaak gaat
het daarbij dan in eerste instantie om het bewerkstelligen van een
bepaalde actie van de verantwoordelijke bewindspersoon en/of de
betrokken instelling. We spreken in dat geval van een ‘handelings-
gerichte’ doelstelling.
Voorbeelden van gangbare doelstellingen voor Rekenkameronderzoek zijn
‘het bevorderen van de kwaliteit van het financieel beheer bij een RWT’ of
‘het leveren van een bijdrage aan de verbetering van de efficiency van
een bepaalde dienst’.
4.2.2 Probleemstelling
De probleemstelling is de vraag waarop door middel van het onderzoek
een antwoord gezocht wordt. De probleemstelling geeft op hoofdlijnen
aan wat er onderzocht gaat worden. Het te onderzoeken probleem wordt
in vraagvorm geformuleerd, bijvoorbeeld: faciliteert het beleid de lokale
beleidsuitvoerders voldoende om de gewenste resultaten te boeken, is
het beleid toereikend om gesignaleerde problemen op te lossen en welke
knelpunten doen zich daarbij voor? (Algemene Rekenkamer 2003b). De
probleemstelling is dus ‘kennisgericht’.
De probleemstelling heeft de functie de complexiteit van een
onderzoeksterrein beheersbaar te maken door een afbakening te maken
die hanteerbaar is, maar die tegelijkertijd ook weer niet te veel
simplificeert. De probleemstelling stuurt daarmee de onderzoeker tijdens
de uitvoering van het onderzoek.
De probleemstelling kan niet los worden gezien van de doelstelling van
het onderzoek. Het antwoord op de vraag of vragen waaruit de probleem-
stelling is opgebouwd moet (samen met de daaruit voortvloeiende
aanbevelingen) een bijdrage leveren aan de realisatie van de doelstelling.
De koppeling met de doelstelling is meer dan een verplicht nummer en
verdient serieuze aandacht. Als een onderzoek de pretentie heeft een
bijdrage te leveren aan de doelmatigheid van een bepaald beleid, moeten
de probleemstelling en de onderzoeksopzet daarop toegesneden zijn.
Handleiding DDO
32Uiteraard dient er ook een inhoudelijke verband te bestaan tussen
doelstelling en probleemstelling: beide moeten betrekking hebben op
hetzelfde onderwerp. De ervaring leert dat zelfs tegen deze
vanzelfsprekende voorwaarde wordt gezondigd.
4.2.3 Onderzoeksvragen
Onderzoeksvragen zijn een uitwerking van de probleemstelling en hebben
daarmee dus een logische relatie. In samenhang horen de
onderzoeksvragen een antwoord te geven op de probleemstelling.
Een goede uitwerking in onderzoeksvragen voorkomt dat het onderzoek
ruimer wordt dan de probleemstelling. Het is verleidelijk om bij de
onderzoeksvragen nog wat extra interessante vragen op te nemen, omdat
die mogelijk ‘wat belangrijks’ opleveren. Als echter de probleemstelling
omvat wat van belang is, zijn dat soort ‘stiekeme’ verruimingen niet
nodig.
Onderzoeksvragen hoeven niet allemaal van hetzelfde type te zijn als de
probleemstelling. Voor het beantwoorden van een causale
probleemstelling zijn beschrijvende vragen en vragen naar samenhang
tussen variabelen noodzakelijk.
Enkele tips voor het opstellen van onderzoeksvragen:
• Breng structuur aan in de onderzoeksvragen, bijvoorbeeld door in
elke vraag slechts één onderdeel van het probleem aan te pakken. Elk
onderdeel kan dan apart worden onderzocht en in samenhang met de
andere onderdelen bijdragen aan de oplossing van de
probleemstelling.
• Controleer of alle onderzoeksvragen samen tot totale beantwoording
van de probleemstelling kunnen leiden.
• Stel niet te veel onderzoeksvragen. Een probleemstelling is meestal
met twee tot zes vragen af te dekken. Als er meer rijzen stel jezelf
dan de vraag of de onderzoeksvragen niet verder gaan dan de
probleemstelling beoogt, dan wel of de probleemstelling niet te breed
is en een te uitgebreid onderzoek vergt.
• Formuleer onderzoeksvragen niet te gedetailleerd. Let op of twee
vragen in werkelijkheid wellicht als één vraag te beschouwen zijn.
4.2.4 Hypothesen
Onderzoeksvragen kunnen vervolgens worden vertaald in (toetsbare)
hypothesen. Uitgangspunt daarbij is dat gekozen wordt tussen een
nulhypothese (H0) en een alternatieve hypothese (H1). Beide volgen uit
Handleiding DDO
33een vermoeden over het optreden van een verschijnsel binnen de totale
populatie. Bij de keuze van H0 en H1 is het gebruikelijk dat H0 de
ontkenning van het vermoeden vormt en dat H1 overeenkomt met het
vermoeden.
Ter verduidelijking een voorbeeld dat is gebaseerd op het vermoeden dat
de gemiddelde wachttijd voor een loket op maandag verschilt van de
wachttijd op andere werkdagen. Als H0 kiest men dan de ontkenning van
dit vermoeden (‘De gemiddelde wachttijd op maandagen verschilt niet
van die op andere werkdagen’). Als H1 kiest men het vermoeden zelf (‘De
gemiddelde wachttijd op maandagen verschilt van de gemiddelde
wachttijd op andere werkdagen’).
Merk op dat de hypothesen geen uitspraken bevatten over de richting van
het verschil. Indien men vermoedt dat de gemiddelde wachttijd op
maandagen langer is dan op andere werkdagen, dan dient dat ook tot de
uitdrukking te komen in H0 en H1. H0 zou dan als volgt kunnen luiden:
‘De gemiddelde wachttijd op maandag is hoogstens even lang als op
andere werkdagen’. Voor H1 kiest men dan ‘De gemiddelde wachttijd is
op maandagen langer dan op andere werkdagen’.
4.2.5 Overige preciseringen van het te onderzoeken veld
Er zijn nog enkele preciseringen nodig om goed duidelijk te maken wat je
gaat onderzoeken. Het betreft:
1. een definitie van de gehanteerde begrippen;
2. de analyse-eenheden;
3. de variabelen;
4. de verdere afbakening van het onderzoeksterrein (geografisch en
in de tijd);
5. het type uitspraken waartoe het onderzoek zal leiden;
6. de gehanteerde hoofdnormen.
Je moet per geval afwegen welke hiervan je direct combineert met je
probleemstelling, onderzoeksvragen en hypothesen en welke je in een
afzonderlijke paragraaf onderbrengt.
4.3 Onderzoeksmethoden
In onderstaande paragrafen bespreken we de verschillende
onderzoeksmethoden al naar gelang ze meer explorerend (§ 4.3.2.1) dan
wel toetsend (§ 4.3.2.2) zijn en methoden die voor zowel exploreren als
toetsen geschikt zijn (§ 4.3.2.3). Daarvoor gaan we in op twee zaken die
van belang zijn voor de keuze voor een bepaalde onderzoeksmethode:
causaliteitsvoorwaarden en meetniveaus.
Handleiding DDO
344.3.1 Keuze van onderzoeksmethode
4.3.1.1 Causaliteitsvoorwaarden
Causaliteitsvoorwaarden zijn van belang als je onderzoek wilt doen naar
de doeltreffendheid van beleid. Er zijn drie causaliteitsvoorwaarden
waaraan moet worden voldaan wil je doeltreffendheidsonderzoek doen
(Swanborn 1987, p.294-295):
1. de aanwezigheid van een statistisch verband;
2. de tijdsvolgorde (de verklarende factor moet voorafgaan aan de te
verklaren factor);
3. afwezigheid van andere oorzaken.
Is er een statistisch verband?
De eerste voorwaarde laat zich goed onderzoeken. Statistische
samenhang kan op diverse manieren worden onderzocht. We sommen
hieronder een drietal mogelijkheden op.
• Vergelijking tussen groepen. Hierbij wordt het gemiddelde (of een
andere relevante grootheid) op de te verklaren variabele Y
(bijvoorbeeld het hebben van kennis over aids) van een groep die wel
is blootgesteld aan een instrument (bijvoorbeeld een voorlichtings-
spot over aids), vergeleken met het gemiddelde op Y van een groep
die er niet aan is blootgesteld. Als personen die de voorlichtingsspot
hebben gezien significant meer kennis hebben dan degenen die deze
niet hebben gezien, is er sprake van statistische samenhang tussen
voorlichting en kennis;
• Vergelijking binnen een groep. Hierbij wordt vergeleken hoe
eenzelfde groep voor en na de inzet van een instrument (bijvoorbeeld
voorlichting over aids) scoort op variabele Y (bijvoorbeeld kennis-
toename over aids);
• Vergelijking van scorereeksen op twee variabelen. Hierbij gaat het om
de berekening van de waarde die een correlatiemaat aanneemt
tussen variabele X (bijvoorbeeld de hoogte van een subsidie op een
goed) en Y (de aanschafgeneigdheid tot dat goed). Als de
correlatiecoëfficiënt tussen X een Y een hoge waarde aanneemt, is er
sprake van statistische samenhang tussen beide.
Gaat de verklarende factor vooraf aan wat hij verklaart?
De tweede voorwaarde is problematischer (helemaal in surveyonderzoek):
niet altijd is duidelijk of de verklarende factor X (bijvoorbeeld de omvang
van wapenaankopen in een bepaalde regio) inderdaad voorafgaat aan de
te verklaren factor Y (bijvoorbeeld de frequentie van gewapende conflic-
ten aldaar). Zonder precieze informatie over tijdstippen kan een verband
Handleiding DDO
35tussen zulke factoren in beide richtingen lopen. Dat probleem heb je niet
als je verklarende factoren neemt die nooit blootstaan aan sociale
invloeden, zoals leeftijd of geslacht. Maar meestal draait
beleidsonderzoek daar niet om, in elk geval niet uitsluitend. Dan moet je
dus met logische argumenten aannemelijk maken dat de invloed van X
naar Y loopt en niet andersom.
Zijn er geen andere oorzaken?
De derde voorwaarde, dat er geen andere oorzaken mogen zijn van de
gevonden samenhang, kan ook problemen opleveren. Zo kan een
geconstateerde samenhang tussen beleidsdoel Y (bijvoorbeeld de reductie
in het aantal verkeersongelukken waarbij alcohol in het spel is) en
instrument X (een op alcoholmatiging gerichte voorlichtingscampagne)
mogelijkerwijs ‘wegverklaard’ worden door de storende factor Z
(de introductie van alcoholvrij bier in dezelfde tijd dat de campagne liep).
Wellicht zou in zo’n geval het beleidsinstrument X aangepast moeten
worden; de voorlichtingscampagne zou bijvoorbeeld kunnen wijzen op de
mogelijkheid om alcoholvrij bier te drinken als je nog moet rijden.
Er kan ook een directere invloed in het spel zijn, bijvoorbeeld als auto- en
motorrijders alcoholhoudend bier laten staan dankzij het alcoholvrije bier.
Als deze contextfactor Z dus zowel instrument X als beleidsdoel Y
beïnvloedt, is er sprake van correlatie tussen de storingstermen van de
vergelijkingen (multi-collineariteit), waardoor niet zonder meer
uitspraken over het verband tussen X en Y kunnen worden gedaan.
Het analyseren van de score op Y binnen de diverse combinaties van X en
Z (wel/geen campagne gezien, wel/geen gebruik alcoholvrij bier) kan
meer licht op deze zaak werpen. Als uit de analyse blijkt dat binnen de
groep van gebruikers van alcoholvrij bier er toch nog een (negatieve)
relatie blijkt te bestaan tussen de mate van voorlichting en de mate van
betrokkenheid bij verkeersongevallen, dan betekent dat, dat het effect
van de campagne niet ‘wegverklaard’ kan worden door de introductie van
alcoholvrij bier (en omgekeerd).
X (voorlichtingscampagne) Y (reductie aantal verkeersongevallen)
Z (introductie alcoholvrij bier)
Handleiding DDO
36
4.3.1.2 Meetniveaus
De keuze voor een onderzoeksmethode wordt ook bepaald door het
meetniveau van de gebruikte variabelen. De te verklaren effecten,
prestaties en de bijbehorende verklarende factoren en controlefactoren21
moeten worden omgezet naar meetbare, empirische grootheden.
Sommige factoren zijn relatief eenvoudig te operationaliseren (‘inzet van
personeel’ = ‘aantal personeelsleden’), andere moeten indirect worden
gemeten.
Met name effecten zijn in de meeste gevallen niet direct te meten. In die
gevallen zal een benadering moeten worden gemaakt van de bereikte
effecten door middel van ‘indicatoren’. Een effectindicator voor
verkeersveiligheid is bijvoorbeeld de vermindering van het aantal
verkeersdoden. En het aantal ‘technostarters’ (hoog opgeleide startende
ondernemers die veel aan speur- en ontwikkelingswerk doen) kan
beschouwd worden als een indicator voor innovatief ondernemerschap.22
Dit soort effectindicatoren worden ook wel proxy-variabelen genoemd.
De gerealiseerde prestaties zijn vaak makkelijker te meten dan de
gerealiseerde effecten. Toch is het ook bij prestaties niet altijd mogelijk
om ze direct te meten. In deze gevallen zal ook de prestatie moeten
worden benaderd via een indicator of proxy-variabele.
Prestaties soms lastig te meten
Een lastig te meten prestatie is bijvoorbeeld het houden van toezicht (door diverse
inspecties). Vaak worden voor dergelijke gevallen afgeleide prestaties (proxies)
gedefinieerd zoals het aantal en de duur van de uitgevoerde inspectiebezoeken,
eventueel ook het aantal en de duur van de contacten per telefoon, email en brief en de
uitgebrachte onderzoeksrapporten op het gebied van toezicht.
Bij het meten worden getallen toegekend aan de geconstrueerde
variabelen. Er zijn daarbij vier meetniveaus: het nominale, het ordinale,
het interval- en het rationiveau. Deze meetniveaus zijn van belang voor
het gebruik van de variabelen in de beschrijvende en verklarende
analyses: het meetniveau bepaalt in sterke mate welke analyses (welke
onderzoeksmethode) je wel en niet kunt uitvoeren.
21 Controlefactoren: factoren waarvan een verband met de te verklaren factor wordt verwacht,
maar waarin men niet inhoudelijk geïnteresseerd is. Het negeren van dergelijke factoren verstoort
de analyse van de effecten waar men wel in geïnteresseerd is. 22 Algemene Rekenkamer (2002c).
Handleiding DDO
37De meetniveaus zijn:
• Nominaal niveau: als twee scores op een nominale variabele
verschillen, dan wil dat zeggen dat de ene score anders is dan de
andere score. Voorbeelden van nominale variabelen zijn sekse, type
doelgroep waarop een regeling is gericht (individuele burgers,
bedrijven, non-profitinstellingen, enzovoort). Er is dus enkel sprake
van een indeling in klassen van objecten. Ook al worden aan die
klassen cijfers/codes toegekend, met de getallen kan niet worden
gerekend;
• Ordinaal niveau: als twee scores op een ordinale variabele verschil-
len, dan wil dat zeggen dat de ene score meer is dan de andere. Een
voorbeeld van een ordinale variabele is de mening van
overheidsklanten over de mate van klantgerichtheid van de overheid.
Ook hier mag niet gerekend worden met cijfers, een hoger cijfer geeft
alleen maar aan, dat er sprake is van ‘meer’;
• Intervalniveau: als scores op een intervalvariabele verschillen, wil dat
zeggen dat het verschil (interval) tussen score a en b x maal zo groot
is als dat tussen y en z. Het verschil tussen een temperatuur van 40
graden Celsius en van 20 graden is bijvoorbeeld tweemaal zo groot
als het verschil tussen 15 en 5 graden. Maar bij 40 graden Celsius is
het niet 40 keer zo warm als bij 1 graad Celsius; en hoeveel keer zo
warm het is vergeleken met een temperatuur van –20 graden Celsius
valt al helemaal niet te zeggen (tenzij je het omrekent naar graden
Kelvin). Hier kan dus alleen met het verschil tussen de metingen
worden gerekend als met een gewoon getal;
• Rationiveau: als twee scores op een ratiovariabele verschillen, wil dat
zeggen dat de ene score x maal zoveel is als de andere. De
maandelijkse omzet van een bedrijf is bijvoorbeeld 5000 maal zo
hoog als de omzet van een kleinere concurrent. Kenmerkend verschil
met het intervalmeetniveau is dat hier sprake is van een absoluut
nulpunt, terwijl het bij het intervalmeetniveau gaat om een arbitrair
gekozen nulpunt. Hier kan dus met de meting zelf worden gerekend
als met een gewoon getal.
Een meting op ratio- of intervalniveau kan teruggebracht worden naar
een meting op ordinaal of nominaal niveau (overigens met verlies aan
‘informatie’), maar het omgekeerde is niet mogelijk.
Het streven is om ‘zo hoog mogelijk’ te meten, omdat een meting op een
hoger niveau meer ‘informatie’ bevat dan die op een lager niveau. Een
voorbeeld: wanneer je de snelheid waarmee proefpersonen een
voorlichtingsbrochure lezen vastlegt in pagina’s per minuut (rationiveau)
weet je veel meer dan wanneer je alleen maar turft in ‘snel, middelmatig
Handleiding DDO
38en langzaam’ (ordinaal niveau). Bij een hoger meetniveau zijn dan ook
meer analysetechnieken toe te passen dan bij een lager meetniveau.
4.3.2 Methoden23
4.3.2.1 Explorerende technieken
o Literatuuronderzoek en metaonderzoek
Literatuuronderzoek is van belang bij het verkrijgen van inzicht in een
onderwerp, bij het afbakenen van het onderzoeksonderwerp en bij het
formuleren en afbakenen van de onderzoeksvraag en is dus met name
bruikbaar in de opstartfase van een onderzoek (onderzoeksvoorstelfase,
verdiepte monitoring).
Hoewel literatuuronderzoek met name geschikt is voor het preciseren van
een onderzoeksvraag, is het van belang het literatuuronderzoek te
starten met een enigszins afgebakende zoekvraag, zowel inhoudelijk als
naar documenttype. Het is handig om een ‘startpublicatie’ te vinden
waarin het onderwerp, relevante auteurs en/of betrokkenen worden
behandeld. Let erop niet alles te gaan lezen wat je tegenkomt en ‘blind’
te gaan zoeken, maar maak gebruik van materie- en
literatuurdeskundigen en stel je zoekvraag (steeds) bij als dat nodig is.
Het literatuuronderzoek is een belangrijke en onmisbare schakel in het
formuleren van het onderzoeksobject en de relevante onderzoeksvragen.
Omdat geschreven bronnen per definitie een gedateerde subjectieve
weergave van gebeurtenissen, trends of objecten geven, is het van
belang literatuuronderzoek aan te vullen met andere vormen van
onderzoek.
Literatuuronderzoek wordt soms ook wel metaonderzoek genoemd. Deze
twee zijn echter niet altijd helemaal gelijk aan elkaar. Metaonderzoek kan
bestaan uit meta-evaluatie en evaluatiesynthese. Bij meta-evaluatie gaat
het om een evaluatie van al bestaande evaluaties en beantwoordt de
vragen: welke verschillen zijn er in de uitkomsten van de evaluaties en
hoe zijn deze verschillen te verklaren? Evaluatiesynthese daarentegen
probeert de uitkomsten van de verschillende evaluaties te aggregeren
(samen te vatten) en aan de hand daarvan een uitspraak te doen over
een bepaald onderwerp. Voordat je een evaluatiesynthese kunt uitvoeren,
moet je wel eerst een meta-evaluatie hebben uitgevoerd om zeker te zijn
van de kwaliteit van de gebruikte primaire onderzoeken.
23 Zie bijlage 2 voor meer informatie over survey als methode om data te verzamelen.
Handleiding DDO
39Primair doel: explorerend. Verkrijgen van inzicht in een onderwerp, bij het afbakenen van het
onderzoeksonderwerp en bij het formuleren en afbakenen van de onderzoeksvraag
Voor meer informatie: P.G Swanborn (1999). Evalueren. Meppel: Boom; Handleiding
metaonderzoek, Algemene Rekenkamer, 2003 (zie intranet, informatiepunt DDO)
o Focusgroepen
Onderzoek met focusgroepen stamt uit marktonderzoek uit de jaren
twintig. Het is een groepsinterview over een specifiek onderwerp. Het is
een open einde gesprek, dat wordt geleid door een onderzoeker. Het
aantal deelnemers varieert meestal tussen de 8 en de 12. Er kan zowel
met homogeen als met heterogeen samengestelde groepen worden
gewerkt. Beiden hebben specifieke voor- en nadelen. Het is ook mogelijk
met verschillende focusgroepen te werken. Vanzelfsprekend zijn er
methodologische haken en ogen verbonden aan het inzetten van
focusgroepen (groepsdynamica, verslaglegging, kwaliteit van facilitator).
Door de grote ervaring zijn er echter een groot aantal spelregels
ontwikkeld voor het succesvol werken met focusgroepen.
Primair doel: ideeën genereren voor mogelijke verklaringen, exploreren
Voor meer informatie: Colin Robson (2002). Real world research. Blackwell Publising.
P.G Swanborn (1999. Evalueren. Meppel: Boom.
http://www.evalsed.info/frame_downloads.asp
o Delphi-methode
De Delphi-methode is er op gericht om meningen van experts over
complexe problemen bijeen te brengen en tot consensus en helderheid
over resterende verschilpunten te komen. De deelnemers aan Delphi-
‘bijeenkomsten’ ontmoeten elkaar niet lijfelijk: zij beantwoorden
schriftelijk de vragen van de onderzoekers en lezen de (anonieme!)
samenvattingen daarvan terug, waarna een tweede – meestal laatste –
ronde vragen volgt.
Vaak wordt deze methode niet alleen gebruikt om vast te stellen welke
trends er op een bepaald gebied zijn, maar ook om tot consensus te
komen over de voorwaarden en acties die nodig zijn om te zorgen dat
bepaalde ontwikkelingen kunnen doorzetten, zoals de impact van
informatisering met toepassingen als telewerken en onderwijs op afstand.
Daarnaast wordt de Delphi-methode ook gebruikt om duidelijkheid te
krijgen over begrippen met een normatieve lading (bijvoorbeeld
milieukwaliteit en ruimtelijke kwaliteit), de achterliggende waarden en de
hiermee verbonden beleidsvisies. Altijd gaat het om een systematisch
proces van bevragen, data-analyse, terugkoppeling, discussie en
beslissen.
‘Kwalitatieve’ kenmerken van Delphi zijn onder andere dat er veel
aandacht wordt besteed aan het benoemen van de begrippen en
Handleiding DDO
40categorieën en dat men dan ook doorgaans eerst een uitvoerige fase van
probleemverkenning doorloopt. De bevragingen en de analyse daarvan
moeten echter ook voldoen aan de gebruikelijke criteria voor surveys en
hun analyse (zoals: vermijd sociaal wenselijke antwoordcategorieën; let
op goed gespreide respons; codeer zorgvuldig).
Een aantal jaren geleden heeft de Algemene Rekenkamer de Delphi-
methode uitgeprobeerd in een onderzoek uitgevoerd bij bureau VWS.24
Primair doel: kan zowel toetsend als explorerend worden gebruikt.
Voor meer informatie: M.C. Groenenberg (1998). Kwaliteit in beeld, een delphi-onderzoek naar
milieukwaliteit en ruimtelijke kwaliteit in het landelijk gebied. Nijmegen: Katholieke
Universiteit Nijmegen.
P.G. Swanborn (1999). Evalueren, het ontwerpen, begeleiden en evalueren van interventies:
een methodische basis voor evaluatieonderzoek. Meppel: Boom.
http://www.evalsed.info/frame_downloads.asp
o Casestudy
De casestudy is een onderzoeksontwerp waarmee diepgaand inzicht kan
worden verkregen in één of enkele in de tijd en/of ruimtelijk begrensde
objecten of processen. De casestudy wordt gekenmerkt door een klein
aantal onderzoekseenheden, een arbeidsintensieve benadering, een
voorkeur voor diepgang boven breedte van het onderzoek en een
beredeneerde, geïnformeerde keuze van de onderzoekseenheden. Een
belangrijke en veel gehanteerde methode binnen het casestudyonderzoek
is die van triangulatie: het gebruik maken van meerdere bronnen (half-
open interviews, literatuuranalyse, observaties, dossieronderzoek et
cetera), om zo tot betrouwbare en van elkaar onafhankelijke observaties
te komen. Daardoor wordt de kennis van het object vergroot.
In de beleidswetenschappen is de casestudy gangbaar geworden als
raamwerk voor het bestuderen van beleidsprocessen in relatie tot de
institutionele context van het beleid. In algemene kunnen twee typen
casestudy worden onderscheiden: de enkelvoudige en de vergelijkende
casestudy. In de enkelvoudige casestudy wordt een regeling, een land,
een groep als object van studie genomen. Het kan dan gaan om een
diepgaande bestudering van dat specifieke object, maar ook kan de
onderzoeker geïnteresseerd zijn in de case als een illustratie voor een
breder domein.
Een voorbeeld: onderzoek naar prestatiecontracten
Politiekorpsen werken sinds enige tijd met prestatiecontracten. Op een aantal terreinen dient
de politie specifieke, vaak gekwantificeerde doelen te behalen. Deze contracten zijn opgesteld
op basis van het Nationaal Politieconvenant en de uitwerkingen daarvan op het regionale
24 Verantwoorde cijfers in de zorg (2000).
Handleiding DDO
41niveau. De gedachte achter de contracten is dat er een behoefte bestaat aan een sterkere
verantwoording over het werk van de politie, maar ook dat het introduceren van prikkels
prestatieverhogend kan werken (aan het behalen van de in de contracten vastgestelde doelen
zijn financiële beloningen verbonden). Het achterliggende doel is het creëren, via een grotere
zichtbare aanwezigheid van politie, van een groter gevoel van maatschappelijke veiligheid.
Stel: de Algemene Rekenkamer wil onderzoek doen naar deze prestatiecontracten en is
geïnteresseerd in de vraag hoe ze uitwerken op het functioneren van regionale politiekorpsen.
In de vormgeving van een enkelvoudige casestudy kan dan gekozen worden voor een
zogenaamde critical of extreme case. In de eerste variant wordt gekozen voor een case (in dit
geval een bepaald regionaal korps) op grond waarvan we plausibele uitspraken kunnen doen
over het object in het geheel (Nederlandse politie). Voorbeeld: we kiezen het korps dat de
meeste ervaring heeft met het werken met prestatiecontracten. Als blijkt dat men hier tegen
problemen aanloopt die aan prestatiecontracten zijn gerelateerd, dan zegt dit vermoedelijk ook
iets over de korpsen die daar nog minder ervaring mee hebben. In de tweede variant wordt
een regionaal korps geselecteerd dat op een bepaalde manier zeer sterk afwijkt van de
overigen. Voorbeeld: de media berichten regelmatig over grote onvrede over deze
prestatiecontracten onder een bepaald korps. Een onderzoek langs deze lijnen opgezet
verschaft goed inzicht in de mogelijke problemen met prestatiecontracten, maar het is niet
mogelijk om iets over het functioneren van andere korpsen. Let op:
in beide gevallen hebben we dus een bepaalde mate van voorkennis nodig, die mogelijk kan
worden verkregen door middel van literatuuronderzoek of gesprekken met experts.
Primair doel: exploreren
Voor meer informatie: Flyvbjerg, B. (2000). Making social science matter: why social inquiry
fails and how it can succeed again. Cambridge: Cambridge University Press.
P. Verschuren (2003). Case study as a research strategy: some ambiguities and opportunities,
in: Journal of Research Methodology, vol. 6. no.2, 121-139.
P.G. Swanborn (1996). Case-study’s, Wat, wanneer en hoe? Meppel: Boom.
C. Robson (2002). Real World Research. Blackwell Publising.
R. K. Yin (2002). Case Study Research, Design and Methods, 3rd ed. Newbury Park: Sage
Publications.
Naast een enkelvoudige casestudy kan ook voor een vergelijkende
casestudie worden gekozen. Zie daarvoor § 4.3.2.3.
Het in kaart brengen van de manier waarop een organisatie zijn
processen heeft vastgelegd en hoe deze processen worden uitgevoerd, is
een explorerende manier van het doen van onderzoek naar verklaringen.
Want hoewel de dataverzameling tijdens een operational audit of een
bedrijfsvoeringsonderzoek uit toetsende handelingen bestaat, wordt er
geen hypothese getoetst. De opbrengst van zo’n onderzoek is de
wetenschap dat een organisatie zich wel of niet aan (voorgeschreven)
Handleiding DDO
42procedures houdt. Dat kan uiteraard iets zeggen over de reden waarom
de beoogde prestaties niet zijn geleverd, maar dat is niet met zekerheid
te zeggen: er is niet getoetst of het volgen van de beschreven procedures
leidt tot de gewenste prestaties. Er wordt geen relatie gelegd met de
resultaten.
In essentie zijn de twee hieronder te bespreken vormen van onderzoek de
voor de Algemene Rekenkamer vertrouwde onderzoeken naar
procedureel-organisatorische voorzieningen (POV).
o Operational audit
Een operational audit is een controle ter plaatse of bepaalde tevoren
geïdentificeerde processen worden uitgevoerd op de manier die in de
procesbeschrijvingen (handboeken, protocollen e.d) van de betrokken
organisatie(s) is voorgeschreven.
Deze techniek is alleen toepasbaar als de te onderzoeken organisatie
heeft vastgelegd hoe de gang van zaken rondom om een bepaald aspect
van de uitvoering van het beleid behoort te verlopen.
Belangrijkste stappen zijn de selectie van de te bekijken processen, het
maken van een controlewerkprogramma (een ‘vink-lijst’) en het
vastleggen in hoeverre procedures conform voorschrift zijn.
Primair doel: exploreren
Voor meer informatie: A.J.G. Driesen en J.W. van der Klerk (1997). Operational Auditing. Een
managementkundige benadering. Kluwer.
o Bedrijfsvoeringsonderzoek (bij derden)
Bedrijfsvoering is de sturing en beheersing van bedrijfsprocessen binnen
bijvoorbeeld een ministerie om de gestelde beleidsdoelstellingen te
kunnen realiseren. Het betreft sturing en beheersing van zowel de
primaire processen als van de processen die hiervoor faciliterend zijn. Het
onderzoek naar de bedrijfsvoering dat de Algemene Rekenkamer jaarlijks
ten behoeve van het RJV uitvoert, bestaat op grond van de
Comptabiliteitswet 2001 uit vier onderdelen:
1. het onderzoek naar het financieel beheer, het materieelbeheer van de
ministeries en de ten behoeve van dat beheer bijgehouden
administraties;
2. het onderzoek naar de totstandkoming van de informatie over het
door de ministers gevoerde beleid en de bedrijfsvoering van de
ministeries;
3. het onderzoek naar de totstandkoming van de informatie over het
gevoerde beleid en de bedrijfsvoering in de (departementale)
jaarverslagen;
Handleiding DDO
434. het onderzoek naar de kwaliteit van de informatie over de
bedrijfsvoering en het gevoerde beleid in de (departementale)
jaarverslagen.
Primair doel: explorerend
Voor meer informatie: Handleiding Rechtmatigheidonderzoek (intranet).
o Beleidstheorieanalyse
Een beleidstheorie is het geheel van normatieve, causale en finale (=
doelmiddelrelaties) elementen die aan het beleid ten grondslag liggen. De
normatieve elementen kan de Algemene Rekenkamer uiteraard niet
beoordelen. Wel kunnen we uitspraken doen over bijvoorbeeld de logica,
de consistentie, de onderbouwing, het realiteitsgehalte van het beleid.
Beoordeling van de beleidstheorie is in feite een evaluatie, zonder kennis
van de feitelijke uitkomsten van het beleid. Door het beoordelen van de
beleidstheorie maken we een inschatting van de plausibiliteit en de
robuustheid van het beleid.
Aan de hand van een aantal toetspunten is het heel goed mogelijk om de
kwaliteit van de beleidstheorie te beoordelen. Veel gebruikte toetspunten
zijn:
• Zijn de doelmiddelrelaties logisch?
• Zijn de (veronderstelde) causale mechanismes plausibel?
• Is het beleid goed onderbouwd?
• Zijn de doelen onderling consistent?
• Zijn de relevante hulpbronnen aanwezig?
• Zijn alle relevante actoren in het beleid betrokken, wat wordt van
hen verwacht, zijn deze verwachtingen realistisch?
(stakeholderanalyse)
• Zijn er niet genoemde beleidseffecten te verwachten?
(neveneffecten, averechtse effecten, is het beleid nog zinvol
tegen de tijd dat het effect sorteert)
Voor een deel hebben we deze vragen in eerder onderzoek ook gesteld,
bijvoorbeeld in het onderzoek Beleidsinformatie Betuweroute (met name
de onderbouwing van het beleid). Voor een deel betreft het voor de
Algemene Rekenkamer ook nieuwe vragen (stakeholderanalyse). In elk
geval hebben we nog niet eerder de beleidstheorie beoordeeld om
uitspraken te doen over de vraag waarom het beleid wel of niet goed
werkt.
Handleiding DDO
44Primair doel: een inschatting maken van de plausibiliteit en de robuustheid van het beleid.
Meer informatie: A. Hoogerwerf en M. Herweijer (1998). Overheidsbeleid : een inleiding in de
beleidswetenschap. Samson.
Handreiking Verantwoorden over beleid (www.rekenkamer.nl)
Werkbaarheidsanalyse beleidsvoornemens (http://www.justitie.nl/Images/11_39935.doc)
o Beschrijvende analyses (univariaat)
Beschrijvende analyses geven een eerste inzicht in de prestaties (en/of
effecten), de factoren die daarop van invloed kunnen zijn en de
samenhang tussen beide.
Frequentietabellen en histogrammen geven, per variabele, overzichten
van het aantal waarnemingen per categorie die de variabele kent.
Bijvoorbeeld: hoeveel medewerkers van de Algemene Rekenkamer
hebben de Arboflyer over RSI gelezen? Het zal duidelijk zijn dat dit alleen
zinvol is in het geval de variabele ook duidelijk onderscheiden categorieën
kent (wel gelezen, niet gelezen, weet niet meer). In het geval van
continue variabelen (interval- of rationiveau) zijn frequentietabellen en
histogrammen niet erg informatief.
Voor variabelen met een interval-of ratiomeetniveau zijn de centrale
tendentie en de spreiding informatiever. De maten voor centrale
tendentie geven aan welke getalswaarde of score als ‘gemiddelde’ of
midden van de verdeling moet worden aangemerkt. Afhankelijk van het
meetniveau is de modus (meest voorkomende waarde), mediaan
(middelste waarde) of het gemiddelde (som van de scores gedeeld door
het aantal scores) geschikt.
Spreidingsmaten geven inzicht in hoe de scores onderling verschillen
oftewel hoeveel variatie de scores in de verdeling bezitten. Wanneer
bijvoorbeeld in een schoolklas driekwart van de leerlingen de lesstof
uitstekend begrepen heeft en een acht haalt, maar het andere kwart het
niet verder brengt dan een vier, vergt dit een andere aanpak van de
docent in kwestie dan wanneer iedereen rond de zeven scoort.
Voor nominale gegevens geeft een frequentieverdeling het meeste inzicht
in hoeveel mensen op de onderscheiden categorieën hebben gescoord.
Voor ordinale en intervalvariabelen kan de spreidingsbreedte worden
weergegeven, oftewel het bereik van de scores (het verschil tussen
hoogste en laagste waarde) als ruwe indicatie voor spreiding.
Vanaf intervalmeetniveau bestaan er betere maten voor spreiding,
namelijk de variantie en de hieruit af te leiden standaarddeviatie van de
scores. De standaarddeviatie geeft de mate weer waarin de scores
gespreid zijn rondom het gemiddelde.
Handleiding DDO
45
o Heterogene prestaties
Het zal vaak het geval zijn dat door een bepaalde actor niet één, maar
verscheidene prestaties25 worden geleverd (denk maar aan de Algemene
Rekenkamer zelf, die vaak naar buiten treedt met een combinatie van
onder andere rapport, persbericht, persconferentie en briefings). In
dergelijke gevallen moeten deze prestaties tegen elkaar kunnen worden
afgewogen. We hebben dan te maken met een multi-criteriaprobleem.26
Om dit probleem op te lossen zijn twee benaderingen mogelijk:
handhaven van de deelscores, of de combinatie van deelscores
samenbrengen in een totaalscore (dat wil zeggen: corrigeren voor
heterogeniteit).
Deelscores kunnen worden gehandhaafd als het combineren van
deelscores overbodig, onmogelijk of ongewenst is.
Het combineren van deelscores is overbodig als de verschillende
deelscores dezelfde richting op wijzen. Het is onmogelijk wanneer geen
gewichtsfactoren voor de deelscores berekend kunnen worden of wanneer
het meetniveau niet hoger is dan ordinaal (zie § 4.3.1.2 voor de
verschillende meetniveaus). Het combineren van deelscores is ongewenst,
wanneer belangengroepen of -personen er verschillende weegsystemen
op na houden (Swanborn 1999).
Als dit allemaal niet het geval is (hiermee zijn dus ook meteen de
voorwaarden voor een zinvolle totaalscore gegeven), kan een combinatie
van deelscores tot een totaalscore worden gemaakt. Hiervoor bestaan
verschillende methoden. Deze worden in Swanborn (1999) uitgelegd.
Meer weten?
Voor meer informatie over meervoudige scores: zie P.G. Swanborn (1999). Evalueren.
Meppel: Boom.
o Beschrijvende analyses (bivariaat)
Om samenhangen tussen een beperkt aantal variabelen te onderzoeken
kun je gebruikmaken van kruistabellen, chikwadraattoetsen en correlatie.
Je moet wel voorzichtig zijn met het trekken van conclusies op basis van
dergelijke samenhangen, omdat je vaak geen rekening kunt houden met
allerlei interveniërende factoren waarvoor gecontroleerd moet worden.
Daarvoor moet je multivariate analyses toepassen.
25 Er is dan sprake van heterogeniteit in productie oftewel ‘productdifferentiatie’. 26 Swanborn (1999, p.176).
Handleiding DDO
46De relatie tussen twee nominale variabelen kan worden weergegeven met
een kruistabel. In feite is een kruistabel een frequentietabel waarin
waarnemingen op twee (of meer) nominale variabelen tegelijk afgebeeld
kunnen worden. Variabelen van een hoger meetniveau mogen ook, maar
om het aantal categorieën niet te groot te laten zijn moet er dan wel een
indeling in een beperkter aantal categorieën gemaakt worden. Om te
bepalen of een veronderstelde samenhang tussen twee variabelen ook
statistisch significant27 is, wordt de chikwadraattoets uitgevoerd. Zo bleek
in een onderzoek van de Algemene Rekenkamer naar de begeleiding en
herplaatsing van voortijdige schoolverlaters dat de drie onderzochte
regio’s behoorlijk verschilden in de mate waarin ze spijbelopvang
aanboden, oriëntatie op het werk, een voltijdbaan of hulpverlening. Alleen
de verschillen in de mate waarin met hulpverlening aanbod bleken echter
significant te zijn (Algemene Rekenkamer 2001c:7).
Correlatiecoëfficiënten verschaffen inzicht in de samenhang tussen twee
variabelen die ten minste op ordinaal niveau zijn gemeten. Onderzoekers
gebruiken deze techniek zo veelvuldig dat het begrip correlatie bijna
synoniem is met de begrippen samenhang en associatie.
De techniek vormt een krachtig hulpmiddel voor onderzoekers, maar kent
ook valkuilen. Essentieel is dat correlatiecoëfficiënten geen inzicht
verschaffen in de onderliggende causale relaties. Het bestaan van een
correlatie tussen twee verschijnselen vormt geen enkele garantie voor het
bestaan van een causale relatie tussen beide verschijnselen.
4.3.2.2 Toetsende technieken
Causale verbanden zijn – bij het onderzoeken van doeltreffendheid en
doelmatigheid – moeilijk aan te tonen. Afhankelijk van het te
onderzoeken object (vaak een complexe werkelijkheid), de
methodologische kwaliteit van de onderzoeksopzet en de analysetechniek
zijn causale conclusies meer of minder aanvechtbaar. Onderzoekers zullen
causale conclusies altijd met methodologische argumenten moeten
onderbouwen. In deze paragraaf wordt een aantal van de hiertoe in
Rekenkameronderzoek gebruikte (multivariate) technieken besproken.
o Elaboratie
Hierbij ga je uit van de idee dat een veronderstelde causale relatie tussen
twee variabelen wel eens het gevolg kan zijn van een derde variabele.
Denk aan het voorbeeld van de introductie van alcoholvrij bier in §
4.3.1.1.
27 ‘Statistisch significant’ betekent dat de kans klein is dat de gevonden samenhang op toeval
berust.
Handleiding DDO
47
o Regressieanalyse
Met behulp van regressieanalyse kunnen veronderstelde causale
verbanden en effecten multivariaat worden getoetst. Door het effect van
verschillende onafhankelijke variabelen op een afhankelijke variabele
gelijktijdig in ogenschouw te nemen, verschaft multipele regressieanalyse
inzicht in het relatieve belang van de afzonderlijke variabelen en brengt
het eventuele schijnverbanden aan het licht. Er zijn verschillende vormen
van regressie-analyse, bijvoorbeeld: lineaire, panel (tijdreeksen), random
effects (multilevel) en fixed effects (combinatie van cross-sectie en
tijdreeksanalyse). Voordeel van regressieanalyses is dat het met deze
technieken mogelijk is om meer dan een verklaring tegelijk te
onderzoeken.
o T-toetsen en variantieanalyse
Dit gebruik je om inzicht te krijgen in verschillen tussen groepen. Vaak
gaan ze samen met een (quasi-)experimentele opzet bedoeld om
verschillen tussen een controlegroep en experimentele groep op te sporen
met als doel het doen van causale uitspraken.
Om na te gaan of twee groepsgemiddelden in de populatie al dan niet van
elkaar verschillen, is de T-toets de geschikte techniek.
Om na te gaan of meer dan twee groepen qua gemiddelden van elkaar
verschillen, schiet de T-toets tekort. Variantieanalyse komt dan in
aanmerking.
Primair doel: toetsen
Voor meer (toegankelijke) informatie over statistiek: zie tekstblok 3 van het materiaal van de
cursus Methoden en technieken (via het kennisdomein DDO op intranet). Verder zou je
kunnen raadplegen: J. Stevens (1992). Applied multivariate statistics for the social sciences;
A. van Knippenberg & F. Siero (1980). Multivariate analyse. Beknopte inleiding en
toepassingen.
o (Natuurlijke) Experimenten
Met behulp van zuiver experimenteel onderzoek kan het bestaan van een
causaal verband goed worden getoetst. Je zorgt ervoor dat twee groepen
goed vergelijkbaar zijn. Eén van de groepen krijgt te maken met een
bepaalde prikkel (bijvoorbeeld een voorlichtingscampagne). Zowel voor
als na de prikkel meet je bij beide groepen hoe het er voor staat met het
gebied waar de prikkel zich op richt (bijvoorbeeld hun beeld van de
overheid, hun kennis van de risico’s van onveilig vrijen).
Handleiding DDO
48In de praktijk van het beleidsonderzoek is deze aanpak niet vaak volledig
toepasbaar, vanwege de strenge eisen die eraan worden gesteld (met
name de random toewijzing van onderzoekseenheden aan de
experimentele of controlegroep). Vaak wijkt men dan ook beredeneerd af
van dit ideaal en doet men concessies op het gebied van de vergelijkbaar-
heid tussen de groepen of van de voor- en nameting. Zo’n minder mooie
aanpak, die wel uitgaat van het experiment als model, heet een quasi-
experiment. Binnen het quasi-experiment bestaat nog een groot aantal
varianten waarvan de voor- en nameting met bestaande groepen,
bijvoorbeeld afdelingen binnen een ministerie, de bekendste is.
Aan het uitvoeren van beleidsexperimenten kleven allerlei ethische en
praktische bezwaren. Je kunt bijvoorbeeld niet de ene groep tuinders
bepaalde belastingvoordelen onthouden om te zien of hun energieverbruik
verandert en de andere (vergelijkbare) groep wel fiscaal stimuleren.
Maar er is meer mogelijk dan op het eerste gezicht lijkt. Er doen zich
namelijk geregeld mogelijkheden voor ‘natuurlijke’ beleidsexperimenten
voor. Het onderwijsachterstandenbeleid kan als voorbeeld worden
gebruikt: scholen met meer dan 70% allochtone leerlingen krijgen extra
geld, scholen met minder dan 70% allochtone leerlingen veel minder of
niet.
In een ‘natuurlijk experiment’ wordt gebruik gemaakt van het feit dat er
groepen bestaan die deze variabele op elkaar lijken (bijvoorbeeld scholen
met 69% allochtone leerlingen en scholen met 70% allochtone
leerlingen), maar waarbij de ene groep wel een stimulus krijgt en de
andere niet (in dit geval: extra geld). Op die manier kun je het effect van
(het uitblijven) een beleidsmaatregel bekijken bij nagenoeg gelijke
groepen. Een te toetsen verklaring kan dan bijvoorbeeld zijn dat een
extra subsidie van 6102,50 gulden per leerkracht per jaar (want daar
ging het hier om) daadwerkelijk leidt tot een hogere CITO-score van
allochtone leerlingen.
Primair doel: toetsen
Voor meer (toegankelijke) informatie over (quasi-)experimenten kun je tekstblok 1 raadplegen
van het materiaal van de cursus Methoden en technieken (via het kennisdomein DDO). Zie
ook:
Baarda & De Goede (1995). Basisboek Methoden en Technieken; Swanborn (1987). Methoden
van sociaal-wetenschappelijk onderzoek.
E. Leuven, M. Lindahl, H. Oosterbeek en D. Webbink (2003). Zin en onzin in
evaluatieonderzoek; over de effecten van extra subsidies voor achterstandsleerlingen.
Universiteit van Amsterdam (SCHOLAR).
http://www1.fee.uva.nl/scholar/oosterbeek/achterstandsleerlingen.pdf
Handleiding DDO
49o Tijdreeksanalyse
Een tijdreeks is een chronologische reeks kwantitatieve gegevens,
bijvoorbeeld ziekteverzuimpercentages, werkloosheidscijfers,
recidivecijfers, misdaadcijfers, of cijfers over vroegtijdig schoolverlaten.
Door middel van tijdreeksanalyse kun je verklaringen zoeken voor het
patroon van een tijdreeks in termen van andere variabelen en het
relateren van waarnemingen aan bepaalde structurele gedragsregels. In
het rekenkameronderzoek Convenanten uitgaansgeweld is voor een
aantal jaar gekeken of het aantal geweldsincidenten in gemeenten daalt
door de aanwezigheid van convenanten. Hiertoe werd zowel naar
mogelijke omgevingsvariabelen gekeken als naar kenmerken van de
convenanten.
Nadeel van deze methode is dat er veel onderzoekseenheden nodig zijn
en dat het veel eisen stelt aan de kwaliteit van het verzamelde
datamateriaal.
Primair doel: toetsen
Voor meer informatie: Chr. Chatfield (2004). The Analysis of Time Series: An Introduction.
Sixth Edition. Chapman & Hall.
4.3.2.3 Zowel explorerend als toetsend
o Vergelijkende casestudy
Een vergelijkende casestudy is niet hetzelfde als het ‘doen’ van een
aantal cases. Het verschil zit in de overwegingen die aan de selectie van
de cases ten grondslag ligt. Zo kan worden gekozen voor een
vergelijkende casestudy waarbij de cases worden geselecteerd op één of
meer onafhankelijke variabelen. Hierbij kan zowel gekozen worden voor
minimale variatie als voor maximale variatie op deze variabele(n).
Ook kunnen cases worden geselecteerd op basis van de afhankelijke
variabele(n). Dit gebeurt dan meestal door deze maximaal te laten
variëren (Swanborn 1996: 60-66).28 Een goed casestudyontwerp vraagt
dus om voorkennis van de cases.
Een veel gemaakt onderscheid in casestudy design is dat tussen het Most
Similar Systems Design (MSSD) en Most Different Systems Design
(MDSD). MDSD wordt bijvoorbeeld in de politicologie gebruikt om een in
28 Een combinatie van een enkelvoudige en een meervoudige casestudie is ook mogelijk: het
‘geneste’ casestudydesign, ook wel een embedded casestudy design genoemd. Hierbij worden
binnen een casus verschillende subcases onderscheiden. Hierdoor kan aan de ene kant gebruik
worden gemaakt van het voordeel van de enkelvoudige casestudy en een grotere diepgang als
gevolg van tijdwinst, terwijl aan de andere kant meerdere cases kunnen worden bestudeerd op een
lager abstractieniveau. De verschillende cases vormen tevens een basis om meer algemene
uitspraken te doen over het onderzochte fenomeen.
Handleiding DDO
50verschillende contexten steeds optredend fenomeen te verklaren,
bijvoorbeeld economische tijgers, staatsgrepen of revoluties. Gezocht
wordt dan naar de verklarende factoren die in al die situaties voorkomen,
terwijl de landen ook op een groot aantal aspecten zullen verschillen.
MSSD wordt onder meer gebruikt om landen te vergelijken die op een
groot aantal aspecten gelijk zijn, maar variëren op een aspect.
Een voorbeeld: gemeenten en specifieke uitkeringen
Stel dat we geïnteresseerd zijn in de vraag hoe gemeenten gebruik maken van de
beleidsvrijheid die ze rond de besteding van specifieke uitkeringen (in elk geval op papier)
hebben gekregen, en we willen weten waarom daar soms wel en soms geen gebruik van wordt
gemaakt. Door middel van een meta-evaluatie is het mogelijk om op zoek te gaan naar succes-
en faalfactoren voor decentralisatieprocessen. De uitkomsten daarvan kunnen vervolgens
worden gebruikt om heel gericht cases te selecteren en gericht het onderzoek in te gaan. De
casestudy krijgt daarmee een toetsend en verdiepend karakter.
o Benchmarking
Benchmarking is een methode die het mogelijk maakt veel meer
organisatie(onderdelen) met elkaar te vergelijken dan een vergelijkende
casestudy, maar levert wel oppervlakkiger resultaten dan de casestudy.
De Raad voor het openbaar bestuur definieert benchmarking als volgt:
"Het systematisch onderzoeken van de prestaties [en maatschappelijke
effecten] en achterliggende processen en werkwijzen van een of meer
toonaangevende referentie-organisaties op een bepaald gebied en het
spiegelen van de eigen prestaties en werkmethoden aan deze best
practices, met als doel te komen tot een plaatsbepaling en verbetering
van het eigen presteren." (Camp, 1992)
Een voorbeeld: verschillen tussen CWI’s
Het Rijk wilde af van een versplinterde verwerking van aanvragen en claimbeoordelingen voor
WW, WAO en bijstand. Per 1 januari 2002 waren alle arbeidsbureaus en gemeentelijke sociale
diensten samengesmolten tot 130 CWI’s (Centrum voor Werk en Inkomen). Deze CWI’s zijn
grosso modo op dezelfde manier ingericht. Toch haalt de ene CWI een hogere
“reïntegratiescore” dan de andere. Hoe komt dit?
Het naast elkaar leggen van alle CWI’s en vervolgens kijken op welke details hun werkwijzen
onderling verschillen (en welke gevolgen dat heeft voor de reïntegratiescores, kan een
verklaring geven voor de verschillen tussen uitvoering en prestaties).
Variabelen waar men naar zou kunnen kijken, zijn: grootte van het CWI, gebruik van
formulieren, wachttijden, plaatsingspercentages, et cetera.
Handleiding DDO
51Primair doel: zowel exploreren als toetsen
Voor meer informatie: R. Camp (1992). Benchmarking – Het zoeken naar de beste
werkmethoden die leiden tot superieure prestaties. Deventer.
Raad voor het openbaar bestuur (1992). Presteren door leren.
Ministerie van BZK & VNG (2004). De Gids. Prestatievergelijkingen en benchmarks binnen de
Openbare Sector. (http://www.vng.nl/Documenten/Extranet/Bjz/Bb/degidsdefinitief2.pdf)
Wanneer de benodigde gegevens zijn gedefinieerd en verzameld, is de
volgende stap het berekenen van de onderlinge verschillen in
doelmatigheid van de beleidsprestaties of -effecten waarover je een
uitspraak wilt doen. Er zijn verschillende methoden en technieken om dit
te doen. De belangrijkste zijn: het gebruik van eenvoudige kengetallen en
de analysetechnieken Free Disposable Hull (fdh), Data Envelopment
Analysis (dea) en Stochastic Frontier Analysis (sfa). Wanneer je met
behulp van kengetallen de doelmatigheid van de prestaties hebt bepaald,
kun je als tweede stap de mogelijke verklaringen voor de verschillen in
doelmatigheid toetsen. Hiervoor kun je een techniek als tobit- en
probitanalyse of eenvoudige regressieanalyse toepassen. Voor een
uitgebreide beschrijving van deze technieken kun je ook terecht in de
Handreiking meten van doelmatigheid en de bijbehorende internetbijlage
op de website van de Algemene Rekenkamer.
o Group Model Building
Group Model Building (GMB) is een methode waarmee groepsgewijs
modellen ontwikkeld kunnen worden over de sociale werkelijkheid.
Group model building helpt teams om hun situatie vanuit een
systeemoptiek te bekijken en daardoor deelvisies te integreren tot een
totaalvisie. De modelbouwer fungeert daarbij als 'group facilitator':
iemand die de groep helpt om zo’n systeemdynamica-model te
ontwikkelen. Zo wordt het kennispotentieel dat in de groep aanwezig is,
maar vaak door ineffectieve communicatie onderbenut wordt, beter
aangewend. Het uiteindelijke doel is het vinden van een oplossing die niet
alleen kwalitatief hoogwaardig is, maar die ook draagvlak heeft.
Van Group Model Building bestaan twee varianten: een meer
kwalitatieve en een meer kwantitatieve variant. In de kwalitatieve
variant (ook wel “mapping” genoemd) wordt met behulp van ‘causal loop
diagramming’ het probleem in kaart gebracht. Een causal loop
diagram is behulpzaam bij het structureren van oorzaak-
gevolgredeneringen over complexe problemen. Het diagram wordt
vervolgens gebruikt om het probleem te analyseren en interventiepunten
in het systeem te ontdekken, waarmee strategieën kunnen worden
ontwikkeld om het probleem op te lossen.
Handleiding DDO
52Bij de kwantitatieve variant wordt het causal loop diagram omgezet in
een ‘stocks and flow’ diagram dat vervolgens wordt gekwantificeerd,
waarna simulaties met het model kunnen worden uitgevoerd en potentiële
oplossingsrichtingen op hun effectiviteit en robuustheid kunnen worden
getoetst.
Een mogelijke toepassing van GMB zou kunnen zijn dat de Algemene
Rekenkamer op zoek gaat naar verklaringen voor de aanhoudende
problemen op een complex beleidsveld als de gezondheidszorg. GMB
voorziet in het bij elkaar brengen van alle betrokken partijen die in
verschillende rondes hun visie op de werkzaamheid van het beleid kunnen
geven. Welke (f)actoren spelen allemaal een rol? Met welke houdt het
beleid rekening? En gebeurt dat op een goede manier?
GMB vereist wel een hoge mate van betrokkenheid van betrokken actoren
en vereist bovendien de nodige specialistische kennis, waar de Algemene
Rekenkamer niet zelf over beschikt. Deze zou moeten worden ingehuurd.
Primair doel: zowel exploreren als toetsen
Voor meer informatie: J. Vennix (1996). Group Model Building. Wiley.
J. Vennix (1999). Group Model-building: tackling messy problems. System Dynamics Review,
15 (4), 379-401.
http://www.par-groep.nl/index.php?m=1&s=5
o Netwerk- en stakeholderanalyse
Ministers voeren hun beleid op een bepaald terrein meestal uit met lagere
overheden, ondernemingen, maatschappelijke organisaties en/of groepen
burgers. In een netwerkanalyse kijk je naar de rol van de overheid als
‘mede-speler’; een actor die stuurt temidden van andere actoren die ook
proberen te sturen.
Door middel van een netwerk- en stakeholderanalyse kun je
sturingsrelaties, interactiepatronen, (wederzijdse) afhankelijkheden en
probleemdefinities in kaart brengen. Kernvragen bij dit type analyse zijn:
1. Wie is bij het beleid betrokken?
2. In welke verhouding staan de verschillende actoren tot elkaar?
3. Over welke mogelijkheden beschikt elke afzonderlijke actor om de
uitvoering van beleid te bevorderen dan wel tegen te werken?
4. Kijken de actoren op dezelfde manier tegen het beleidsprobleem
en de mogelijke oplossingen aan?
De uitkomsten hiervan zijn te gebruiken om antwoord te geven op de
vraag waarom de implementatie van beleid uitblijft, bijvoorbeeld omdat
de sturingsrelaties onhelder zijn of omdat actoren die nodig zijn voor de
uitvoering een andere agenda hebben.
Handleiding DDO
53Een voorbeeld: Rolverdeling tussen OCW en PMPO
Organisaties voor procesmanagement worden gedefinieerd als semi-zelfstandige, op afstand
van het ministerie geplaatste organisaties met een tijdelijk karakter, die de implementatie en
uitvoering van grootschalige, complexe vernieuwingsprocessen begeleiden. Een voorbeeld
hiervan is het Procesmanagement Primair Onderwijs (PMPO).
Uit onderzoek (Algemene Rekenkamer, 1999c) kwam naar voren dat de positionering van het
PMPO onduidelijk was. Ging het om een autonome organisatie, een verlengstuk van het
departement of een adviseur van de staatssecretaris? Binnen het departement wordt erkend
dat, achteraf gezien, onvoldoende is nagedacht over wat het PMPO moest zijn en moest doen.
In een onderzoek naar verklaringen kan expliciet worden gekeken naar de relatie tussen het
PMPO en het departement.
Primair doel: kan zowel toetsend als explorerend worden gebruikt
Voor meer informatie:
Handleiding Normen voor netwerksturing (intranet Algemene Rekenkamer)
J.A, de Bruijn, E.F. ten Heuvelhof (1995). Netwerkmanagement: strategieën, instrumenten en
normen. Utrecht, Lemma.
G. Teisman (1992). Complexe besluitvorming, een pluricentrisch perspectief op besluitvorming
over ruimtelijke investeringen. VUGA.
http://www.storrmcs.nl/denieuwedorpen/downloads/DND_stakeholders_analyse.pdf
http://www.ketens-netwerken.nl/
4.4 Methodenmatrix
In § 3.3 zijn we – aan de hand van de verklaringenmatrix – ingegaan op
mogelijke oorzaken van eventueel achterblijvende prestaties en effecten
of ondoelmatigheden. In onderstaande methodenmatrix geven we – voor
een aantal van de in de vorige paragraaf genoemde methoden – aan
welke (meer of minder) geschikt is voor onderzoek naar verklaringen
binnen een van de vier kwadranten. In het middelste vak staan de breed
toepasbare methoden genoemd.
Handleiding DDO
54 Prestaties Effecten
Intern • Operational audit
• Bedrijfsvoeringsonderzoek
• Beleidstheorieanalyse
• (Natuurlijke) experimenten
Extern
• Bedrijfsvoeringsonderzoek bij derden
• Netwerk- en stakeholderanalyse
• Tijdreeksanalyse
• Event analysis
Literatuuronderzoek, (vergelijkende) casestudies,
benchmarks, focusgroepen, delphi-methode,
regressieanalyse, Group model building
Handleiding DDO
555 Analyse van beleidsdoelen en beleidsinformatie
5.1 Inleiding
Dit hoofdstuk behandelt de analyse van beleidsdoelen en
beleidsinformatie. In § 5.2 bespreken we de analyse van beleidsdoelen.
Hieronder vallen ook de normen en de reconstructie van beleidsdoelen. In
§ 5.3 gaan we in op de analyse van beleidsinformatie. Hier komen onder
meer aan de orde: de verschillende soorten beleidsinformatie, de bronnen
van beleidsinformatie, de normen voor beleidsinformatie, de wijze van
beoordeling van beleidsinformatie en aanbevelingen.
5.2 Beleidsdoelen
5.2.1 Algemeen
De doelen van het beleid van een minister of een RWT zijn uitgangspunt
van elk DDO. De algemene doelen van het beleid van de minister kunnen
tegenwoordig worden gevonden in de zogenoemde VBTB-begrotingen.
Met de regeringsnota Van Beleidsbegroting tot Beleidsverantwoording
(VBTB) zijn de begrotingen omgebouwd van begrotingen met veel
financiële informatie tot begrotingen die concrete beleidsdoelstellingen
bevatten. In een VBTB-begroting moeten de ministers aangeven: (1) wat
ze willen bereiken, (2) wat ze daarvoor gaan doen en (3) wat dat mag
kosten. Daarmee zijn de begrotingen een vertrekpunt geworden voor het
DDO van de Algemene Rekenkamer (zie bijlage 3 voor een nadere
uitzetting over VBTB-begrotingen).
In de praktijk van het onderzoek zullen doelstellingen uit de begroting,
zoals geformuleerd in de beleidsartikelen, vaak nog te abstract zijn om te
kunnen gebruiken voor een analyse van beleidsdoelen. Beleidsnota’s en
Tweede-Kamerstukken verschaffen dan meer informatie over concrete,
operationele doelstellingen.
Handleiding DDO
56De doelen van RWT’s kunnen worden gevonden in wet- en regelgeving (ze
hebben immers een wettelijke taak) of anders wellicht in begrotingen van
departementen, oprichtingsstatuten of jaarverslagen van de RWT’s zelf.
5.2.2 Reconstructie en operationalisatie van beleidsdoelen
Wanneer een minister, de VBTB-eisen ten spijt, geen duidelijke
beleidsdoelen heeft geformuleerd, zal de Algemene Rekenkamer proberen
de doelen te reconstrueren of te operationaliseren. Daarbij is het van
belang de reconstructies en operationalisaties tussentijds door de
minister te laten accorderen.
Reconstructie beleidsdoelen
Het ligt voor de hand om voor het achterhalen van beleidsdoelen niet
alleen officiële beleidsstukken te raadplegen, maar ook overleg te voeren
met de gecontroleerde. Vaak blijkt dan dat de officiële beleidsdoelen niet
altijd een juist of bruikbaar beeld geven van wat de gecontroleerde
werkelijk wil bereiken. De beleidsdoelen kunnen vaag zijn geformuleerd,
onrealistisch hoog of laag zijn gesteld en aan veranderingen onderhevig
zijn. Toch verdient het de voorkeur om de officiële beleidsdoelen als uit-
gangspunt te nemen.
Ook wanneer gecontroleerden iets anders nastreven, vormen de officiële
beleidsdoelen in belangrijke mate de legitimatie van het beleid in het
democratisch proces. Uit het oogpunt van democratische controle zijn de
officiële beleidsdoelen de maatstaf. Overigens kunnen ook bevindingen en
conclusies worden geformuleerd over de gebleken discrepantie tussen
officiële en in de praktijk gehanteerde beleidsdoelen.
Een methode om doelen te reconstrueren is het gebruik van de
‘doelboom’. In een doelboom worden relaties aangebracht tussen
instrumenten, subdoelen en einddoelen van het beleid. De (re)constructie
van een doelboom is geen simpele exercitie. De brokstukken voor een
dergelijke boom moeten veelal uit diverse beleidsstukken bijeen worden
gebracht. Daarom is overleg met de gecontroleerde over de ge(re)-
construeerde doelboom aan te bevelen.
Een goed voorbeeld van het gebruik van een doelboom vind je hieronder.
Handleiding DDO
57
Doelen en instrumenten uit de beleidsnota Werk door ondernemen: stimulering van
het midden- en kleinbedrijf (1995) (zoals gereconstrueerd in het Rekenkameronderzoek
Stimulering midden- en kleinbedrijf, 2001)
Operationalisatie beleidsdoelen
Het zelf operationaliseren van beleidsdoelen is relatief gemakkelijk als
deze in direct observeerbare termen zijn geformuleerd, zoals in de
formulering: ‘een lagere gemiddelde snelheid op de autowegen, namelijk
x kilometer per uur’. Vaak zijn beleidsdoelen echter zo geformuleerd dat
ze géén betrekking hebben op direct observeerbare zaken. Een voorbeeld
van een dergelijk beleidsdoel: ‘de preventie van afvalstoffen’.
Het gaat erom zodanige indicatoren te ontwikkelen dat zij een zo juist en
volledig mogelijke afbeelding vormen van de door beleidsmakers
geformuleerde beleidsdoelen en toch meetbaar zijn. Daarbij dient
aandacht besteed te worden aan de volgende aspecten:
• Omvatten de gekozen indicatoren het beleidsdoel in zijn volle
breedte?
Hebben de gekozen indicatoren bijvoorbeeld alleen betrekking op de
Scheppen van meer Werk
Vergroten ruimte voor Ondernemerschap
Vergroten ruimte voor Starters Vergroten ruimte voor Doorgroeiers
eind
doel
entu
ssen
doel
enin
stru
men
ten
Verzilveren van de Werkgelegenheidspotenties
Van het M KB
Fiscale maatregelen1. Verlaging tariefstapje Vennootschapsbelasting2. Verhoging investeringsaftrek 3. Verhoging ondergrens BTW-vrijstelling4. Fiscale tante Agaath regeling5. Verhoging ondernemingsvrijstell ing in de Vermogenbelasting
Vermindering regeldruk11. Liberalisering Winkelsluitingswet12. Vermindering administratieve lasten / bestaande regelgeving13. Vermindering administratieve lasten / voorgenomen regelgeving 14. Dereguleringsactie Grote Steden 15. Dereguleringsactie Grote Steden (kansenzônes)
Arbeid26. Verlaging overhevelingstoeslag27. Verruiming mogelijkheden detachering langdurig werklozen28. Afdrachtvermindering langdurig werklozen29. Subsidieregeling experimenten activering uitkeringsgelden 30. Experimenten concurrerende dienstverlening 31. Premieregeling bij marginale arbeid 32. Dispensatie Wet minimumloon en minimumvakantiebijslag33. Inkorten procedure preventieve ontslagtoets34. N ieuwe arbeidstijdenwet 35. Aanpassing proeftijdregeling36. Invoering mogelijkheid verlenging ti jdeli jke contracten37. Europese regeling ESF (scholing voor behoud van werk)38. Europese regelgeving Adapt 39. Afdrachtvermindering onderwijs
Fiscale maatregelen6. Verruiming afschrijving van investeringen door starters7. Verhoging startersaftrek8. Vereenvoudiging bedrijfsopvolging
Vermindering regeldruk16. M odernisering Vestigingswet 17. Evaluatie Besluit bijstandsverlening zelfstandigen
Kwaliteit ondernemerschap18. Regionale coördinatie startersopvang19. Proefprojecten opvang kansarme starters20. Expertisecentrum allochtone ondernemers21. Doorstarters
Financiering40. Facil iteit voor participatiemaatschappijen ten behoeve van technostarters41. Bevordering financieringsaanbod seeders42. Bemiddelingsbureau informal investors
Fiscale maatregelen9. Fiscale exportreserve 10. Verhoging WBSO
Kwaliteit ondernemerschap22. Projectmatige benadering M KB vanuit ondernemingshuizen23. M KB-loket op internet24. Programma starters op buitenlandse markten (PSB)25. Voortzetting Stimuleringsregeling Branchecentra voor Technologie (BCT)
Financiering43. Ondersteuning technologie-rating ten behoeve van financiers44. Verruiming Besluit borgstell ing M KB-kredieten45. Verhoging maximale bedragen Besluit borgstell ing M KB-kredieten
Handleiding DDO
58preventie van absolute hoeveelheden afvalstoffen (kwantitatieve
preventie) of ook op het verminderen van de schadelijkheid van
afvalstoffen voor het milieu (kwalitatieve preventie)?
• Is er een voldoende sterke relatie tussen het te operationaliseren
beleidsdoel en de voor het onderzoek gekozen indicatoren?
Zo geeft ‘(reductie van) de omvang van het bij bedrijven vrijgekomen
afval’ maar een beperkte indicatie van de mate waarin sprake is van
‘preventie van afvalstoffen’. De omvang van de afvalproductie wordt
namelijk niet alleen bepaald door preventiemaatregelen, maar ook
door autonome ontwikkelingen (bijvoorbeeld economische groei).
• Zijn er interveniërende factoren die verandering aanbrengen in de
vertaling die de indicator geeft van het beleidsdoel?
Daarvan is bijvoorbeeld sprake bij de operationalisering van het
beleidsdoel ‘preventie van gevaarlijke afvalstoffen’ in de indicator ‘de
verandering van de door bedrijven gemelde hoeveelheid gevaarlijk
afval’. Bij deze operationalisering wordt de invloed van veranderingen
in het meldgedrag van bedrijven over het hoofd gezien. Immers: een
verslechterd meldgedrag van bedrijven leidt wel tot minder gemeld
gevaarlijk afval, maar niet tot afvalpreventie.
5.2.3 Normen beleidsdoelformulering
Beleidsdoelen moeten SMART29 zijn geformuleerd. Dit houdt in:30
SMART Omschrijving
Specifiek Doelen moeten concreet zijn geformuleerd: welke prestaties en effecten worden beoogd c.q. welke doelgroepen (zo die er zijn) moeten worden bereikt?
Meetbaar Het bereiken van doelen moet kunnen worden gemeten; eenduidige definiëring van begrippen is vereist. Vaak is ook een nulmeting nodig.
Afgestemd Beleidsdoelen moeten in ieder geval zijn afgestemd met de relevante actoren (Tweede Kamer, uitvoerders).
Realistisch Doelen moeten zodanig zijn gekozen dat ze realiseerbaar zijn onder alle plausibele omstandigheden (exogene variabelen en beleidsmaatregelen).
Tijdgebonden Er moet een datum zijn vastgelegd waarop het einddoel moet zijn bereikt; bij langlopende projecten kunnen ook tussendoelen en bijbehorende data van belang zijn.
Bovendien moeten de doelen consistent zijn:
Consistentie van doelen
Consistentie tussen doelen: het ene doel mag het andere niet uitsluiten. Consistent Consistentie tussen doelen en basisgegevens: als basisgegevens wijzigen,
moeten de doelen hieraan zo nodig worden aangepast.
Bij de Algemene Rekenkamer spreken we daarom over SMART-C.
29 Bouckaert e.a. (1998). 30 Deels ontleend aan Algemene Rekenkamer (2002a).
Handleiding DDO
59Bovenstaande normen zijn nader toegelicht in bijlage 4. Zie ook de
Normenbank (te benaderen vanuit het menu Start, Algemene
Rekenkamer Applicaties) en de toelichting in bijlage 4 voor voorbeelden
van de toepassing van de normen.31
5.2.4 Beoordeling beleidsdoelformulering
Om de beoordeling van doelformulering handen en voeten te geven, kan
gebruikgemaakt worden van checklists. Zie § 5.3.7 voor meer informatie.
5.2.5 Aanbevelingen
Uit onderzoek naar beleidsdoelen vloeit doorgaans een cluster van
aanbevelingen voort. Bijvoorbeeld:
• het beter toetsbaar formuleren van de beleidsdoelen;
• het opheffen van de onderlinge inconsistentie (strijdigheid) van de
beleidsdoelen of aangeven tot op welke hoogte ze strijdig mogen zijn
(beleidsdoel A mag beleidsdoel B niet zodanig belemmeren, dat
beleidsdoel B beneden/boven een grenswaarde X uitkomt);
• het beter onderbouwen (op haalbaarheid onderzoeken) van de
beleidsdoelen;
• het beter expliciteren en onderbouwen van wijzigingen in de
beleidsdoelen of de te hanteren evaluatiecriteria.
5.3 Beleidsinformatie
5.3.1 Algemeen
Beleidsinformatie speelt een belangrijke rol in het (be)sturen van de
rijksoverheid. Met het verschijnen van de regeringsnota VBTB (1999) en
de eerste VBTB-begrotingen (2002) is het belang van beleidsinformatie
alleen nog maar toegenomen. De beschikbaarheid van beleidsinformatie
(en de beoordeling daarvan door de Algemene Rekenkamer) is geen doel
op zichzelf, maar een vereiste om de doelmatigheid en doeltreffendheid
van het beleid te kunnen bewaken en bevorderen.
31 De Rijksbegrotings- en verantwoordingsvoorschriften 2001 stellen dat de algemene
beleidsdoelstellingen (of ten minste één operationele doelstelling) zoveel als mogelijk uitgedrukt
behoren te worden in meetbare en beïnvloedbare streefwaarden. Deze moeten tevens een
aanduiding van de doelgroep(en) bevatten en geplaatst zijn tegen een tijdshorizon.
Handleiding DDO
605.3.2 Welke beleidsinformatie?
Gebruiksfuncties van beleidsinformatie
Beleidsinformatie kan voor verschillende functies en in verschillende
beleidsstadia gebruikt worden:
• tijdens de beleidsvoorbereidingsfase: als basis voor het opstellen van
beleid en/of het opstellen van de begroting;
• tijdens de uitvoeringsfase: voor de (bij)sturing van het beleid
(waaronder ook toezicht houden);
• in de evaluatiefase: voor de verantwoording over het gevoerde
beleid.32
Het verschil in gebruiksfunctie gaat samen met een verschil in doelgroep
en een gebruik in verschillende cycli. Beleidsinformatie zal, in het kader
van de sturingsfunctie, met name relevant zijn voor de beleidsdirectie en
de verantwoordelijke minister; daarnaast zal een deel ook nodig zijn voor
de Tweede Kamer.
De behoefte aan beleidsinformatie voor de begrotings- en
verantwoordingsfunctie vloeit voort uit het budgetrecht van de Tweede
Kamer. Het betreft informatie van de ministers aan de Tweede Kamer ter
accordering van voorgenomen beleid (begroting) en ter verantwoording
over uitgevoerd beleid (jaarverslag). Deze informatie verloopt langs de
lijn van de jaarlijkse begrotingscyclus.
De rol die informatie speelt in de beleidsvoorbereidende fase is eveneens
belangrijk in het DDO. Hierbij gaat het onder meer om een
probleemanalyse die – als het goed is – een nulmeting en een
beleidstheorie bevat, evenals ex-ante-evaluaties voor verschillende
scenario’s en beleidsvarianten. Ook de beschikbare informatie over de
onderbouwing van de doelen is relevant.
Beleidsinformatie over prestaties en effecten
De doelen die de regering in bijvoorbeeld begrotingen en beleidsnota’s
heeft geformuleerd voor haar beleid zijn in hoge mate bepalend voor de
vraag welke beleidsinformatie nodig is over prestaties en effecten
(bijvoorbeeld naar wat voor soort resultaten wordt gekeken en wat voor
criteria moeten worden aangelegd om resultaten als voldoende te
beschouwen).
32 Sturing en verantwoording hebben overigens niet alleen op het beleid betrekking , maar zijn ook
gericht op bedrijfsvoering en financiële middelen. Zie het rapport Jaarverslag in de politieke arena,
naar een nieuwe stijl van verantwoorden (mei 1998).
Handleiding DDO
61Welke beleidsinformatie – qua vorm – er moet zijn over prestaties en
effecten, wordt omschreven in de Regeling Prestatiegegevens en
Evaluatieonderzoek Rijksoverheid. De regeling onderscheidt drie typen
van prestatiegegevens:
1. beleidsdoelstellingen, zo veel mogelijk geoperationaliseerd in termen
van nagestreefde en gerealiseerde effecten, gekoppeld aan
doelgroepen van beleid en een tijdshorizon;
2. informatie over kostprijs en kwaliteit van de door de overheid te
leveren / geleverde prestaties (producten en diensten);
3. programma-uitgaven, zo veel als zinvol onderbouwd met volume- en
prijsgegevens (bijvoorbeeld het verwachte aantal begunstigden van
een subsidieregeling en het bedrag per subsidie).
Prestatiegegevens worden dus ruim opgevat: het gaat niet alleen over
prestaties, maar ook over effecten en kosten. Ook moet tegenwoordig in
de begrotingen informatie worden opgenomen over bijvoorbeeld de
kostprijs en de kwaliteit van de door de overheid te leveren c.q.
geleverde prestaties.
Zie ook hoofdstuk 3 voor een uiteenzetting van de verschillende
begrippen.
5.3.3 Bronnen van informatie over prestaties en effecten
Beleidsinformatie over prestaties en effecten kan op verschillende
plaatsen worden aangetroffen. Veel beleidsinformatie is te vinden in de
begrotingen en jaarverslagen. Deze dienen – naast de informatie over de
beoogde/bereikte effecten van het beleid – ook informatie te bevatten
over de daartoe te ontplooien/ontplooide initiatieven (inclusief de te
leveren/geleverde prestaties) en daarmee gemoeide kosten. Deze
informatie is nodig om uitspraken te kunnen doen over doelrealisatie,
doelmatigheid van beleid en bedrijfsvoering en de doeltreffendheid van
beleid.
In de eerder genoemde Regeling Prestatiegegevens en
Evaluatieonderzoek Rijksoverheid (RPE) worden systemen van reguliere
prestatiegegevens en periodiek evaluatieonderzoek (ex ante en ex post)
genoemd als bronnen waaruit deze beleidsinformatie kan voortkomen.
Daarnaast valt ook te denken aan niet-reguliere informatiebronnen, zoals
derden.
Handleiding DDO
62Reguliere prestatiegegevens
Systemen van reguliere prestatiegegevens zijn volgens de RPE (p.19):
“informatiesystemen waarmee op gezette tijden informatie wordt
verkregen over onder meer:
1. de mate waarin doelstellingen c.q. beoogde effecten worden bereikt;
2. de – voortgang van de – uitvoering van beleid; en
3. de aantallen, kosten en kwaliteit van geleverde prestaties.”
Hoewel het woord ‘systeem’ doet vermoeden dat het altijd zou moeten
gaan om iets dat ingewikkeld, elektronisch en duur is, hoeft dat helemaal
niet zo te zijn. Een organisatie die jaarlijks een set fraaie kengetallen
opstelt die inzicht geven in de aantallen en kwaliteit van de geleverde
prestaties, heeft ook een meetsysteem.
Evaluatieonderzoek
Evaluatieonderzoeken (ex ante33 en ex post34) die door of voor de
ministeries zijn uitgevoerd, leveren uiteraard ook beleidsinformatie op.
Evaluatieonderzoek is, vanwege het diepgravende karakter, bij uitstek
geschikt om onderzoek te doen naar de doelmatigheid en doeltreffendheid
van het beleid. Daarmee zijn – door of voor de ministeries uitgevoerde –
evaluatieonderzoeken voor de Algemene Rekenkamer een belangrijke
bron van beleidsinformatie over doelmatigheid en doeltreffendheid.
In de RPE is opgenomen dat de in de begroting en jaarverslagen
opgenomen algemene en/of nader geoperationaliseerde doelstellingen
van beleid in de regel ten minste eens in de vijf jaar worden geëvalueerd
aan de hand van evaluatieonderzoek ex post.
Overige bronnen
Behalve in de reguliere bronnen kan beleidsinformatie ook worden
gevonden in inspectierapporten, (niet-departementale) niet-reguliere
voortgangsrapportages, beleidsnota’s, Kamerstukken enzovoort. Ook
bestaande databestanden kunnen worden aangemerkt als bron van
onbewerkte beleidsinformatie en dus worden gebruikt in het DDO.
Een vraag die zich hierbij aandient is of informatie over beleid door of in
opdracht van het ministerie moet zijn verzameld om als beleidsinformatie
33 Ex ante-evaluatieonderzoek wordt uitgevoerd om op systematische wijze de kosten en de
verwachte effecten en neveneffecten van twee of meer beleidsalternatieven te vergelijken. 34 Onder ex post-evaluatieonderzoek wordt verstaan: ‘systematisch onderzoek naar de effecten van
bestaand beleid, de wijze waarop beleid wordt uitgevoerd en/of de kosten en kwaliteit van
geleverde producten en diensten’ (Ministerie van Financiën (2001), p.21). Evaluatieonderzoek ex
post valt uiteen in (Ministerie van Financiën (2001), p.21): doelrealisatiesonderzoek,
doeltreffendheidsonderzoek, onderzoek naar de doelmatigheid van beleid en onderzoek naar de
doelmatigheid van de bedrijfsvoering.
Handleiding DDO
63te worden aangemerkt. Ook derden (bijvoorbeeld universiteiten en
brancheorganisaties) verzamelen immers informatie over (resultaten van)
beleid. Daarnaast is het denkbaar dat er (in ruwe vorm) informatie
aanwezig is op het ministerie maar dat deze niet ‘bruikbaar’ wordt
gemaakt.
De Algemene Rekenkamer beschouwt de genoemde informatie als
beleidsinformatie, ook als deze informatie onbekend is bij of niet
aanwezig is op het ministerie. Het wordt de minister negatief
aangerekend als hij relevante informatie niet kent of (ongemotiveerd)
niet gebruikt.
5.3.4 Kwaliteit van de beleidsinformatie (product)
In DDO kan de kwaliteit van de beleidsinformatie beoordeeld worden.
Over de normen waar de informatie aan moet voldoen, is heel wat
vastgelegd.
Voor de beoordeling van de kwaliteit (en bruikbaarheid) van
beleidsinformatie maakt het onderzoeksteam gebruik van binnen de
Algemene Rekenkamer nader uitgewerkte normen voor beleidsinformatie
en van de toepassingen ervan die kunnen worden gevonden in de
Normenbank (te benaderen vanuit het menu Start, Algemene
Rekenkamer Applicaties). Deze normen gelden voor beleidsinformatie die
uit systemen van reguliere prestatiegegevens afkomstig is, alsook voor
beleidsinformatie die uit evaluatieonderzoek komt. Uiteraard worden de
normen ook toegepast op informatie afkomstig van de overige bronnen
zoals beschreven in § 5.3.3.
De Algemene Rekenkamer hanteert in al haar onderzoek dezelfde hoofd-
normen voor de beoordeling van informatie.
Er zijn twee groepen hoofdnormen35 (zie ook bijlage 5a):
• Inhoudelijke hoofdnormen: relevantie, betrouwbaarheid en
conformiteit aan wettelijke regels en gezaghebbende richtlijnen voor
de inhoud van informatie.
• Hoofdnormen voor vorm en presentatie: begrijpelijkheid,
vergelijkbaarheid en conformiteit aan wettelijke regels en
gezaghebbende richtlijnen voor de vorm van informatie.
Als de beleidsinformatie voldoet aan de zes hoofdnormen, dan verdient ze
volgens de Algemene Rekenkamer het predikaat ‘bruikbaar’.
35 Algemene Rekenkamer (2004):Handleiding Normen en begrippen (onderdeel van Handar)
Handleiding DDO
64In het DDO zal bij de hoofdnorm relevantie in ieder geval ook aandacht
geschonken moeten worden aan de volgende subnormen:
• volledigheid;
• actualiteit;
• tijdigheid.
Bij vergelijkbaarheid zal in ieder geval aandacht geschonken moeten
worden aan:
• consistentie (in de tijd; tussen onderdelen van de beleidsketen; en
tussen bronnen).
Deze (hoofd)normen vormen een ‘basispakket’. Toepassing van
deelnormen zal van situatie tot situatie kunnen verschillen.
De subnorm ‘volledigheid’ is nader uitgewerkt in bijlage 5b. Daar is in
algemene termen aangegeven welke informatie voor de sturing van beleid
nodig is in de verschillende fasen waarin beleid zich kan bevinden.
Daarbij is met het begrip ‘optioneel’ aangeven wat binnen de subnorm
‘volledigheid’ niet tot het basispakket wordt gerekend. Voorbeelden van
toepassingen van de normen zijn te vinden in bijlage 5c.
5.3.5 Kwaliteit van de beleidsinformatie (proces)
Totstandkoming informatie
Voor het onderzoek naar de vraag of de beleidsinformatie – afkomstig uit
systemen van reguliere prestatiegegevens of evaluatieonderzoek – aan de
gestelde zes hoofdnormen voldoet, zal (veelal) moeten worden
aangesloten bij de drie fasen van totstandkoming van informatie.
Informatie komt tot stand in drie fasen:36
1. De fase van informatieverzameling, inclusief initiële vastlegging. Deze
leidt tot het product ‘basisinformatie’;
2. De fase van informatieverwerking. Deze leidt tot het product
‘veredelde informatie’;
3. De fase van informatieverstrekking. Deze leidt tot het product
‘verstrekte informatie’ oftewel ‘rapportage’.
Deze fasen kunnen niet los van elkaar worden beschouwd. Immers, wil
het Rijk of een instelling informatie kunnen verstrekken die aan de eisen
voldoet (fase 3), dan moeten ook het proces van informatieverzameling
(fase 1) en informatieverwerking (fase 2) aan de eisen voldoen.
36 Uit: handleiding Normen en begrippen (2004).
Handleiding DDO
65Om bijvoorbeeld relevante informatie te kunnen verstrekken, dienen de
ministeries en instellingen voor de informatieverzameling (met name die
over beleidsresultaten) een rationeel-analytische benadering te hanteren.
Dat betekent dat ze doelstellingen hebben bepaald en
geoperationaliseerd, en dat ze prestatiegegevens (inclusief
effectgegevens) hebben benoemd.
Daarnaast moeten ministeries bij de informatieverzameling rekening
houden met de gebruikers van de informatie. Dit betekent dat ze (1) een
goed beeld moeten hebben van de gebruikers, (2) de informatiebehoeften
van de gebruikers moeten kennen (grootheden en eenheden) en (3) de
processen van informatieverzameling op de door de gebruikers verlangde
informatie moeten inrichten.
Wanneer een ministerie of instelling basisinformatie verwerkt (ag-
gregeert, synthetiseert enzovoort), moet haar integriteit behouden
blijven. Dit betekent dat ook verwerkingsprocessen moeten voldoen aan
eisen van betrouwbaarheid, validiteit, ordelijkheid en controleerbaarheid.
Als we de verstrekte informatie op betrouwbaarheid en validiteit
beoordelen, dan steunen we op de waarborgen die ministeries en
instellingen hebben getroffen. Deze waarborgen zijn bijvoorbeeld: de
juiste deskundigheid, functiescheiding, heldere procedures en goede
vastlegging (audit trail).
Indien ministeries en instellingen de informatie niet zelf verwerken,
dienen zij zich ervan te vergewissen dat dat elders goed gebeurt.
Eisen in regelgeving
De RPE (bepaling 5.1) stelt dat de ten behoeve van begroting en
verantwoording gebruikte informatiesystemen (van reguliere
prestatiegegevens) of evaluatie-instrumenten moeten voldoen aan de
eisen van validiteit, betrouwbaarheid / nauwkeurigheid en bruikbaarheid.
In de RPE (p.34-37) worden deze eisen verder geëxpliciteerd. Bepaling
5.2 stelt dat de in begroting en verantwoording opgenomen
beleidsinformatie op een ordelijke en controleerbare wijze tot stand dient
te komen. Helder moet zijn hoe de betreffende informatie tot stand is
gekomen: “[er wordt] op een transparante wijze aangegeven welke
keuzes aan de totstandkoming van de informatie ten grondslag hebben
gelegen. Systemen voor reguliere prestatiegegevens en de
administratieve organisatie daarvan moeten zo beschreven zijn, dat hun
kwaliteit vastgesteld kan worden. De kwaliteit en onafhankelijkheid van
evaluatieonderzoek dienen aan de hand van een onderzoeksdossier
vastgesteld te kunnen worden.”37
37 Ministerie van Financiën (2001).
Handleiding DDO
66
Beoordelen van prestatiemeetsystemen
Bij het evalueren van een meetsysteem moet in de eerste plaats worden
vastgesteld welk doel het meetsysteem in de organisatie heeft. Heeft dit
een neutrale thermometerfunctie die alleen objectief en afstandelijk
registreert en geen invloed heeft op de organisatie? Of vervult het
meetsysteem een centrale functie in de planning- en controlcyclus van
een organisatie? Idealiter is uiteraard de gegevensverzameling en
-analyse een onderdeel van de planning- en controlcyclus want daarmee
is gewaarborgd dat de informatie wordt gebruikt voor (bij)sturing van
beleid of voor verantwoording. Informatie verzamelen en er vervolgens
niets mee doen is immers niet wenselijk.
In de tweede plaats is van belang om de vraag te stellen of het
meetsysteem, gegeven de strategische en operationele doelen van het
beleid en gegeven de functie van het meetsysteem, wel de juiste
prestatie-indicatoren bevat. Vaak zijn de strategische en operationele
doelen immers niet uiteengelegd in de juiste indicatoren. Dan kan de
informatie uit het meetsysteem niet gebruikt worden voor sturing, noch
voor verantwoording. Als bijvoorbeeld van het afvalbeleid de doelstelling
is: ‘het voorkómen van het ontstaan van afval’, dan zegt het
prestatiegegeven ‘afname hoeveelheid afval’ nog weinig over het
voorkómen van afval, dus is het geen goede indicator van het effect. Als
de doelstelling luidt: ‘het verminderen van de hoeveelheid afval’, dan zegt
dit prestatiegegeven juist alles over het bereiken van het doel en is er
dus sprake van een goede indicator van het effect.
In de derde plaats is van belang om vast te stellen of de prestatie-
indicatoren meettechnisch goed zijn. Het gaat daarbij onder meer om
validiteit en betrouwbaarheid.
Ten aanzien van meetsystemen op het gebied van doelrealisatie,
doeltreffendheid of doelmatigheid hanteert de Algemene Rekenkamer de
volgende normen:
• het meetsysteem bevat informatie over middelen, activiteiten,
prestaties en effecten;
• de informatie uit het meetsysteem voldoet aan de eerder in deze
paragraaf genoemde productcriteria;
• de informatie in het meetsysteem maakt een extern oordeel over
doeltreffendheid en/of doelmatigheid mogelijk;
• de indicatoren zijn verbonden met specifieke strategische of
operationele doelstellingen van het beleid of de organisatie;
Handleiding DDO
67• de indicatoren bevorderen niet het kortetermijndenken ten koste van
de lange termijn;
• de baten van de gegevensverzameling staan in redelijke verhouding
tot de kosten daarvan;
• de informatie uit het meetsysteem is nuttig bij de besluitvorming van
het management;
• de informatie uit het meetsysteem wordt gebruikt in bijvoorbeeld het
begrotingsproces, periodieke beslissingen of evaluatieonderzoeken;
• vroegere informatie wordt steeds bewaard, zodat het mogelijk is
ontwikkelingen in de tijd te analyseren.
Britse criteria voor meetsystemen
In een handleiding van onder meer het Britse ministerie van Financiën en de Britse
rekenkamer (HM Treasury, 2001) getiteld Choosing the right FABRIC. A framework for
performance information, is een hoofdstuk opgenomen met criteria die aangeven wanneer
een meetsysteem goed is. Het gaat om de volgende criteria:
• Focused on the organisation’s aim and objectives;
• Appropriate to, and useful for, the stakeholders who are likely to use it;
• Balanced, giving a picture of what the organisation is doing, covering all significant
areas of work;
• Robust in order to withstand organisational changes or individuals leaving;
• Integrated into the organisation, being part of the business planning and management
process, and;
• Cost Effective, balancing the benefits of the information against the costs.
De handleiding is in bezit van de bibliotheek van de Algemene Rekenkamer.
5.3.6 Gebruik van beleidsinformatie
Een logisch vervolg op onderzoek naar de kwaliteit (bruikbaarheid) van
beleidsinformatie is het onderzoek naar de vraag in hoeverre er ook
daadwerkelijk gebruik van wordt gemaakt voor de ontwikkeling en (bij)-
sturing van beleid. Met name in onderzoek naar de onderbouwing van
beleid (ex-ante-evaluatieonderzoek zoals Beleidsinformatie Betuweroute)
is onderzoek naar het gebruik van informatie onmisbaar.
Ook wanneer in een bepaald onderzoek het accent niet ligt op de
onderbouwing, dient afgewogen te worden in hoeverre dit aspect
meegenomen moet worden. Er moet voor gewaakt worden dat ministeries
alleen maar informatie verzamelen en te weinig in de gaten houden of
deze ook gebruikt wordt. Bovendien kan het niet-gebruik van
Handleiding DDO
68beleidsinformatie (of het gebruik van kwalitatief slechte informatie) een
verklaring bieden voor het niet realiseren van prestaties en/of effecten.
Enkele aspecten die worden vermeld in de RPE (bepaling 6.1) zijn van
belang voor de beoordeling van het gebruik van beleidsinformatie /
prestatiegegevens:
• De ambtelijke en politieke top moeten volgens een door
departementen zelf te bepalen standaardprocedure op de hoogte
gebracht worden van de uitkomsten van periodiek
evaluatieonderzoek;
• Prestatiegegevens moeten worden benut in: (a) de rijksbegroting, (b)
de departementale begrotingscyclus, (c) de departementale
beleidsprocessen en (d) de bedrijfsvoering.
Daarnaast zijn de volgende normen van belang (zie ook Algemene
Rekenkamer, 1991c):
• De juiste personen (denk aan: parlement, minister, ambtenaren)
moeten tijdig de uitkomsten van het onderzoek ontvangen;
• Het bevoegd gezag dient (tijdig) een besluit te nemen over de vraag
of men al dan niet iets gaat doen met de uitkomsten van het
onderzoek (denk aan: wijziging of ondersteuning van het beleid of
van de organisatiestructuur waarbinnen het beleid tot stand komt);
• De veranderingen (in doelen, organisatie of instrumenten) moeten
worden gecommuniceerd aan de betrokkenen.
Om redenen van controleerbaarheid is het van belang dat het gebruik van
beleidsinformatie aanwijsbaar, dus schriftelijk moet zijn vastgelegd.
5.3.7 Checklists voor de beoordeling van doelformulering en
beleidsinformatie
Om de beoordeling van doelformulering en/of beleidsinformatie (over
onder meer prestaties en effecten) handen en voeten te geven, kan
gebruikgemaakt worden van checklists. Checklists kunnen worden
gebruikt om, bijvoorbeeld per te beoordelen onderzoeksrapport,
systematisch de te onderzoeken normen langs te lopen. Het hoeft hierbij
niet altijd alleen te gaan om de beoordeling van normen voor
doelformulering of beleidsinformatie, maar het kan ook gaan om een
inventarisatie van algemene en/of methodisch-technische aspecten van
het te beoordelen rapport.
Handleiding DDO
69Voorbeelden van in het Rekenkameronderzoek gehanteerde checklists
kunnen worden gevonden op intranet onder
‘kennisdomein’/’kennisdomein Prestaties en effecten - DDO’.
5.3.8 Informatievoorziening aan Tweede Kamer
Voor onderzoek naar de informatieplicht van ministers jegens de Staten-
Generaal heeft de Algemene Rekenkamer een Handreiking
informatieplicht ministers vastgesteld die toegepast dient te worden (te
vinden in Handar, map primaire processen \ onderzoeksproces). Deze
handreiking gaat niet alleen in op de normen die gelden voor de
informatievoorziening, maar ook op de terminologie die de Algemene
Rekenkamer op dit precaire terrein in haar rapporten hanteert. De
handreiking bevat tevens een checklist.
Let erop dat voor projecten die vallen onder de Procedureregeling Grote
Projecten aanvullende informatie-eisen gelden.
5.3.9 Nadere aandachtspunten
Bij de beoordeling van beleidsinformatie vragen de volgende punten om
nadere aandacht.
In de eerste plaats is de vraag aan de orde op welk niveau welke
informatie aanwezig moet zijn. Hiervoor hebben we gesteld dat dit soort
beleidsinformatie in principe bij de minister aanwezig moet zijn. Feitelijk
richtinggevend hiervoor is echter de verantwoordelijkheid van de minister
voor het betreffende beleidsterrein (zie ook hoofdstuk 3).
Wanneer er bijvoorbeeld een toezichthouder in het spel is, kan de
informatie die de minister heeft van een andere aard zijn dan wanneer de
minister volledige verantwoordelijkheid draagt voor het beleid. Per
beleidsterrein zal dit bepaald moeten worden.
Beoordeling beleidsinformatie op decentraal niveau
Wanneer de Algemene Rekenkamer de kwaliteitsborging van de informatievoorziening wil
beoordelen op decentraal niveau, begeeft zij zich op een terrein waar haar mandaat geen
betekenis heeft. Zij is dan dus aangewezen op vrijwillige medewerking. In het onderzoek
Begeleiding en herplaatsing voortijdige schoolverlaters was dit aan de orde. De Algemene
Rekenkamer heeft hier een toets op de kwaliteit van de beleidsinformatie op decentraal niveau
verricht. Ook in het onderzoek Grotestedenbeleid heeft zij gekeken naar de kwaliteit van
instrumenten van monitoring en auditing van het grotestedenbeleid. In beide onderzoeken heeft
de Algemene Rekenkamer echter expliciet de keuze gemaakt haar pijlen te richten op de minister.
Deze moest zorgdragen voor een goede informatievoorziening, als onderdeel van zijn/haar
systeemverantwoordelijkheid voor het beleid.
In de onderzoeken Preventie en bestrijding jeugdcriminaliteit en Voorbereiding rampenbestrijding
Handleiding DDO
70heeft de Algemene Rekenkamer ook de mate van geïnformeerdheid van sommige decentrale
actoren beoordeeld. Hiermee wilde zij respectievelijk de coördinerende rol van gemeenten en
toezichthoudende rol van provincies aan een toets onderwerpen. De minister is niet direct
aanspreekbaar op de invulling van die rol door decentrale actoren, maar kan deze actoren wél
aanspreken op tekortkomingen.
Ten tweede speelt de vraag, hoe de Algemene Rekenkamer zou moeten
omgaan met de beoordeling van beleidsinformatie die geproduceerd
wordt door informatie-instituten als het Rijksinstituut voor
Volksgezondheid en Milieu (RIVM), het Centraal Bureau voor de Statistiek
(CBS), het Centraal Planbureau (CPB) of het Sociaal en Cultureel
Planbureau (SCP).38 In principe zullen deze instituten op dezelfde wijze
moeten worden behandeld als andere informatieleveranciers en zal ons
onderzoek niet mogen stoppen bij hun voordeur. In de praktijk zal blijken
hoe ver we met de beoordeling van deze informatie kunnen en willen
gaan en hoe gedetailleerd we daarbij willen zijn. Hetzelfde geldt voor
instanties als toezichthouders, inspecties en overige controleurs.
5.3.10 Aanbevelingen
Het is van belang om bij de aanbevelingen die we formuleren concrete
manieren aan te geven waarop de beleidsinformatie structureel zou
kunnen worden verbeterd.
In het onderzoek Preventie en bestrijding jeugdcriminaliteit39 gaat de
Algemene Rekenkamer bijvoorbeeld gedetailleerd in op allerlei
inhoudelijke punten die in de informatiestromen opgenomen moeten
worden (zoals: een voorziening waarmee duidelijk wordt of jongeren
daadwerkelijk hulp hebben gekregen en met welk resultaat; duidelijkheid
over doorlooptijden).
Behalve de inhoud is ook de opbouw van de informatiemeetsystemen
vaak van belang. Zo wordt in het onderzoek Begeleiding en herplaatsing
van voortijdige schoolverlaters40 veel aandacht besteed aan de noodzaak
van koppelingen tussen schooladministraties, administraties van
begeleidende en controlerende instellingen zoals de jeugdzorg en leer-
38 Zie voor de voors en tegens van een dergelijk onderzoek de notitie van Ed Broeze aan het DSO,
d.d. 12 februari 1999. Vragen zijn bijvoorbeeld: Kunnen we de informatie (met name de
modelberekeningen) van deze specialistische instituten op hun waarde schatten? Hebben we
voldoende inzicht in de veldprocessen die deze modellen weergeven? Hebben we voldoende
expertise om de methodisch-technische kant ervan te beoordelen? Hebben we daarbij externe
expertise nodig? Zo ja, zouden er onafhankelijke experts beschikbaar zijn wanneer de kennis
geconcentreerd is in monopolieachtige instituten? 39 Algemene Rekenkamer (2002e). 40 Algemene Rekenkamer (2001b).
Handleiding DDO
71plichtambtenaren en de informatie die naar het ministerie van OCenW
gaat in het kader van het beleid voor voortijdige schoolverlaters. Het is
immers veel efficiënter voor alle partijen om de data ter verantwoording
van het nationale beleid geautomatiseerd op te bouwen uit gegevens die
diverse partijen voor hun uitvoerende werk zelf nodig hebben, dan om ze
elke keer afzonderlijk te moeten samenstellen. Wel moet dan de kwaliteit
van de gegevens op de ‘lagere’ niveaus gewaarborgd zijn en dat heeft
grenzen. Uiteraard dient ook de privacywetgeving nauwlettend
gerespecteerd te worden.
Aanbevelingen van het type ‘verbeter de kwaliteit van de
beleidsinformatie’ zijn te vaag. De volgende aanbevelingen zijn wél
concreet:
• Laat onderzoek doen naar de oorzaken van het feit dat voor 44% van
de jongeren die als verdachte in het Cliëntvolgsysteem
Jeugdcriminaliteit (CVS-JC) geregistreerd staan, niet kan worden
vastgesteld dat zij vervolgd zijn;
• Blik systematischer terug op het grotestedenbeleid, zodat inzicht kan
worden verkregen in de mate waarin de doelstellingen worden bereikt
en de mate waarin het beleid effectief is en wat mogelijke
verklaringen daarvoor zijn;
• Ontwerp een informatiesysteem waarin relevante informatie is
opgenomen over middelen, activiteiten, prestaties en effecten. Het
informatiemeetsysteem moet aansluiten op de planning- en
controlcyclus en de beleidscyclus.
Handleiding DDO
726 Onderzoek naar doelrealisatie (en doelgroepbereik)
6.1 Inleiding
In hoofdstuk 3 hebben we laten zien dat er globaal drie varianten zijn van
onderzoek naar prestaties en effecten: onderzoek naar doelrealisatie /
doelgroepbereik, naar doeltreffendheid en naar doelmatigheid. De drie
varianten onderscheiden zich doordat ze elk verschillende
probleemstellingen, onderzoeksontwerpen en onderzoeksmethoden
kennen. Dit hoofdstuk behandelt de eerste variant: het onderzoek naar
doelrealisatie en doelgroepbereik.
6.2 Onderzoek naar doelrealisatie
6.2.1 Probleemstelling en onderzoeksvragen
Onderzoek naar doelrealisatie is gericht op het bepalen van de mate
waarin een algemene en/of nadere geoperationaliseerde
beleidsdoelstelling wordt gehaald. Hierbij kan – conform VBTB – worden
gekeken naar doelgroepen (zie daarvoor § 6.3), streefwaarden en
eindtermijnen. Een typische probleemstelling in onderzoek naar
doelrealisatie is vrij eenvoudig en luidt:
• (in hoeverre) Worden de doelen van het beleid behaald?
De vraag naar wat de doelen van het beleid zijn, moet hiervoor al
beantwoord zijn (zie hoofdstuk 5). Bij de beleidsdoelen kan het zowel
gaan om prestaties als om effecten (veranderingen in de maatschappij).
De probleemstelling kan vervolgens verder worden uitgewerkt in
onderliggende onderzoeksvragen, bijvoorbeeld verbijzonderde vragen per
beleidsterrein, ministerie / RWT, bestuurslaag, beleidsinstrument en/of
tijdvak. Daarbij kun je ook kijken naar de rol van de minister bij het
realiseren van de doelen. Voorbeelden van dergelijke vragen zijn:
• Hoeveel subsidiebeschikkingen zijn het afgelopen jaar afgegeven en
komt dit overeen met de op dit punt geformuleerde doelen? (fictief
voorbeeld)
Handleiding DDO
73• Welke prestaties heeft het College Toelating Bestrijdingsmiddelen in
de praktijk geleverd?41
• Hoe is de kwaliteit van de registratie en conservering van de museale
collecties van het Rijk?42
6.2.2 Normen
Er zijn geen standaardnormen voor het behalen van prestaties en
effecten, zoals we die kennen voor doelformulering en beleidsinformatie
(zie hoofdstuk 5). Bij het onderzoek naar prestaties gaat het veeleer om
de beoogde prestaties en effecten, die kunnen worden afgezet tegen de
gerealiseerde prestaties en effecten.
De beoogde prestaties en effecten (‘normen’) kunnen op verschillende
plaatsen gevonden worden. Ze kunnen bijvoorbeeld worden ontleend aan
gemaakte afspraken omtrent de omvang van de prestaties en effecten,
zoals in het geval van afspraken tussen de rijksoverheid enerzijds en
agentschappen en/of zelfstandige bestuursorganen anderzijds (zie ook
hoofdstuk 5 over doelformulering).
6.2.3 Onderzoeksontwerp
Het onderzoeksontwerp bij doelrealisatie is niet gericht op de vraag of het
eventueel halen van de beleidsdoelstelling is toe te schrijven aan de inzet
van beleidsinstrumenten. Een ingewikkeld onderzoeksontwerp is dus niet
nodig.
We kunnen volstaan met een nameting van de verschillende prestaties
en/of effecten, dan wel met een combinatie van een voor- en nameting.
Het eerste (alleen nameting) is van toepassing als het beleidsdoel in
formele termen luidt: het bereiken van een bepaalde waarde op een
bepaalde grootheid (bijvoorbeeld: een geluidshinder van maximaal X
decibel). Voor- én nameting zijn nodig als het beleidsdoel in formele
termen luidt: het bereiken van een toe- dan wel afname van de waarde
van een bepaalde grootheid (bijvoorbeeld: reductie van geluid met X
decibel).
Als er geen afspraken zijn gemaakt, kunnen uitspraken worden gedaan
over prestaties en/of effecten aan de hand van vergelijkingen.
• Gelijktijdige vergelijking: deze manier van vergelijken is vooral
geschikt wanneer er sprake is van meer uitvoeringsorganisaties met
dezelfde dan wel vergelijkbare productieprocessen en producten
41 Algemene Rekenkamer 2002f, p.29. 42 Algemene Rekenkamer 2000b, p.8-9.
Handleiding DDO
74(bijvoorbeeld één type inspectie in diverse regio’s); het vergelijken
van gegevens van de eigen organisatie met die van andere wordt ook
wel aangeduid als ‘benchmarking’. De ‘best practice’ of de
‘gemiddelde praktijk’ fungeert hierbij als norm.
• Volgtijdelijke vergelijking: de prestaties van het heden van de
organisatie worden vergeleken met die uit het verleden. Norm is
veelal dat het in het heden ‘beter moet’ dan in het verleden. Bij de
vergelijking in de tijd moet wel bedacht worden, dat ontwikkelingen
in de prestaties niet alleen toe te schrijven zijn aan het functioneren
van de organisatie zelf, maar ook aan andere ontwikkelingen
(bijvoorbeeld toe- of afname van het ‘werkaanbod’, zoals aantal
aangevraagde vergunningen).
De relevante methoden en technieken zijn uitgewerkt in hoofdstuk 4.
6.2.4 Indicatoren prestaties
Verschillende productindicatoren of kengetallen kunnen worden gebruikt
om uitspraken te doen over de door een ministerie, RWT of lagere
overheid gerealiseerde prestaties. Het Sociaal en Cultureel Planbureau
(2001, p. 10) onderscheidt hiertoe onder meer de volgende product-
indicatoren:
• prestatie-indicatoren: deze hebben te maken met de geleverde
eindproducten (bijvoorbeeld het afgegeven van vergunningen,
afgesloten convenanten);
• procesindicatoren: deze hebben te maken met de verrichte
werkzaamheden of met tussenproducten.
Bij de interpretatie van de productindicatoren of kengetallen moet de
onderzoeker wel kritisch kijken naar de kwaliteit van deze indicatoren en
de wijze waarop deze tot stand zijn gekomen. In ieder geval kan worden
geëist dat ze voldoen aan drie voorwaarden:43
• ze moeten in kwantificeerbare grootheden zijn geformuleerd;
• ze moeten reproduceerbaar zijn;
• ze moeten voor een langere periode leverbaar zijn en dus in de tijd
vergelijkbaar zijn.
Overigens kan het bij de prestatie-indicatoren van belang zijn om de
prestaties te onderscheiden in extern merkbare prestaties en faciliterende
prestaties (zie ook hoofdstuk 3).
43 Algemene Rekenkamer (2002c).
Handleiding DDO
756.2.5 Indicatoren effecten44
De prestaties van bedrijven, burgers en instellingen kunnen een indicatie
geven van het effect in de samenleving (bijvoorbeeld het aantal
‘technostarters’45 als indicator voor innovatief ondernemerschap).
Daarnaast kunnen ook directe effectindicatoren46 voor het finale effect in
de samenleving worden onderscheiden (bijvoorbeeld het aantal verkeers-
doden als indicator voor verkeersveiligheid). Deze indicatoren beogen de
uiteindelijke effecten te meten op de burgers waarvoor het product
bedoeld is of op de samenleving als geheel. Eventueel kunnen
gebruiksindicatoren (mate van bereiken van de doelgroep) dienen als
proxy (indirecte indicator) voor de meting van effecten (zie de volgende
paragraaf).47 Bijvoorbeeld het aantal tuinders dat gebruikmaakt van
energiebesparende maatregelen.
Dit neemt niet weg dat ook gegevens over activiteiten en prestaties van
de rijksoverheid kunnen dienen als effectindicator, namelijk in gevallen
waarbij deze activiteiten of prestaties direct bijdragen aan het realiseren
van het beoogde effect (bijvoorbeeld het aantal gesaneerde
Defensieterreinen als indicator voor bodemsanering van
Defensieterreinen). Lang niet alle activiteiten en prestaties van de
rijksoverheid zeggen echter direct iets over het beoogde finale effect.
De vraag of prestatiegegevens iets over het finale effect zeggen, hangt
overigens samen met de formulering van het doel. Als bij het eerdere
voorbeeld van het afvalbeleid de doelstelling is: ‘het voorkómen van het
ontstaan van afval’, dan zegt het prestatiegegeven ‘afname hoeveelheid
afval’ nog weinig over het voorkómen van afval, dus is het geen goede
indicator van het effect. Als de doelstelling luidt: ‘het verminderen van de
hoeveelheid afval’, dan zegt dit prestatiegegeven juist alles over het
bereiken van het doel en is dus sprake van een goede indicator van het
effect.
6.2.6 Aanbevelingen
Mogelijke aanbevelingen zijn:
• Stel de beleidsinstrumenten bij, teneinde de beleidsdoelen in het
vervolg wél te bereiken;
44 Voor onderzoek naar intermediaire effecten (prestaties van gemeenten) kan goed gebruik
worden gemaakt van Maten voor gemeenten (SCP, 2000). 45 ‘Technostarters’ zijn aspirant-ondernemers die een technische innovatie op de markt willen
brengen. 46 De Groot & Goudriaan (1991). 47 Hierbij moet dan wel worden uitgegaan van een voldoende aanbod. Zo niet, dan wordt iets
anders gemeten dan het gebruik-zoals-bedoeld. Het is dan meer gebruik-zoals-bepaald.
Handleiding DDO
76• Stel de tijdsperiode bij waarin de beleidsdoelen gerealiseerd moeten
zijn;
• Stel de beleidsdoelen zelf bij. Dit laatste is een zinvolle aanbeveling
wanneer bijvoorbeeld blijkt dat de beleidsdoelen onrealistisch hoog
zijn gesteld. Handhaving van deze beleidsdoelen is dan niet zinnig.
Ook kan het zo zijn dat de beleidsdoelen technisch wel realiseerbaar
zijn, maar tegen zeer hoge kosten. Ook dan is het handhaven van de
oorspronkelijke beleidsdoelen niet zinnig en zou beter gemikt kunnen
worden op het bereiken van minder ambitieuze doelen tegen
aanvaardbare kosten.
Aanbevelingen kunnen ook betrekking hebben op het wegnemen van de
oorzaken van het niet bereiken van de beleidsdoelen (zie § 3.3 voor
verschillende oorzaken).
6.3 Onderzoek naar doelgroepbereik
6.3.1 Probleemstelling
In het onderzoek naar het bereiken van de doelgroep kunnen twee
varianten worden onderscheiden: onderzoek naar doelgroepbereik (in
enge zin) en doorwerkingsonderzoek.48
In het eerste geval gaat het om de vraag, of en hoe de uiteindelijke
doelgroepen van het beleid (burgers, instellingen, bedrijven) worden
bereikt. Daarnaast kan dezelfde vraag gesteld worden voor
beleidsuitvoerders anders dan het Rijk (zoals provincies, gemeenten,
RWT’s / ZBO’s): zij vormen belangrijke tussenschakels in de beleidskolom
/ het beleidsnetwerk tussen enerzijds het Rijk en anderzijds de uiteinde-
lijke doelgroep.
De karakteristieke probleemstelling bij onderzoek naar het bereiken van
de doelgroep is:
• Is de doelgroep van het beleid in de voorgenomen periode in de
beoogde vorm en mate bereikt?
De karakteristieke probleemstelling luidt in het doorwerkingsonderzoek:
48 Dit begrip wordt onder andere door de Rijksplanologische Dienst gehanteerd in Evaluatie van
indicatieve plannen; Handleiding en begrippen, januari 1990. Hierin wordt gesteld (op p. 10): “Om
te kunnen spreken van doorwerking van een perspectief in de besluit- of planvorming van
nageschakelde beleidsmakers moet aan een aantal minimumeisen zijn voldaan. De beleidsmaker
dient kennis te hebben van de inhoud van het perspectief, het perspectief in overweging te hebben
genomen en er mee in te stemmen. Als aan deze voorwaarden is voldaan, heeft het perspectief
doorgewerkt.”
Handleiding DDO
77• In hoeverre werken de doelen van het Rijk door bij de actoren in de
beleidskolom / het beleidsnetwerk?
6.3.2 Onderzoeksvragen
Bereiken doelgroep
De probleemstelling bij onderzoek naar het bereiken van de doelgroep is
in de volgende vier onderzoeksvragen uiteen te leggen:
1. Hoe is de doelgroep gedefinieerd?
2. Is de juiste doelgroep gekozen?
3. Welke vorm en mate van bereik wordt beoogd?
4. Is de doelgroep daadwerkelijk in die vorm en mate bereikt?
Ad 1. Hoewel elk beleidsdoel door toedoen van mensen gerealiseerd moet
worden, is de doelgroep van beleid lang niet altijd in termen van
individuele mensen geformuleerd. Beleid richt zich vaak op organisaties:
bedrijven dienen maatregelen te treffen om minder energie te gebruiken,
instellingen moeten zich inspannen om ziekteverzuim terug te dringen,
sportverenigingen moeten jongeren proberen te interesseren. De eerste
onderzoeksvraag gaat dan ook in op de kwestie, hoe de doelgroep van
het beleid is gedefinieerd.
Ad 2. Bij de vraag of de juiste doelgroep gekozen is, dient het begrip
‘juist’ niet zozeer in politieke termen opgevat te worden, maar in termen
van beleidsonderbouwing. Zo zou je bij een regeling die bedoeld is voor
de minima kunnen nagaan of de afbakening van de doelgroepen in de
regeling daarmee in overeenstemming is.
Ad 3. Voordat je de vraag naar het feitelijk bereik kunt beantwoorden,
moet ook duidelijk zijn welke vorm van bereik wordt beoogd. Er zijn vele
varianten denkbaar: ‘in contact komen met’, ‘kennis nemen van’,
‘begrijpen’, ‘accepteren’,49 ‘deelnemen aan’, enzovoort. Voor de mate van
bereik geldt meestal dat een bepaald percentage van de doelgroep op een
vastgelegd moment bereikt dient te zijn.
Ad 4. Pas nu ben je toe aan het beantwoorden van de hamvraag over het
daadwerkelijk bereik. Er kunnen hier twee typen onderzoeksvragen aan
bod komen.
Het eerste type heeft betrekking op de stand van zaken op een bepaald
moment. Kenmerkende onderzoeksvragen van dit type luiden
bijvoorbeeld als volgt:
49 Zie Algemene Rekenkamer (1991b).
Handleiding DDO
78• hoeveel procent van de mensen is op de hoogte van het bestaan van
individuele huursubsidie?
• hoeveel procent van de mensen weet op welke manier en waar
individuele huursubsidie aangevraagd kan worden?
• hoeveel procent van de mensen die recht hebben op individuele
huursubsidie, zijn zich bewust van dat recht?
• welk percentage van de mensen die daarop recht hebben, vraagt
huursubsidie aan?
Het tweede type vragen heeft betrekking op veranderingen in het bereik
van de doelgroep nadat een specifieke prestatie is geleverd. In de meeste
gevallen gaat het dan om de inzet van voorlichtingsmateriaal waarmee
men probeert mensen te informeren over hun mogelijkheden (‘Het kan
zijn dat ook u recht op huursubsidie hebt’) of over wenselijk geacht
gedrag (‘Een goed milieu begint bij jezelf’).50 Onderzoek naar het bereik
van de doelgroep is in zulke gevallen onderzoek naar de verandering in
het bereik van de doelgroep nadat het voorlichtingsmateriaal is ingezet.
Concrete onderzoeksvragen luiden dan bijvoorbeeld:
• Is het percentage kinderen tussen nul en vier jaar dat regelmatig een
consultatiebureau bezoekt, toegenomen na de daarop gerichte
voorlichtingscampagne?
• Hoeveel boeren hebben subsidie aangevraagd voor braakliggende
grond sinds de bekendmaking van de wijziging in de
subsidievoorwaarden?
Doorwerking
De probleemstelling bij onderzoek naar de doorwerking van beleid kan
uiteengelegd worden in de volgende onderzoeksvragen:51
• Welke actoren zijn – naast het Rijk – betrokken bij beleid X, ofwel:
hoe ziet de beleidskolom/het beleidsnetwerk er bij beleid X uit?
• Welke bijdrage verwacht het Rijk van de betrokken actoren aan beleid
X?
• Zijn de betrokken actoren bekend met de doelen van het Rijk rond
beleid X?
• Hebben de betrokken actoren deze doelen in overweging genomen?
50 N.B.: in het algemeen kunnen de volgende vier vragen worden onderscheiden bij onderzoek naar
het effect van voorlichting: wat is het bereik (bekendheid), welke verandering in kennis is
opgetreden, welke verandering in houding is opgetreden en welke verandering in gedrag is
opgetreden. 51 Gelijksoortige onderzoeksvragen zijn gehanteerd in het voorbeeldonderzoek naar afvalpreventie
(Algemene Rekenkamer, 1997). Het begrip doorwerking heeft in dat onderzoek overigens een
ruimere strekking dan hierboven geschetst : het heeft daar niet alleen betrekking op
beleidsuitvoerders , maar ook op de uiteindelijke doelgroepen van het beleid. Zo is onder andere
gekeken naar de doorwerking van het beleid bij bedrijven door bedrijfsmilieuplannen te
bestuderen.
Handleiding DDO
79• Stemmen de betrokken actoren in met deze doelen, oftewel: is er
sprake van vergelijkbare probleemdefinities, visies, waarden en
oplossingsrichtingen?
• Worden de doelen van het Rijk rond beleid X ook door de betrokken
actoren nageleefd, oftewel: is hun feitelijk gedrag in
overeenstemming met deze doelen?
6.3.3 Normen
Om een oordeel te kunnen uitspreken over de mate waarin de doelgroep
of intermediairs zijn bereikt of over de verandering in bereik die is
opgetreden, is het nodig te beschikken over gespecificeerde normen over:
1. de gewenste omvang van (verandering in) het bereik van
het beleid;
2. de gewenste vorm van het bereik van het beleid;
3. het gewenst tijdstip waarop het bovenstaande
gerealiseerd moet zijn.
Ad 1. In de eerste plaats dient dus in termen van een concreet streefgetal
(bijvoorbeeld een percentage of een absolute aantal van de doelgroep of
van intermediairs) of in termen van een wenselijk geachte richting (meer,
beter) aangegeven te zijn naar welk bereik wordt gestreefd of naar welke
verandering daarin. Daarbij is niet alleen de specificatie van de
hoeveelheid van belang, maar ook de precieze afbakening van de doel-
groep of intermediairs. Zo maakt het nogal wat uit of je je op alle
inwoners van Nederland richt of uitsluitend op de leeftijdscategorie tussen
18 en 24 jaar.
Ad 2. Verder moet vanzelfsprekend zijn vastgelegd welke vorm van bereik
wordt beoogd. In de meeste gevallen zal de beoogde vorm van bereik
overigens in termen van kennis en bekendheid zijn beschreven.
Ad 3. Ten slotte moet duidelijk zijn op welk tijdstip de doelgroep of
intermediairs bereikt dienen te zijn. Ook kan een reeks tijdstippen zijn
aangegeven waarmee duidelijk gemaakt wordt hoe het bereik dient te zijn
op tussentijds gelegen tijdstippen. Wanneer je op de aangegeven
momenten meet of het beoogde bereik is gerealiseerd, voorkom je het
verwijt dat je te vroeg bent komen meten.
In principe moet specifiek voor het onderzochte beleid duidelijk zijn welke
doelgroep in welke vorm en mate en op welk tijdstip bereikt moet zijn. In
sommige gevallen echter kan een oordeel worden gebaseerd op
algemenere normen. Dat geldt bijvoorbeeld voor voorlichtingscampagnes:
Handleiding DDO
80de Rijksvoorlichtingsdienst heeft in algemene zin uitgesproken dat het als
positief wordt beschouwd wanneer het bereik van de relevante doelgroep
door een televisiespot 80% bedraagt.52
6.3.4 Onderzoeksontwerpen
Als het beoogde bereik en/of de beoogde doorwerking is geformuleerd in
termen van een criterium (bijvoorbeeld 80% of x personen) dat op een
bepaald tijdstip moet zijn gehaald, kan volstaan worden met een
eenmalige meting. Gaat het om het vaststellen van een verandering, dan
zul je over een voormeting en een nameting moeten beschikken.
6.3.5 Indicatoren doelgroep
Als indicator voor het bereiken van de doelgroep kan een
gebruiksindicator worden gebruikt: deze zegt iets over de afnemers van
de diensten53 en de mate waarin deze worden gebruikt.
6.3.6 Aanbevelingen
Wanneer het bereik niet voldoet aan het geformuleerde criterium, zal de
karakteristieke aanbeveling luiden dat men moet streven naar een beter
bereik. Die aanbeveling kan in concrete gevallen verschillende vormen
aannemen:
• In zijn meest eenvoudige vorm is de aanbeveling gericht op de
ingezette instrumenten, en luidt dan bijvoorbeeld dat men andere
media of intermediairs moet gebruiken om de doelgroep op de hoogte
te brengen (tenminste als het onderzoek daar aanwijzingen voor
biedt).
• Daarnaast kan de aanbeveling op zijn plaats zijn om de uiteindelijke
doelgroep of intermediairs beter af te bakenen. Wellicht zijn er
aanwijzingen dat deze beperkter of juist ruimer opgevat moeten
worden.
• De aanbeveling kan zich ook richten op de omvang en/of de vorm van
bereik. Bij tekortschietend bereik verdient het soms aanbeveling een
geringer bereik dan wel een minder vergaande vorm van bereik na te
streven; dit geldt eens te meer indien dit geringere bereik tegen
aanzienlijk lagere kosten kan worden gerealiseerd.
52 Algemene Rekenkamer (1991). 53 SCP (2001, p.10).
Handleiding DDO
817 Onderzoek doeltreffendheid
7.1 Inleiding
In hoofdstuk 3 hebben we laten zien dat er globaal drie varianten zijn van
onderzoek naar prestaties en effecten: onderzoek naar doelrealisatie /
doelgroepbereik, naar doeltreffendheid en naar doelmatigheid. Dit
hoofdstuk behandelt de tweede variant: het onderzoek naar de doeltref-
fendheid van beleid. Dit is een gecompliceerde onderzoeksvariant. Dat zit
hem in het feit dat er een relatie moet worden gelegd tussen de
beleidsprestaties van de minister en de gerealiseerde effecten in de
samenleving. Doordat er sprake kan zijn van een lange beleidsketen en er
externe factoren kunnen zijn die ook van invloed kunnen zijn op de te
bereiken einddoelen, is het vaak moeilijk om het causale verband tussen
prestaties en effecten aan te tonen.
7.2 Probleemstelling en onderzoeksvragen
Bij onderzoek naar de doeltreffendheid van beleid gaat het om twee –
met elkaar verbonden – vragen (zie figuur 7.1):
1. In hoeverre is de doelrealisatie op het conto te schrijven van de inge-
zette instrumenten en middelen?
2. Welke verklaringen zijn te geven voor de geconstateerde
(in)effectiviteit?
Figuur 7.1 Analysemodel doeltreffendheid.
De eerste vraag is van belang om te onderzoeken of het inderdaad het
beleid van de minister / RWT is geweest dat ertoe heeft geleid dat de
externe factoren tussendoelen neveneffecten
einddoel
ingezette beleidsinstrumenten
Handleiding DDO
82effecten zijn behaald of dat er externe factoren zijn die dit (mede)
kunnen verklaren. Als uitsluitend externe factoren de effecten kunnen
verklaren, is de minister uitgegaan van een onjuiste beleidstheorie:
de ingezette instrumenten zijn niet de juiste of niet nodig geweest om de
gestelde doelen te kunnen bereiken.
De tweede vraag – die in feite het complement is van de eerste vraag – is
van belang om in het onderzoek mee te om aanbevelingen te kunnen
doen: waaraan moet de minister aandacht besteden, wil hij/zij het beleid
effectiever maken?
In doeltreffendheidsonderzoek kan naar verschillende relaties worden
gekeken:
instrument a beleidsdoel x benadering 1
instrument a
instrument b beleidsdoel x benadering 2
instrument c
beleidsdoel x
instrument a beleidsdoel y benadering 3
neveneffect z
instrument a beleidsdoel x
instrument b beleidsdoel y benadering 4
instrument c neveneffect z
De eerste benadering is onder andere zinvol indien de overheid een
bepaald doel via één instrument (in plaats van een complex
instrumenten) wil realiseren en het risico van het optreden van negatieve
neveneffecten laag wordt ingeschat. Een voorbeeld zou kunnen zijn de
bevordering van de remigratie van allochtonen door middel van een
remigratieregeling. De eerste benadering is ook zinvol als je, hoewel er
een complex van instrumenten op een bepaald beleidsdoel is gericht, het
onderzoek vanwege effectiviteitrisico’s wilt focussen op één instrument uit
het complex. De andere instrumenten fungeren dan als context.
De tweede benadering kan opportuun zijn als het gaat om een complex
van beleidsinstrumenten in relatie tot een bepaald beleidsdoel. Soms zijn
de instrumenten zo sterk met elkaar verweven, dat het lastig is ze uiteen
te rafelen in hun gevolgen voor de mate van doelrealisatie. Je evalueert
dan in feite een mix van ingezette instrumenten.
Handleiding DDO
83Soms is het echter nog wél mogelijk om de effectiviteit van de diverse
onderdelen van het beleid uiteen te rafelen, zoals bij een
beleidsexperiment in het kader van energiebesparing het geval was.
Effectiviteit instrumenten energiebesparingsbeleid: een experiment
In een experiment van het energiebedrijf EDON in 1993 en 1994, dat B&A-groep in
opdracht van het ministerie van Economische Zaken begeleidde, werd de effectiviteit beoor-
deeld van twee instrumenten die bij het energiebesparingsbeleid zouden kunnen worden
ingezet: voorlichting versus een financiële prikkel (van f 150 respectievelijk f 75). De
effecten op energiebesparing konden tegen elkaar worden afgezet omdat men beschikte
over zes groepen: (1) alleen voorlichting (2) alleen f 150 (3) alleen f 75 (4) voorlichting + f
150 (5) voorlichting + f 75 (6) controlegroep (zie ook bijdrage van Hufen in de achtste
bundel Klankbordgroep, 1997).
Bij dit soort onderzoek stelt de onderzoeker de groepen bij voorkeur samen door loting
voorafgaand aan de inzet van beleidsinstrumenten, opdat ze op andere kenmerken (behalve
die van de beïnvloeding door beleidsinstrumenten) zo gelijk mogelijk zijn. Als dit niet
mogelijk is kun je ook, nadat de groepen zich al spontaan hebben gevormd, vergelijkingen
tussen de groepen trekken. Nadeel kan dan zijn dat ze op andere kenmerken ook niet gelijk
zijn, waardoor minder eenduidig verschillen tussen groepen aan het verschil in blootstelling
aan beleidsinstrumenten kan worden toegeschreven.
Uit het experiment bleek overigens dat de combinatie van hoge premie en voorlichting het
meeste effect sorteerde.
De derde benadering kun je kiezen als je van de inzet van een
beleidsinstrument verwacht dat deze diverse effectiviteitrisico’s met zich
meebrengt. Een voorbeeld vormt het Rekenkameronderzoek naar de
integratie van kruiswerk en gezinsverzorging.54 In dit onderzoek is
nagegaan wat de effecten van de integratie waren op het punt van (1)
minder overheadkosten en (2) inhoudelijke kwaliteit (wegwerken
wachtlijsten).
De vierde benadering is het meest omvattend en kan toegepast worden
bij verwevenheid van instrumenten en te verwachten effectiviteitrisico’s
op vele fronten. Een voorbeeld hiervan is te vinden in het
Rekenkameronderzoek Gesubsidieerde arbeid.55 In dit onderzoek zijn
diverse instrumenten ter bestrijding van werkloosheid afgezet tegen
diverse beleidsdoelen (zoals creatie van banen, uitstroom) en
neveneffecten (zoals verdringing).
54 Algemene Rekenkamer. Decemberverslag 1993. 55 Tweede Kamer, vergaderjaar 1996-1997, 25 070, nrs. 1-2.
Handleiding DDO
847.3 Normen
De hoofdnorm bij onderzoek naar effecten is uiteraard doeltreffendheid.
Daarvoor bestaat evenwel geen standaard, net zo min als voor
doelrealisatie. De norm dient voor ieder onderzoek gespecificeerd te
worden al naar gelang de doelen van het onderzochte beleid. Als
bijvoorbeeld de integratie van kruiswerk en gezinsverzorging een reductie
in de overheadkosten ten doel heeft, dan is de norm dat er als gevolg van
de ingezette integratie-instrumenten ook daadwerkelijk een reductie in de
overheadkosten optreedt (liefst nog met een gespecificeerd percentage).
Het ligt in de rede bij de bepaling van de mate van effectiviteit het
einddoel van het onderzochte beleid als uitgangspunt te nemen: om de
realisatie van dát doel gaat het tenslotte. Concentratie op einddoelen kan
ons echter voor een dilemma plaatsen. Immers, vaak geldt:
• Hoe hoger je komt in de doelboom, hoe abstracter/vager het doel is
geformuleerd, en hoe lastiger meetbaar de mate van doelrealisatie is;
• Hoe hoger je komt in de doelboom, hoe lastiger de causale toe-
rekeningsvraag is te beantwoorden, omdat aangenomen mag worden
dat met het ‘klimmen’ in de doelboom het aantal relevante storende
factoren toeneemt.
Deze barrières kunnen reden zijn de aandacht toch op tussendoelen
(prestaties van gemeenten / RWT’s en prestaties van bedrijven, burgers
en instellingen) te richten. Deze aanpak wint aan kracht als
redenerenderwijs plausibel gemaakt kan worden wat de relatie is tussen
eind- en tussendoel.
Als je in het onderzoek ook neveneffecten betrekt, zou naast effectiviteit
als norm kunnen gelden dat er geen sprake mag zijn van (substantiële)
negatieve neveneffecten.
Daarnaast kun je als norm hanteren dat de volgende inhoudelijke effecten
niet of in geringe mate zouden mogen voorkomen:
• Cadeaueffect: dit effect treedt onder andere op bij subsidies: men
had het door de subsidie gestimuleerde gedrag ook zonder of met
minder subsidie tentoongespreid. Dit bleek bijvoorbeeld het geval te
zijn bij de eenmalige premiëring van koopwoningen;56
• Verdringingseffect: dit is een effect dat vaak optreedt bij instru-
menten op het gebied van de arbeidsvoorziening: sommigen komen
56 Voorbeeld ontleend aan Kraan-Jetten (1991). In feite kun je bij dit effect stellen dat er wel
sprake is van doelrealisatie, maar niet van effectiviteit. Tegelijkertijd kun je dit zien als een
voorbeeld van onderzoek naar de doelmatigheid van het beleid: had het effect niet met minder
geld tot stand kunnen komen?
Handleiding DDO
85weliswaar beter aan het werk, maar dit gaat ten koste van andere
werknemers/werkzoekenden;57
• ‘Benefit-snatching’: dit is het verschijnsel dat aanbieders van een te
subsidiëren product (of anderen in de productkolom) meegenieten
van het geboden subsidievoordeel door de prijs te verhogen. Zo is bij
de vervanging van PCB’s een verviervoudiging geconstateerd van de
prijzen voor PCB-afvalverwerking in de periode 1984-1986, waarvan
niet duidelijk is of die alleen aan kostenstijging van afvalverwijdering
is toe te schrijven.58
7.4 Onderzoeksontwerp
Om een uitspraak te kunnen doen over de mate waarin de realisatie van
een beleidsdoel te danken is aan het beleid, is een vergelijking nodig.
Deze bestaat idealiter uit een meting voor en na de invoering van het
beleid, en een meting bij een controlegroep die niet onderworpen is aan
het beleid.
In de praktijk blijkt een dergelijke vergelijking meestal moeilijk
uitvoerbaar, onder meer doordat vergelijkingsmateriaal vaak ontbreekt.
Onderzoeksontwerpen kunnen gerangschikt worden naar de mate waarin
zij voldoen aan de causaliteitsvoorwaarden uit § 4.2.5. In de literatuur
zijn deze onderzoeksontwerpen uitgebreid gedocumenteerd.59 Hier zij met
name benadrukt dat het treffen van vergelijkingen voor de bepaling /
benadering van effectiviteit essentieel is. Zo kun je vergelijkingen maken:
• in de tijd: hoe werd gescoord voor en na de inzet van het
instrument?;60
• tussen groepen: hoe scoorde de groep die wel aan het instrument
werd blootgesteld in vergelijking met de groep die er niet aan werd
blootgesteld?;61
57 Zie voor dit effect ook het Rekenkameronderzoek Gesubsidieerde arbeid (Algemene Rekenkamer,
1996a). Afhankelijk van het doel van het instrument (creatie werkgelegenheid in het algemeen
versus werkgelegenheidscreatie voor een specifieke doelgroep) kan dit als ineffectiviteit dan wel als
negatief neveneffect worden opgevat. 58 In feite dus op te vatten als een speciaal soort neveneffect. Voorbeeld ontleend aan Vermeulen
(1992). 59 Naast de literatuur die reeds vermeld is in de noten bij deze handleiding gaat het onder andere
om: P.H. Rossi en H.E. Freeman, Evaluation, a systematic approach, 1993; Th. D. Cook and D.T.
Campbell, Quasi- Experimentation, Design and Analysis Issues for Field Setting, 1979; Veldkamp
Marktonderzoek b.v., Naar een zilveren standaard; een aanzet tot richtlijnen voor effectonderzoek
naar campagnes van de Rijksoverheid, 1993. 60 In Heeft beleid effect, Afdeling Beleidsanalyse van het Ministerie van Financiën, 1999, aangeduid
als de voor-na benadering. 61 In Heeft beleid effect, Afdeling Beleidsanalyse van het Ministerie van Financiën, 1999, aangeduid
als de met-zonder benadering.
Handleiding DDO
86• tussen diverse (uitvoerings)varianten van het beleid: wat werkt in
welke omstandigheden? Om dit te kunnen traceren is een
nauwgezette beschrijving van de diverse (uitvoerings)varianten van
het beleid in samenhang met eventuele verschillen in context
waarbinnen het beleid wordt uitgevoerd, essentieel;62
• met een hypothetische situatie: wat zou de score geweest zijn zónder
het betreffende beleidsinstrument? Dit kun je bijvoorbeeld
onderzoeken door middel van de subjectieve beoordelingsmethode,
waarbij vragen gesteld worden als: ‘Als u deze subsidie niet had
gehad, was u dan ook tot het via de subsidie beoogde gedrag
gekomen?’. Deze methode is op zichzelf weinig geschikt omdat ze
ongeldige sociaalwenselijke antwoorden kan genereren, maar met
‘doorvragen’ en in combinatie met andere methoden kan ze toch een
indicatie van effectiviteit geven;63
• door middel van combinaties van bovenstaande mogelijkheden.
7.5 Onderzoeksmethoden
Evaluatieonderzoek ex post is de aangewezen methode om
te onderzoeken, of op zijn minst aannemelijk te maken, in welke mate de
inzet van de beleidsinstrumenten (bijvoorbeeld subsidies, convenanten,
vergunningen) heeft bijgedragen aan het al dan niet realiseren van de
beleidsdoelstelling(en).
Daarnaast kan het benoemen van plausibele storende factoren en het
nagaan of die in het concrete geval gespeeld hebben van belang zijn. Hoe
beter je in staat bent aan te geven dat dergelijke storende factoren geen
rol hebben gespeeld, hoe beter je de mate van effectiviteit van een
beleidsinstrument kunt aantonen.64 Dit is de essentie van de modus-
operandimethode (letterlijk: wijze van werking). Een uiteenzetting van de
methode staat beschreven in bijlage 6.
De vanuit methodisch-technisch standpunt meest gewenste ontwerpen
zijn in de praktijk vaak het lastigst te realiseren. Zo is een voormeting
vaak niet meer te realiseren omdat de evaluator (te) laat wordt
62 Zie hiervoor ook het artikel van R. Pawson and N. Tilley, Whither (European) Evaluation
Methodology, Knowledge and Policy, Fall 1995, vol. 8, no. 3, p.20-33. 63 Zie P. Swanborn, Evalueren onder de loep; op weg naar een standaardvoorziening voor evaluatie
in de Arbeidsvoorziening, O&A werkdocument 95-03, 1995, p.72. 64 Vergelijk hiervoor onder andere het voorbeeldonderzoek uit directie I naar de brandstofsanering
bij defensieterreinen. Aannemelijk is in dit geval, dat er geen andere actoren en factoren een rol
spelen bij de terugdringing van de verontreiniging behalve de saneringsacties van het Ministerie
van Defensie zelf. In dit geval is door een strategische keuze van het onderzoeksonderwerp dus
sprake van doelrealisatie=effectiviteit.
Handleiding DDO
87ingeschakeld. Of er kan geen controle- of vergelijkingsgroep worden
gevormd omdat men het ethisch onverantwoord vindt het beleid
(voorlopig) te onthouden aan bepaalde doelgroepen.
Niettemin biedt de praktijk soms ook de mogelijkheid tot creatieve
oplossingen: zo kun je gebruikmaken van wachtlijstgroepen als
vergelijkingsgroep. Ook kun je meer methoden – elk met hun eigen
sterkten en zwakten – tegelijkertijd gebruiken, om na te gaan of zij alle
qua effecten in dezelfde richting wijzen.65
De relevante methoden en technieken zijn uitgewerkt in hoofdstuk 4.
7.6 Indicatoren doeltreffendheid
Er bestaan geen kant-en-klare indicatoren voor doeltreffendheid, zoals
bijvoorbeeld bij doelrealisatie. Uit een doeltreffendheidsindicator zou
namelijk moeten blijken in welke mate het beleid heeft bijgedragen aan
de effecten in de samenleving. Dat valt vrijwel alleen op basis van ex-
post-evaluatieonderzoek te onderzoeken. In de praktijk worden daarom
vaak – ten onrechte – indicatoren voor doelrealisatie gepresenteerd als
doeltreffendheidskengetallen.66
7.7 Aanbevelingen
Om bij geconstateerde ondoeltreffendheid van beleid aanbevelingen te
kunnen doen, moet je zicht hebben op verklaringen voor deze
ondoeltreffendheid. Potentiële verklaringen zullen al in het begin van het
onderzoek gespecificeerd moeten worden om tijdens de rit van het
onderzoek te kunnen vaststellen in hoeverre ze daadwerkelijk een rol
spelen.
In de literatuur worden diverse verklaringsgronden onderscheiden, zoals
onjuiste veronderstellingen/beleidstheorie, afwijkende uitvoering, conflic-
65 Zie het pleidooi hiervoor van E. Chelimsky: “This means that we think less today about the
relative merits of one method versus another and more about whether and how using them in
concert could result in more conclusive findings” (in: Where we stand in the practice of evaluation,
Knowledge and Policy, Fall 1995, vol. 8, no. 3, p. 8-19).
Een aardig voorbeeld van gebruikmaking van een scala aan methoden wordt gegeven in een
onderzoek van het College van Toezicht Sociale Verzekeringen (CTSV) naar de effecten en
neveneffecten van invoering van financiële prikkels in de Ziektewet (J. Vijgen in achtste bundel
Klankbordgroep, 1997). Er werd een telefonische enquête gehouden onder bedrijven om te
achterhalen in welke mate waarin zij op de hoogte waren van wijzigingen in de Ziektewet en welke
maatregelen zij hadden ingevoerd om ziekteverzuim te bestrijden (nu de nieuwe Ziektewet het
eigen risico voor de werkgever verhoogt). Daarnaast maakte men gebruik van een aantal andere
methoden: analyse van bestaande verzuimcijfers, berekening van de samenhang tussen aantal
ingevoerde maatregelen en de mate van daling in het ziekteverzuim, vergelijking van
verzuimcijfers in de tijd tussen bedrijven die veel en weinig verzuimmaatregelen hadden
geïntroduceerd om autonome ontwikkelingen in verzuimcijfers te traceren, enzovoort. 66 Zie ook Algemene Rekenkamer (1997b).
Handleiding DDO
88terende beleidsdoelen, te hoog gegrepen beleidsdoelen, ontoereikende
beleidsorganisatie en elkaar bestrijdende overheden (zie ook § 3.3).67
Aanbevelingen kunnen, al naar gelang de toepasselijkheid van
bovenstaande verklaringen, luiden:
• Pleeg (beter) ex-ante-evaluatieonderzoek alvorens over te gaan tot
keuze en inzet van instrumenten. Betrek daarin niet alleen de te
verwachten effecten, maar ook de kosten van alternatieve
instrumenten;
• Heroverweeg de inzet van dit instrument in relatie tot het
beleidsdoel;
• Heroverweeg de mate van inzet van het instrument (bijvoorbeeld
hogere/lagere subsidie);
• Heroverweeg de instrumentenmix;
• Stel de uitvoering(sorganisatie) bij, zodat deze conform plan
geschiedt (handelt);
• Handhaaf de uitvoering, maar stel de te ambitieuze beleidsdoelen bij;
• Probeer negatieve effecten te vermijden door bijstelling instrument.
67 Zie hiervoor onder andere: H. Bressers en P.J. Klok, Handleiding instrumententheorie, 1988; A.
Kraan-Jetten, Effectiviteit van overheidsbeleid, 1991; W.J.V. Vermeulen, De vervuiler betaald:
onderzoek naar de werking van subsidies op vier deelterreinen van het milieubeleid, 1992.
Handleiding DDO
898 Onderzoek naar doelmatigheid
8.1 Inleiding
In hoofdstuk 3 hebben we laten zien dat er globaal drie varianten zijn van
onderzoek naar prestaties en effecten: onderzoek naar doelrealisatie /
doelgroepbereik, naar doeltreffendheid en naar doelmatigheid. Dit
hoofdstuk behandelt de derde en laatste variant: het onderzoek naar
doelmatigheid.
We bespreken achtereenvolgens de opzet van doelmatigheidsonderzoek
(§ 8.2) en de begrippen die bij doelmatigheid een rol spelen (§ 8.3). Ten
slotte gaan we in op de vier stappen die we idealiter onderscheiden in
doelmatigheidsonderzoek:
1. Onderwerp afbakenen (§ 8.4).
2. Gegevens verzamelen (§ 8.5).
3. Doelmatigheid berekenen (§ 8.6).
4. Het zoeken naar verklaringen voor verschillen in doelmatigheid (§
8.6).
8.2 Opzet van doelmatigheidsonderzoek
8.2.1 Doelstelling
De doelstelling van doelmatigheidsonderzoek door de Algemene
Rekenkamer zou kunnen luiden:
een bijdrage leveren aan het verbeteren van de doelmatigheid door
informatie te verschaffen over de mate van doelmatigheid en verklaringen
te geven voor (on)doelmatigheid.
Door te laten zien hoe doelmatigheidsonderzoek uitgevoerd kan worden
kan men als neveneffect een bijdrage leveren aan de verbetering van de
wijze waarop organisatie X haar eigen doelmatigheid bewaakt
(doelmatigheidsinformatie genereert).
8.2.2 Probleemstelling en onderzoeksvragen
Uit de doelstelling volgt de volgende probleemstelling:
Handleiding DDO
90welke doelmatigheidsverschillen zijn er tussen (onderdelen van)
organisaties en/of in de tijd en welke factoren verklaren deze
doelmatigheidsverschillen?
De probleemstelling kan worden vertaald in de volgende
onderzoeksvragen:
• Meten van doelmatigheid:
o Welke effecten of prestaties (daarbij rekening houdend met
eventuele kwaliteitsverschillen) en middelen worden
onderscheiden en welke omvang hebben deze?
o In welke mate zijn er verschillen in doelmatigheid tussen de
organisaties en/of in de tijd?
• Verklaren van doelmatigheidsverschillen:
o Welke potentiële verklaringen zijn er voor verschillen in
doelmatigheid?
o Welke factoren verklaren de eventuele verschillen in
doelmatigheid?
8.2.3 Normen
Zoals reeds aangegeven in hoofdstuk 1 kan doelmatigheid zowel
betrekking hebben op beleidseffecten (outcome) als op beleidsprestaties
(output), ongeacht welke (onderdelen van) organisaties deze prestaties of
effecten geleverd hebben.
Wanneer we ons afvragen of de effecten respectievelijk prestaties van
beleid doelmatig zijn gerealiseerd door de betrokken organisatie(s), gaat
het erom:
• of deze effecten respectievelijk prestaties door die organisatie(s) niet met
de inzet van minder middelen gerealiseerd hadden kunnen worden; dan
wel
• of niet méér effecten respectievelijk prestaties door de organisatie(s)
verwezenlijkt hadden kunnen worden met dezelfde inzet van middelen.
Zoals gezegd wordt dit kortweg aangeduid als doelmatigheid van effecten
respectievelijk doelmatigheid van prestaties.
Normen doelmatigheid(sinformatie)
Om inzicht in de doelmatigheid van beleidseffecten of prestaties te
kunnen geven, is derhalve informatie over de drie in deze definitie
genoemde ingrediënten noodzakelijk:
Handleiding DDO
91• Inzicht in de middelen. Alle middelen die gebruikt zijn om de
prestaties/effecten te leveren moeten worden meegenomen in de
berekening;
• Inzicht in de kwantiteit van de gerealiseerde prestaties/effecten.
De beleidseffecten en -prestaties moeten meetbaar zijn en logisch volgen
uit de beleidsdoelstellingen;
• Inzicht in de kwaliteit van de gerealiseerde prestaties/effecten. Er moet
rekening zijn gehouden met eventuele verschillen in kwaliteit tussen de
prestaties of effecten van de verschillende organisaties of op de
verschillende momenten.68
Daarnaast is doelmatigheid op twee manieren een relatief begrip. Ten eerste
zijn bovenstaande drie ingrediënten in onderlinge samenhang noodzakelijk om
inzicht te geven in de doelmatigheid. Ten tweede is een vergelijking van deze
onderlinge samenhang nodig om inzicht te geven (in de ontwikkelingen) in
(on)doelmatigheid. Er bestaan geen standaardnormen voor doelmatigheid.
Ten slotte moeten voor het meten van de doelmatigheid en het bepalen van
de factoren die de verschillen in doelmatigheid verklaren geschikte methoden
en technieken op een juiste wijze worden gehanteerd.
Deze normen worden in het vervolg van dit hoofdstuk nader toegelicht.
8.2.4 Aanbevelingen
Op basis van onderzoek naar doelmatigheid kan worden aangegeven:
• in welke mate de doelmatigheid kan verbeteren ten opzichte van de
gekozen vergelijkingsmaatstaf (voorbeeld: de organisatie kan
gegeven zijn middelen de prestaties met 10% verhogen).
Doelmatigheidsinformatie kan daarmee antwoord bieden op de vraag
hoe met hetzelfde geld meer gedaan kan worden voor de
maatschappij, wat het uiteindelijke doel is van elk beleid. Of ze kan
antwoord geven op de vraag of hetzelfde bereikt kan worden met
minder middelen/geld. In dat geval kan het bespaarde geld worden
gebruikt voor bijvoorbeeld ander of nieuw beleid;
• met behulp van welke acties de organisatie de doelmatigheid zou kunnen
verbeteren. Het onderzoek kan zo helpen bij het verbeteren van de
bedrijfsvoering van de onderzochte organisatie(s).
Goede doelmatigheidsinformatie is voorts een belangrijk hulpmiddel in de
verantwoording over het beleid en de daarvoor geleverde prestaties aan
bijvoorbeeld de Tweede Kamer.
68 Er moet sprake zijn van groepen van homogene prestaties of effecten. Homogeen wil zeggen dat
binnen zo’n groep de ‘workload’ en/of kwaliteit van de prestaties of effecten gelijk is.
Handleiding DDO
92
Aanbevelingen om de doelmatigheid te verbeteren komen voort uit
factoren die aantoonbaar van invloed zijn op de doelmatigheid. Dit zijn bij
voorkeur de factoren waarop de betrokken organisaties zelf invloed
kunnen uitoefenen (interne verklaringen). Deze bieden de organisaties
sturingsmogelijkheden. Zie ook § 3.3.
8.3 Begrippen
8.3.1 Effecten, prestaties en middelen
Zoals gezegd spelen bij doelmatigheid drie ingrediënten een rol: de
kwantiteit en kwaliteit van de effecten of prestaties en de middelen die
zijn ingezet om deze effecten dan wel prestaties te realiseren. Zie voor de
definities van effecten, prestaties en middelen § 3.2 en voor de definitie
van doelmatigheid § 1.1.4 en § 8.2.3.
8.3.2 Vergelijking
Doelmatigheid is een relatief begrip. De beleidseffecten of -prestaties zijn
meer of minder doelmatig gerealiseerd vergeleken met die van een
andere vergelijkbare organisatie of ten opzichte van de situatie in het
recente verleden. Je kunt dus alleen maar zeggen dat je ten opzichte van
die andere periode of organisatie (on)doelmatiger bent geweest.
Dit betekent dat nooit een absolute uitspraak over de doelmatigheid kan
worden gedaan. Als bijvoorbeeld in een departementaal jaarverslag een
kengetal is opgenomen over de verhouding tussen ingezette middelen
enerzijds en effecten of prestaties anderzijds, zonder dat dit kengetal
wordt afgezet tegen een bepaalde ‘meetlat’, zegt dat kengetal niets over
de doelmatigheid. Pas na vergelijking krijg je inzicht in de mate van
doelmatigheid.
De vergelijking met eerdere jaren wordt vaak gebruikt. Vergelijking per
maand, kwartaal of half jaar is echter ook mogelijk, al vergt dat vaak wel
meer inspanning (en dus hogere kosten) voor de dataverzameling.
Als gekozen wordt voor vergelijking met andere organisaties, is het van
belang dat het gaat om organisaties die écht vergelijkbaar zijn, dat wil
zeggen hetzelfde beleid uitvoeren (bijvoorbeeld: politieregio’s, een
landelijk netwerk van ziekenhuizen of scholen), of organisaties die
vergelijkbare prestaties leveren (bijvoorbeeld: een publieke en een
particuliere school).
Handleiding DDO
93
Samenvattend: vergelijkingen kunnen op twee manieren worden
gemaakt:
• ten opzichte van het verleden;
• met een (of meer) andere, vergelijkbare organisatie(s).
Een combinatie van beide is ook mogelijk.
8.3.3 Kwaliteit
Het is van belang om je te realiseren dat bij de bepaling van
doelmatigheid altijd rekening moet worden gehouden met eventuele
(kwaliteits)verschillen tussen de prestaties of effecten van de
verschillende organisaties en/of op de verschillende momenten (zie ook §
3.2.1).
Zo kunnen prestaties op het eerste gezicht homogeen lijken, maar bij
nadere beschouwing heterogeen zijn. Bijvoorbeeld: niet alle
belastingaangiften zijn gelijk en niet elke vergunningaanvraag voor een
bepaalde subsidie is hetzelfde. De verwerking van complexe aangiften en
aanvragen vergt meer inzet van middelen dan de standaardgevallen. Dat
betekent dat de geleverde prestaties van elkaar verschillen.
Maar ook bij vergelijking van prestaties in het ene jaar met dezelfde
prestaties in het andere jaar of van de ene organisatie met de andere,
blijkt in de praktijk vaak dat er kwaliteitsverschillen zijn. Je kunt alleen
maar spreken van een verbetering van de doelmatigheid wanneer
goedkopere prestaties met minstens dezelfde kwaliteit zijn geleverd.
Als de kosten van een bepaalde prestatie ten opzichte van bijvoorbeeld
vorig jaar lager zijn geworden als gevolg van een lagere kwaliteit van de
prestatie in kwestie, mag dat dus niet leiden tot de conclusie dat de
doelmatigheid is verbeterd. Bij het bepalen van de doelmatigheid dien je
rekening te houden met eventuele kwaliteitsverschillen tussen de
prestaties, om het risico te vermijden dat je verkeerde conclusies trekt
(zie verder § 8.5.4).
Het meten van de kwaliteit van effecten/prestaties van rijksbeleid of een
RWT is vaak niet eenvoudig omdat de prestaties meestal in de vorm van
diensten worden geleverd. Klanttevredenheid is een veel voorkomende
operationalisatie van de kwaliteit van de prestaties. Een kwalitatief goede
enquête is hier een bruikbaar middel om de gegevens boven water te
krijgen. Als een dergelijke enquête niet mogelijk is, kun je een
inschatting maken van de mate van klanttevredenheid door bijvoorbeeld
het aantal ingediende klachten te meten.
Handleiding DDO
948.3.4 Verklaringen
Door beleidseffecten respectievelijk beleidsprestaties te relateren aan de
daarvoor ingezette middelen, en dit geheel te vergelijken met dezelfde
verhouding van vergelijkbare organisaties en/of met andere momenten, krijg
je inzicht in de relatieve doelmatigheid van de effecten of prestaties in
kwestie. Met ‘doelmatigheidsscores’ kun je dan aangeven op welk moment de
organisatie relatief het doelmatigst is geweest en/of welke organisaties
relatief goed hebben gepresteerd.
Voor organisaties die nu relatief slecht presteren, is het van belang om te
weten wat ze kunnen doen om doelmatiger te worden. Daarom moet naar
factoren worden gezocht die de verschillen in doelmatigheid verklaren, zodat
duidelijk wordt hoe een organisatie haar doelmatigheid kan verbeteren (zie
ook § 3.3). Voorbeelden van mogelijke verklarende factoren voor verschillen
in doelmatigheid zijn de personeelssamenstelling (uitgesplitst naar leeftijd en
naar voltijd- en deeltijdcontracten), verspillingen en de kwaliteit van
werkprocessen.
Stel dat twee organisaties die hetzelfde beleid uitvoeren op doelmatigheid
worden vergeleken en de doelmatigheidsscore van de eerste veel beter is dan
van de tweede. Stel dat verder blijkt dat de tweede organisatie twee keer zo
veel leidinggevenden heeft als de eerste en dat bij die tweede organisatie
twee diensten volledig langs elkaar heen werken. Dan zou dit een verklaring
voor de doelmatigheidverschillen kunnen zijn.69
8.4 Onderwerp afbakenen
Als je doelmatigheidsinformatie over een bepaald beleidsterrein wilt
genereren zul je eerst antwoord moeten geven op de vraag: waarvan wil
ik precies de doelmatigheid bepalen? Van alle effecten of prestaties die
worden geleverd voor een beleidsartikel of RWT of van een deel daarvan?
Kan ik me daarbij richten op de effecten of de prestaties?
Deze vragen komen hierna aan bod, evenals een voorstel voor een
stapsgewijze aanpak voor het in kaart brengen van de doelmatigheid.
69 Het moge duidelijk zijn dat dit een sterk vereenvoudigd voorbeeld is. In werkelijkheid zullen er
tal van interne en externe factoren van invloed zijn op de doelmatigheid.
Handleiding DDO
958.4.1 Algemene of operationele doelstellingen?
De doelstellingen van het beleid waarvan je de doelmatigheid wilt
vaststellen, vormen vanzelfsprekend het startpunt voor de analyse. Deze
doelstellingen benoemen immers de effecten dan wel prestaties die het
ministerie dan wel de RWT met het beleid wil realiseren.
De eerste keuze die bij ministeries gemaakt moet worden is of je de
doelmatigheid wilt bepalen op het niveau van de algemene doelstelling
(alle effecten of prestaties) of van één of meer operationele doelstellingen
(een deel van de (effecten/)prestaties). Als je kiest voor het niveau van
operationele doelstellingen, moet vervolgens worden besloten welke
daarvan. Wanneer er verschillende operationele doelstellingen zijn en je
wilt op basis van de operationele doelstellingen inzicht geven in de
doelmatigheid van het beleid zoals gedefinieerd in de algemene
doelstelling, dan moet je vanzelfsprekend alle operationele doelstellingen
betrekken bij het berekenen van de doelmatigheid.
Als de doelen van beleid (de te realiseren effecten of prestaties) niet
duidelijk zijn geformuleerd, kan de doelmatigheid van de effecten of
prestaties niet worden berekend. Immers, we moeten de effecten of
prestaties kunnen afzetten tegen de ingezette middelen, en dat is
onmogelijk als deze effecten of prestaties niet duidelijk zijn. Het is in dat
geval noodzakelijk eerst de formulering van de beleidsdoelstelling aan te
passen.
Voor het bepalen van de doelmatigheid van effecten of prestaties, moeten
de doelstellingen in elk geval concreet zijn, dat wil zeggen: specifiek en
meetbaar. Tips voor het formuleren van goede beleidsdoelstellingen zijn
te vinden in § 5.2, maar bijvoorbeeld ook in de Handreiking
doelformulering en prestatiegegevens van het Ministerie van Financiën,
en in de Handreiking verantwoorden over beleid van de Algemene
Rekenkamer.70
In de praktijk (in 2004) blijkt dat de algemene doelstellingen vaak niet
concreet zijn.71 Het is dan dus niet helder welke effecten exact met de
algemene doelstelling worden beoogd. Dat betekent dat we ook de
doelmatigheid van deze effecten niet kunnen nagaan.
Wat je in zo’n geval ook kan doen is: teruggrijpen op de in de
operationele doelstellingen geformuleerde effecten of prestaties die het
70 Ministerie van Financiën, Handreiking doelformulering en prestatiegegevens, december 2000;
Algemene Rekenkamer, Handreiking verantwoorden over beleid, 2000. 71 Dit is overigens weer niet verwonderlijk omdat de Regeling Prestatiegegevens en
Evaluatieonderzoek Rijksoverheid aangeeft dat wanneer een algemene doelstelling niet valt te
kwantificeren of geen goede aanknopingspunten voor sturing biedt, een beleidsartikel één of meer
operationele doelstellingen zal bevatten.
Handleiding DDO
96ministerie wil inzetten om de algemene doelstelling te realiseren (zie ook
de volgende paragraaf).
Voorbeeld van een algemene en een operationele doelstelling
Het ministerie van Justitie heeft voor beleidsartikel 4.2 ‘Rechtsbijstand’ de algemene
beleidsdoelstelling: ‘waarborgen van de toegang tot het recht voor rechtzoekenden die niet
over voldoende financiële middelen beschikken en die deskundige juridische bijstand nodig
hebben’. De eerste operationele doelstelling die daarbij hoort, luidt: ‘een adequaat stelsel
van gesubsidieerde rechtsbijstand voor minder draagkrachtige rechtzoekenden’.
8.4.2 Prestaties of effecten?
Je kunt je onderzoek richten op de doelmatigheid van de effecten of op de
doelmatigheid van de prestaties. Het zal niet voor alle doelstellingen
mogelijk zijn de doelmatigheid van effecten in kaart te brengen. Soms zal
het te kostbaar zijn; soms ook zal het niet mogelijk zijn om de effecten te
kwantificeren of aan te tonen in welke mate bepaald beleid effect heeft.
Het in kaart brengen van de relatie tussen de ingezette middelen en de
gerealiseerde prestaties zal in de praktijk gemakkelijker zijn. Zie verder §
3.2.
De tweede vraag die daarom beantwoord moet worden, is of je informatie
wilt en kunt krijgen over de relatie tussen middelen en effecten dan wel
over de relatie tussen middelen en prestaties. Het beste kun je
stapsgewijs te werk gaan.
• Bekijk waar de meeste mogelijkheden zijn om doelmatigheidsinformatie
te maken. Welke zijn politiek en maatschappelijk gezien op dit moment
vanuit doelmatigheidsperspectief het meest opportuun en voor welke
daarvan is het eenvoudigst doelmatigheidsinformatie te genereren?;
• Begin zo nodig met een goede formulering van de algemene en/of
operationele doelen van het beleid;
• Het ligt voor de hand op de korte termijn vooral te investeren in de
relatief gemakkelijk te bepalen doelmatigheid van de prestaties;
• Genereer eerst informatie over de kwantiteit en kwaliteit van de
beleidsprestaties en daarna informatie over de doelmatigheid van
deze beleidsprestaties;
• Ondertussen kun je dan nadenken over en toewerken naar het
verzamelen van informatie over effecten en de doelmatigheid van de
effecten, voor zover dat mogelijk en betaalbaar is.
Handleiding DDO
978.5 Gegevens verzamelen
Nadat je hebt afgebakend waarover je doelmatigheidsinformatie wilt of
kunt opstellen, moet je de daarvoor benodigde gegevens gaan
verzamelen over:
- de effecten of prestaties en de middelen die gebruikt zijn om de effecten
of prestaties te leveren (§ 8.5.2);
- de kwaliteit van effecten of prestaties (§ 8.5.3);
- potentiële verklaringen voor verschillen in doelmatigheid (§ 8.5.4).
Je moet er uiteraard voor zorgen dat deze informatie van voldoende kwaliteit
is, dat wil zeggen: relevant, betrouwbaar en vergelijkbaar (zie ook § 5.372).
Deze begrippen lichten we hieronder eerst kort toe.
8.5.1 Kwaliteit informatie
De informatie is voor doelmatigheidsinformatie pas bruikbaar als deze
relevant, betrouwbaar en vergelijkbaar is.
Relevantie
Het is niet wenselijk dat overbodige gegevens verzameld worden. Wat je
allemaal moet verzamelen hangt af van de inhoud van het beleidsterrein
en de vraag die beantwoord moet worden. ‘Relevant’ is informatie die het
beleid, respectievelijk de activiteiten van het betrokken ministerie of de
betrokken organisatie(s) adequaat weerspiegelt.
Betrouwbaarheid
De verzamelde informatie mag geen materiële onjuistheden of
onvolledigheden bevatten.
Vergelijkbaarheid
De verzamelde informatie dient in tijdsperspectief en/of tussen
organisaties vergelijkbaar te zijn.
Onafhankelijk van de wijze waarop wordt vergeleken, moeten de
effecten/prestaties waarvoor je de doelmatigheid berekent en de wijze
waarop deze totstandkomen voor alle organisaties vergelijkbaar zijn. Ook
de doelmatigheidsindicatoren waarin de verhouding tussen middelen en
effecten/prestaties worden weergegeven, moeten voor alle te vergelijken
organisaties en/of in de tijd uniform zijn gedefinieerd. De gegevens die
72 Drie normen die we in § 5.3 noemen zijn hier niet van toepassing omdat de informatie alleen
voor het onderzoek bruikbaar moet zijn: begrijpelijkheid (voor een lezerspubliek); conformiteit aan
de regels voor de inhoud; conformiteit aan de regels voor vorm.
Handleiding DDO
98nodig zijn om de doelmatigheidsindicatoren te berekenen, moeten
eveneens uniform zijn gedefinieerd.
Voorbeelden vergelijkbaarheid gegevens
Wanneer je de doelmatigheid van de CWI’s wilt vergelijken, moeten de indicatoren die je
daarvoor wilt gebruiken voor elk centrum op dezelfde manier zijn gedefinieerd. Zo moet elk
centrum de kosten en het aantal personen dat aan het werk is geholpen op dezelfde manier
definiëren, berekenen en registreren.
Indien de wens bestaat de doelmatigheid te vergelijken met die van een externe
organisatie, moet van tevoren goed worden nagedacht over de vraag of deze externe
organisatie in alle opzichten echt vergelijkbaar is. Een relevante vergelijking is alleen
mogelijk als de prestaties en de bedrijfsprocessen onderling vergelijkbaar zijn, hetgeen in
de meeste gevallen niet zo zal zijn.
Het is belangrijk om in de beginfase veel tijd en energie te besteden aan
de kwaliteit van de informatie. Realiseer je dat dit meestal een
tijdrovende kwestie is. Het is verstandig om gebruik te maken van de
kennis die aanwezig is in de praktijk (denk bijvoorbeeld aan een
begeleidingscommissie).
Verzamelen kost tijd
Het Sociaal en Cultureel Planbureau verrichtte in 1998 een onderzoek naar de
doelmatigheid van algemene en academische ziekenhuizen. Men deed er ruim een jaar over
om een bestaande (!) dataset met productiegegevens van ziekenhuizen op orde te krijgen.
In het onderzoek van de Algemene Rekenkamer naar de doelmatigheid van arbeidsbureaus
(2001) heeft die fase eveneens ongeveer een jaar gekost.
De verzamelde gegevens moeten altijd worden beoordeeld op hun
kwaliteit (zie ook § 5.3). Afhankelijk van de zekerheid die je hebt over de
kwaliteit kan deze analyse van zeer globaal tot zeer diepgaand zijn. In §
8.6 beschrijven we hoe kengetallenanalyse kan helpen bij het bepalen
van de toereikendheid van de kwaliteit van de te gebruiken gegevens.
8.5.2 Informatie over effecten of prestaties
Effecten zijn de gevolgen van beleid die merkbaar zijn in de
maatschappij. Effecten zijn in de meeste gevallen niet direct te meten. In
die gevallen zal een benadering moeten worden gemaakt van de bereikte
effecten door middel van ‘indicatoren’, ook wel proxy-variabelen
genoemd. Als prestaties worden gebruikt als effectindicator (wat niet
verstandig is), zal de berekening van de doelmatigheid van de effecten op
hetzelfde neerkomen als de doelmatigheid van de prestaties.
Handleiding DDO
99
Hoewel de gerealiseerde prestaties vaak makkelijker te meten zijn, zijn
ook deze niet altijd direct te meten. Zie voor definities, voorbeelden en
onderzoekbaarheid van effecten en prestaties § 3.2 en § 4.3.2.
8.5.3 Middelen
Het is belangrijk om af te bakenen welke middelen zijn ingezet voor de
geleverde effecten of prestaties (zie ook § 3.2.4). Twee dingen moeten
we daarbij goed in de gaten houden.
In de eerste plaats moeten in principe alle middelen die zijn ingezet voor
het realiseren van de prestaties of effecten, in de berekening worden
meegenomen. Middelen bestaan uit vaste en variabele ingezette
middelen. Personeel en materieel worden tot de variabele middelen
gerekend. Vaste ingezette middelen zijn de middelen waarop organisaties
op korte termijn zelf geen of moeilijk invloed kunnen uitoefenen zoals
gebouwen. Omdat deze vaste middelen moeilijk kunnen worden
aangepast, worden ze bij de berekening van de doelmatigheidsscores ook
wel buiten beschouwing gelaten en wordt dus alleen uitgegaan van de
variabele middelen/kosten.
Alle (relevante) middelen
Het ministerie van Onderwijs, Cultuur en Wetenschappen (OCenW) heeft bij diverse
onderwijsbeleidsartikelen het kengetal ‘kosten per leerling’ opgenomen. Een kengetal kan
een goed instrument zijn om inzicht in de ontwikkeling van de doelmatigheid te geven.
Dit specifieke kengetal is in zijn huidige vorm echter ontoereikend om inzicht in de
doelmatigheid te geven, onder meer omdat niet alle middelen zijn meegenomen. De
middelen die in het kengetal zijn verwerkt, betreffen de overdrachtsuitgaven van het
ministerie aan de onderwijsinstelling. De kosten van de onderwijsinstellingen zelf die niet
door overdrachtsuitgaven zijn gedekt, zijn dus niet meegenomen. Wanneer de uitgaven van
het ministerie dalen, lijkt het op basis van dit kengetal alsof het proces van opleiden van
leerlingen doelmatiger wordt. Dit is echter niet het geval wanneer de kosten van de
onderwijsinstellingen niet navenant zijn afgenomen. Daarom moeten álle middelen in de
berekening worden meegenomen.
In de tweede plaats: er mogen weliswaar geen ingezette middelen in de
berekening ontbreken, maar tegelijkertijd mogen er ook niet méér
middelen worden meegeteld dan de middelen die zijn ingezet voor het
realiseren van de prestatie of het effect in kwestie.
Handleiding DDO
100 Alle middelen en alleen die zijn ingezet voor de prestatie
In de begroting 2003 van het ministerie van Volkshuisvesting, Ruimtelijke Ordening en
Milieubeheer (VROM) staat onder meer beleidsartikel 12 ‘Beheer milieurisico’s van stoffen,
afval en straling’.
Centraal in dit beleidsartikel staat de beheersing van risico’s voor mens en milieu bij het
omgaan met stoffen, afvalstoffen, radioactieve stoffen en straling en met genetisch
gemodificeerde organismen, rekening houdend met sociale en economische factoren.
In de begroting staat als doelmatigheidskengetal voor de in-, uit- en doorvoer van
afvalstoffen: de kostprijs per afgehandelde EVOA-kennisgeving. In deze kostprijs zijn niet
alle kosten opgenomen die gemoeid zijn met de prestatie ‘afhandelen EVOA-
kennisgevingen’. Zo zijn onder meer de interne kosten van het ministerie (voornamelijk
personele kosten) niet meegenomen.
Anderzijds heeft een deel van de kosten die in de kostprijs zijn verwerkt geen betrekking
op de prestatie. Niet alle relevante middelen en meer dan alleen de middelen die voor de
betrokken prestaties worden gemaakt zijn meegeteld.
Voor een bruikbaar doelmatigheidskengetal zouden beide gebreken in de afbakening van de
kosten verholpen moeten worden.
Zoals gezegd (zie § 3.2.4) worden in de praktijk voor het uitdrukken van
middelen in geld zowel kosten als uitgaven gebruikt. Voor het bepalen
van de doelmatigheid zou idealiter moeten worden uitgegaan van de
kosten. Wanneer je vergelijkt in de tijd moet je daarbij werken met
kosten in constante prijzen (defleren). Anders wordt het beeld vertekend
door inflatie. Zoals gezegd kan ook wel gewerkt worden met de variabele
kosten.
Ook de kosten zijn niet altijd direct te meten. In deze gevallen zullen
deze ook moeten worden benaderd via een indicator of proxy-variabele.
De informatie over uitgaven in de huidige begrotingssystematiek is
bijvoorbeeld vooralsnog vaak de enige informatie die beschikbaar is. De
uitgaven zouden, als ‘second best’-oplossing, als proxy voor de kosten
kunnen worden gebruikt. Er moet dan wel worden nagegaan of er ‘grote
uitgaven’ (investeringen) zijn, die van jaar op jaar sterk verschillen en
het beeld kunnen vertekenen. Als dat zo is moeten deze uitgaven worden
Verschil tussen kosten en uitgaven
Computers worden bij aanschaf in een bepaald jaar volledig betaald (uitgaven), maar slechts
een deel van die computers wordt in dat jaar ‘verbruikt’ (kosten). De computers kunnen
immers enkele jaren mee. Als de uitgaven verschillen van de kosten – wat vaak het geval is –
leidt het relateren van de uitgaven aan de prestaties of effecten dus tot verkeerde conclusies
over de doelmatigheid. Uitgaven zullen immers van jaar op jaar sterk kunnen fluctueren. Ze
zullen hoog zijn in het jaar dat computers worden aangeschaft. In het daaropvolgende jaar
zou het bepalen van de doelmatigheid op basis van de uitgaven ten onrechte leiden tot de
conclusie dat de doelmatigheid verbeterd is.
Handleiding DDO
101 verdeeld over de jaren waarin ze verbruikt worden of ze moeten niet
worden meegeteld (uitgaven minus investeringen).73
8.5.4 Kwaliteit
Onderling verschillende effecten/prestaties mogen niet op één hoop
gegooid worden (zie ook § 3.2). Het over één kam scheren van alle
belastingaangiften die de Belastingdienst behandelt, zou bijvoorbeeld
geen recht doen aan het gegeven dat standaardgevallen de
Belastingdienst een lagere werklast bezorgen dan de moeilijke gevallen.
Wanneer de verhouding tussen het aantal ‘makkelijke’ en ‘moeilijke’
prestaties tussen de te vergelijken organisaties of van jaar op jaar
verschilt, dan moeten de effecten/prestaties worden gedifferentieerd naar
moeilijkheidsgraad.
Makkelijke en moeilijke prestaties
De CWI’s hebben onder meer als taak (doel van het beleid) werklozen aan een baan te
helpen. Stel dat het accepteren van een baan door een werkzoekende de prestatie is. Het
plaatsen van een persoon met geringe kansen op de arbeidsmarkt (een grote afstand tot
de arbeidsmarkt) kost meer moeite, tijd en inspanning dan het plaatsen van een
werkzoekende met goede kansen op de arbeidsmarkt. Om homogene groepen van
prestaties te kunnen vormen, zal onderscheid moeten worden gemaakt tussen plaatsingen
van werkzoekenden met een grote afstand tot de arbeidsmarkt en werkzoekenden met een
minder grote afstand tot de arbeidsmarkt.
Bij het vergelijken van effecten of prestaties in het ene jaar met dezelfde
effecten of prestaties in het andere jaar is het eveneens van belang
rekening te houden met mogelijke kwaliteitsverschillen.
Kwaliteitsverschillen
Stel dat een bepaalde dienst maar één prestatie levert: belastingaangiften behandelen.
Indien bij vergelijking van twee dependances van die dienst, die beide hetzelfde soort
belastingaangiften verwerken, blijkt dat bij de ene dependance de aangiften snel, maar
slordig (met fouten) worden behandeld, terwijl de andere dependance trager maar
grondiger (zonder fouten) werkt, dan mag je niet uitsluitend naar de kosten per prestatie
kijken. Daaruit zou je immers ten onrechte kunnen concluderen dat de eerste dependance
doelmatiger is.
73 Zie Aarts et. al. (2002) voor onder andere het verschil tussen het kasstelsel (huidige
begrotingssystematiek) en het baten-lastenstelsel (waarin wel informatie over prestaties en
kostprijzen wordt gegenereerd).
Handleiding DDO
102 Zowel bij de dataverzameling, de analyse, als het trekken van conclusies
over de ontwikkelingen in doelmatigheid moet rekening worden gehouden
met eventuele verschillen tussen effecten en prestaties.
8.5.5 Verklaringen zoeken en gebruiken
Wanneer je bij een ministerie of organisatie de doelmatigheid van (een
onderdeel van) het beleid in kaart hebt gebracht, is het belangrijk dat je
ook nagaat welke factoren de eventuele verschillen in doelmatigheid
verklaren. Pas met concrete verklaringen in de hand kan immers gewerkt
worden aan het verbeteren van de doelmatigheid. Zie ook § 3.3.
Interne en externe verklaringen
Verklaringen kunnen binnen het ministerie en/of de bij het beleid
betrokken organisatie liggen: interne verklaringen.
Ze kunnen ook buiten deze organisaties liggen: externe verklaringen. In
de volgende tabel zijn voorbeelden van verklaringen opgenomen.
Handleiding DDO
103 Te verklaren situatie Mogelijke interne verklaring Mogelijke externe verklaring
Doelmatigheid is
afgenomen ten opzichte
van vorig jaar
• personeelsverloop (hoog)
• recent gereorganiseerd
• (hoog) ziekteverzuim
• wijzigingen in het ‘productieproces’
• (toename) aantal klachten
• inconsistente (beleids)doelstellingen
• (meer) tussentijdse verzoeken van
de Tweede Kamer die van invloed
zijn op de ‘productie’
• nieuwe wetten waardoor de
‘productie’ anders moest
• (slechtere) arbeidsmarktsituatie
• (slechtere) weersomstandigheden
die productie beïnvloeden
• (slechtere) (inter)nationale
economische situatie
• (meer) files
• (slechtere) bodemgesteldheid die
productie beïnvloed
• verandering in kenmerken van
klanten
• inconsistente (beleids)doelstellingen
Doelmatigheid organisatie
A is hoger dan doelmatig-
heid organisatie B
• verschillen in werkwijze
• verschillen in aandeel overhead
• verschillen in leeftijdsopbouw
medewerkers
• verschillen in opleidingsniveau
medewerkers
• verschillen in gemiddeld salaris
• verschillen in ervaring medewerkers
• verschillen in aandeel deeltijdbanen
• verschillen in aantal klachten
• verschillen in m2 vloeroppervlak per
persoon
• verschil in aantal locaties per
organisatie
• verschillen in aandeel uitbesteed
werk
• verschillen in de regionale arbeids-
marktsituatie
• verschillen in regionale economische
situatie
• verschillen in bodemgesteldheid
• verschillen in kenmerken van klanten
• verschillen in regionale
leeftijdsopbouw bevolking
• verschillen in regionaal
opleidingsniveau bevolking
De interne verklaringen geven in het algemeen mogelijkheden om de
doelmatigheid te verbeteren, omdat het ministerie respectievelijk de
organisatie in kwestie hieraan zelf iets kan verbeteren. De externe
verklaringen daarentegen zijn vaak niet door het ministerie of de
organisatie te beïnvloeden. Deze factoren geven wel verklaringen voor
(on)doelmatigheid, maar reiken geen mogelijkheden tot verbetering aan.
Handleiding DDO
104 Externe verklaring erg moeilijk beïnvloedbare factor
In een onderzoek van Goudriaan et al. naar de doelmatigheid van hogescholen (1998) bleken de
verschillen in doelmatigheid voor een belangrijk deel te kunnen worden verklaard door de
ontwikkeling van studentenaantallen, een vrijwel onbeïnvloedbare factor voor de individuele
hogeschool. Hoewel je met verklaringen probeert de noodzakelijke grondstof voor aanbevelingen
voor verbeteringen te bieden, bleek dat in dit voorbeeld dus voor deze factor niet mogelijk te zijn.
Het is verstandig voordat je informatie gaat verzamelen over mogelijke
verklarende factoren, om bij het inventariseren ervan zo veel mogelijk
gebruik te maken van de kennis die aanwezig is bij de personen binnen het
ministerie en/of organisaties(onderdelen) ‘die er over gaan’. Daarnaast kan
raadplegen van literatuur of een dag meelopen in de organisatie(s) nuttige
informatie opleveren.
Bevindingen gebruiken
Indien mogelijkheden tot verbetering gevonden zijn, ligt het voor de hand
dat deze gebruikt worden om daadwerkelijk verbeteringen aan te
brengen. Als het de doelmatigheid betreft van derden die betrokken zijn
bij (de uitvoering van) het beleid zoals gemeenten, dan kunnen ministers
deze derden bijvoorbeeld via overleg stimuleren en/of via nadere
regelgeving aansturen om verbeteringen aan te brengen.
8.6 Doelmatigheid berekenen
Wanneer de benodigde gegevens zijn gedefinieerd en verzameld, is de
volgende stap het berekenen van de doelmatigheid van de
beleidsprestaties of -effecten die je onder de loep hebt. Er zijn
verschillende methoden en technieken om dit te doen. De belangrijkste
zijn: het gebruik van eenvoudige kengetallen en de analysetechnieken
Free Disposable Hull (FDH), Data Envelopment Analysis (DEA) en
Stochastic Frontier Analysis (SFA).74
0We gaan eerst in op kengetallen, die het breedst toepasbaarheid zijn (§
8.6.1). Daarna beschrijven we kort de werking van de meer ingewikkelde
technieken FDH, DEA en SFA (§ 8.6.2). Deze zijn in principe erg geschikt
om de doelmatigheid van een groter aantal vergelijkbare organisaties of
tijdstippen te berekenen. Ten slotte beschrijven we globaal op welke
manieren gezocht kan worden naar verklaringen voor verschillen in
doelmatigheid die mogelijke aanknopingspunten geven voor het
verbeteren van de doelmatigheid.
74 Zie bijvoorbeeld Coelli, 1998, Blank, 2000 en New South Wales Treasury, 2001.
Handleiding DDO
105 Vooraf
Bij de berekening van de doelmatigheid kijk je:
• of de beleidsprestaties respectievelijk -effecten niet met de inzet van
minder middelen gerealiseerd hadden kunnen worden; dan wel
• of niet méér beleidsprestaties respectievelijk -effecten verwezenlijkt
hadden kunnen worden met dezelfde inzet van middelen.
Dit eerste punt wordt ook wel ‘inputoriëntatie’ genoemd, het tweede
‘outputoriëntatie’.
Met welke methode je de doelmatigheid van een organisatie ook wilt
berekenen, je zult eerst moeten bepalen welke oriëntatie het meest
geschikt is, een input- of outputoriëntatie. De keuze wordt in het
algemeen bepaald door de middelen (input) of de beleidsprestaties75
(output) waarover een manager van de organisatie(s) de meeste controle
heeft. Dit zijn immers de factoren die hij kan beïnvloeden en dus waarop
hij kan (bij)sturen.
Als de middelen voor de organisatie een gegeven zijn (vastliggen), dan kies je
voor een outputoriëntatie. Je kijkt of het mogelijk is om gegeven de middelen
meer prestaties (output) te leveren.
Outputoriëntatie
Een voorbeeld waarbij gekozen moet worden voor een outputoriëntatie is het onderwijs,
waar de budgetten (input) een gegeven zijn voor de scholen.
Als daarentegen de prestaties een gegeven zijn voor de organisatie, dan
kies je voor een inputoriëntatie. En kijk je of het mogelijk is om de
prestaties te realiseren met minder middelen (input).76
Inputoriëntatie
Een voorbeeld waarbij gekozen moet worden voor een inputoriëntatie zijn de
elektriciteitsbedrijven, waar de vraag naar elektriciteit (output) een gegeven is waarop niet
of nauwelijks invloed kan worden uitgeoefend.
Analyses met kengetallen (en/of eenvoudige regressieanalyses) vormen altijd
een logische start bij het bepalen van de doelmatigheid en verklaringen voor
verschillen daarin, ook wanneer het rekenen met kengetallen niet de optimale
methode is om de doelmatigheid te bepalen. Dit soort analyses geeft namelijk
een eerste inzicht in onder andere de structuur van de organisaties en een
75 Met het oog op de leesbaarheid wordt vanaf hier steeds gesproken over (beleids)prestaties in
plaats van over (beleids)prestaties/-effecten. (Beleids)effecten zijn ‘outcome’. 76 Zie voor een nadere toelichting onder andere Coelli (1998), Blank (2000) en Algemene
Rekenkamer (2001).
Handleiding DDO
106 aantal aspecten over de relatie tussen de middelen en de prestaties. Zie ook §
8.6.2.1 en 8.6.3.2.
In bijlage 7 staat een checklist op basis waarvan is na te gaan of voor
een bepaald onderwerp de doelmatigheid is te bepalen.
8.6.1 Doelmatigheidskengetallen
8.6.1.1 Wat zijn doelmatigheidskengetallen?
Doelmatigheidskengetallen zijn een momentopname van de verhouding
tussen middelen en effecten of prestaties. Het cijfer dat de kosten per
verleende subsidie weergeeft, is bijvoorbeeld een kengetal.
Door kengetallen van verschillende vergelijkbare organisaties onderling
en/of met kengetallen uit een eerdere periode te vergelijken, wordt de
relatieve mate van doelmatigheid zichtbaar.
Vergelijken van kengetallen
1998 1999 2000 2001 2002
Kosten per verleende subsidie
(in euro’s prijspeil 1-1-2002)
200 180 210 225 240
Kwaliteit: klanttevredenheid
(schaal 1-10)
8 6 6 6 8
Uit de tijdreeks is af te leiden dat de kosten per verleende subsidie vanaf 1999
toenemen. De kwaliteit, in dit geval gemeten met behulp van de klanttevredenheid, blijft
in deze periode gelijk – met uitzondering van het jaar 2002 –, waarin de kwaliteit iets
toeneemt. Uit deze twee ontwikkelingen is af te leiden dat in de periode 1999-2001 de
doelmatigheid afneemt. Voor 2002 is dat niet direct af te leiden omdat weliswaar de
kosten per verleende subsidie zijn toegenomen, maar de kwaliteit ook is toegenomen.
De voordelen van kengetallen zijn:
• ze zijn makkelijk te berekenen;
• ze kunnen op een eenvoudige wijze inzicht geven (in ontwikkelingen) in
de doelmatigheid;
• ze zijn zonder veel inspanning en kosten frequent (maandelijks, jaarlijks)
te maken zodat ze de mogelijkheid bieden vaak inzicht te hebben en snel
in te grijpen;
• bij meer effecten of prestaties geven ze inzicht in de afzonderlijke
effecten/prestaties.
Handleiding DDO
107 8.6.1.2 Wanneer kengetallen gebruiken?
Eén effect of prestatie
Kengetallen zijn goed bruikbaar voor de berekening van de doelmatigheid
bij beleid waar per beleidsartikel of doelstelling sprake is van slechts één
prestatie of effect en waaraan alle daarvoor gebruikte middelen kunnen
worden gekoppeld. Je spreekt dan van enkelvoudige kengetallen (zie
voorgaand voorbeeld).
Verscheidene effecten of prestaties
Meestal echter zijn aan beleidsdoelstellingen verscheidene effecten /
prestaties gekoppeld. Als voor de afzonderlijke effecten/prestaties bekend
is welke middelen zijn ingezet, dan kan in zo’n geval voor elk effect /
prestatie eveneens een enkelvoudig kengetal worden opgesteld.
Problemen en mogelijke oplossingen
Als de middelen niet kunnen worden toegerekend aan de verschillende
effecten/prestaties kunnen tijdschrijfgegevens uitkomst bieden – zij het
dat dit wel een arbeidsintensieve onderneming is. Tijdschrijfgegevens
geven inzicht in het aantal uren dat besteed is aan de verschillende
effecten/prestaties door de bij het beleid betrokken personen. Door deze
uren te koppelen aan het salaris van deze personen, verkrijg je een
benadering van de kosten per effect/prestatie. In dit geval blijven de
niet-personele kosten overigens wel buiten beschouwing. Een kunstgreep
om ook deze niet-personele kosten mee te nemen is deze toe te rekenen
aan de verschillende effecten/prestaties via verdeelsleutels.
Als er geen tijdschrijfgegevens beschikbaar zijn, moeten andere
kunstgrepen worden toegepast om kengetallen te maken, zoals:
• het direct toerekenen van middelen aan de verschillende
effecten/prestaties via verdeelsleutels;
• het wegen van de effecten/prestaties tot een samengesteld
effect/prestatie. Door dit samengestelde getal vervolgens te relateren aan
de middelen ontstaat een kengetal dat gebruikt kan worden om de
doelmatigheid te bepalen. Je spreekt dan van een samengesteld kengetal.
Vergeet de kwaliteit niet
Idealiter zou in het kengetal ook de kwaliteit van de geleverde prestaties of
de gerealiseerde effecten moeten zijn opgenomen. In de praktijk zal dat vaak
niet kunnen. Een goed alternatief is dan het opstellen van een indicator voor
de kosten per prestatie/effect én een indicator voor de kwaliteit.
Handleiding DDO
108 8.6.1.3 Hoe conclusies trekken uit kengetallen?
Verdeelsleutels of weging
Als je gebruikmaakt van verdeelsleutels of weging, weet je niet met
zekerheid wat de juiste verdeelsleutel of weging is; een verdeelsleutel of
wegingsfactor is immers vaak arbitrair gekozen. Je loopt met deze
kunstgrepen het risico dat je ongewild doelmatigheidsverschillen
wegpoetst of opblaast. Bijvoorbeeld doordat je middelen aan een
effect/prestatie toerekent die hierop geen betrekking hebben, waardoor
dit effect/prestatie te duur wordt ‘geprijsd’ en dus ten onrechte als
minder doelmatig uit de bus komt.
Ook als je op basis van wegingsfactoren een samengesteld kengetal hebt
gemaakt (de verscheidene effecten/prestaties gewogen hebt tot één
effect/prestatie) is voorzichtigheid geboden. Je weet dan niet door welk deel
van het beleidsproces de score op het kengetal te verklaren is. Mogelijkheden
tot het vinden van verbetering van de doelmatigheid zijn dan (wel erg)
moeilijk, omdat immers niet bekend is hoe elk deelproces bijdraagt aan de
(on)doelmatigheid van het gehele beleidsproces.
Wisselwerking tussen deelprocessen
Wanneer er verscheidene effecten/prestaties zijn en je voor elke afzonderlijke
effect/prestatie een doelmatigheidskengetal hebt, dan nog zijn er valkuilen.
Weliswaar kan deze verzameling kengetallen inzicht geven in de verschillende
delen van het ‘productieproces’, maar inzicht in de samenhang van die
deelprocessen heb je daarmee niet. Je ziet bijvoorbeeld bij vergelijking in de
tijd wel wat de ontwikkeling is van de kosten van elke afzonderlijke prestatie,
maar je weet niet zeker of het beleidsonderdeel of -proces waarmee de
prestatie in kwestie wordt geleverd op zichzelf staat. Als de deelprocessen
waarmee elk effect respectievelijk elke prestatie wordt gerealiseerd niet
volledig los van elkaar staan, is voorzichtigheid geboden omdat het risico
bestaat dat verbeteringen voor de ene prestatie dan wel het ene effect ten
koste gaat van de doelmatigheid van een andere prestatie of een ander effect.
Elkaar beïnvloedende deelprocessen
Universiteiten leveren als prestaties: onderzoek(srapporten) en onderwijs. Niet altijd is
bekend hoeveel geld wordt besteed aan het voortbrengen van de afzonderlijke prestaties.
Bovendien draagt onderzoek bij aan de inhoud en kwaliteit van het onderwijs. Hoe
construeer je dan kengetallen over middelen per prestatie? Je kunt de kunstgreep van
verdeelsleutels/weging toepassen en bijvoorbeeld de kosten pondspondsgewijs toerekenen
aan respectievelijk onderwijs en onderzoek. Stel dat deze verdeelsleutels een juiste
benadering geven van de werkelijkheid en de volgende ontwikkelingen hebben
plaatsgevonden:
Handleiding DDO
109
1998 1999 2000 2001 2002
Kosten per onderwijseenheid 1000 1200 1400 1500 1600
Kosten per onderzoekseenheid
(in euro’s prijspeil 1-1-2002)
4950 5250 5400 5500 5600
Kwaliteit onderwijs 5 6 7 8 9
Kwaliteit onderzoek
(visitatiescore schaal 1-10)
4 6 7 8 9
Uit de tijdreeks is af te leiden dat zowel de kosten per onderwijs- als per
onderzoekseenheid in de periode 1998-2002 toenemen. De kwaliteit, in dit geval gemeten
met de score die jaarlijks door een visitatiecommissie wordt gegeven, neemt in deze
periode eveneens toe. Met deze verzameling van kengetallen krijg je dus inzicht in de
verschillende delen van het ‘productieproces’.
De verschillende delen zijn echter niet onafhankelijk van elkaar, want zoals gezegd draagt
onderzoek bij aan de inhoud en kwaliteit van onderwijs. Stel nu dat zowel de stijging van
de kosten per onderzoekseenheid als de kwaliteit van het onderwijs geheel wordt
veroorzaakt door de toename in de kwaliteit van het onderzoek. De doelmatigheid van
onderzoek blijft dan gelijk, maar de stijging van de kosten per onderwijseenheid duidt op
een verslechtering van de doelmatigheid. De mogelijkheden tot verbetering liggen in dit
geval dus bij het onderwijs.
Stel dat je niet wist dat onderzoek van invloed was op onderwijs, dan had je misschien wel
geconcludeerd dat de doelmatigheid van zowel onderzoek als onderwijs gelijk is gebleven in
de periode 1998-2002. Je moet dus veel van de onderliggende processen weten voordat je
een juiste conclusie en goede suggesties voor verbetering kunt geven.
Strijdige kengetallen
Bij de interpretatie van een verzameling van kengetallen is veel ruimte voor
verschillende conclusies. Daarnaast kunnen verschillende kengetallen
tegenstrijdige signalen afgeven. Ga dan zorgvuldig te werk bij het trekken van
conclusies. Alleen als de ontwikkeling van de ‘doelmatigheid’ van alle ken-
getallen dezelfde kant op wijst, zijn eenduidige conclusies te trekken.
Bijvoorbeeld bij een kengetal voor de kosten per effect/prestatie én een
indicator voor de kwaliteit is alleen indien beide indicatoren dezelfde richting
op wijzen (beide een positieve dan wel negatieve ontwikkeling laten zien)
direct een eenduidige uitspraak over de ontwikkeling van de doelmatigheid
mogelijk.
Een pragmatische oplossing bij tegengestelde ontwikkelingen, hoewel second
best, is weging van de verschillende ontwikkelingen. Hierbij bepaal je hoe
zwaar de ene ontwikkeling weegt ten opzichte van de anderen (bijvoorbeeld
een toename in de kosten per prestatie met 2% weegt even zwaar als een
afname in kwaliteit met 1%) (zie eerder voor de risico’s van wegen).
Handleiding DDO
110 Het wegen van tegengestelde ontwikkelingen
In het hiervoor gegeven voorbeeld over de universiteiten zijn voor onderzoek de
ontwikkelingen gewogen. De kosten per onderzoekseenheid nemen toe in de periode 1998-
2002 met respectievelijk ongeveer 6, 3, 3 en 3%. De kwaliteit neemt in diezelfde periode
ook toe met respectievelijk 2, 1, 1 en 1. Een toename van de kwaliteit van 1 wordt gelijk
gesteld aan een toename met ongeveer 3% in de kosten. Hiermee blijft de doelmatigheid
van onderzoek in deze periode gelijk.
Hoe het niet moet
Een goed voorbeeld van de gevaren van het niet goed gebruiken van
kengetallen is het doelmatigheidsonderzoek dat Bakkenist Management
Consultants deed naar de thuiszorg. Het betrof een onderzoek onder
zeven instellingen, dat werd uitgevoerd met behulp van kengetallen.77
In onderstaande tabel78 zijn enkele uitkomsten opgenomen.
1 2 3 4 5 6 7
Zorguren wijkverpleging per fte uitvoering wijkverpleging 966 1075 960 nb 726 865 954
Zorguren gezinsverzorging per fte uitvoering gezinsverzorging 1421 1401 1434 nb 1490 1449 1477
Zorguren per f 10.000 budget 261 212 202 225 225 213 237
Aandeel uitvoerend personeel (%) 93 88 92 91 89 91 91
Waarvan productief (%) 80 75 71 81 76 77 78
Leiding per 100 fte verzorgend personeel 0,92 1,06 0,67 0,85 0,39 0,91 0,56
Financieel ec.-personeel per 100 fte verzorgend personeel 1,47 2,66 2,67 2,37 2,50 2,92 2,91
Automatiseringspersoneel per 100 fte verzorgend personeel 0,76 0,97 0,84 0,52 0,76 0,65 0,71
Facilitair personeel per 100 fte verzorgend personeel 1,34 3,61 3,52 2,67 2,07 3,19 1,99
Ziekteverzuim (%) 11 7 11 12 11 9 11
Aandeel variabel personeel (%) 15 2 3 19 15 4 8
Parttime factor (%) 46 57 48 44 58 42 61
Van ieder verhoudingsgetal uit de tabel hebben de onderzoekers een
best-practice afgeleid, het cursief en grijs gedrukte getal in elke rij.
De verzameling ‘best-practice’-kengetallen noemen de onderzoekers
een virtuele instelling die voor alle instellingen als lichtend
voorbeeld zou kunnen dienen. Ze gaan er daarbij voor het gemak
even van uit dat de processen die ten grondslag liggen aan de
verschillende kengetallen allemaal los van elkaar staan. Of dat zo is,
is niet onderzocht. Het is bijvoorbeeld maar de vraag of instelling 4
77 Zie voor een kritische bespreking van het onderzoek: Benchmarken of de kunst van het
vergelijken (Blank, 1998). 78 De eerste drie regels van de tabel geven globale informatie over de doelmatigheid (prestaties
zijn het aantal zorguren, de middelen zijn (second best) uitgedrukt in het aantal fte). De rest van
de tabel geeft geen betekenisvolle informatie over doelmatigheid, maar zou verklaringen kunnen
geven voor doelmatigheidsverschillen.
Handleiding DDO
111 door alle instellingen gevolgd moet worden in het aandeel variabel
personeel (nog los van de vraag of de veronderstelling juist is dat
een hoger percentage beter is voor de doelmatigheid). Instelling 4
heeft wel – toevallig of niet? – het hoogste percentage ziekte-
verzuim. De vraag waardoor de verschillen zijn te verklaren wordt in
het onderzoek niet gesteld, laat staan beantwoord.
De instellingen die op basis van de uitkomsten van dit onderzoek
blindelings hun processen gaan aanpassen, zouden wel eens van
een koude kermis thuis kunnen komen.
Hoe het ook niet moet
Een ander voorbeeld van minder gelukkig gebruik van kengetallen vormt de
analyse die Taphoorn et al. in 1998 hebben gemaakt van de doelmatigheid bij
de Dienst Justitiële Inrichtingen (DJI) in de jaren 1994-1996. De auteurs ont-
wikkelden vijf (financiële) indicatoren om de doelmatigheidsontwikkeling in
het gevangeniswezen te kunnen meten:
- de kostprijs per dag;
- het begrotingsresultaat: winst of verlies;
- de bezettingsgraad: gemiddelde bezetting/gemiddelde bruikbare
capaciteit;
- personeelsratio: aantal personeelsleden in verhouding tot aantal
gedetineerden;
- overheadratio: indirecte uitgaven in verhouding tot totale uitgaven.
Indicatoren 1994 1995 1996
Kostprijs per dag (1994=100) 100 93 91
Begrotingsresultaat (x f 1 miljoen) - 14,3 - 8,5 1
Bezettingsgraad 100,5 100,5 88
Personeelsratio (%) 96 92 98,6
Overheadratio (%) niet bekend 8,2 9,4
Tevens is naar de ontwikkeling van de kwaliteit gekeken. Deze is gemeten als
het aantal klachten per honderd bezette cellen. Het blijkt dat het aantal
klachten voor alle typen inrichtingen binnen het gevangeniswezen is
gestabiliseerd dan wel is afgenomen in de onderzochte periode.
De onderzoekers concluderen dat de vijf indicatoren per saldo wijzen in de
richting van een zekere doelmatigheidsverbetering in de jaren 1995 en 1996.
Over de omvang kunnen ze geen conclusies trekken. Wel geven ze
verklaringen: de agentschapstatus (verruiming van de
reserveringsmogelijkheden, het vrij kunnen schuiven tussen materieel en
personeel, meer mogelijkheden op huisvestingsgebied) en de
capaciteitsuitbreidingen (kostenbesparingen bij ontwerp en bouw,
Handleiding DDO
112 schaalvergroting) zouden de oorzaak zijn voor de verbetering van de
doelmatigheid.
Ook dit voorbeeld brengt een aantal risico’s van het gebruik van kengetallen
in beeld.79 De verschillende kengetallen laten tegenstrijdige ontwikkelingen
zien. Toch trekt men als eindconclusie dat de doelmatigheid is verbeterd.
De onderliggende ontwikkelingen geven evenwel af en toe een ander beeld.
Ook is het belang van de verschillende kengetallen onbekend. Is het goed of
slecht dat de bezettingsgraad en de personeelsratio afnemen en de
overheadratio toeneemt? Of alle kengetallen relevant zijn is ook de vraag.
Verder is niet zonder meer duidelijk waardoor het begrotingsresultaat
positiever is geworden. Dit zou bijvoorbeeld te maken kunnen hebben met
toegenomen inkomsten van het Rijk.
Eigenlijk is alleen de kostprijs per gevangene per dag een indicator op basis
waarvan de ontwikkeling in de doelmatigheid zou kunnen worden bepaald,
mits aan de voorwaarden in § 8.5 is voldaan. De andere gegevens zouden
potentiële verklaringen kunnen zijn voor verschillen in doelmatigheid.
De conclusies over de verklaringen worden dus wel erg gemakkelijk
getrokken. Het is maar de vraag of zonder meer geroepen kan worden dat
agentschapvorming en capaciteitsuitbreiding de belangrijkste oorzaken zijn
voor de ontwikkelingen. Het zijn eerder hypothesen, die vervolgens moeten
worden getoetst.
8.6.2 FDH, DEA en SFA
Globale werking van de technieken
Bij Free Disposable Hull (FDH), Data Envelopment Analysis (DEA) en
Stochastic Frontier Analysis (SFA) wordt de doelmatigheid bepaald door
een vergelijking met de beste verhouding tussen de middelen en de
beleidsprestaties die in de praktijk voorkomt. Alle drie de technieken
berekenen voor elke organisatie de verhouding tussen de ingezette
middelen en de geleverde prestaties, bepalen welke organisaties
onderling vergelijkbaar zijn en welke binnen elke groep van vergelijkbare
organisaties dan ‘de beste uit de klas’ is. Dat wil zeggen: de organisatie80
die gegeven de hoeveelheid beleidsprestaties de minste middelen
gebruikt of gegeven de gebruikte middelen de meeste beleidsprestaties
levert. De doelmatigheid wordt ten slotte bepaald door van alle
organisaties die niet de beste uit hun groep zijn de verhouding af te
79 Een methode als DEA zou in dit en voorgaand voorbeeld van verscheidene prestaties en
middelen een beter instrument zijn om de doelmatigheid te bepalen. Zie verder § 8.6.2 en Blank
(2003). 80 Met het oog op de leesbaarheid wordt hier steeds gesproken over organisaties, maar het kan ook
zijn dat een organisatie in de tijd wordt vergeleken of verscheidene organisaties over verscheidene
perioden.
Handleiding DDO
113 zetten tegen de beste. De besten dienen dus als referentie, zij vormen bij
elkaar de ‘beste praktijk’. Ze geven de beste combinaties weer tussen de
beleidsprestaties en de middelen die in de praktijk haalbaar zijn. Het zijn
de doelmatige organisaties. De maat voor (on)doelmatigheid wordt
vervolgens bepaald door de afstand van elke organisatie tot de
(vergelijkbare) referentiewaarde (hoe scoort een bepaalde organisatie in
vergelijking met de meest doelmatige vergelijkbare organisatie?). De
mate van doelmatigheid wordt daarmee weergegeven in een
doelmatigheidsscore. De doelmatigheidsscore van doelmatige organisaties
is 100% (of 1), die van ondoelmatige organisaties is lager dan 100% (of
1). Hoe lager de score, hoe ondoelmatiger een organisatie is en hoe meer
deze dus (in principe) haar doelmatigheid kan verbeteren.
8.6.2.1 Free Disposable Hull
Bij Free Disposable Hull (FDH) wordt voor elke bestaande organisatie de
doelmatigheidsscore bepaald door een vergelijking met de beste praktijk.
Er wordt alleen maar vergeleken met bestaande organisaties. Voor elke
organisatie wordt gezocht of er bestaande organisaties zijn die met
minder middelen dezelfde beleidsprestaties realiseren.81
FDH verschilt op dit punt van DEA en SFA, bij welke de vergelijking ook
kan plaatsvinden met virtuele organisaties (zie § 8.6.2.2 en 8.6.2.3).
De toepassing van FDH is relatief eenvoudig. Er zijn diverse
gebruiksvriendelijke standaardsoftwarepakketten voor beschikbaar. 82
Hieronder bespreken we een voorbeeld van de toepassing van FDH. De
techniek is toegepast in een onderzoek dat de Algemene Rekenkamer
tussen 1998 en 2000 heeft gedaan naar de doelmatigheid van
arbeidsbureaus (nu ‘centra voor werk en inkomen’ oftewel CWI’s).83
Arbeidsbureaus
De Algemene Rekenkamer heeft voor elk van de 62 in het onderzoek
betrokken arbeidsbureaus bepaald hoeveel de middelen kunnen worden
verlaagd terwijl toch ten minste dezelfde hoeveelheid prestaties kan
worden geleverd. De variabele kosten vormen de middelen. De vaste
kosten, zoals huur-, afschrijvings- en rentekosten van de gebouwen zijn
niet meegenomen.84
81 Dit is een inputoriëntatie, maar uiteraard is ook een outputoriëntatie mogelijk.
82 De Algemene Rekenkamer heeft op het ogenblik (begin 2005) geen software voor FDH. Als een
onderzoek start waarvoor dit nodig is, kan voor de tijd van dat onderzoek een licentie gekocht
worden. 83 Algemene Rekenkamer (2001). Zie ook Israël, Matheeuwsen, Roelofs en Roijackers (2001). 84 Dit zijn op korte termijn moeilijk te beïnvloeden kosten en het meenemen ervan zou tot
verkeerde conclusies kunnen leiden. Als er twee arbeidsbureaus zijn die als enig verschil hebben
dat de ene twee keer zo hoge huisvestingskosten heeft, dan zou het meenemen van deze kosten in
Handleiding DDO
114 De onderscheiden prestaties zijn het aantal plaatsingen van werkzoekenden
op vacatures (aantal werkzoekenden dat aan een baan is geholpen)
uitgesplitst naar de afstand van de werkzoekende tot de arbeidsmarkt (fase 1,
fase 2 en fase 3). Fase-1-werkzoekenden zijn personen met de meeste
kansen op de arbeidsmarkt (kleinste afstand tot de arbeidsmarkt), enzovoort.
Door deze uitsplitsing wordt rekening gehouden met de verschillen in kwaliteit
van de prestaties (zie § 8.5).
De doelmatigheidsscore van de doelmatige arbeidsbureaus is 100%, die van
de ondoelmatige is lager dan 100%. Een doelmatigheidsscore van 90%
betekent dat dit arbeidsbureau zijn kosten met 10% kan verlagen en toch ten
minste dezelfde hoeveelheid werkzoekenden, uitgesplitst naar afstand van de
arbeidsmarkt, aan een baan kan helpen.
In bovenstaande figuur worden de resultaten voor 1998 weergegeven.
Van de 62 arbeidsbureaus zijn er 32 met een score van 100%. Dit
betekent dat voor deze arbeidsbureaus geen vergelijkbare betere
arbeidsbureaus gevonden zijn. Tien van deze doelmatige arbeidsbureaus
treden op als referentiewaarde voor ondoelmatige arbeidsbureaus. Deze
tien zijn arbeidsbureaus die vergeleken met vergelijkbare arbeidsbureaus
de minste kosten hebben en ten minste even veel (vergelijkbare)
prestaties leveren. Ze zijn in de figuur weergegeven met een score van
100%. De doelmatigheidsscore wordt bepaald door de ondoelmatige
arbeidsbureaus te vergelijken met hun referentiewaarde. Zo ontstaan tien
groepen van vergelijkbare arbeidsbureaus (de tien ‘kolommen’ in de
figuur). De scores van de ondoelmatige arbeidsbureaus lopen uiteen van
70 tot en met 99%.
een doelmatigheidsberekening leiden tot de conclusie dat het ene arbeidsbureau ondoelmatiger is
dan het andere. Voor een dergelijke conclusie is geen onderzoek naar doelmatigheid nodig en vaak
zal een arbeidsbureau maar een geringe keuze hebben in de locatie vanwege het voorgeschreven
voorzieningsgebied. (Zie voor benodigde gegevens § 8.5 ).
70
75
80
85
90
95
100
1 2 3 4 5 6 7 8 9 10
Groepen arbeidsbureaus met zelfde referentiewaarde
Doe
lmat
ighe
idss
core
(%
)
Handleiding DDO
115 Uit de figuur blijkt dat er erg grote verschillen zijn tussen de
doelmatigheidsscores van de vergelijkbare arbeidsbureaus.
Ter illustratie zijn in de volgende tabel voor 1998 voor een groep
arbeidsbureaus (groep 5 uit de figuur) de verschillen in kosten in beeld
gebracht.
Plaatsingen zijn gegeven in aantallen, de kosten in miljoenen euro’s.
Arbeidsbureau Plaatsingen
fase 1+
Plaatsingen
fase 2
Plaatsingen
fase 3
Kosten Doelmatigheidsscore
Referentie 1.125 407 306 2,4 100%
Arbeidsbureau 1 924 267 302 2,6 91%
Arbeidsbureau 2 778 404 306 4,0 85%
Arbeidsbureau 3 700 344 265 5,9 70%
Bron: Algemene Rekenkamer
Uit de tabel kun je onder meer aflezen dat de referentiewaarde in alle
categorieën de meeste plaatsingen heeft, terwijl de kosten het laagste zijn.
Arbeidsbureau 1 kan bijvoorbeeld zijn prestaties verhogen en bovendien zijn
kosten verlagen tot het niveau van het referentie-arbeidsbureau.
8.6.2.2 Data Envelopment Analysis
Bij DEA wordt een doelmatigheidsgrenslijn gevormd die de beste
combinaties weergeeft tussen beleidsprestaties en middelen die in de
praktijk haalbaar zijn. In onderstaande figuur wordt dit met een simpel
voorbeeld geïllustreerd.
De punten zijn de verschillende organisaties met in dit geval het ene
middel dat ze inzetten en de ene beleidsprestatie die ze daarmee
voortbrengen. De lijn geeft de grenslijn die bepaald is met DEA. De figuur
wordt toegelicht uitgaande van een outputoriëntatie (met een bepaalde
hoeveelheid middelen zoveel mogelijk beleidsprestaties leveren).85
De organisaties A tot en met D leveren relatief de meeste beleidsprestaties in
vergelijking met de daarvoor benodigde middelen. Deze bestaande best
presterende organisaties liggen op de grenslijn. Op de lijnstukken tussen deze
organisaties liggen virtuele organisaties die even goed presteren als de
bestaande.
85 Met variabele schaalopbrengsten. Dit betekent dat de beleidsprestaties minder/meer dan
proportioneel kunnen toenemen met een verandering in alle middelen (zie voor een verdere
toelichting § 8.6.2.4).
Handleiding DDO
116
Middel
Figuur 8.1 DEA : een simpel grafisch voorbeeld.
Bij DEA kan de vergelijking dus plaatsvinden met zowel bestaande als
virtuele organisaties. Zie de volgende paragraafvoor een verdere
toelichting.
DEA is een relatief eenvoudige mathematische methode waarvoor
verschillende standaardsoftwarepakketten beschikbaar zijn die op een
relatief eenvoudige wijze de doelmatigheid bepalen.86 Voorbeelden van
pakketten zijn: DEAP en DEA-solver.87 DEA is een veelgebruikte methode.
Er zijn inmiddels duizenden artikelen en rapporten gepubliceerd waarin
deze methode is toegepast.88
Hieronder bespreken we een voorbeeld van de toepassing van DEA. De
techniek is toegepast in een onderzoek dat het Rijksinstituut voor
Volksgezondheid en Milieu (RIVM) in 2001 publiceerde over de
doelmatigheid en kwaliteit van de ambulancezorg.89
Ambulancezorg
Het RIVM heeft met DEA de doelmatigheid van de ambulancezorg
onderzocht. De kosten zijn ingevuld door de totale exploitatiekosten. Er
worden vier prestaties onderscheiden:
• aantal ritten waarbij de ambulance zich met de grootste spoed naar
de patiënt moet begeven (A1-ritten);
86 Zie ook bijvoorbeeld Blank (2003) en Eggink en Blank (2001). 87 Zie Coelli (1996) voor een toelichting op DEAP en Cooper (2000) voor een toelichting op DEA-
solver. Zie voor meer pakketten onder andere Blank (2003). De Algemene Rekenkamer heeft op
het ogenblik (begin 2005) geen software voor DEA. Als een onderzoek start waarvoor dit nodig is,
kan voor de tijd van dat onderzoek een licentie gekocht worden. 88 Blank (2003). 89 Van der Veen, Zwakhals, Hazelnet-Crans en Van Manen (2001). Een vergelijkbaar voorbeeld is te
vinden in: Finansministeriet (2001). Budgetredegørelse 2000/2001 (Budget Review 2000/2001).
Albertslund, Schultz Information. Het betreft hier een onderzoek van de Deense regering naar de
doelmatigheid van districtsrechtbanken, waarbij gebruikgemaakt is van DEA.
Beleidsprestatie
A
B
C
D DEA
Handleiding DDO
117 • aantal ritten waarbij de ambulance onmiddellijk moet uitrukken met
de intentie zo spoedig mogelijk ter plaatse te zijn (A2-ritten);
• aantal tevoren geplande ritten (B-ritten);
• beschikbaarheid: naar ritten gewogen gemiddelde van de
beschikbaarheidindexen per standplaats.
In de DEA-analyse zijn 73 ambulancediensten meegenomen van de 80 die
er in Nederland zijn (91%). De gemiddelde doelmatigheid van deze 73
ambulancediensten bedraagt 87%.90 Onderstaande tabel geeft de scores
van de diensten naar grootteklasse van de ambulancediensten. Twintig
van de ambulancediensten hebben een doelmatigheid van 100%. Deze
diensten vormen de referentiediensten waartegen de prestaties van de
overige organisaties zijn afgezet. De laagste doelmatigheidsscore
bedraagt 57%. Verder blijkt uit de tabel dat de doelmatigheid gemiddeld
toeneemt naarmate de ambulancedienst groter is.
Grootteklasse Aantal
diensten
Gemiddelde
doelmatigheidsscore
Aantal diensten met
score 100
1: < 2.000
2: 2.000 – 5.000
3: 5.000 – 10.000
4: 10.000 – 20.000
5: > 20.000
Totaal
11
16
19
17
10
73
81
87
83
90
95
87
4
4
2
5
5
20
De volgende figuur geeft de scores van de diensten naar klasse van
doelmatigheidsscore. Uit de figuur blijkt dat het aantal diensten in de klassen
80-84 tot en met 95-99 ongeveer gelijk verdeeld is. Opvallend is het aantal
diensten dat minder dan 60% scoort: vier diensten, oftewel 5% van het totaal
aantal. Dit zijn voor dit soort doelmatigheidsonderzoek erg (ongebruikelijk)
lage scores.
90 Hierbij is uiteraard nog geen rekening gehouden met verklarende factoren die van invloed zijn op
de doelmatigheid zoals omgevingsfactoren of institutionele factoren.
Handleiding DDO
118
8.6.2.3 Stochastic Frontier Analysis
Bij SFA wordt net als bij DEA een doelmatigheidsgrenslijn gevormd, zodat
de vergelijking kan plaatsvinden met zowel bestaande als virtuele
organisaties.
DEA en SFA verschillen van elkaar in de wijze waarop de
doelmatigheidsgrenslijn wordt bepaald. Bij SFA wordt deze grenslijn
namelijk bepaald door een wiskundige functie. Je moet hiervoor van
tevoren aannames maken over de relatie tussen de middelen en de
beleidsprestaties (het wiskundige model). Vaak is niet precies duidelijk
hoe deze relatie in elkaar zit. Het is daarom verstandig om eerst wat te
spelen met simpele regressies, die een gevoel geven over hoe deze
relatie in elkaar zou kunnen zitten.
In de literatuur worden verschillende (modelmatige) relaties genoemd
tussen beleidsprestaties en middelen. Wij noemen hier in dit verband de
productiefunctie (outputoriëntatie) en de kostenfunctie (inputoriëntatie).91
De toepassing van SFA is niet eenvoudig en vereist een zekere kennis van
econometrische methoden die worden gebruikt om de wiskundige functie
te bepalen (schatten).92 Ook voor SFA zijn standaardsoftwarepakketten
voorhanden. Een voorbeeld is Frontier Version 4.1.93
91 Andere relaties zijn onder meer output-afstandsfuncties en input-afstandsfuncties. Bij een
productiefunctie worden de hoeveelheid prestaties verklaard uit onder andere de hoeveelheid
ingezette middelen. Bij een kostenfunctie worden juist de kosten verklaard uit onder andere de
hoeveelheid geleverde prestaties. Zie bijvoorbeeld Coelli et al. (1998) en Blank (2000). 92 Zie ook bijvoorbeeld Eggink en Blank (2001). 93 Coelli (1996) en New South Wales Treasury (2001).
43
1
5 5
10
89
8
20
0
5
10
15
20
25
1 2 3 4 5 6 7 8 9 10
Klasse van doelmatigheidsscore
Aan
tal a
mbu
lanc
edie
nste
n
43
1
5 5
10
89
8
20
0
5
10
15
20
25
50-54 55-59 60-64 65-69 70-74 75-79 80-84 85-89 90-94 95-99
Klasse van doelmatigheidsscore
Aan
tal a
mbu
lanc
edie
nste
n
43
1
5 5
10
89
8
20
0
5
10
15
20
25
55-59 60-64 65-69 70-74 75-79 80-84 85-89 90-94 95-99 100
Klasse van doelmatigheidsscore
Aan
tal a
mbu
lanc
edie
nste
n
Handleiding DDO
119 In figuur 8.2 worden DEA en SFA met een simpel voorbeeld geïllustreerd.
De figuur is figuur 8.1 met de grenslijn voor DEA, aangevuld met de
grenslijn die is bepaald met SFA.
D
C DEA
B
A
Figuur 8.2 DEA en SFA; een simpel grafisch voorbeeld
De organisaties A tot en met D leveren relatief de meeste
beleidsprestaties in vergelijking met de daarvoor benodigde middelen. De
DEA-grenslijn loopt dan ook door deze punten. Bij DEA wordt voor elke
organisatie een lineair programmeringsprobleem opgelost. Alle
organisaties komen na de rekenpartij op of onder de grenslijn. Als ze er
op liggen realiseren zij ten opzichte van de andere organisaties in de
populatie de meeste beleidsprestaties, als zij er onder liggen realiseren zij
bij een gegeven hoeveelheid middelen minder prestaties.
Elke afwijking van de grenslijn wordt verondersteld het gevolg te zijn van
ondoelmatigheid. Er wordt, met andere woorden, geen rekening
gehouden met de invloed van statistische ‘ruis’, zoals
onvolkomenheden/meetfouten/onzuiverheden in de gebruikte gegevens.
Bij een grenslijn die bepaald is door middel van SFA wordt hiermee wel
rekening gehouden. Er kunnen dan dus ook waarnemingen boven de
grenslijn liggen. Met SFA kan onderscheid worden gemaakt tussen
ondoelmatigheid enerzijds en ruis anderzijds.
Hieronder bespreken we een voorbeeld van de toepassing van SFA. De
techniek is toegepast in een onderzoek naar de intramurale zorg voor
verstandelijk gehandicapten dat het Sociaal en Cultureel Planbureau
(SCP) in 2001 publiceerde.
Prestatie
SFA
Handleiding DDO
120 Intramurale zorg verstandelijk gehandicapten
Met SFA (kostenfunctie) heeft het SCP de doelmatigheid van de
intramurale zorg voor verstandelijk gehandicapten onderzocht. DEA is
eveneens toegepast. In dit voorbeeld beperken we ons tot de algemene
instellingen. Waarnemingen van meer dan honderd algemene instellingen
over de periode 1984-1998 vormen de basis van de analyses (vergelijking
in de tijd en tussen organisaties). De kosten zijn ingevuld door de
variabele kosten. De onderscheiden prestaties zijn het aantal
verpleegdagen uitgesplitst naar drie niveaus van functioneren (licht,
matig/ernstig en zeer ernstig gehandicapt).
De gemiddelde doelmatigheid voor de algemene instellingen bedraagt in
1998 86 à 89%. Algemene instellingen kunnen (in theorie) hun prestaties
dus met gemiddeld ruim 10% minder kosten voortbrengen.
Onderstaande figuren geven per doelmatigheidsscore (die ligt tussen 0 en
1) het percentage instellingen met de desbetreffende
doelmatigheidsscore. De eerste figuur zijn de scores die zijn bepaald met
SFA. De tweede figuur geeft de scores die bepaald zijn met DEA. Beide
methoden leiden tot vergelijkbare conclusies. Dit betekent dus dat
robuuste conclusies kunnen worden getrokken.
SFA
0
5
10
15
20
25
30
0,6
0,65 0,
70,
75 0,8
0,85 0,
9
Doelmatigheidsscore
Fre
quen
tie (
in %
)
SFA
0
5
10
15
20
25
30
0,6
0,65 0,7
0,75 0,8
0,85 0,9
Doelmatigheidsscore
Fre
quen
tie (
in %
)
Handleiding DDO
121
De algemene conclusie van het SCP luidt dat de verschillen tussen de
doelmatige instellingen voor verstandelijk gehandicapten en de rest (de
niet doelmatige) klein zijn. De mogelijkheden om via beleidsingrepen of
verbetering van het bedrijfsproces middelen vrij te maken voor het
oplossen van knelpunten zijn daardoor vooralsnog beperkt. Wel kunnen
de instellingen de doelmatigheid (licht) verbeteren door onder andere de
mix van ingezette middelen aan te passen.
Voor een gedetailleerde beschrijving van onder meer de technieken FDH,
DEA en SFA wordt verwezen naar onder andere Fried et al. (1993), Coelli
(1998), Blank (2000), Cooper et al. (2000), Scheel (2000) en New South
Wales Treasury (2001).
8.6.2.4 Welke techniek kiezen?
Om zowel kengetallen als FDH, DEA en SFA te kunnen toepassen moet
aan een aantal voorwaarden worden voldaan. Sommige voorwaarden
gelden voor alle soorten technieken, andere alleen voor een
deelverzameling ervan. Elke techniek heeft ook zijn sterke en zwakke
kanten.94 Welke techniek in een specifieke situatie het meest geschikt is
om de doelmatigheid van een organisatie te meten, hangt onder meer af
van het aantal organisaties en/of perioden dat wordt onderzocht en van
het aantal verschillende beleidsprestaties.
De verschillende keuzemomenten die hierbij globaal aan de orde zijn,
bespreken we aan de hand van onderstaand schema.
94 Zie voor een toelichting onder andere Lovell (1998), Coelli (1998), Blank (2000) en Eggink en
Blank (2001).
DEA
0
5
10
15
20
25
0,65 0,7
0,75 0,8
0,85 0,9
0,95
100
Doelmatigheidsscore
Fre
quen
tie (
in %
)
Handleiding DDO
122
* = aanvullende gegevens nodig.
1. Constante of variabele schaalopbrengsten
Een eerste element dat van invloed is op de keuze voor de geschikte
methode(n) om de doelmatigheid te berekenen is de vraag of er sprake is
van constante of variabele schaalopbrengsten.
Bij constante schaalopbrengsten leidt een verandering in de middelen tot
een proportionele verandering in de beleidsprestaties. Bijvoorbeeld als
10% meer beleidsprestaties worden geleverd (de schaal wordt vergroot)
dan nemen de kosten ook met 10% toe. Dit betekent dat onafhankelijk
van de grootte van de organisatie de gemiddelde kosten per prestatie
gelijk zijn.
Bij variabele schaalopbrengsten nemen daarentegen de beleidsprestaties
minder/meer dan proportioneel toe met een verandering in alle middelen.
Bijvoorbeeld als 10% meer beleidsprestaties worden geleverd dan nemen
de kosten met minder of meer dan 10% toe. Bij variabele schaal-
opbrengsten is een normaal beeld dat de gemiddelde kosten per prestatie
voor kleine en grote organisaties in het algemeen het hoogst zijn. De
middelgrote organisaties hebben de laagste gemiddelde kosten.95
Met uitzondering van kengetallen kan bij de verschillende technieken
rekening worden gehouden met de situatie of er sprake is van constante
dan wel variabele schaalopbrengsten.
95 Zie bijlage 7 voor een toelichting en een voorbeeld.
constante schaal-
opbrengsten
variabele schaal-
opbrengsten
Geen onvolkomen-
heden in gegevens
Onvolkomenheden in
gegevens
Geen onvolkomen-
heden in gegevens
< 20 à 50
waarnemingen
≥ 20 à 50
waarnemingen
< 20 à 50
waarnemingen
≥ 20 à 50
waarnemingen
< 20 à 50
waarnemingen
≥ 20 à 50
waarnemingen
Kengetallen
FDH, DEA
SFA
Kengetallen Geen
techniek
SFA Kengetallen* Kengetallen*
FDH, DEA
SFA
Handleiding DDO
123 Daarentegen veronderstellen doelmatigheidskengetallen (zoals de kosten
per prestatie) impliciet constante schaalopbrengsten; de grootte van de
organisaties heeft dan dus geen invloed op de kosten per prestatie.
Toch kunnen bij variabele schaalopbrengsten onder voorwaarden wel
kengetallen worden gebruikt. In vergelijking met de situatie ‘constante
schaalopbrengsten’ geldt dan de extra voorwaarde dat in de analyse ook
een set van kengetallen voor verschillende groottes van de organisaties
(bijvoorbeeld kleine, middelgrote en grote organisaties) worden mee-
genomen. Zie voor een voorbeeld § 8.6.3.2.
2. Onvolkomenheden in de gegevens of niet
Een tweede element dat van invloed is op de keuze is de vraag of de
gegevens die je gebruikt om de doelmatigheid te berekenen
onvolkomenheden bevatten of niet. Een mogelijkheid om dit vast te kunnen
stellen is de analyse vooraf: analyses met kengetallen (en/of eenvoudige
regressieanalyses) die een eerste inzicht in de gegevens geven (vooraf). Op
SFA na zijn alle technieken namelijk gevoelig voor onvolkomenheden in de
gegevens. SFA daarentegen is, zoals reeds eerder vermeld, in staat
onderscheid te maken tussen verschillen in doelmatigheid en
onvolkomenheden (ruis) in de gegevens.
Thuiszorg
Voor de thuiszorg hebben Price Waterhouse Coopers en Berenschot in 1999 een DEA-
analyse uitgevoerd om de doelmatigheid te bepalen, hoewel gemeld wordt dat de gegevens
niet allemaal even betrouwbaar zijn. SFA, die meer voor de hand ligt bij twijfels over de
kwaliteit van de gegevens, wordt niet gebruikt.
3. Meer dan twintig à vijftig waarnemingen of niet
Een derde element dat van invloed is op de keuze is de vraag of je over
de benodigde gegevens beschikt (kunt beschikken) over de
beleidsprestaties en de daarvoor ingezette middelen voor twintig à vijftig
organisaties/tijdstippen of meer.96 Voor het toepassen van kengetallen
heb je in het algemeen minder waarnemingen nodig dan voor FDH, DEA
of SFA. En voor FDH en DEA heb je in het algemeen weer minder waar-
nemingen nodig dan voor SFA. Kengetallen kun je grofweg al toepassen
bij minder dan twintig à vijftig waarnemingen, FDH en DEA al rond de
twintig à vijftig, maar voor SFA heb je al snel minimaal vijftig
waarnemingen nodig.
FDH kan al met een beperkter aantal organisaties worden toegepast,
maar dan moet het wel zo zijn dat verschillende groepen van deze
96 Het aantal van 20 à 50 is slechts een indicatie. Afhankelijk van het aantal waarnemingen ten
opzichte van het aantal te onderscheiden variabelen als soorten prestaties en middelen zal moeten
worden bepaald of het aantal waarnemingen voldoende is om de technieken toe te kunnen passen.
Voldoende in de zin van om statistisch betrouwbare uitspraken te kunnen doen.
Handleiding DDO
124 organisaties vergelijkbaar zijn qua grootte. Bij deze methode vergelijk je
zoals gezegd alleen maar met bestaande organisaties. Wanneer er voor
veel van deze organisaties geen vergelijkbare organisaties zijn qua hoe-
veelheid beleidsprestaties en/of middelen dan bestempelt deze methode
deze organisaties als doelmatig. Dat wordt ook wel ‘efficiënt by default’ of
‘doelmatig bij verstek’ genoemd.
Een voordeel van DEA en SFA boven FDH is dat bij deze twee methoden
organisaties minder snel doelmatig bij verstek worden bestempeld (je
hebt ook de virtuele organisaties waarmee vergeleken kan worden). Bij
FDH zijn dan ook relatief veel organisaties doelmatig. FDH levert hiermee
relatief weinig inzicht in doelmatigheidsverschillen op (minder
onderscheidend vermogen).
Voorkeur
In alle situaties waarin kengetallen worden toegepast is voorzichtigheid
geboden. Verschillende kengetallen kunnen bijvoorbeeld leiden tot
tegenstrijdige signalen, waardoor het lastig wordt om uitspraken te doen
over de totale doelmatigheid. Kengetallen leveren relatief weinig inzicht in
doelmatigheidsverschillen op. Zie verder voor een toelichting op het
gebruik van kengetallen § 8.6.1.
In de twee situaties waarin grofweg alle technieken geschikt zijn, zijn
vaak (afhankelijk van de sterke en zwakke punten van deze technieken)
één of meer van deze technieken geschikter dan andere(n). Een aantal
sterke en zwakke punten van de verschillende technieken zijn hiervoor
reeds aan de orde gekomen. Een aantal belangrijke andere punten zijn:
• Bij verscheidene prestaties en/of middelen zijn kengetallen vaak minder
geschikt. Bij FDH, DEA en SFA kunnen, anders dan bij kengetallen,
tegelijkertijd verscheidene beleidsprestaties aan de middelen worden
gerelateerd en in hun samenhang worden onderzocht.
Bij verscheidene beleidsprestaties is bij SFA een productiefunctie een
minder geschikte methode. In een productiefunctie is het lastig(er) om
meer dan één prestatie te onderscheiden;
• Zoals gezegd moet je bij SFA voor de wiskundige functie van tevoren
aannames maken over de relatie tussen de middelen en beleidsprestaties,
terwijl vaak niet precies duidelijk is hoe deze relatie in elkaar zit. Als je
weinig of geen vertrouwen hebt in de gekozen vorm van de functie, dan
genieten – indien geschikt – kengetallen, FDH en DEA de voorkeur boven
SFA.97
97 Bij SFA heeft daarnaast de gekozen functionele vorm invloed op de hoogte van de
doelmatigheidsscore.
Handleiding DDO
125 De volgende tabel geeft een samenvattend globaal overzicht van een
aantal belangrijke sterke en zwakke kanten van de technieken:
kengetallen (KG), FDH, DEA en SFA.
KG SFA DEA SFA
Kan met techniek rekening houden met constante en variabele schaalopbrengsten - + + +
Kan verscheidene prestaties en middelen in hun samenhang onderzoeken - ++ ++ +
Minder gevoelig voor onvolkomenheden in de gegevens - - - +
Kan reeds toegepast worden bij relatief weinig waarnemingen ++ + + -
Eenvoudige techniek ++ + + -
Mate van inzicht in doelmatigheidsverschillen -- - -+ +
Methodisch verantwoorde techniek - + + ++
8.6.2.5 Meer dan één techniek gebruiken
De verschillende methoden waarmee de doelmatigheid kan worden
berekend hebben elk hun sterke en zwakke kanten. Door het gebruik van
verschillende methoden naast elkaar (kengetallen,98 FDH, DEA en SFA)
kan de robuustheid van de uitkomsten worden bepaald. Kies er minstens
twee.
Indien alle methoden dezelfde uitkomsten hebben, is de mate van
betrouwbaarheid waarmee uitspraken kunnen worden gedaan groter dan
wanneer de uitkomsten elkaar tegenspreken.
Een hoge mate van robuustheid is noodzakelijk om aanbevelingen te
kunnen doen.99 Het is dan ook verstandig om zo mogelijk altijd een aantal
verschillende methoden toe te passen om de doelmatigheid te berekenen
en de resultaten te vergelijken.
8.6.3 Verklaren van doelmatigheidsverschillen
Als je de factoren kunt aanwijzen die verschillen in doelmatigheid
verklaren, kun je je/een organisatie concreet adviseren over de
mogelijkheden om haar doelmatigheid te verbeteren. Je wilt dus op zoek
naar verklaringen. Daarbij wordt in de praktijk gebruikgemaakt van zowel
statistische als niet-statistische technieken.
8.6.3.1 Statistische technieken
Wanneer je met behulp van kengetallen de doelmatigheid van de effecten
of prestaties hebt bepaald, kun je als tweede stap de mogelijke
verklaringen daarvoor toetsen. Hiervoor kun je een techniek als tobit- en
98 Overigens kunnen om inzicht te krijgen ook eenvoudige regressieanalyse worden gebruikt. 99 Zie bijvoorbeeld Israël, Matheeuwsen, Roelofs en Roijackers (2001) en Eggink en Blank (2001).
Handleiding DDO
126 probitanalyse of eenvoudige regressieanalyse toepassen.100 Er moeten
dan wel voldoende waarnemingen zijn. Ook SFA, DEA en FDH kunnen
hiervoor worden gebruikt. FDH is echter in beperkte mate geschikt. Als de
doelmatigheid wordt berekend met SFA, DEA of FDH kunnen de
verklaringen voor de verschillen in doelmatigheid ook worden gevonden
met behulp van deze technieken zelf.
We bespreken in deze paragraaf een tweetal praktijkvoorbeelden. Het
gaat om onderzoeken waarin de doelmatigheid van de prestaties van een
organisatie is bepaald, en waarbij met statistische technieken (SFA en
DEA respectievelijk probitanalyse) is gezocht naar verklaringen voor de
gevonden doelmatigheidsverschillen. Het eerste voorbeeld betreft
ziekenhuizen, het tweede verpleeghuizen.
Ziekenhuizen
In het onderzoek Tussen bed en budget beoogt het Sociaal en
Cultureel Planbureau inzicht te geven in de doelmatigheid van
ziekenhuizen in Nederland in de periode 1985-1995 (Blank, 1998).
Voor ieder ziekenhuis is met SFA (kostenfunctie) de doelmatigheidsscore
berekend die ligt tussen 0 en 1. De resultaten zijn te vinden in de volgende
figuur.
Met behulp van de kostenfunctie zijn de verklaringen getoetst die de
verschillen in doelmatigheid kunnen verklaren. Uit deze analyse blijkt
onder andere dat de doelmatigheid:
• met 0,3% afneemt als de samenstellingsprijs van verplegend personeel
met 1% groeit (samenstellingsprijs: verhouding tussen de prijs die een
ziekenhuis betaalt en de gemiddelde prijs; de samenstellingsprijs is hoog
100 Zie voor een meer compleet overzicht en de theorie achter deze technieken bijvoorbeeld
Stevens (1992) of Tacq ( 1991).
D oelm at igheidsscor es van ziek enhuizen, 1985-1995
0
2
4
6
8
10
12
14
16
0,76
0,77
0,78
0,79 0,8
0,82
0,83
0,84
0,85
0,86
0,88
0,89 0,9
0,91
0,92
0,94
0,95
0,96
0,97
0,98
doelmati gheid
aand
eel z
ieke
nhui
zen
(%)
Handleiding DDO
127 als het ziekenhuis relatief goed opgeleid en ervaren personeel in dienst
heeft);
• met respectievelijk 0,17 en 0,13% afneemt als de samenstellingsprijs van
overig en paramedisch personeel met 1% groeit;
• met 0,1% afneemt als het aandeel paramedisch personeel met 1%
groeit;
• met 0,04% afneemt als het ziekteverzuim met 1% groeit.
Andere verklarende factoren die in de analyse zijn meegenomen,
bijvoorbeeld de bezettingsgraad van bedden en het aandeel specialisten
in loondienst >10%, blijken niet aantoonbaar van invloed op de
doelmatigheid.
Ook DEA is toegepast voor het berekenen van de doelmatigheidsscores en
het bepalen van de aantoonbaar van invloed zijnde factoren en leidt in
grote lijnen tot dezelfde conclusies.
Verpleeghuizen
Het Sociaal en Cultureel Planbureau publiceerde in 1996 het onderzoek
Zuinig op zorg. Daarin staat de doelmatigheid van verpleeghuizen in
Nederland in de jaren 1984, 1987-1993 centraal.101
De doelmatigheidsscore is met SFA (kostenfunctie) berekend voor ieder
verpleeghuis in de verschillende jaren en ligt tussen de 0 en 100%.
De kosten worden ingevuld door de variabele kosten personeel en
materieel. De volgende prestaties worden onderscheiden:
• aantal verpleegdagen;
• aantal dagbehandelingdagen;
• zorgintensiteit (hulpbehoevendheid aanwezige patiënten en kwaliteit
dienstverlening);
• extramurale activiteiten.
De meest doelmatige verpleeghuizen hebben in dit onderzoek een score
van 100%. De gemiddelde doelmatigheidsscore van alle verpleeghuizen
over de onderzochte jaren is 93%. Dit betekent dat de verpleeghuizen
hun kosten dus met gemiddeld 7% kunnen verlagen.
Uit het onderzoek blijkt onder andere dat naarmate de verpleeghuizen
groter zijn, de doelmatigheid groter is. Met behulp van probitanalyse is
getoetst welke variabelen van invloed zijn op de vraag of een
verpleeghuis ondoelmatig of doelmatig is. Deze verklarende variabelen
zijn in drie groepen ingedeeld: productiekenmerken, markt en
institutionele vormgevingskenmerken en bedrijfs- en proceskenmerken.
Onderstaand overzicht geeft de resultaten van de probitanalyse. Een
101 Zie Blank et al. (1996) en Instituut voor Onderzoek van Overheidsuitgaven (1998).
Handleiding DDO
128 positief respectievelijk negatief teken betekent dat de betreffende
variabele bijdraagt aan een grotere respectievelijk kleinere
doelmatigheid. Een nul geeft aan dat er geen verantwoorde uitspraak
over het effect kan worden gedaan.
Schatting
Productie
- aandeel leerling-verpleegkundigen +
- kwaliteit gediplomeerde verpleegkundigen -
- kwaliteit overig personeel -
- kapitaal per bed 0
- eigen apotheek +
- hulpindex 0
Markt en institutionele vormgeving
- maat voor de concurrentie +
- algemeen niet-confessioneel 0
- protestants-christelijk -
- stichting 0
- somatisch 0
- psychogeriatrisch 0
Bedrijf en proces
- bezettingsgraad +
- ziekteverzuim -
- uitbesteed werk +
- inbesteed werk +
- afdelingsgrootte -
De onderzoekers concluderen dat er slechts in beperkte mate
aantoonbaar doelmatigheidswinst (kostenreductie) is te realiseren. De
gevonden ondoelmatigheden zijn voor een deel te herleiden tot
externe/exogene, en niet of moeilijk beheersbare of beïnvloedbare
grootheden, zoals marktomstandigheden. Bovendien concluderen de
onderzoekers dat enige schaalvergroting bij kleine organisaties zou
kunnen leiden tot een bescheiden doelmatigheidswinst, maar bij grote
verpleeghuizen juist tot doelmatigheidsverlies.
Verder blijkt onder andere dat een hogere kwaliteit van het personeel
leidt tot grotere ondoelmatigheden. Maar uit het oogpunt van kwaliteit
van de dienstverlening en uit sociale overwegingen lijken de opties om de
kwaliteit te verlagen geen realistische beleidsinstrumenten. Verder
zouden bijvoorbeeld het in- en uitbesteden van werk, een hogere
bezettingsgraad en het verkleinen van afdelingen leiden tot grotere
doelmatigheid.
Handleiding DDO
129 Ook DEA is toegepast voor het berekenen van de doelmatigheidsscores en
leidt in grote lijnen tot dezelfde conclusies.
Slotsom
Uit bovenstaande voorbeelden blijkt het nut van statistische technieken:
je kunt er concreet mee aangeven welke factoren van invloed zijn op de
doelmatigheid. Je hebt dus direct onderbouwde verklaringen bij de hand,
waarvan je gebruik kunt maken om te werken aan de verbetering van de
doelmatigheid.
De voorbeelden laten tegelijk zien dat lang niet alle ondoelmatigheid te
verklaren is en dat lang niet alle verklaringen beïnvloedbaar zijn door de
betrokken organisaties. Ook dat is een belangrijke constatering: als blijkt
dat het grootste deel van de ondoelmatigheid niet door eigen
functioneren maar door externe omstandigheden wordt veroorzaakt, biedt
dit een legitimatie om niets te veranderen.
8.6.3.2 Niet-statistische technieken
Als de informatie die tot je beschikking staat het niet mogelijk maakt een
statistische techniek toe te passen voor het vinden van verklaringen van
eventuele doelmatigheidsverschillen, kun je vaak wel gebruikmaken van
grafieken. Ook kun je deskundigen raadplegen. Ten slotte is er de
mogelijkheid om (het functioneren van) organisaties te vergelijken. We
lopen deze drie opties hieronder langs.
Grafieken
Een hulpmiddel bij het vinden van verklaringen is om elke factor die
mogelijk een verklaring is voor eventuele doelmatigheidsverschillen in
een figuur/spreidingsdiagram uit te zetten tegen het
doelmatigheidskengetal, bijvoorbeeld de kosten per effect/prestatie. Om
op basis van deze figuren conclusies te kunnen trekken, moeten er wel
voldoende waarnemingen zijn, zodat je uitspraak niet ‘op toeval’ berust.
Als je kengetallen maakt voor de vergelijking van een groter aantal
organisaties, zorg er dan voor dat je ook voor zover mogelijk en relevant
de grootte van de organisaties als mogelijke verklarende factor
meeneemt. Deze factor kan ook van invloed zijn op de doelmatigheid en
dus moet je er rekening mee houden. Zo kunnen bijvoorbeeld kleine,
middelgrote en grote organisaties een andere ‘kostenstructuur’ hebben
(grote organisaties hebben bijvoorbeeld vaak te maken met meer
bureaucratie waardoor de gemiddelde kosten hoger liggen) (zie ook
bijlage 8).
Handleiding DDO
130 Een illustratie van nuttige toepassing van grafieken ontlenen we aan
eerder genoemde onderzoek van de Algemene Rekenkamer naar
arbeidsbureaus (nu: de CWI’s).
Werkzoekenden die door wat voor omstandigheden dan ook niet
gemakkelijk werk vinden, maken in het algemeen pas kans op werk na
scholing en/of training. Verwacht wordt dat de kosten per werkzoekende
die een baan gevonden heeft hoger liggen naarmate het arbeidsbureau
wordt geconfronteerd met een zwaarder/moeilijker bestand
werkzoekenden (ceteris paribus). De arbeidsbureaus moeten dan immers
meer inspanning leveren en dus meer kosten maken om de afstand tot de
arbeidsmarkt voor de werkzoekenden te verkleinen.
Onderstaande figuren geven voor 1998 de kosten per plaatsing per
zwaarteklasse van het bestand geplaatsten (werkzoekenden die aan het
werk zijn geholpen). De zwaarteklassen van de arbeidsbureaus zijn
bepaald op basis van de samenstelling van hun werkzoekendenbestand.
Om rekening te houden met eventuele schaaleffecten – grote,
middelgrote en kleine arbeidsbureaus hebben mogelijk verschillende
kostenstructuren – zijn de kosten uitgezet tegen de grootte van het
arbeidsbureau, gemeten naar het aantal werkzoekenden (zie bijlage 8
voor een toelichting).
A: zwaarteklasse 1 (minst zware werkzoekendenbestanden)
0
1000
2000
3000
4000
5000
6000
0 10000 20000 30000 40000 Aantal werkzoekenden
Kos
ten
per
plaa
tsin
g in
eur
o’s
Handleiding DDO
131 B: zwaarteklasse 2 (werkzoekendenbestanden van gemiddelde zwaarte)
0
1000
2000
3000
4000
5000
6000
0 10000 20000 30000 40000 Aantal werkzoekenden
Kos
ten
per
plaa
tsin
g in
eur
o’s
C: zwaarteklasse 3 (meest zware werkzoekendenbestanden)
0
1000
2000
3000
4000
5000
6000
0 10000 20000 30000 40000 Aantal werkzoekenden
Kos
ten
per
plaa
tsin
g in
eur
o’s
Uit de figuren is geen eenduidige relatie tussen de kosten per geplaatste
werkzoekende en de zwaarte van het bestand af te lezen. De kosten per
geplaatste werkzoekende liggen onafhankelijk van de omvang en de
zwaarte van het bestand grofweg tussen de € 1.000 en € 3.000.
Vanzelfsprekend moet ook rekening worden gehouden met de invloed van
de arbeidsmarkt. Arbeidsbureaus in een regio waar de arbeidsmarkt veel
beter is dan elders, kunnen relatief gemakkelijk werk vinden voor de bij
dat bureau ingeschreven werkzoekenden. Ook wanneer expliciet rekening
wordt gehouden met arbeidsmarktomstandigheden, blijkt er een vrij forse
spreiding in de kosten per plaatsing te zijn.
Er blijkt dus voor de verschillende verklarende factoren geen duidelijk
verband te zijn met de kosten per plaatsing. Deze bevindingen geven dan
ook geen aanknopingspunten om de doelmatigheid te verbeteren.
Meningen van deskundigen
Een andere mogelijkheid om mogelijke verklaringen voor
doelmatigheidsverschillen te vinden is aan deskundigen de bevindingen
(over de doelmatigheidsscores; kosten per effect/prestaties) voor te
leggen en te vragen welke verklaringen hiervoor naar hun mening zouden
Handleiding DDO
132 kunnen gelden. Hoewel deze meningen vanzelfsprekend ‘educated
guesses’ zijn, zouden ze kunnen helpen om eventuele mogelijkheden voor
verbetering te vinden. Via ‘trial en error’ zouden deze mogelijkheden
vervolgens in de praktijk kunnen worden uitgeprobeerd om te zien of ze
ook daadwerkelijk tot verbetering leiden.
Deze aanpak bergt overigens wel risico’s in zich. Omdat niet zeker is of
de meningen echte verklaringen voor de gesignaleerde ondoelmatigheid
zijn, verschillende verklaringen vaak van invloed zijn op elkaar en dit
lastig te overzien is, is het denkbaar dat de hieruit voortvloeiende acties
geen of zelfs een averechts effect hebben op die doelmatigheid.
Risico’s van raadplegen deskundigen (fictief voorbeeld)
Stel, je raadpleegt deskundigen in verband met een onderzoek dat je verricht naar de
doelmatigheid van ziekenhuizen. Volgens de deskundigen nemen de kosten per patiënt toe
met het aandeel paramedisch personeel. Maar stel nu dat het aandeel paramedisch
personeel van invloed is op de samenstellingsprijs: een lager aandeel zorgt voor een hogere
samenstellingsprijs. De deskundige is hiervan niet op de hoogte. Een hogere
samenstellingsprijs brengt hogere kosten per patiënt met zich mee. Als nu dus wordt
ingezet om het aandeel paramedisch personeel te verminderen om de doelmatigheid te
verbeteren, bestaat de kans dat deze doelmatigheidsverbetering niet zal slagen omdat het
lagere aandeel paramedisch personeel in een hogere samenstellingsprijs resulteert die op
zijn beurt een negatieve invloed op de doelmatigheid heeft.
Organisaties vergelijken
Als je bij het bepalen van de doelmatigheid vergelijkbare organisaties met
elkaar hebt vergeleken en er blijken grote verschillen te bestaan in de
doelmatigheid, is het verstandig om rond te gaan kijken bij de beste en
de slechte organisatie(s). Dit kan wellicht bruikbare tips opleveren over
het aanpassen van (onderdelen van) bedrijfsprocessen bij de slechts
functionerende organisatie(s) naar het voorbeeld van de beste.
Zo zagen we in het voorbeeld van de arbeidsbureaus in § 8.6.2.1 (figuur
en tabel) dat de ondoelmatige arbeidsbureaus hun doelmatigheid kunnen
verbeteren tot het niveau van hun referentie-arbeidsbureau (best
presterende vergelijkbare arbeidsbureau). De ondoelmatige
arbeidsbureaus kunnen gaan rondkijken en wellicht bruikbare tips opdoen
bij hun referentie-arbeidsbureau dat in de figuur in hun kolom ‘boven ze
ligt’. Deze aanpak kan uiteraard het beste worden toegepast bij
vergelijking met bestaande organisaties.
Voor deze aanpak gelden wel dezelfde risico’s als voor het gebruiken van
meningen van deskundigen.
Handleiding DDO
133
Hoe het niet moet
Een voorbeeld van een onderzoek waarbij DEA is toegepast, maar waar
wel erg makkelijk conclusies aan de uitkomsten van de analyse zijn
verbonden is het al eerder aangehaalde doelmatigheidsonderzoek dat
Price Waterhouse Coopers en Berenschot in 1999 deden naar de
thuiszorg.
AWBZ
Het kabinet heeft in de jaren negentig besloten om tot benchmarking in alle
sectoren van de AWBZ te komen. Voor de thuiszorg hebben Price Waterhouse
Coopers en Berenschot in 1999 een DEA-analyse uitgevoerd. Het kabinet
concludeerde op basis van dit onderzoek dat de resultaten aangeven dat het
instrument geschikt is voor het inzichtelijk maken en het vergelijken van
organisatieprestaties en dat overeenkomstige kenmerken van doelmatige
organisaties aan het licht kunnen worden gebracht.
De Groot (2000) laat zien dat deze conclusies nauwelijks door het onderzoek
worden gedekt. De onderzoekers slagen er niet in om voldoende aan-
knopingspunten voor de doelmatigheidsverschillen te vinden, afgezien van de
redelijk triviale samenhang tussen hoog ziekteverzuim en lage
doelmatigheid. In de bedrijfsvoering zijn er voorts geen duidelijke
kenmerken te vinden die de ‘best-practice’-organisaties als categorie
onderscheiden van andere organisaties. Dat betekent dus dat er geen
aanbevelingen uit het onderzoek zijn af te leiden voor verbetering van de
prestaties van de organisaties in de richting van de best presterende onder
hen, wat toch het uiteindelijke doel van dit soort vergelijkend onderzoek is.
Zoals alle technieken moet je DEA (en SFA) zorgvuldig toepassen. Voor bruikbare
resultaten is het bovendien erg belangrijk om mogelijke verklaringen te formuleren en te
toetsen in hoeverre die inderdaad verschillen in efficiency verklaren (zie § 8.6.3 ). Je
moet dus van goed onderbouwde en precies geformuleerde mogelijke verklaringen voor
verschillen uitgaan, of deze in een tweede fase (onder)zoeken.
Handleiding DDO
134 Bijlage 1 Literatuur
Aarts, L.J.M., I. Been en R. Goudriaan (2002).
Productiviteitstaakstellingen in de nationale begrotingen: een
internationale vergelijking van de doorwerking in de begroting van de
arbeidsproductiviteitsontwikkeling. Den Haag: APE bv.
Algemene Rekenkamer (1990). Subsidies. Tweede Kamer, vergaderjaar
1989-1990, 21 080, nrs. 1-2.
Algemene Rekenkamer (1991a). Toetsbaarheid kinderopvangbeleid.
Tweede Kamer, vergaderjaar 1991-1992, 22 233, nrs. 1-2.
Algemene Rekenkamer (1991b). Voorlichtingscampagnes van het Rijk.
Tweede Kamer, vergaderjaar 1990-1991, 22 152, nrs. 1-2, blz. 5.
Algemene Rekenkamer (1991c). Verslag van de Algemene Rekenkamer
over 1990. Tweede Kamer, vergaderjaar 1990-1991, 22 032, nrs. 1-2.
Algemene Rekenkamer (1995a). Fondsbeheer in de sociale zekerheid.
Tweede Kamer, vergaderjaar 1994-1995, 24 065, nrs. 1-2.
Algemene Rekenkamer (1995b). Ontslaguitkeringen bij universiteiten,
academische ziekenhuizen en onderzoeksinstellingen. Tweede Kamer,
vergaderjaar 1994-1995, 24 224, nrs. 1-2.
Algemene Rekenkamer (1996a). Gesubsidieerde arbeid. Tweede Kamer,
vergaderjaar 1996-1997, 25 070, nrs. 1-2.
Algemene Rekenkamer (1996b). Vergunningen. Tweede Kamer,
vergaderjaar 1995-1996, 24 656, nrs. 1-2.
Algemene Rekenkamer (1996c). Verhaalsrecht in de ziekenfondswet.
Tweede Kamer, vergaderjaar 1996-1997, 25 025, nrs. 1-2.
Algemene Rekenkamer (1997a). Afvalpreventie. Tweede Kamer,
vergaderjaar 1996-1997, 25 375, nrs. 1-2.
Handleiding DDO
135 Algemene Rekenkamer (1997b). Fonds voorheffing pensioenverzekering.
Tweede Kamer, vergaderjaar 1996-1997, 25 401, nrs. 1-2.
Algemene Rekenkamer (1997c). Informatievoorziening en kengetallen.
Tweede Kamer, vergaderjaar 1996-1997, 25 471, nrs. 1-2.
Algemene Rekenkamer (1997d). Ontwikkeling en herverdeling
politiesterkte 1994-1995. Tweede Kamer, vergaderjaar 1996-1997, 25
385, nrs. 1-2.
Algemene Rekenkamer (1998a). Fiscale faciliteit voor het leerlingwezen.
Tweede Kamer, vergaderjaar 1997-1998, 26 060.
Algemene Rekenkamer (1998b). Geluidshinder Defensie. Tweede Kamer,
vergaderjaar 1998-1999, 26 230, nrs. 1-2.
Algemene Rekenkamer (1998c). Groeicijfers Schiphol. Tweede Kamer,
vergaderjaar 1998-1999, 26 265, nrs. 1-2.
Algemene Rekenkamer (1998d). Kwaliteit uitvoering Europese
akkerbouwregeling. Tweede Kamer, vergaderjaar 1998-1999, 26 240,
nrs. 1-2.
Algemene Rekenkamer (1999a). Collegeprogramma 1999-2004:
positionering en prioriteiten. Den Haag: Algemene Rekenkamer.
Algemene Rekenkamer (1999b). Integratiebeleid etnische minderheden.
Tweede Kamer, vergaderjaar 1998-1999, 26 426, nrs. 1-2.
Algemene Rekenkamer (1999c). Procesmanagement bij het Ministerie van
Onderwijs, Cultuur en Wetenschappen (brief aan de minister). Den
Haag: Algemene Rekenkamer.
Algemene Rekenkamer (2000a). Organisatie van de beleidsevaluatie.
Tweede Kamer, vergaderjaar 1999-2000, 27 065, nrs. 1-2.
Algemene Rekenkamer (2000b). Museale collecties van het Rijk. Tweede
Kamer, vergaderjaar 2000-2001, 27 470, nrs. 1-2.
Algemene Rekenkamer (2001a). Efficiëntie van arbeidsbureaus. Den
Haag: Algemene Rekenkamer.
Handleiding DDO
136 Algemene Rekenkamer (2001b). Begeleiding en herplaatsing van
voortijdige schoolverlaters. Den Haag: Algemene Rekenkamer.
Algemene Rekenkamer (2001c). Specifieke gegevens regio Zuid/Oost
Brabant,uitsluitend aan de regio gecommuniceerde annex bij het
bovengenoemde onderzoek Begeleiding en herplaatsing van
voortijdige schoolverlaters. Den Haag: Algemene Rekenkamer.
Algemene Rekenkamer (2002a). Bestrijding uitstoot broeikasgassen.
Tweede Kamer, vergaderjaar 2001-2002, 28 272, nrs. 1-2.
Algemene Rekenkamer (2002b). Reactie van de Algemene Rekenkamer op
het Referentiekader mededeling over de Bedrijfsvoering. Den Haag:
Algemene Rekenkamer.
Algemene Rekenkamer (2002c). VBTB in begrotingen 2002. Den Haag:
Algemene Rekenkamer.
Algemene Rekenkamer (2002 d). Van beleidsbegroting tot
beleidsverantwoording. Lijst van vragen en antwoorden. Tweede
Kamer, vergaderjaar 2000-2001, 26 573, nr.75.
Algemene Rekenkamer (2002 e). Preventie en bestrijding
jeugdcriminaliteit. Tweede Kamer, vergaderjaar 2001-2002, 29 282,
nr.2.
Algemene Rekenkamer (2002 f). Toelating bestrijdingsmiddelen voor de
landbouw. Tweede Kamer, vergaderjaar 2002-2003, 28 615, nrs. 1-2.
Algemene Rekenkamer (2003a). Handreiking meten van doelmatigheid.
Den Haag: Algemene Rekenkamer.
Algemene Rekenkamer (2003b). Wonen, zorg en welzijn van ouderen.
Tweede Kamer, vergaderjaar 2002-2003, 28951, nrs. 1-2.
Algemene Rekenkamer (2004). Handleiding Normen en begrippen. Den
Haag: algemene Rekenkamer (Onderdeel van Handar, intern
document).
Baarda, D.B. & M.P.M. de Goede (1996). Basisboek methoden en
technieken. Houten: Stenfert Kroese.
Handleiding DDO
137 Baarda, D.B., M.P.M. de Goede & M. Kalmijn (2000). Basisboek
enquêteren en gestructureerd interviewen . Houten: Stenfert Kroese.
Blank J.L.T. (1998). Benchmarken of de kunst van het vergelijken. In:
Economisch Statistische Berichten, 29-5-1998, 2.
Blank, J.L.T. (ed.) (2000). Public provision and performance; contri-
butions from efficiency and productivity measurement. Amsterdam:
Elsevier.
Blank, J.L.T (2000). Doelmatigheid van de publieke sector: enige
beschouwingen. In: Openbare Uitgaven, 32, nr. 6, pp. 260-271.
Blank, J.L.T. (2003). Data Envelopment Analysis: een goede praktijk.
http://www.benchmarkenindepubliekesector.nl: Kenniskamer
Benchmarken Publieke Sector, Ministerie van Binnenlandse Zaken en
Koninkrijksrelaties.
Blank, J.L.T., E. Eggink m.m.v. A.I. de Graaff (1996). Zuinig op zorg; een
empirisch onderzoek naar de productiestructuur van verpleeghuizen.
Rijswijk: Sociaal en Cultureel Planbureau.
Blank, J.L.T., E. Eggink, A.H.Q.M. Merkies (1998). Tussen bed en budget.
Een empirisch onderzoek naar de doelmatigheid van algemene en
academische ziekenhuizen in Nederland. Den Haag: SCP.
Bouckaert, G., W. Van Reeth, T. Auwers & K. Verhoest (1998). Handboek
doelmatigheidsanalyse prestaties begroten. Brussel: Ministerie van de
Vlaamse Gemeenschap.
Bouckaert, G. & T. Auwers (1999). Prestaties meten in de overheid.
Brugge: die Keure.
Bressers, J.T.A. (1982). Beleidseffektiviteit en waterkwaliteitsbeleid; een
bestuurskundig onderzoek, dissertatie T.H. Twente.
Brinks, R. & T. Witteveen (red.) (1999). Toegang tot de rijksbegroting.
Den Haag: Sdu.
Centraal Planbureau (2004). Lerend beleid: het versterken van beleid
door experimenteren en evalueren. CPB-document 48. Den Haag:
CPB.
Handleiding DDO
138 Coelli T.J. (1996-1). A guide to Frontier Version 4.1: A Computer Program
for Frontier Production Function Estimation. CEPA Working Paper 96/7.
Armidale: Department of Econometrics, University of New England.
Coelli T.J. (1996-2). A guide to DEAP Version 2.1: A Data Envelopment
Analysis (Computer) Program. CEPA Working Paper 96/8. Armidale:
Department of Econometrics, University of New England.
Coelli T.J., D.S. Prasada Rao and G.E. Battese (1998). An introduction to
efficiency and productivity analysis. Boston/Dordrecht/London: Kluwer
Academic Publishers, 1998.
Cooper W.W., L.M. Seiford en K. Tone (2000). Data Envelopment
Analysis: a comprehensive text with models, applications, references
and DEA-solver software. Dordrecht: Kluwer Academic Publishers.
Eggink, E. en J.L.T. Blank (2001). Verstandig verzorgd. Een empirisch
onderzoek naar de efficiëntie van de intramurale zorg voor
verstandelijk gehandicapten. Den Haag: Sociaal en Cultureel
Planbureau.
Finansministeriet (2001). Budgetredegørelse 2000/2001 (Budget Review
2000/2001). Albertslund: Schultz Information.
Fried, H.O., C.A. Knox Lovell en S.S. Smidt (1993). The measurement of
productive efficiency: Techniques and applications. New York/Oxford:
Oxford University Press.
GAO (1990). Case study evaluations. http://www.gao.gov.
GAO (1991). Designing evaluations. http://www.gao.gov.
Goudriaan et al. (1989). Doelmatig dienstverlenen. Een onderzoek naar
de produktiestructuur van vier voorzieningen in de kwartaire sector.
Rijswijk: Sociaal- en Cultureel Planbureau.
Goudriaan, R., B. Jongbloed en D.C. van Ingen (1998).
Kostendeterminanten en doelmatigheid van het Nederlandse hoger
onderwijs. Zoetermeer: Ministerie van OCenW.
Groot, H. de (2000). Tussen markt en politieke arena; over
managementcontrol in non-profitorganisaties. Amsterdam: Vrije
Universiteit.
Handleiding DDO
139
Groot, H. de & R. Goudriaan (1991). De produktiviteit van de overheid.
Over prestaties, personeel en uitgaven in de publieke sector.
Schoonhoven: Academic Service.
Hoogerwerf, A. (1980). Overheidsbeleid. Alphen aan den Rijn: Samson.
HM Treasury e.a. (2001). Choosing the right FABRIC. A Framework for
Performance Information . London (UK): HM Treasury, Cabinet Office,
National Audit Office, Audit Commission, Office for National Statistics.
Instituut voor Onderzoek van Overheidsuitgaven. Openbare Uitgaven,
Thema: Doelmatigheid in de publieke sector, nr.1, 1998.
Israël, F.J., A.G.M. Matheeuwsen, M.V.A.M. Roelofs en F.V. Roijackers
(2001). Werken arbeidsbureaus efficiënt? In: Openbare uitgaven, 33,
nr. 3, pp.126-132.
Jones, R, & M. Pendlebury (2000). Public sector accounting. Harlow (UK):
Pearson Education.
Knaap, P. van der (2000). Evaluatieonderzoek en prestatiegegevens bij
het rijk: nieuwe kaders en perspectieven. Beleidsanalyse, 3 en 4, pp.
35-49.
Kraan-Jetten, A. (1991). Effectiviteit van overheidsbeleid.
Systematisering van inzichten, getoetst aan het beleid ter bevordering
van het eigen-woningbezit. Beusichem: Centraal Service Bureau.
Leeuw, F.L. (1992). Produktie en effectiviteit van overheidsbeleid.
Institutionele analyse en effectmeting. Den Haag: Vuga.
Lovell, C.A.K. (1998). Doelmatigheidsonderzoek in de publieke sector. In:
Openbare uitgaven, 30, nr. 1, pp.6-13.
Lulofs en Schuddeboom (1991). Het vaststellen van de mate van
doelrealisatie. In: J.Th. A. Bressers en A. Hoogerwerf (red.),
Beleidsevaluatie. Alphen aan de Rijn: Samsom H.D. Tjeenk Willink.
Ministerie van Financiën (1999). Van beleidsbegroting tot
beleidsverantwoording. Den Haag: Ministerie van Financiën.
Handleiding DDO
140 Ministerie van Financiën (2001). Regeling prestatiegegevens en
evaluatieonderzoek rijksoverheid. Den Haag: Ministerie van Financiën.
New South Wales Treasury (2001). Guide to economic performance
measurement for general government sector agencies. New South
Wales: New South Wales Treasury.
PriceWaterhouseCoopers/ Berenschot (1999). Benchmarkonderzoek
Thuiszorg biedt aanknopingspunten voor instellingen en overheid.
PriceWaterhouseCoopers/Berenschot, Utrecht.
Rao, D.S. Prasada (1999). Workshop on Productivity and efficiency
analysis, 15-18 november 1999. Groningen. University of
Groningen/research institute SOM (Systems, Organization and
Management).
Scheel, H. (2000). Effizienzmasse der Data Envelopment Analysis.
Wiesbaden: Gabler.
SCP (2001). Maten voor gemeenten. Een verkennende studie naar
prestatie-indicatoren in het kader van het ‘Plan van aanpak
transparantie in de financiële verhouding’. Werkdocument 74. Den
Haag: SCP.
Stevens, J. (1992). Applied multivariate statistics for the social sciences.
Mahwah (N.J.): Lawrence Erlbaum Associates.
Swanborn, P.G. (1987). Methoden van sociaal-wetenschappelijk
onderzoek. Meppel: Boom.
Swanborn, P.G. (1996). Case-study’s, wat, wanneer en hoe?, Meppel:
Boom.
Swanborn, P.G. (1999). Evalueren. Meppel: Boom.
Swedish National Audit Office (1999). Handbook in performance auditing.
Theory and practice. RRV 1999: 17. Stockholm: RRV.
Tacq, J. (1991). Van probleem naar analyse. De Lier: Academisch
Boekencentrum.
Handleiding DDO
141 Taphoorn, R.T.G, K. Paalman, en H.J. van der Meulen (1998). Twee jaar
agentschap: doelmatigheid bij de Dienst Justitiële Inrichtingen. In:
Openbare Uitgaven, nr. 1, pp. 32-40.
Turksema, R.W. (2000). The supply of day care. Utrecht: ICS.
Tweede Kamer (2001). Vaststelling van de wet inzake het beheer van de
financiën van het Rijk (Comptabiliteitswet 2001) . Memorie van
Toelichting. Vergaderjaar 2000-2001, 27 849, nr 3, p. 44-45.
Vermeulen, W.J.V. (1992). De vervuiler betaald: onderzoek naar de
werking van subsidies op vier deelterreinen van het milieubeleid.
Utrecht: Van Arkel.
Weimer, D.L. & A.R. Vining (1992). Policy analysis. Concepts and
practice. Englewood Cliffs (NJ): Prentice Hall.
Handleiding DDO
142 Bijlage 2 Dataverzameling: (longitudinale) surveys
Het survey is een systematische ondervraging van personen of
organisaties op een groot aantal punten. Die ondervraging kan
schriftelijk, telefonisch of in direct mondeling contact plaatsvinden.
Meting vindt plaats op één tijdstip, maar kan wel verscheidene perioden
betreffen. Surveys zijn geschikt om zowel beschrijvende als verklarende
(causale) uitspraken te doen.
Bij longitudinale surveys worden gegevens op verschillende momenten
verzameld. Hierbij zijn twee varianten mogelijk: dezelfde gegevens bij
dezelfde groep verzamelen (panel-onderzoek) en dezelfde gegevens bij
steeds verschillende personen verzamelen (trendonderzoek).
Surveyonderzoek kan ook worden gebruikt om uitspraken te doen over de
doeltreffendheid van het beleid. Hiervoor moet zijn voldaan aan drie
causaliteitsvoorwaarden; deze worden besproken in § 4.3.1.1.
Populatie en steekproef (eenheden)
Omdat het in een survey meestal ondoenlijk (en niet nodig) is om een
gehele populatie te onderzoeken, kan een steekproef worden getrokken
uit de populatie. Door op aselecte wijze de steekproef te trekken, kun je
een uitspraak doen over gemiddelden, samenhangen en effecten op het
niveau van de populatie.
Het DDO van de Algemene Rekenkamer richt zich op verschillende
populaties. In de eerste plaats gaat het om het Rijk en RWT’s. Vervolgens
kan – zeker in het geval van doorwerkingsonderzoek – ook worden
gedacht aan provincies en gemeenten (zie bijvoorbeeld het onderzoek
Voorbereiding rampenbestrijding). Het is zelfs mogelijk om burgers in het
onderzoek te betrekken (zie bijvoorbeeld het onderzoek Preventie en
bestrijding jeugdcriminaliteit). De populaties kunnen echter ook
instrumenten betreffen, zoals vergunningen, stimuleringsregelingen of
subsidies.
Handleiding DDO
143 Om verantwoord een steekproef te kunnen trekken, moet er wel zicht zijn
op de omvang van de populatie. In het geval van gemeenten of provincies
is dat eenvoudig, maar lastiger is het in het geval van subsidies. Er is
immers geen overzicht van alle subsidies in Nederland.
Meer weten?
Raadpleeg voor meer informatie over steekproeven en hoe om te gaan met non-respons het
materiaal van de cursus Methoden en technieken (via het kennisdomein DDO op intranet)
en/of consulteer een van de statistische adviseurs.
Vragenlijsten (schriftelijk interview)
Vragenlijsten zijn het geschiktste middel om de benodigde gegevens voor
een surveyonderzoek te verzamelen. Vragenlijsten hebben als voordeel
dat je er veel mensen mee kunt bereiken en er relatief veel vragen in
kunt stellen. Het is echter niet eenvoudig om goede vragenlijsten samen
te stellen. Het verdient aanbeveling hier veel aandacht aan te besteden.
Meer weten?
Voor meer (toegankelijke) informatie over (longitudinaal) surveyonderzoek, meetniveaus,
betrouwbaarheid, validiteit en/of vragenlijsten kun je bijvoorbeeld raadplegen: Baarda & De
Goede (1995), Basisboek Methoden en Technieken; Baarda, De Goede & Kalmijn (2000),
Basisboek enquêteren en gestructureerd interviewen; Swanborn (1987), Methoden van
sociaal-wetenschappelijk onderzoek.
Handleiding DDO
144 Bijlage 3 VBTB-begroting
De departementale begroting-nieuwe-stijl dient als volgt te zijn
opgebouwd.102
Departementale begroting-nieuwe-stijl
• Voorstel van wet
– begrotingsstaat
• Leeswijzer
• Beleidsparagraaf
- beleidsagenda
- beleidsartikelen
• Bedrijfsvoeringsparagraaf
• Baten-lastendiensten
• Verdiepingsbijlage
In de beleidsagenda worden de zogenoemde beleidsprioriteiten van het
ministerie beschreven. Hierbij wordt in ieder geval ingegaan op datgene
wat er het komende jaar ondernomen gaat worden om de
beleidsvoornemens te realiseren. De beleidsagenda bevat tevens een
samenvattend overzicht van de financiële gevolgen van het voorgestelde
beleid. Ook worden de belangrijkste beleidsintensiveringen en -
extensiveringen op totaalniveau zichtbaar.
In de beleidsartikelen, die het grootste deel van de beleidsparagraaf
vormen, staat de ambitie centraal om waar mogelijk een direct verband
te leggen tussen (1) de doelstellingen van beleid, (2) de daartoe in te
zetten instrumenten en te leveren prestaties en (3) de daarvoor
beschikbare middelen. Het streven verder is te komen tot een indeling in
beleidsartikelen waarin de beleidsterreinen duidelijk herkenbaar en
voldoende homogeen zijn. Overigens dienen in de beleidsartikelen altijd
prestatiegegevens opgenomen te zijn over de na te streven effecten –
ook wanneer de verantwoordelijke minister niet (direct) verantwoordelijk
102 Algemene Rekenkamer (2002c).
Handleiding DDO
145 is voor alle te behalen resultaten, omdat deze verantwoordelijkheid
(gedeeltelijk) extern is verzelfstandigd of gedecentraliseerd.
Om de vergelijkbaarheid van beleidsartikelen te vergroten wordt in de
nieuwe stijl een vaste structuur gehanteerd. Deze vaste structuur ziet er
als volgt uit.
Beleidsartikel-nieuwe-stijl
• Algemene beleidsdoelstelling
• Nader geoperationaliseerde beleidsdoelstellingen
• Budgettaire gevolgen van beleid
• Budgetflexibiliteit
• Veronderstellingen in effectbereiking, doelmatigheid en raming
Handleiding DDO
146 Bijlage 4 Normen voor het beoordelen van de doelformulering
Hoofdnormen Specificatie van deelnormen Toelichting
Specifiek (volledig): a. prestaties en effecten (eventueel processen) b. doelgroep
a. Prestaties en effecten • doelen moeten bij voorkeur
geformuleerd worden in termen van prestaties (welke beleidsprestatie gaat de gecontroleerde leveren) en in termen van te bereiken maatschappelijke effecten (welke maatschappelijke situatie of verandering wordt beoogd);
• wanneer dat niet mogelijk is, kunnen procesdoelen geformuleerd worden.
b. Indien het beleid niet op de hele bevolking gericht is, moet: • de doelgroep van het beleid zijn
omschreven en zo duidelijk mogelijk afgebakend;
• de keuze van de doelgroep zijn gemotiveerd.
Een prestatiedoelstelling heeft betrekking op een beleidsprestatie die door de gecontroleerde kan worden gerealiseerd, zonder dat deze daarbij afhankelijk is van anderen of van maatschappelijke ontwikkelingen die buiten de invloed van het beleid liggen. Bij een maatschappelijk effectdoelstelling is het beleid meestal een van de factoren die van invloed zijn op het bereiken ervan. Wanneer het niet mogelijk is een prestatie of maatschappelijk effectdoelstelling te formuleren kan worden teruggevallen op een procesdoelstelling. Denk bijvoorbeeld aan productkwaliteit die vaak moeilijk meetbaar te maken is. Doel kan dan zijn de voortgang van maatregelen ter verbetering van de kwaliteit (proces).
Meetbaar (toetsbaar) • de doelen moeten in toetsbare termen zijn geformuleerd (de beoogde situatie bij doelrealisatie moet eenduidig zijn omschreven, begrippen moeten goed gedefinieerd zijn, dat wil zeggen niet voor tweeërlei uitleg vatbaar, en begrippen moeten meetbaar zijn);
• bij doelen ten opzichte van een referentiepunt moet de situatie van het referentiepunt bekend zijn (nulmeting).
Om te weten waarop de minister aan-spreekbaar is, moet worden gelet op definities van begrippen en de praktische meetbaarheid van genoemde grootheden. Een nulmeting is niet altijd noodzakelijk. Voorbeeld: de doelstelling “dat het aantal geluidsgehinderden niet groter mag zijn dan in 1985”, vereist een nulmeting van de situatie in 1985. De doelstelling “het aantal geluidgehinderden mag in 2010 niet groter zijn dan 12.000” niet.
Afgestemd(expliciet) • beleidsdoelen moeten in ieder geval zijn afgestemd met de relevante actoren (Tweede Kamer, uitvoerders).
• tussentijdse bijstellingen / wijzigingen van de doelstelling moeten worden afgestemd met de Tweede Kamer en uitvoerders.
Beleidsdoelen moeten zijn afgestemd met de Tweede Kamer en met de uitvoerders van het beleid. Met deze norm wordt aandacht besteed aan de aansluiting tussen beleid en uitvoering; beleidsmakers moeten van tevoren afstemmen welk beleid uitgevoerd kan worden.
Realistisch • de doelen moeten zodanig zijn gekozen dat ze bereikt kunnen worden bij plausibele scenario’s voor de exogene variabelen.
Het realiteitsgehalte van de doelen valt uiteen in twee elementen: • de ambities moeten op een haalbaar
niveau zijn geformuleerd; • er moet bij de doelformulering
rekening zijn gehouden met eventuele beperkte mogelijkheden om de doelen te behalen (exogene factoren, gedeelde beleids- c.q. resultaatverantwoordelijkheden).
Tijdgebonden (tijdig) • er is aangeven op welk tijdstip / binnen welke periode het doel moet zijn bereikt;
• bij doelen ver weg moet een tijdpad met gespecificeerde mijlpalen zijn aangegeven (bijvoorbeeld tussen-doelen, tempo van doelrealisatie).
Zonder vooraf gestelde temporele restricties (einddatum en/of mijlpalen) is het moeilijk om te bepalen of de doelen binnen de gestelde voorwaarden bereikt zijn.
Consistent Het gaat om twee vormen van consistentie:
1. Consistentie tussen doelen:
Ad 1: Vaak zijn aan het beleid verscheidene doelen verbonden. Doelen kunnen
Handleiding DDO
147 Hoofdnormen Specificatie van deelnormen Toelichting
• de doelen van het beleid moeten met elkaar te verenigen zijn;
• de doelen voor onderdelen van het beleid moeten aansluiten bij de algemene doelen voor het gehele beleidsterrein (hiërarchische ordening);
• tussendoelen moeten aansluiten bij het einddoel;
• bij decentraal uitgevoerd beleid moeten de doelen van de rijksoverheid en de uitvoerende instanties (bijvoorbeeld gemeenten, uitvoerende instellingen) consistent zijn;
• de formulering van de doelstelling moet in de tijd consistent zijn. Wijzigingen in de doelstelling moeten expliciet vermeld en gemotiveerd zijn.
2. Consistentie tussen doelen en
basisgegevens: • de doelstelling moet consistent zijn
met de basisgegevens waarop deze is gebaseerd. Als deze gegevens wijzigen moet de doelstelling worden aangepast.
geordend worden in een doelenboom: • in hiërarchie: doelen per maatregel
--> doelen voor onderdelen van het beleid--> algemene doelen voor het gehele beleidsterrein.
• in de tijd: tussendoelen --> einddoel. Van belang is dat deze doelen consistent met elkaar zijn. Het bereiken van het ene doel moet niet op gespannen voet staan met of belemmerend zijn voor het bereiken van het andere doel. Ad 2: De doelstelling om de hoeveelheid afval tussen 1986 en 2000 maximaal te laten groeien van 40 naar 50 miljoen ton is gebaseerd op de basisinformatie dat de hoeveelheid afval in 1986 40 miljoen ton bedroeg. Als later blijkt dat er in 1986 geen 40 maar 50 miljoen ton afval was, is de doelstelling niet meer consistent met de informatie waarop deze gebaseerd is.
We beschrijven hieronder vier voorbeelden van eerder
Rekenkameronderzoek waarbij de doelformulering beoordeeld werd.
Voorbeeld 1
De SMART-normen zijn in het onderzoek Bestrijding uitstoot
broeikasgassen (Algemene Rekenkamer, 2002a) gebruikt. Onderzocht is
of de beleidsdoelen van de ministeries van VROM, EZ, V&W, LNV en
Financiën ten aanzien van het broeikasgasbeleid SMART zijn
geformuleerd.
Voorbeeld 2
In het onderzoek Integratiebeleid etnische minderheden (Algemene
Rekenkamer, 1999b) werd doelformulering beoordeeld op:
� Volledigheid: onderzocht werd op welke wijze de doelstellingen van
de beleidsmaatregelen waren geformuleerd: als output of outcome of
beiden. Als norm werd gesteld dat de doelstelling in beide termen
moest zijn verwoord.
� Toetsbaarheid: de doelstelling van een maatregel werd toetsbaar
genoemd wanneer 1: een meetbare omschrijving was gegeven van de
situatie bij doelrealisatie. De genoemde indicatoren moeten eenduidig
zijn en de beoogde situatie is kwantitatief geformuleerd. En 2: een
tijdshorizon was bepaald, zodat duidelijk is binnen welke termijn of
op welk tijdstip de doelstelling gerealiseerd moet worden.
� Consistentie: onderzocht werd of de doelen van maatregelen
aansloten bij de algemene hoofddoelstellingen van het
minderhedenbeleid.
Handleiding DDO
148
Voorbeeld 3 In het onderzoek Afvalpreventie (Algemene Rekenkamer,
1997) werd de doelformulering beoordeeld op:
� Expliciteit: de Algemene Rekenkamer verschilde van inzicht met de
minister over de vraag wat wel of niet als doelstelling kon worden
aangemerkt. De minister achtte zich niet aanspreekbaar op doelen
vermeld in informatiedocumenten van het RIVM. De Algemene
Rekenkamer ging hiermee akkoord omdat dit geen Kamerstukken
waren. De Algemene Rekenkamer trof in Kamerstukken doelstellingen
aan die volgens de minister niet gezien moesten worden als doelen
maar als te treffen maatregelen en verwachte resultaten daarvan. De
Algemene Rekenkamer bleef van mening dat het hier ging om doelen
waarop de minister aanspreekbaar was.
� Toetsbaarheid: het ging hier om preventiedoelstellingen. Extra
lastigheid hierbij is dat gemeten moet worden hoeveel afval er niet
ontstaan is. Als norm gehanteerd dat de preventiedoelstelling
duidelijkheid moest bieden op de volgende punten: het realisatiejaar,
het referentiejaar en de uitgangssituatie, de prognose voor autonome
groei van het afvalaanbod, het tempo van de beoogde doelrealisatie,
de afvalstoffen waarop de doelstelling betrekking heeft, en de wijze
waarop het bereiken van de doelstelling zal worden gemeten.
� Consistentie: de consistentie van de doelen is op vier manieren
geoperationaliseerd:
1. Consistentie in de tijd. De doelstelling was een aantal malen
gewijzigd, maar deze wijzigingen waren niet altijd in
Kamerstukken geëxpliciteerd en gemotiveerd.
2. Consistentie met de basisgegevens. De gegevens waarop de
doelstelling was gebaseerd, waren achterhaald.
3. Consistentie tussen algemene doelstelling en deeldoelstellingen.
Daarbij gaat het om de aansluiting van de doelstellingen voor
verschillende prioritaire afvalstoffen bij de algemene doelstelling
voor de totale hoeveelheid afval.
4. Consistentie tussen doelen van het Rijk enerzijds en lagere
overheden en bedrijven anderzijds werd onderzocht door na te
gaan in hoeverre de doelen van het rijksbeleid hun weerslag
kregen in bedrijfsmilieuplannen en milieuvergunningen van lagere
overheden. Dit wordt in het rapport ‘doorwerking’ genoemd.
Voorbeeld 4
Een voorbeeld van de manier waarop de Algemene Rekenkamer kan
omgaan met niet-toetsbare doelen is het onderzoek toetsbaarheid
kinderopvangbeleid (Algemene Rekenkamer, 1991a). Omdat de doelen en
toetsingscriteria van de stimuleringsmaatregel kinderopvang niet duidelijk
Handleiding DDO
149 genoeg geformuleerd waren, heeft zij de minister een aantal vragen
voorgelegd. Op grond van de antwoorden daarop en de achterliggende
stukken construeerde de Algemene Rekenkamer de einddoelstelling en de
nevendoelstellingen van het beleid.
De minister nam vervolgens niet alle doelen over maar schiep wel meer
helderheid. Of de doelstellingen worden bereikt werd in dit onderzoek niet
nagegaan.
Handleiding DDO
150 Bijlage 5a Normen voor de beoordeling van de (bruikbaarheid van) beleidsinformatie
Hoofdnormen
Subnormen Specificatie van subnormen Toelichting
Relevantie Startvraag/eerste selectie: Als er informatie wordt aangetroffen die om te kunnen (bij)sturen niet nodig (irrelevant) is, ga dan na of deze informatie met dit doel verza-meld is. • Zo nee: dan geen oordeel. De
betreffende informatie kan voor een ander doel wel relevant zijn. Deze informatie blijft verder buiten beschouwing.
• Zo ja: dan luidt het oordeel: ‘irrelevant’. De kwaliteit van deze informatie hoeft verder niet beoordeeld te worden.
Voor een doelmatige informatieverzameling en een efficiënt gebruik van onderzoeksgelden is het niet wenselijk dat overbodige gegevens verzameld worden. Welke aspecten relevant zijn hangt af van de inhoud van het onderzochte beleidsterrein en de vraag die beantwoord moet worden. Vaak zal de vraag samenhangen met de fase waarin het beleid zich bevindt.
volledig • Alle informatie die, gelet op de doelen, beschikbaar zou moeten zijn om te sturen of te verantwoorden is daadwerkelijk beschikbaar.
• Er mag geen relevante informatie achtergehouden worden.
Informatie dient om inzicht te krijgen in een bepaalde vraag. Er moet informatie beschikbaar zijn over alle relevante aspecten. Toekomstscenario’s en modelberekeningen zijn vrijwel altijd gebaseerd op een aantal aannames en vereenvoudigingen van de werkelijkheid. Van belang is dat die expliciet gemaakt worden. Wanneer relevante aspecten/factoren buiten beschouwing worden gelaten, moet dit expliciet zijn vermeld en gemotiveerd.
actueel • De aanwezige informatie moet actueel genoeg zijn (niet verouderd)
• hoe actueel informatie moet zijn kan (nog) niet gekwantificeerd worden.
• info over prestaties en effecten: evaluatie moet minimaal eens in de 5 jaar plaatsvinden, tenzij een andere termijn is afgesproken bij de start van beleid.
tijdig • De benodigde informatie dient op tijd beschikbaar zijn (niet te laat)
Het gaat om de volgorde van het beschikbaar komen van informatie enerzijds en besluiten en handelingen anderzijds. Hierbij is een logische volgorde van stappen in de beleidsketen richtinggevend. Bijvoorbeeld: • probleemanalyse en ex-ante evaluatie
moeten vooraf gaan aan het inzetten van instrumenten.
• doelen moeten bij de start van het beleid geformuleerd zijn, bij voorkeur inclusief operationele evaluatiecriteria.
Bij de beoordeling moet rekening gehouden worden met het cyclisch karakter van beleid. Dit betekent dat doelen na de start van het beleid kunnen worden bijgesteld of uitgewerkt. Dit is niet verkeerd, mits gemotiveerd en geëxpliciteerd. • Ex post evaluatie dient vooraf te gaan aan
besluitvorming over voortzetting/ bijstelling van het beleid.
Betrouwbaarheid/ juistheid
Betrouwbaar Het meetinstrument wordt nauwkeurig toegepast, herhaalde metingen leveren steeds dezelfde uitkomst. • Beleidsinformatie dient voldoende
Handleiding DDO
151 Hoofdnormen
Subnormen Specificatie van subnormen Toelichting
betrouwbaar te zijn. • De lezer moet inzicht hebben in
de mate van betrouwbaarheid van de geboden informatie.
Wanneer over de betrouwbaarheid van de gegevens geen zekerheid bestaat: • moet de mate van on-
betrouwbaarheid expliciet vermeld zijn (zo mogelijk gekwantificeerd, bijvoorbeeld in de vorm van een betrouwbaarheidsinterval);
• moet de omvang van de onzekerheidsmarge acceptabel zijn.
• bij grote onzekerheden is het van belang dat gegevens uit verschillende bronnen vergeleken worden.
Valide Het meetinstrument is inhoudelijk adequaat • Begrippen moeten valide gemeten
worden, dat wil zeggen begrippen moeten zodanig geoperationali-seerd en gemeten zijn dat je meet wat je meten wilt.
Enkele voorbeeldjes om het verschil tussen betrouwbaar en valide te illustreren: Als je de temperatuur meet met een thermometer, maar je leest de stand slordig af, zijn de metingen valide maar onbetrouwbaar. De afwijkingen door onbetrouwbare metingen zijn toevalsfouten (bij herhaalde meting zijn de uitkomsten niet stabiel, de ene keer zijn ze te hoog, dan weer te laag). Niet-valide metingen zijn het gevolg van het gebruik van een niet adequaat meetinstrument. Meet je de temperatuur met een barometer, of een thermometer met een valse schaal, dan zijn de metingen misschien wel betrouwbaar maar niet valide. Een gebrek aan validiteit van de metingen leidt tot systematische fouten (systematisch te hoog of te laag). Niet-valide metingen kunnen zich ook voordoen als begrippen gemeten moeten worden die niet direct meetbaar zijn. De vraag is dan of de gekozen (wel meetbare) indicatoren het te meten begrip zo goed mogelijk benaderen. Zo kan de omvang van de werkloosheid afgemeten worden aan het aantal ingeschrevenen bij het arbeidsbureau, maar de meting is alleen valide als alle werklozen daar ook ingeschreven staan. Een andere oorzaak van systematische vertekening is dat mensen in een enquête of interview de neiging hebben sociaal wenselijke antwoorden te geven. In de praktijk is het soms lastig betrouwbaarheid en validiteit van elkaar te scheiden. Het is vooral van belang aan te geven waarom de informatie onjuist is, waar de tekortkomingen in zitten. Juistheid van informatie wordt meestal onderzocht door na te gaan of voldaan is aan een aantal voorwaarden: • de informatie dient op onafhankelijke wijze
tot stand te komen. Evaluatieonderzoek wordt bij voorkeur uitgevoerd door onderzoekers die geen deel uitmaken van de afdeling/instelling die verantwoordelijk zijn voor de voorbereiding/ uitvoering van het beleid;
• de wijze van dataverzameling voldoet aan de methodisch-technische eisen. Bij het beoordelen van de kwaliteit van informatiebronnen kan aangesloten worden op de RPE.
• de controle op de juistheid van de gegevens is gewaarborgd. (bijvoorbeeld peer-review, controle op gegevensinvoer)
• bij de beoordeling van informatie die gebaseerd is op andere bronnen, kan ook de kwaliteit van die andere bron beoordeeld worden (bijvoorbeeld bij modellen: de kwaliteit van de gebruikte invoergegevens).
Conformiteit wettelijke regels en gezaghebbende richtlijnen voor de
De kwaliteits-eisen voor evaluatie-onderzoek uit de
Voorbeelden van deze kwaliteitseisen uit de regeling zijn: • het gebruiksdoel van het
evaluatieonderzoek is
Handleiding DDO
152 Hoofdnormen
Subnormen Specificatie van subnormen Toelichting
inhoud Regeling prestatie-gegevens en evaluatie-onderzoek
omschreven; • de opdrachtformulering en de
onderzoeksvragen vloeien logisch voort uit gebruiksdoel;
• de uitkomsten van het evaluatieonderzoek zijn praktisch toepasbaar; de conclusies en/of aanbevelingen sluiten aan op het gebruiksdoel.
Kwaliteitseisen voor systemen van reguliere prestatiegegevens uit de Regeling prestatiegegevens en evaluatie-onderzoek
Voorbeelden van deze kwaliteitseisen uit de regeling zijn: • valide afbakening van het
systeemobject; • goed ontwerp van het systeem; • heldere definities en gehanteerde
begrippen; • meerjarige vergelijkbaarheid.
Begrijpelijkheid Toegankelijk/ helder
Van belang is dat de informatie toegankelijk is voor de gebruikers van de informatie (beleidsmakers, Tweede Kamer en dergelijke).
Eenduidig Het gaat erom dat de informatie niet voor meer uitleg vatbaar is
Vergelijkbaarheid Consistent Het gaat om drie vormen van consistentie: 1. consistentie in de tijd: • de gegevens moeten in de tijd
vergelijkbaar zijn; • wijzigingen in eerder verstrekte
gegevens moeten worden geëxpliciteerd.
2. consistentie tussen onderdelen in de beleidsketen: • gegevens moeten aansluiten bij
de wijze waarop het beleid is gedefinieerd;
• de wijze van prestatiemeting moet aansluiten op de ingezette instrumenten en de prestatie-doelstelling; de wijze van effectmeting moet aansluiten bij het maatschappelijke probleem en de maatschappelijk effectdoelstelling.
3. consistentie tussen verschillende informatiebronnen: • verschillende gegevens over
eenzelfde onderwerp moeten onderling consistent zijn;
• gegevens uit verschillende bronnen over eenzelfde object moeten met elkaar vergeleken worden en liefst naast elkaar worden gepresenteerd;
• als sommige (onderdelen van) gegevens strijdig met elkaar zijn moet dit expliciet vermeld worden en zo mogelijk verklaard.
Ad. 1: Bij consistentie in de tijd gaat het om de vraag of gegevens over verschillende jaren/ tijdvakken met elkaar vergeleken kunnen worden (bijv. is het gemeten object en de gebruikte meetmethode consistent in de tijd?) Ad. 2: Bij consistentie tussen alle onderdelen van de beleidsketen gaat het om de aansluitende informatie over maatschappelijk probleem, doelen, middelen, prestaties en effecten. Zo moet informatie over prestaties en effecten aansluiten bij de wijze waarop het beleid(sdoel) geformuleerd is. Kernbegrippen moeten consequent op dezelfde wijze ingevuld zijn (bijv. omschrijving doelgroep, jaartallen, gehanteerde definities en operationaliseringen)? Zo niet, dan moet dat beargumenteerd zijn. N.B.: Inconsistentie in informatie over opeenvolgende onderdelen van de beleidsketen kan ook veroorzaakt worden doordat het beleid niet logisch is opgebouwd. Als er geen logische relatie is tussen de verschillende elementen in het beleid en tussen de verschillende stappen in het beleidsproces, sluit de bijbehorende informatie waarschijnlijk ook niet goed op elkaar aan. Ad. 3: Bij inconsistentie tussen bronnen kan sprake zijn van een verschil in meetmethode, steekproef, respons, etc. Ook kan er een verschil in belangen aan ten grondslag liggen. Het risico van inconsistente gegevens zonder verklaring daarvoor, is dat er geen draagvlak is voor de gegevens, en/ of dat betrokken partijen die uitkomsten kiezen die het best bij hun belangen passen.
Conformiteit aan wettelijke regels en gezaghebbende richtlijnen voor de vorm
De kwaliteits-eisen voor evaluatie-onderzoek uit de Regeling prestatiegegevens en evaluatie-onderzoek
Voorbeelden van deze kwaliteitseisen uit de regeling zijn: • Het evaluatierapport bevat een
samenvatting
Handleiding DDO
153 Bijlage 5b Uitwerking van de subnorm ‘volledigheid’ van beleidsinformatie (onderdeel van relevantie)
Welke informatie wordt vereist is afhankelijk gesteld van de fase van
beleid die beoordeeld wordt. Daarbij is (in drie kolommen) onderscheid
gemaakt tussen:
1. de voorbereiding van nieuw beleid. Hierbij kan informatie uit een
vorige beleidscyclus een rol spelen maar daarnaast gaat het ook om
andere informatie (voorafgaand aan t-0);
2. de besluitvorming, waarbij de grondslag gelegd wordt voor het beleid
(t-0);
3. de implementatie en uitvoering van het beleid, waarbij het gaat om
evaluatie met het oog op het voortzetten, bijsturen of beëindigen van het
beleid (t-1).
De aanwezigheid van informatie over een beperkt aantal onderwerpen is
bij elk beleidsterrein van belang en dient dus in elk
Rekenkameronderzoek beoordeeld worden. De aanwezigheid van
informatie onder het kopje ‘optioneel’ valt niet onder het basispakket. Per
beleidsterrein en per onderzoek zal nagegaan moeten worden of deze
informatie van belang is vanuit de optiek van de beleidsmaker. Zo ja, dan
kan deze informatie eveneens in het Rekenkameronderzoek (oordeel)
worden betrokken. Wel moet het onderzoeksteam van elke doelstelling
die wordt genoemd (zoals in kolom 3 hieronder), nagaan welke informatie
er zou moeten zijn, gelet op deze doelstelling.
Fase: Informatie over:
Voorbereiding van nieuw beleid (voorafgaand aan t-0)
Besluit (t-0) Implementatie en uitvoering van beleid (t-1)
Maatschap-pelijk probleem
• aard en omvang van het maatschappelijk probleem (in kwalitatieve/ kwanti-tatieve termen);
• de belangrijkste oorzaken van het maatschappelijk probleem en de mate waarin deze oorzaken te manipuleren zijn door het beleid.
Optioneel: • de redenen waarom de
Optioneel: motivatie voor het beleid
• aard en omvang van het maatschappelijk probleem bij de start van het beleid (t-0) en nu (t-1). Overigens, wanneer de doelstelling in termen van maatschappelijk effect is geformuleerd, zal dit tevens de effectmeting zijn.
Optioneel: • het verloop in de tussentijd.
Handleiding DDO
154 Fase: Informatie over:
Voorbereiding van nieuw beleid (voorafgaand aan t-0)
Besluit (t-0) Implementatie en uitvoering van beleid (t-1)
overheid dit probleem wil aanpakken;
• de betrokken actoren bij het probleem en hun belangen daarbij.
Doelstellingen • doel dat wordt nagestreefd
Optioneel: • overwegingen bij keuze
doelstelling
- doel dat wordt na-gestreefd Optioneel: - motivatie
• doel dat wordt nagestreefd • bij een doelstelling in de toekomst
(t-2): daaruit afleiden wat bereikt zou moeten zijn op het moment van informatieverzameling (t-1), bijv. door interpolatie.
input: beleidsin-strumenten
• in te zetten beleidsinstrumenten
- in te zetten beleidsinstrumenten
� daadwerkelijk ingezette beleidsinstrumenten.
motivatie instrument-keuze
• alternatieve beleidsinstrumenten
• motivatie voor de instrumentkeuze (waarom is het gekozen instrument het beste, alle relevante argumenten genoemd)
• logische relatie tussen instrumenten en doelen (plausibele redenering dat instrumenten bijdragen aan doel, mede gezien de beïnvloedbare factoren uit de probleemanalyse)
Optioneel: • haalbaarheid doelstelling,
verwachte effecten en mogelijke neveneffecten.
optioneel: - motivatie
n.v.t.
input: de kosten en de dekking
• de kosten van uitvoering van het voorgestelde beleid (begroting)
• voorgestelde dekking van de kosten
- kosten van uitvoering • kosten van de uitvoering van het beleid (realisatie, eventueel vergeleken met de begroting)
betrokken partijen en verdeling taken en verantwoor-delijkheden
• wie is verantwoordelijk voor wat
Optioneel: • is met alle betrokken
actoren afgestemd of overlegd
• Indien er meerdere overheidsinstanties bij het beleidsterrein betrokken zijn: interfereert het voorgestelde rijksbeleid met dat van andere betrokken overheidsinstanties
- wie is verantwoordelijk voor wat
• wie deed wat, gerelateerd aan ieders de verantwoordelijkheden
prestaties en effecten (eventueel: proces)
Optioneel: • afspraken over evaluatie
van prestaties en effecten (wie, wanneer)
Optioneel: - afspraken over evaluatie
• Er moet beoordeeld kunnen worden of de prestaties en effecten (eventueel proces) voldoende zijn, door ze te vergelijken met de doelstellingen. De informatie moet betrekking hebben op alle geformuleerde doelstellingen. Welke informatie minimaal nodig is hangt af van de wijze waarop de doelstelling geformuleerd is: bij een prestatiedoelstelling moeten beleidsprestaties gemeten worden op een manier die daarop aansluit, bij een maatschappelijk effect-doelstelling moeten de effecten op overeenkomstige wijze gemeten worden, bij een procesdoelstelling is informatie over het proces nodig. Idealiter is er zowel een prestatie- als een maatschappelijk effect-doelstelling geformuleerd. Dan is informatie nodig over:
Handleiding DDO
155 Fase: Informatie over:
Voorbereiding van nieuw beleid (voorafgaand aan t-0)
Besluit (t-0) Implementatie en uitvoering van beleid (t-1)
a. beleidsprestaties van de gecontroleerde;
b. maatschappelijke effecten; c. prestaties en effecten moet in
verband gebracht worden met de doelen (er moet een uitspraak gedaan worden over de mate van doelrealisatie).
Optioneel: • er moet ook informatie zijn over
opgetreden neveneffecten (effecten die niet het doel waren, dit kunnen gewenste en ongewenste effecten zijn).
• plausibel maken in hoeverre het bereiken van de opgetreden maatschappelijke effecten zijn toe te schrijven aan de beleidsprestaties (de link leggen tussen a en b). Een nog zwaardere eis is dit empirisch aan te tonen (effectiviteit meten).
• plausibel maken in hoeverre de opgetreden neveneffecten zijn toe te schrijven aan de beleidsprestaties.
de mate van efficiëntie
Optioneel: • na te streven efficiëntie-
norm
Optioneel: • de aard en omvang van de
geleverde prestaties/ producten, zo nodig rekening houdend met de kwaliteit ervan
• de gemaakte kosten (tijd, geld) • de kosten per prestatie/ product • de kosten moeten vergeleken
worden met een norm. Deze norm is meestal een relatieve, dat wil zeggen vergelijking in de tijd of vergelijking met andere instanties (efficiëntie). • afwijking van de norm dient te
worden verklaard.
Implementa-tie- en uitvoerings-problemen/ succes- en faalfactoren
Optioneel: • welke problemen worden
verwacht? • hoe is men daar op voor-
bereid? • welke activiteiten worden
ondernomen om de start van het nieuwe beleid goed te laten verlopen?
Alleen indien doelen niet bereikt zijn of niet bereikt lijken te worden: • Informatie over de oorzaken
waardoor een doelstelling niet gehaald is/ wordt. Deze oorzaken kunnen betrekking hebben op: a. het verloop van de uitvoering,
zoals de mate waarin en de wijze waarop instrumenten zijn ingezet
b. de verdeling van taken en verantwoordelijkheden
c. de mate waarin alle betrokke-nen de afgesproken bijdrage hebben geleverd (bijvoorbeeld medewerking, draagvlak)
d. onvoorziene maatschappelijke ontwikkelingen
e. het realiteitsgehalte van de doelstelling
eventueel tussentijds opgetreden veranderingen
• veranderingen in gegevens tijdens het proces van beleidsvoorbereiding: deze dienen altijd geëxpliciteerd te worden
• veranderingen in gegevens sinds de start van het beleid: deze dienen altijd geëxpliciteerd te worden
Handleiding DDO
156 Bijlage 5c Voorbeelden van toepassing normen uit eerder Rekenkameronderzoek
Van de voorbeelden die in deze bijlage worden beschreven hebben alleen
de onderzoeken Groeicijfers Schiphol en Fiscale faciliteit voor het
leerlingwezen betrekking op de fase van beleidsvoorbereiding. Alle andere
onderzoeken hebben betrekking op de fase van beleidsuitvoering.
HOOFDNORM 1: RELEVANTIE
Voorbeeld 1:
In het onderzoek Informatievoorziening en kengetallen (Algemene
Rekenkamer, 1997c) werd de kwaliteit van de aanwezige kengetallen
onderzocht. Als een kengetal in de toelichting wordt opgenomen, moet de
betekenis van het getal voor de gebruiker duidelijk zijn. Er moet een
relatie gelegd kunnen worden tussen beleid(sdoelstellingen) en
kengetallen en de relatie tussen kengetal en het toegelichte bedrag moet
duidelijk zijn. Dit was vaak niet zo, en de Algemene Rekenkamer
concludeerde dat de relatie met beleid en budget nog onvoldoende wordt
toegelicht (p.16-17). Deze situatie zou gesproken kunnen worden van
niet-relevante informatie.
Overigens wordt in de Regeling prestatiegegevens en evaluatieonderzoek
rijksoverheid expliciet gesteld, dat systemen van reguliere
prestatiegegevens, evenals periodiek evaluatieonderzoek, dienen aan te
sluiten op het gebruiksdoel (Ministerie van Financiën 2001 p 37)..
Voorbeeld 2:
In het onderzoeksvoorstel van het onderzoek Verantwoorde cijfers
(Jaaroverzicht zorg 3, januari 1999) is het normenkader opgenomen. In
het onderzoek zal worden nagegaan of de zorginhoudelijke en de
financiële informatie relevant is. Gezien de doelgroep, de Tweede Kamer,
moeten de gegevens een hoog aggregatieniveau hebben en moeten de
gegevens onderdeel uitmaken van een cijferreeks die meerdere jaren
beslaat. Informatie is relevant als deze betrekking heeft op:
Handleiding DDO
157 - de kern van de stand van zaken van het zorgaanbod;
- de belangrijkste ontwikkelingen;
- de kernpunten van het beleid.
Subnorm volledigheid
In veel Rekenkameronderzoeken wordt ingegaan op de volledigheid van
beschikbare beleidsinformatie. Hieronder wordt een aantal voorbeelden
(lang niet uitputtend) beschreven, gerangschikt naar het onderzochte
element van de beleidsinformatie.
Algemeen
Voorbeeld 1:
In het onderzoeksvoorstel van het onderzoek Verantwoorde cijfers
(Jaaroverzicht zorg 3, januari 1999) is het normenkader opgenomen. Aan
de volledigheid van de zorginhoudelijke informatie zullen de volgende
eisen gesteld worden. Informatie over beleid dient in ieder geval een
beschrijving van de externe beleidsdoelen te betreffen, wat hiervan de
resultaten waren (gemeten in prestaties en effecten) en wat de relatie
tussen de doelen en de resultaten was. Tevens wordt een relatie gelegd
met de middelen. Zorginhoudelijke informatie is zo mogelijk in de vorm
gegoten van kengetallen.
Overigens is het Jaaroverzicht zorg niet de enige informatiebron,
daarnaast zijn er De staat van de gezondheidszorg en de Volksgezondheid
Toekomstverkenningen. Overlap daarmee dient te worden vermeden.
Maatschappelijk probleem
Geen geschikt voorbeeld bekend.
Beleidsinstrumenten
Voorbeeld 1:
In het onderzoek Geluidshinder Defensie (Algemene Rekenkamer, 1998b)
werd (de realisatie van) de voorgenomen maatregelen onderzocht.
Voorbeeld 2:
In het onderzoek Afvalpreventie (Algemene Rekenkamer, 1997a) werd de
ontwikkeling, inzet en doorwerking van de beleidsinstrumenten
onderzocht.
Motivatie instrumentkeuze
Voorbeeld 1:
Handleiding DDO
158 In het onderzoek Fiscale faciliteit voor het leerlingwezen (Algemene
Rekenkamer, 1998a) is de normatiek voor de beleidsvoorbereiding
overzichtelijk beschreven in bijlage 1. Een groot deel van deze normen
hebben betekenis voor de beleidsinformatie ten tijde van de
voorbereiding van nieuw beleid. Als meest cruciale eis van de
beleidsvoorbereiding wordt genoemd: een adequate plausibiliteittoets van
het veronderstelde verband tussen het in te zetten instrument en het te
bereiken doel. Hieraan was in het geval van de fiscale faciliteit voor het
leerlingwezen niet voldaan.
Voorbeeld 2:
In het onderzoek Voorlichtingscampagnes van het Rijk (Algemene
Rekenkamer, 1991b) werd aan de motivatie van het instrument
voorlichting de volgende eis gesteld: voorlichting gericht op beïnvloeding
van houding en/of gedrag is alleen acceptabel, indien: (a) sprake is van
parlementair aanvaard beleid, (b) het een niet (te) controversieel
onderwerp betreft, en (c) de voorlichting inhoudelijk voldoende en juiste
informatie bevat, zodanig dat belanghebbenden in staat zijn zich
zelfstandig een oordeel te vormen.
Voorbeeld 3:
In het onderzoek Subsidies (Algemene Rekenkamer, 1990) werd
nagegaan of bij subsidieregelingen met een financieel belang groter dan 1
miljoen voorafgaand aan de subsidieregeling een ex-ante-evaluatie was
verricht. Indien er geen ex-ante-evaluatie wordt verricht, moest de
motivatie daarvoor schriftelijk zijn vastgelegd. In de ex-ante-evaluatie
van een subsidiemaatregel moest onder meer worden ingegaan op de
(veronderstelde) relatie tussen het subsidie-instrument en de
beleidsdoelstelling, dat wil zeggen: er moet een plausibele redenering zijn
waarom het instrument bijdraagt aan de beleidsdoelstelling. Een
strengere eis is dat de verschillende mogelijke (combinaties van/andere
soorten) instrumenten tegen elkaar worden afgewogen aan de hand van
een aantal criteria, waaronder in elk geval de verwachte mate van
doelrealisatie.
De kosten van het beleid
Voorbeeld 1:
In het onderzoek Vergunningen (Algemene Rekenkamer, 1996b) werd
onderzocht of inzicht bestond in de kosten van vergunningenstelsels. De
volgende uitgaven en ontvangsten werden meegerekend:
uitvoeringskosten van de vergunningverlening, ontvangen leges, en
andere ontvangsten als gevolg van vergunningsverlening (uit de
exploitatie van onroerende zaken die eigendom zijn van de staat). De
Handleiding DDO
159 uitvoeringskosten van de handhaving werden niet in het onderzoek
betrokken.
Voorbeeld 2:
Het juniverslag 1994 van de Algemene Rekenkamer bevat twee
onderzoeken waarbij is getracht de uitvoeringskosten in kaart te brengen.
In het onderzoek Milieusubsidies (p. 42-56) onderzocht de Algemene
Rekenkamer de uitvoeringskosten van vijf subsidieregelingen voor
bedrijven. Wegens het ontbreken van tijd- en kostenregistratie waren de
uitvoeringskosten niet vast te stellen. In het onderzoek Natuurbeleidsplan
(p.77-87) stelde de Algemene Rekenkamer vast dat de administratie bij
het ministerie niet zo is ingericht dat een goed inzicht ontstaat in de
uitgaven ten behoeve van de realisatie van het Natuurbeleidsplan.
Betrokken partijen en verdeling taken en verantwoordelijkheden
Voorbeeld 1:
In het onderzoek Fondsbeheer in de sociale zekerheid (Algemene
Rekenkamer, 1995a) werd de verdeling van taken en bevoegdheden bij
het beheer van drie fondsen in de sociale zekerheid onderzocht. De
regeling werd sluitend geacht wanneer daarin was vastgelegd dat:
- de rechtmatigheid van de bedragen gecontroleerd moet worden door
een ander dan het collecterend of distribuerend orgaan zelf, namelijk
een externe accountant, een fondsbeheerder, een toezichthouder of
een controleur die valt onder de controlestructuur van de rijksdienst;
- de controleur de noodzakelijke bevoegdheden heeft om de controles
uit te voeren, zoals bijvoorbeeld de bevoegdheid tot inzage in boeken
en bescheiden;
- er geen overlap in controletaken is tussen de fondsbeheerder en de
controleur;
- de fondsbeheerder zich van de reikwijdte en uitkomsten van de
controle kan vergewissen.
Voorbeeld 2:
In het onderzoek Fonds voorheffing pensioenverzekering (Algemene
Rekenkamer, 1997b) ging de Algemene Rekenkamer onder meer na of de
verdeling van taken en bevoegdheden over een aantal organen, volgens
de wet en het besluit Fonds voorheffing pensioenverzekering, sluitend en
samenhangend is (p. 12-14).
Implementatie- en uitvoeringsproblemen/ succes- en faalfactoren
Voorbeeld 1:
Aanleiding voor het onderzoek Ontslaguitkeringen bij universiteiten,
academische ziekenhuizen en onderzoeksinstellingen (Algemene
Handleiding DDO
160 Rekenkamer, 1995b) was dat de ontslaguitkeringen in geld en aantal
personen waren gegroeid, terwijl de beleidsdoelstelling gericht was op
terugdringing. De Algemene Rekenkamer onderzocht wat de oorzaken
daarvan waren.
Efficiëntie
Voorbeeld 1:
In het onderzoek Kwaliteit uitvoering Europese akkerbouwregeling
(Algemene Rekenkamer, 1998d) verstond de Algemene Rekenkamer
onder een efficiënte uitvoering dat de regeling wordt uitgevoerd tegen
minimale kosten, gegeven een bepaalde kwaliteit van dienstverlening. De
uitvoerende organisatie had zelf een onderzoek gedaan naar efficiëntie
van vijf regiokantoren, waaruit grote verschillen in tijdsbesteding per
aanvraag bleken. De Algemene Rekenkamer beoordeelde of de gebruikte
gegevens volledig, juist, tijdig en regelmatig waren. Tevens ging de
Algemene Rekenkamer na welke verklaringen voor deze verschillen
werden gegeven en of aan alle mogelijke verklaringen aandacht was
besteed (p. 17-19).
Voorbeeld 2:
In het onderzoek Verhaalsrecht in de ziekenfondswet (Algemene
Rekenkamer, 1996c) werd onderzocht in hoeverre ziekenfondsen de
letselschade van ziekenfondsverzekerden verhaalde op de
(schadeverzekering van) de veroorzaker. De opbrengsten per verzekerde
bleken tussen de ziekenfondsen en de jaren sterk te verschillen. De
Algemene Rekenkamer trachtte de verschillen te verklaren en ging na in
hoeverre de ziekenfondsen de oorzaken konden beïnvloeden. Op basis
daarvan formuleerde de Algemene Rekenkamer minimumeisen voor een
optimale verhaalsuitvoering.
Tussentijdse veranderingen
Voorbeeld 1:
In het onderzoek Groeicijfers Schiphol (Algemene Rekenkamer, 1998c)
deed de Algemene Rekenkamer de volgende aanbeveling: “Wijzigingen
van invoergegevens die van wezenlijk belang zijn voor de uitkomst van
berekeningen dienen geëxpliciteerd te worden voor de besluitvorming.”
(p. 61)
Voorbeeld 2:
In het onderzoek Afvalpreventie (Algemene Rekenkamer, 1997a)
constateerde de Algemene Rekenkamer dat in het afvalpreventiebeleid
een accentverschuiving was opgetreden, die pas na afronding van het
Handleiding DDO
161 Rekenkameronderzoek in een notitie aan de Tweede Kamer werd
verwoord.
Voorbeeld 3:
In het onderzoek Efficiëntie van arbeidsbureaus (Algemene Rekenkamer
2001) heeft de Algemene Rekenkamer gegevens over de kosten en
prestaties van arbeidsbureaus verzameld en alles voorbereid om hieruit
de relatieve efficiëntie te berekenen en verklaringen te zoeken. Diverse
econometrische technieken zijn ingezet. De resultaten hiervan waren
dermate onmogelijk, dat geconcludeerd moest worden dat de
onderliggende data te slecht waren om uitspraken over de efficiëntie van
de diverse arbeidsbureaus te doen.
Prestaties en effecten (doelrealisatie)
Voorbeeld 1:
In het onderzoek Groeicijfers Schiphol (Algemene Rekenkamer, 1998c)
werd de informatie over doelrealisatie onderzocht. De Algemene
Rekenkamer ging op grond van milieueffectrapporten na of de realisering
van de milieudoelstellingen van de planologische kernbeslissing (PKB) in
2015 haalbaar zijn. Zij concludeerde dat doelrealisatie zonder trendbreuk
onwaarschijnlijk is. Voor het beoordelen van de mate van doelrealisatie
hoeft dus niet gewacht te worden op het jaar waarin de doelstelling
gerealiseerd moet zijn. Eerder kan al gekeken worden of doelen haalbaar
zijn resp. of doelrealisatie op schema ligt.
Voorbeeld 2:
Uit het onderzoek Subsidies (Algemene Rekenkamer, 1990) bleek dat het
ministerie vaker inzicht heeft in de doelrealisatie van subsidies wanneer
een ex-ante-evaluatie is verricht, wanneer vooraf evaluatiecriteria zijn
opgesteld en wanneer een ex-post-evaluatie is gedaan. Geen van deze
drie ‘voorwaarden’ garandeert echter dat er inzicht in doelrealisatie is.
Voorbeeld 3:
In het onderzoek Voorlichtingscampagnes van het Rijk (Algemene
Rekenkamer, 1991b) werden drie vormen van informatie over resultaten/
doelrealisatie onderscheiden:
- Bereik: de mate waarin de doelgroep van de voorlichting in contact is
gekomen met (één of meer) voorlichtingsmiddelen, kennis heeft
genomen van deze boodschap, deze heeft begrepen en vervolgens
heeft geaccepteerd.
- Effecten: de als gevolg van de voorlichting bij de doelgroep
optredende veranderingen in kennis, houding en/of gedrag.
Handleiding DDO
162 - Effectiviteit: de bijdrage die de voorlichting levert aan de realisatie
van de beleidsdoelstellingen.
- Hierin zijn ook eerder gerealiseerde percentages voor bereik, effecten
en effectiviteit voor een groot aantal campagnes te vinden.
- Aan uitvoering van een ex-post-evaluatieonderzoek gaf de Algemene
Rekenkamer de voorkeur boven het registreren van cijfers
betreffende de oplage, distributie en afname van
voorlichtingsmiddelen, zoals kijkcijfers en aantal deelnemers aan
activiteiten. Bij campagnes met een beperkt financieel belang
(bijvoorbeeld minder dan f 500.000 of f 1 miljoen) kan een
kosten/baten-afweging leiden tot het niet uitvoeren van zo’n
onderzoek.
Subnorm actualiteit
Voorbeeld 1:
In het onderzoek Groeicijfers Schiphol (Algemene Rekenkamer, 1998c)
werd geconstateerd dat bij de berekening van de externe veiligheid
gebruikgemaakt leek te worden van verouderde gegevens over het
startgewicht van vliegtuigen (p. 42-43).
Subnorm tijdigheid
Voorbeeld 1:
In het onderzoek Groeicijfers Schiphol (Algemene Rekenkamer, 1998c)
werd van sommige informatie gesteld dat deze te laat beschikbaar kwam
om een rol te kunnen spelen in de discussie en besluitvorming.
HOOFNORM 2: BETROUWBAARHEID/JUISTHEID
Voorbeeld 1:
In het onderzoek Groeicijfers Schiphol (Algemene Rekenkamer, 1998c)
werd de betrouwbaarheid van de beleidsinformatie onderzocht.
Geconcludeerd dat de onzekerheden in de informatie die ten grondslag
lag aan de PKB groot waren omdat veel veronderstellingen op elkaar
gestapeld werden. De PKB was daardoor een risicovol besluit.
Voorts werd de juistheid van modellen onderzocht aan de hand van de
volgende vragen:
- Zijn de veronderstellingen die ten grondslag liggen aan
prognosemodellen juist?
- Zijn alle relevante factoren in het model opgenomen?
Handleiding DDO
163 - Worden de prognoses bijgesteld als recente ontwikkelingen daartoe
aanleiding geven?
- Zijn de juiste invoergegevens gebruikt?
Voorbeeld 2:
In het Rechtmatigheidsonderzoek 1997 wordt de kwaliteit van de
verantwoordingsinformatie in de Miljoenennota beoordeeld. Hierbij wordt
als norm gesteld dat onzekerheden vermeld en zo mogelijk
gekwantificeerd moeten worden (p. 43).
Voorbeeld 3:
In het onderzoek Ontwikkeling en herverdeling politiesterkte 1994-1995
(Algemene Rekenkamer, 1997d), onderzocht de Algemene Rekenkamer
(onder meer) de informatievoorziening over de politiesterkte en de
verantwoordingsinformatie over de besteding van de financiële middelen
daarvoor. Het onderzoek was een vervolg op drie eerdere onderzoeken
naar dit onderwerp. De Algemene Rekenkamer stelde als norm dat de
juistheid en volledigheid van de gegevens gewaarborgd moet zijn.
Daarvoor dienen niet alleen voldoende waarborgen te zijn voor de
vaststelling en controle van gegevens aanwezig te zijn, maar moeten ook
de gehanteerde definities en uitgangspunten eenduidig en
operationaliseerbaar zijn.
Zo was het begrip ‘blauw op straat’ niet goed gedefinieerd en bleek het
‘executieve personeel’ niet hetzelfde te zijn als ‘blauw op straat’ (een
voorbeeld van onvoldoende validiteit). Verder bleek dat het begrip
‘feitelijke sterkte’ niet eenduidig gedefinieerd te zijn. Daardoor telde
bijvoorbeeld de ene regio vrijwilligers, aspiranten en/of
parkeercontroleurs wel mee en de andere niet (voorbeeld van
onvoldoende betrouwbaarheid). Ook bleek dat controle op de gegevens
door een onafhankelijke derde niet plaatsvond (waarborg voor betrouw-
baarheid). Ook constateerde de Algemene Rekenkamer dat informatie aan
de Tweede Kamer over de verhouding tussen personele en materiële
uitgaven onjuist was geweest.
Overigens blijkt uit de reactie van de minister van BZK dat hij vindt dat
aan de betrouwbaarheid van verantwoordingsinformatie hogere eisen
gesteld mogen worden dan aan beleidsinformatie.
Voorbeeld 4:
In het onderzoeksvoorstel van het onderzoek Verantwoorde cijfers
(Jaaroverzicht zorg 3, januari 1999) is het normenkader ontwikkeld. In
het onderzoek zal worden nagegaan of de financiële informatie juist is
aan de hand van de volgende normen:
Handleiding DDO
164 - De verantwoordingscijfers moeten zijn voorzien van een adequate
accountantsverklaring. Bij publieke middelen gaat het om een
rechtmatigheidsverklaring, bij private middelen om een
getrouwheidsverklaring.
- Bij de beoordeling van de realisatiecijfers hanteert de Algemene
Rekenkamer een tolerantie van 1% van het totaal van de
verantwoorde geldstroom in de betreffende deelsector.
HOOFDNORM 3: VERGELIJKBAARHEID
Subnorm consistentie
Voorbeeld 1:
In het deelonderzoek NT2 van het onderzoek Integratiebeleid etnische
minderheden (Algemene Rekenkamer, 1999b) bleken verschillende
vormen van inconsistentie in de gegevens:
- Het begrip ‘wachtlijst’ werd door de minister anders gedefinieerd dan
door de onderzoekers (consistentie tussen onderdelen in de
beleidsketen).
- De omvang van het cursusaanbod werd soms in cursistenplaatsen en
soms in lesuren uitgedrukt (consistentie tussen informatiebronnen).
Deze gegevens konden niet bij elkaar worden opgeteld door het
ontbreken van een omrekensleutel.
- Door uitkomsten van verschillende evaluatieonderzoeken en monitors
met elkaar te vergelijken werd duidelijk dat sommige bronnen
consequent afweken van de rest. Dit is opgevat als teken aan de
wand. Een verklaring werd later gevonden in niet-representatieve
steekproef respectievelijk respons (consistentie tussen informatie-
bronnen).
Voorbeeld 2:
In het onderzoek Groeicijfers Schiphol (Algemene Rekenkamer, 1998c)
constateerde de Algemene Rekenkamer dat de PKB intern inconsistent
was, doordat bij de vervoerprognoses werd uitgegaan van een daling van
de luchtvaarttarieven en bij de substitutieberekeningen van een stijging
(consistentie binnen een informatiebron, p. 30 en 37). De Algemene
Rekenkamer deed naar aanleiding daarvan de volgende aanbeveling:
“Juist als sprake is van grote onzekerheden dient consistent te worden
omgegaan met het verwerken van factoren die van invloed zijn op de
uitkomsten van prognoses.” (p. 60).
Handleiding DDO
165 Voorts: “De transparantie in de besluitvorming is ermee gediend dat
prognoses worden vergeleken met prognoses van anderen, in het
bijzonder wanneer sprake is van grote onzekerheden en lange termijn
voorspellingen.” (consistentie tussen informatiebronnen, p. 61).
Handleiding DDO
166 Bijlage 6 Beschrijving modus-operandi-methode
De modus-operandi-methode is afkomstig van Michael Scriven. De
methode (letterlijke vertaling van ‘modus operandi’: wijze van werking)
wordt door hem ook wel aangeduid als het ‘detective paradigma’. In feite
is het een fraaie benaming voor een eliminatiemethode. Zoals bij het
zoeken van een dader diverse mogelijkheden worden uitgeschakeld, zo
geschiedt dat ook bij deze methode: voor de successievelijke rivali-
serende factoren wordt getracht te beargumenteren, dat deze geen rol
hebben gespeeld.
De methode bevat vier stappen, waarbij vooral de laatste twee stappen
kenmerkend zijn: het beargumenteren of een factor al dan geen rol heeft
gespeeld door na te gaan of in het concrete geval de factor werkzaam is
geweest volgens de voor deze factor karakteristieke
paden/tussenschakels.
De vier stappen zijn als volgt:
- welke verklaringen Xi zijn mogelijk voor verschijnsel Y?
- welke factoren, die de verklaringen Xi zouden kunnen opleveren, zijn
inderdaad aanwezig geweest?
- welke karakteristieke kenmerken vertonen de causale paden die van
Xi (voor zover aanwezig) naar Y leiden?
- van welke Xi zijn zulke kenmerken inderdaad in de werkelijkheid
aanwezig geweest en in welke mate?
De procedure wordt voor iedere rivaliserende factor herhaald tot een
beeld verkregen is, in hoeverre Y door de inzet van het onderzochte
beleidsinstrumentarium dan wel (mede) door rivaliserende factoren is
bepaald.
De modus-operandi-methode is onder andere toegepast in een studie van
Bressers naar de effectiviteit van het waterkwaliteitsbeleid103.
103J.Th. A. Bressers, Beleidseffektiviteit en waterkwaliteitsbeleid; een bestuurskundig onderzoek,
dissertatie T.H. Twente, 1982.
Handleiding DDO
167 Bijlage 7 Checklist: is het mogelijk zelf de doelmatigheid te berekenen?
Het is verstandig eerst de hoofdstuk 8 van deze handleiding door te
nemen voordat de onderstaande checklist ingevuld wordt.
Is de doelstelling van voldoende kwaliteit?
0. Is de doelstelling van voldoende kwaliteit om te bepalen welke
effecten/prestaties men wil bereiken met het beleid of is de
doelstelling alsnog eenvoudig vast te stellen?
Zijn de effecten/prestaties te meten?
1. Zijn de effecten van beleid te meten (desnoods via indicator of proxy-
variabele)?
2. Zijn de prestaties van beleid te meten (desnoods via indicator of
proxy-variabele)?
Beslismoment 1:
Denk bij dit eerste beslismoment aan de stapsgewijze aanpak in
hoofdstuk 8: begin daar waar de meeste mogelijkheden liggen. Als op
vraag 0 ‘nee’ is geantwoord, moet een andere doelstelling worden
gekozen of de formulering van de doelstelling worden verbeterd.
Als de doelstelling van voldoende kwaliteit is en op vraag 1 of 2 is ‘ja’
geantwoord, kan verder worden gegaan.
Als van vraag 1 en 2 alleen vraag 1 met ‘ja’ is beantwoord, geldt in
onderstaande vragen steeds bij ‘effecten/prestaties’: effecten. Als
daarvan alleen vraag 2 met ‘ja’ is beantwoord geldt steeds: prestaties.
Zijn er gegevens104 van voldoende kwaliteit105?
3. Zijn gegevens van voldoende kwaliteit over effecten/prestaties
beschikbaar of eenvoudig te verzamelen en zijn deze gegevens voor
minstens twee tijdstippen of organisaties beschikbaar?
104 Of een benadering daarvan via indicatoren of proxy-variabelen. 105 Kwaliteit: relevant, betrouwbaar en vergelijkbaar. Denk bij relevant aan onder andere alle voor
beleid van belang zijnde effecten, prestaties en alle voor het leveren daarvan van belang zijnde
middelen enzovoort. Zie verder hoofdstuk 8.
Handleiding DDO
168 4. Zijn gegevens van voldoende kwaliteit over middelen beschikbaar of
eenvoudig te verzamelen en zijn deze gegevens voor minstens twee
tijdstippen of organisaties beschikbaar?
5. Zijn gegevens van voldoende kwaliteit over ‘kwaliteit’ van de
effecten/prestaties beschikbaar of eenvoudig te verzamelen en zijn deze
gegevens voor minstens twee tijdstippen of organisaties beschikbaar?
6. Zijn gegevens van voldoende kwaliteit over verklaringen beschikbaar of
eenvoudig te verzamelen en zijn deze gegevens voor minstens twee
tijdstippen of organisaties beschikbaar?
Beslismoment 2:
Er moet in elk geval op elk van de vragen 3 t/m 5 ‘ja’ zijn geantwoord om een
doelmatigheidsscore te kunnen berekenen. Als ook vraag 6 met ‘ja’ is
beantwoord, kan gekeken worden naar de factoren die mogelijk de verschillen
in de doelmatigheid verklaren.
Voor de verschillende situaties waarin voorzichtigheid is geboden bij het
trekken van conclusies en het doen van aanbevelingen wordt verwezen
naar met name § 8.6.1.
Handleiding DDO
169 Bijlage 8 Algemene voorwaarden DEA en SFA
De uitkomsten van SFA en DEA-analyses moeten aan een aantal
voorwaarden voldoen om te mogen worden gebruikt. Dit zijn algemeen-
geldige voorwaarden. Met de met SFA geschatte relatie kunnen deze
voorwaarden worden getoetst. Met DEA kun je minder gemakkelijk en
minder eenduidig toetsen of daar aan voldaan is.
Mocht je dus bij je SFA-analyse ontdekken dat aan de voorwaarden niet is
voldaan, dan weet je in beginsel ook dat aan deze voorwaarden voor DEA
niet is voldaan. Dit betekent twee dingen:
1. als DEA nog niet is gebruikt voor analyses: dat je DEA beter achterwege
kan laten;
2. als zowel met DEA als met SFA al analyses zijn uitgevoerd: dat je de
uitkomsten van beide analyses niet mag gebruiken. Deze voorwaarden
worden immers impliciet in deze techniek verondersteld. Als er niet aan
de voorwaarden is voldaan zouden organisaties mogelijk ten onrechte als
(on)doelmatig worden bestempeld.
Om welke voorwaarden gaat het?
• De marginale kosten zijn overwegend positief (‘no free lunch’).
Marginale kosten zijn de extra kosten die verbonden zijn aan het
leveren van één extra eenheid prestatie. Wanneer een instelling één
eenheid prestatie meer wil leveren zijn daarvoor extra middelen nodig
en moeten daarvoor dus extra middelen worden ingezet. Als uit de
analyse blijkt dat voor veel instellingen het tegenovergestelde geldt,
dus dat veel instellingen niet-positieve marginale kosten hebben, dan
weet je dat er iets goed fout zit (al is het niet altijd even simpel om
de oorzaken daarvoor te vinden) en dat je de uitkomsten niet mag
gebruiken.
• Wanneer uit de geschatte relatie blijkt dat er in de onderzochte sector
sprake is van variabele schaalopbrengsten (dus dat de prestaties
minder/meer dan proportioneel toenemen met een verandering in alle
middelen) dan zal doorgaans sprake zijn van:
o toenemende meeropbrengsten bij de kleinste instellingen: een
proportionele toename van alle middelen leidt tot een meer dan
proportionele toename in de prestaties;
Handleiding DDO
170 o constante meeropbrengsten bij de middelgrote instellingen: een
proportionele toename van alle middelen leidt tot een proportionele
toename in de prestaties;
o afnemende meeropbrengsten bij de grootste instellingen: een
proportionele toename van alle middelen leidt tot een minder dan
proportionele toename in de prestaties.
Het mag niet zo zijn dat er sprake is van een omgekeerd beeld (dus
eerst afnemende dan constante en dan toenemende
meeropbrengsten).
• Samenhangend met het voorgaande punt: wanneer uit de geschatte
relatie blijkt dat er in de onderzochte sector sprake is van variabele
schaalopbrengsten, dan zullen in theorie de gemiddelde kosten voor
kleine en grote instellingen in het algemeen relatief hoog en voor
middelgrote instellingen relatief laag zijn (U-vormige gemiddelde
kostencurve). Kleine instellingen hebben vaak te weinig personeel om
zich te specialiseren en hebben relatief veel overheadkosten. Grote
instellingen hebben de neiging te verbureaucratiseren, doordat het
voor het management onmogelijk is om alle aspecten van het
productieproces te beheersen, met onder meer relatief veel
overheadkosten als gevolg.
Er mag geen sprake zijn van het omgekeerde beeld.
Er zijn drie verklaringen mogelijk voor de constatering dat niet voldaan is
aan deze algemene voorwaarden (van SFA en DEA):
• de kwaliteit van de gegevens is slecht;
• in de relatie tussen de middelen en beleidsresultaten zijn niet alle
relevante factoren meegenomen (onvolledig of foute specificatie);
• er is sprake van chaos en/of volstrekt irrationeel gedrag in de
desbetreffende sector.
We illustreren hieronder hoe enkele elementen ook kunnen worden
getoetst in een analyse vooraf. We doen dit aan de hand van het al
eerder genoemde Rekenkameronderzoek naar arbeidsbureaus.
Arbeidsbureaus
In het onderzoek van de Algemene Rekenkamer naar de doelmatigheid
van arbeidsbureaus (Algemene Rekenkamer, 2001a)is ook met SFA de
relatie geschat tussen de kosten en de prestaties (het aantal
werkzoekenden dat op een vacature is geplaatst) van de arbeidsbureaus.
Uit de geschatte relatie blijkt dat voor vele arbeidsbureaus geldt dat hoe
meer prestaties men levert, hoe lager de kosten zijn (‘negatieve
marginale kosten’). Eveneens blijkt dat de gemiddelde kosten juist voor
Handleiding DDO
171 de middelgrote arbeidsbureaus het hoogst zijn, wat in strijd is met de
economische theorie die ook ten grondslag ligt aan SFA en DEA.
Dit laatste is ook af te lezen uit de doelmatigheidskengetallen voor
arbeidsbureaus zoals gegeven in de figuren in § 8.6.3.2. In de figuren zijn de
kosten per geplaatste werkzoekende afgezet tegen de zwaarte van de
werkzoekendenbestanden van de arbeidsbureaus. Hoewel je zou verwachten
dat moeilijk plaatsbare werkzoekenden relatief meer kosten met zich
meebrengen, is uit de figuren geen eenduidige relatie tussen de kosten per
geplaatste werkzoekende en de zwaarte van het werkzoekendenbestand af te
lezen. De kosten per geplaatste werkzoekende liggen onafhankelijk van de
omvang en zwaarte van de bestanden grofweg tussen de € 1.000 en € 3.000.
Ook wanneer expliciet rekening gehouden wordt met arbeidsmarkt-
omstandigheden blijkt er een vrij forse spreiding in de kosten per plaatsing te
zijn.
Er wordt dus niet voldaan aan de veronderstellingen die ten grondslag
liggen aan SFA en DEA.
Handleiding DDO
172 Bijlage 9 Begrippen
Activiteiten: al datgene wat in een ministerie of bij een derde wordt
uitgevoerd om middelen om te kunnen zetten in prestaties voor het beleid
Beleidsinformatie: informatie over de doelstellingen van beleid, de
beoogde en/of gerealiseerde effecten, de daartoe te leveren of geleverde
prestaties en de daarmee gemoeide kosten.
Betrouwbaarheid: de verzamelde informatie mag geen materiële
onjuistheden of onvolledigheden bevatten.
Doelgroepbereik: onderzoek naar de vraag of en hoe de uiteindelijke
doelgroepen van het beleid (burgers, instellingen, bedrijven) worden
bereikt.
Doelrealisatie (onderzoek naar): onderzoek naar de vraag of de met het
beleid beoogde prestaties en/of effecten daadwerkelijk zijn gerealiseerd.
Doelmatigheid van (beleids)effecten (doelmatigheid van beleid;
kosteneffectiviteit) gaat om de vraag
o of de effecten niet met de inzet van minder middelen gerealiseerd
hadden kunnen worden; dan wel
o of niet méér effecten verwezenlijkt hadden kunnen worden met
dezelfde inzet van middelen.
Doelmatigheid van (beleids)prestaties (doelmatigheid van bedrijfsvoering)
gaat om de vraag
o of de prestaties niet met de inzet van minder middelen gerealiseerd
hadden kunnen worden; dan wel
o of niet méér prestaties verwezenlijkt hadden kunnen worden met
dezelfde inzet van middelen.
Doeltreffendheid: onderzoek naar de vraag in hoeverre met het
regeringsbeleid de gewenste beleidsresultaten worden bereikt.
Doorwerkingsonderzoek: onderzoek naar de vraag of de voorwaarden
hebben gewerkt die de minister gecreëerd heeft voor een goede
Handleiding DDO
173 uitvoering van het rijksbeleid op regionaal, provinciaal of gemeentelijk
niveau.
(Beleids)effecten (outcome): de gevolgen van het beleid die merkbaar
zijn in de maatschappij.
Effectiviteit: zie doeltreffendheid.
Efficiëntie: zie doelmatigheid.
Externe verklaringen: (mogelijke) verklaringen voor verschillen in
doelmatigheid die buiten het ministerie en/of de bij het beleid betrokken
organisatie liggen.
Interne verklaringen: (mogelijke) verklaringen voor verschillen in
doelmatigheid die binnen het ministerie en/of de bij het beleid betrokken
organisatie liggen.
Kwaliteit: verschillen in de kenmerken van dezelfde prestaties dan wel
effecten.
Kosten: de waarde van de verbruikte middelen die nodig zijn voor het
kunnen uitoefenen van de bedrijfsvoering.
Middelen: het ingezette personeel, het verbruikte materiaal, de
ingehuurde diensten en de uitgaven aan (niet-) financiële
beleidsinstrumenten (zoals subsidies, leningen en voorlichtings-
programma’s).
Neveneffecten: maatschappelijk gevolgen van beleid, anders dan de
primair beoogde. Het kan hierbij gaan om bedoelde en onbedoelde
neveneffecten.
Prestatiegegevens: er zijn drie typen van prestatiegegevens:
o beleidsdoelstellingen, zo veel mogelijk geoperationaliseerd in termen
van nagestreefde en gerealiseerde effecten, gekoppeld aan
doelgroepen van beleid en een tijdshorizon;
o informatie over kostprijs en kwaliteit van de door de overheid te
leveren / geleverde prestaties (producten en diensten);
o programma-uitgaven, zo veel als zinvol onderbouwd met volume- en
prijsgegevens (bijvoorbeeld het verwachte aantal begunstigden van
een subsidieregeling en het bedrag per subsidie).
Handleiding DDO
174 (Beleids)prestaties (output): de resultaten van werkprocessen die binnen
een organisatie worden doorlopen om een beleidsdoelstelling te
realiseren.
Relevantie: ‘relevant’ is die informatie die het beleid, respectievelijk de
activiteiten van het betrokken ministerie of de betrokken organisatie(s)
adequaat weerspiegelt.
SMART-C: norm voor de formulering van beleidsdoelen. Specifiek,
Meetbaar, Afgestemd, Realistisch, Tijdgebonden en Consistent.
Uitgaven: betalingen die zijn gedaan op basis van aangegane
verplichtingen.
Vergelijkbaarheid: de verzamelde informatie dient in tijdsperspectief en
tussen organisaties vergelijkbaar te zijn.
