Efficiëntie meten in de publieke sector Methodologieën en toepassingen op lokale besturen

Rapport

Jesse Stroobants & Geert Bouckaert

i

Inhoudstafel

Samenvatting 7

Inleiding 13

1. Een inleiding tot prestatiemeting 17

> 1.1. Doel van prestatiemeting 17

> 1.2. Soorten prestatiemetingen 18

> 1.2.1. Enkelvoudige maatstaven 19

> 1.2.2. Combinatie-indicatoren 20

> 1.3. Conclusie 22

2. Efficiëntie- versus effectiviteitsmeting 23

3. Publieke sector karakteristieken en efficiëntie 25

4. Methoden voor het meten van efficiëntie 27

> 4.1. Types van efficiëntie 27

> 4.2. Types van efficiëntiemetingen 28

> 4.3. Gedeeltelijke versus globale efficiëntiemeting 30

> 4.3.1. Gedeeltelijke efficiëntiemetingen (indicatoren) 30

> 4.3.2. Totale factor productiviteitsmetingen 32

> 4.4. Prijsgebaseerde indexnummer (PIN)-methoden 33

> 4.5. Grensmethoden 34

> 4.6. Parametrische methode 38

> 4.6.1. Deterministic Frontier Approach (DFA) 38

> 4.6.2. Stochastic Frontier Analysis (SFA) 38

> 4.6.3. Grafisch 39

> 4.6.4. Beperkingen 41

> 4.7. Niet-parametrische methode 42

> 4.7.1. Free Disposal Hull (FDH) 43

> 4.7.2. Data Envelopment Analysis (DEA) 44

> 4.7.3. Grafisch 46

ii

> 4.7.4. Beperkingen 49

5. Empirische studies omtrent efficiëntie in lokale besturen 51

> 5.1. Adequate grensmethoden 51

> 5.2. In de beleidspraktijk 53

6. Datavereisten voor efficiëntiemetingen 55

> 6.1. Inputs 55

> 6.2. Outputs 57

> 6.3. Omgevingsfactoren 59

> 6.4. Illustratie 60

> 6.5. Kwaliteit van de gegevens 61

> 6.6. Vergelijkbare data 62

> 6.7. Beschikbaarheid van de data 63

> 6.8. Audit van dataverzameling 64

Conclusie 67

Bijlage A: Uitwerking en illustratie van de FDH- en DEA-methodologie 71

Referenties 77

iii

Lijst tabellen

Tabel 1: Efficiëntiestudies omtrent lokale overheden d.m.v. DEA 53 Tabel 2: Voorbeeld van ideale data voor efficiëntiemeting (bibliotheek) 61 Tabel 3: Mogelijke databronnen 65

iv

Lijst figuren

Figuur 1: Overzicht van methodologieën voor efficiëntiemetingen 29 Figuur 2: Productie- of transformatiefunctie 35 Figuur 3: Set van inputbenodigdheden 36 Figuur 4: Set van produceerbare output 36 Figuur 5: Parametrische methode, DFA versus SFA 40 Figuur 6: Efficiëntiegrens, DEA versus FDH 47 Figuur 7: Inputefficiëntie, DEA versus FDH 48 Figuur 8: Outputefficiëntie, DEA versus FDH 49

v

vi

Measure what can be measured

and make measurable what cannot be measured.

Galileo Galilei (1564-1642)

7

Samenvatting

In dit eerste onderzoeksrapport binnen het project „Lokale Efficiëntie‟

richten we ons specifiek op het meten en analyseren van de efficiëntie van

overheidsentiteiten (bijvoorbeeld lokale overheden in Vlaanderen). We

geven een overzicht van de mogelijke methodologieën voor het meten van

organisationele efficiëntie en we formuleren aandachtspunten en

aanbevelingen met betrekking tot de data die door overheidsentiteiten

dient aangeleverd te worden om zulke efficiëntiemetingen mogelijk te

maken.

Efficiëntiemeting als onderdeel van prestatiebeoordelingen

De analyse en evaluatie van efficiëntie dient deel uit te maken van

een breder geheel van prestatiebeoordeling.

Prestatiemeting mag geen doel op zichzelf zijn, maar moet een

instrument zijn om het doel (verbeteren van de performantie van

de dienstverlening en de interne werking, het afleggen van

verantwoording aan politici, burgers en cliënten) te bereiken.

Er bestaan verschillende soorten prestatiemetingen:

- enkelvoudige maatstaven van werklast, inputs, outputs of

effecten.

- ratio-indicatoren van efficiëntie en effectiviteit.

Het zijn de ratiomaatstaven zoals efficiëntie en effectiviteit die het

grootste inzicht verschaffen in de performantie van het

overheidsoptreden.

Prestaties dienen gemeten te worden tegenover de eigen prestaties

in het verleden (vergelijken in de tijd) of tegenover relevante

standaarden of prestaties van gelijkaardige entiteiten (vergelijken

in de ruimte).

8

Hoewel het veelal de effecten zijn die de redenen vormen waarom

overheden produceren, is het meten van effectiviteit vaak

problematisch, omwille van externe factoren die niet onder de

controle van de overheid vallen.

De strategie is dus veelal om in te zetten op minder problematische

efficiëntiemetingen.

Efficiëntie en publieke sector karakteristieken

De openbare sector kent geen marktmechanismen die organisaties in de

richting van efficiëntieverbetering stuwen.

In de marktsector: concurrentie tussen verschillende aanbieders in

combinatie met keuzemogelijkheden voor de consument dwingen de

producenten tot kostenminimalisering, efficiëntie en afstemming op

de wensen van de klant.

In de publieke sector: aanbieders van diensten zijn vaak

monopolisten of actief in sterk gereguleerde markten, waardoor

consumenten geen of nauwelijks keuzemogelijkheden hebben. De

behoefte aan objectieve metingen, beoordelingen en vergelijkingen

van de feitelijke efficiëntie neemt hierdoor toe.

Efficiëntiemeetmethodologieën

Om de efficiëntie van een entiteit (of groep van eenheden die dezelfde

diensten leveren) te meten, kunnen twee categorieën van methoden

onderscheiden worden:

(Set van) gedeeltelijke indicatoren

- één-input/één-output

- relatief vlot te meten

- makkelijk te interpreteren

- makkelijk te vergelijken

9

Meer globale efficiëntiemetingen

- meerdere-inputs/meerdere-outputs

- vereist statistische en/of econometrische instrumenten

- veelal in academische wereld, minder in beleidspraktijk

Binnen de categorie van globale efficiëntiemetingen kan opnieuw een

onderscheid gemaakt worden tussen:

Prijsgebaseerde indexnummermethoden: maken gebruik van een

input- en outputindex, en vereisen bijgevolg het specificeren van

gewichten om tot deze geaggregeerde indices te komen. Deze

gewichten zijn veelal gebaseerd op marktprijzen, waardoor deze

methode minder geschikt is binnen de publieke sector (waar

informatie over marktprijzen vaak niet aanwezig is).

Grensmethoden: houden de schatting in van een grensfunctie

(productie-, transformatie- of kostencurve die de optimale relatie

tussen inputs en outputs weergeeft) om vervolgens de reële

prestaties van organisaties uit te zetten tegenover deze

geïdealiseerde maatstaf.

We onderscheiden vier technieken binnen twee hoofdcategorieën van

grensmethoden:

Parametrische grensmethoden: met behulp van econometrische

technieken wordt de efficiëntiegrens vooraf (a priori) geschat. De

afwijking van observaties ten opzichte van deze geschatte grens

vormt de basis voor het berekenen van absolute efficiëntiescores

voor de bestudeerde entiteiten.

- Deterministic Frontier Approach (DFA): deterministische

grensmethode waarbij de volledige afwijking van de grens

toegeschreven wordt aan inefficiëntie.

- Stochastic Frontier Analysis (SFA): stochastische grensmethode

waarbij de afwijking van de grens deels toegeschreven kan

worden aan inefficiëntie en deels aan externe factoren of

meetfouten.

10

Niet-parametrische grensmethoden: maken gebruik van

mathematische programmeringstechnieken om op basis van een set

van observaties een omhullende grens te construeren waartegenover

de efficiëntie van elke observatie wordt afgemeten (i.e. relatieve

efficiëntiescores van organisaties).

- Free Disposal Hull (FDH): Voor elke organisatie wordt de

efficiëntiescore bepaald d.m.v. een vergelijking met de beste

praktijk bij de andere bestaande organisaties in de set. FDH

stelt de minste assumpties voorop, wat resulteert in de meest

nauwe omhulling van de set van observaties. Een grafische

voorstelling van FDH in de input-output-ruimte levert een

trapvormige grens op.

- Data Envelopment Analysis (DEA): DEA veronderstelt een

convexe productieset, waarbij bestaande observaties ook

vergeleken worden met virtuele observaties (convex

samengestelde combinaties van bestaande observaties).

Grafisch vormt de DEA-grens dus een convexe omhulling van de

trapvormige FDH-grens.

Onderstaande figuur biedt nogmaals een overzicht van de verschillende

metrische methodologieën en concrete technieken die in de literatuur

omtrent efficiëntiemetingen terug te vinden zijn.

In de beleidspraktijk

Grensmethoden zijn doorgaans de meest toereikende efficiëntie-

meetmethode, maar de complexiteit van dit type onderzoek brengt

problemen met zich mee in de beleidspraktijk:

- noodzaak aan specialistische kennis (voor zulke statistische en

econometrische analyses).

- onzekerheidsmarges in kwantitatieve uitkomsten kunnen groot

zijn (bij gebrekkige data).

Efficiëntiemeting in de beleidspraktijk vindt daarom veelal plaats

aan de hand van enkelvoudige of samengestelde prestatie-

indicatoren.

11

Gedeeltelijke indicatoren

Partial indicators

METHODOLOGIEËN

voor

EFFICIËNTIEMETINGEN

Globale efficiëntiemetingen

Total Factor Productivity (TFP)

Indexmethoden Grensmethoden

Parametrische

technieken

Niet-parametrische

technieken

Stochastisc

Frontier Analysis

Deterministic

Frontier Analysis

Laspeyres

Index

Paasche

Index

Fischer

Index

Törnqvist

Index

Data Envelop-

ment Analysis

Free Disposal

Hull

12

Datavereisten voor efficiëntiemetingen

Kwaliteit (validiteit, betrouwbaarheid, nauwkeurigheid, enz.) van

de gebruikte input- of outputdata is essentieel.

- Dit geldt nog sterker wanneer niet-parametrische en

deterministische methoden gebruikt worden. Onvolkomen-

heden in de gegevens en de modellering komen dan immers

direct tot uiting in de gemeten efficiëntie van organisaties.

- Het is dan ook aan te bevelen om de procedures van

dataverzameling periodiek te auditeren.

De efficiëntie moet bovendien op het juiste organisatieniveau

worden berekend: daar waar met de middelen de prestaties

geleverd worden.

Gegevens dienen daarbij niet enkel kwantitatief van aard te zijn,

ook kwalitatieve informatie over de inputs en outputs is van

cruciaal belang.

Ook omgevings- of exogene factoren (bv. institutionele, socio-

economische, demografische of geografische aspecten) zijn van

groot belang, deze kunnen nuttige informatie bevatten om mee het

verschil in efficiëntie tussen entiteiten te verklaren.

Omwille van de vergelijkbaarheid van efficiëntiescores is het

belangrijk dat de te verzamelen informatie over inputs en outputs

eenduidig en concreet gedefinieerd worden, om te voorkomen dat

deze op verschillende wijze geïnterpreteerd zouden worden.

13

Inleiding

Een meer efficiënte publieke sector is een belangrijke en centrale

doelstelling in de context van het New Public Management (NPM), en komt

binnen het huidige financieel-economische klimaat nog nadrukkelijker op de

agenda te staan, zo ook in Vlaanderen. Terwijl de vraag naar kwalitatieve

publieke diensten blijft toenemen, wordt de budgettaire ademruimte van

de verschillende overheden in ons land alsmaar kleiner. Meer nog, het is

duidelijk dat hun financiële positie in de komende jaren krap zal blijven en

dat tegelijkertijd de socio-economische, demografische en ecologische

uitdagingen niet zullen afnemen, wel integendeel. Met een vraag naar

publieke dienstverlening die sneller groeit dan de beschikbare middelen

wordt efficiëntie in de komende jaren dus een cruciale kwestie1 voor onze

politici en overheidsmanagers.

Ook de lokale besturen in Vlaanderen ontsnappen niet aan de gevolgen van

de economische crisis en de teruglopende ontvangsten. In haar beleidsnota

Binnenlands Bestuur 2009-2014 (Bourgeois, 2009) geeft de Vlaamse Regering

aan dat er de komende jaren geen beleidsruimte is voor belangrijke

financiële stimuli, met als gevolg dat de lokale overheden zelf in volle

verantwoordelijkheid zullen moeten werken aan hun efficiëntie om met

minder middelen een beter bestuur en een betere dienstverlening tot stand

te brengen.

Lokale overheden worden bovendien nog steeds en te vaak geassocieerd met

inefficiëntie en verspilling. Burgers menen soms dat dingen onnodig, dubbel,

te traag of in strijd met elkaar gebeuren. Het is dus van groot belang dat

autoriteiten een duidelijke en transparante verantwoording afleggen over

wat zij doen met de beschikbare financiële (belastings)middelen. Goede

prestatiemetingen en het gebruik van „benchmarking‟ kunnen alvast nuttige

en waardevolle instrumenten vormen om de performantie van besturen te

analyseren en te evalueren.

1 We merken hierbij wel op dat de nood voor een efficiënte publieke sector de effectiviteit en

kwaliteit van haar dienstverlening niet in de weg mag staan (Stroobants & Bouckaert, 2011). Zuinigheid en efficiëntie combineren met effectiviteit en kwaliteit moet de hoofddoelstelling van een ambitieuze en moderne overheid zijn.

14

Om de efficiëntie-agenda voor lokale besturen kracht bij te zetten, is vanuit

de Vlaamse overheid het project „lokale efficiëntie‟ geïnitieerd dat

uitgevoerd wordt onder de koepel van het Steunpunt Bestuurlijke

Organisatie Vlaanderen (SBOV). Dit project wil op een verkennende en

prospectieve wijze in kaart brengen hoe de efficiëntie van lokale Vlaamse

overheden (m.n. gemeenten) systematisch gemeten en beoordeeld kan

worden. Deze uitkomsten zijn niet enkel nuttig voor de gemeenten zelf,

onder meer om hun performantie te kunnen vergelijken in de tijd en met

gelijkaardige lokale besturen. Eveneens zijn ze zinvol voor de Vlaamse

overheid om zowel algemeen als per beleidsdomein de beleidsprocessen

beter af te stemmen op de lokale besturen, het beleid beter te sturen,

subsidiëringsbeslissingen te nemen, toezicht te houden, enz.

In het voorliggende rapport presenteren we een eerste onderzoeksmodule

van het project „lokale efficiëntie‟, waarbij we ons specifiek richten op de

wijze waarop de efficiëntie van publieke organisaties (zoals lokale besturen)

gemeten en geanalyseerd kan worden. We bestuderen hierbij exploratief de

verschillende meetbenaderingen en -technieken voor het beoordelen van de

efficiëntie van organisaties. Eveneens formuleren we aandachtspunten en

aanbevelingen met betrekking tot de data die door overheidsentiteiten

dienen aangeleverd te worden om zulke efficiëntiemetingen mogelijk te

maken. Deze studie voert dus zelf geen efficiëntiemeting uit, maar wil een

opstap bieden om deze oefeningen in de toekomst mogelijk te maken.

We vangen dit rapport aan met een beknopte inleiding tot prestatiemeting.

De analyse en evaluatie van de efficiëntie van lokale besturen dient immers

deel uit te maken van een breder geheel van prestatiebeoordeling. We

geven hierbij eerst en vooral aan dat prestatiemeting geen doel op zichzelf

is, maar een instrument om het doel -zoals het verbeteren van de

performantie van de dienstverlening en het afleggen van verantwoording

aan politici, burgers en cliënten- te bereiken. Vervolgens bieden we een

overzicht van de verschillende soorten prestatiemetingen die uitgevoerd

kunnen worden, gaande van enkelvoudige maatstaven omtrent werklast,

inputs, outputs of effecten tot ratio-indicatoren van efficiëntie en

effectiviteit. Het zijn deze laatste types van prestatiemetingen die het

grootste inzicht verschaffen in de performantie van het overheidsoptreden.

In het tweede hoofdstuk bespreken we kort het belang van beide metingen,

waarbij we de moeilijkheden voor een effectiviteitsmeting benadrukken.

15

Na een korte discussie over de specifieke karakteristieken van de publieke

sector (in vergelijking met de privésector) en de hieruit voortkomende

beperkingen voor prestatiemetingen, gaat het vierde hoofdstuk uitgebreid in

op de verschillende methodologieën en technieken die in de literatuur en in

de praktijk omtrent efficiëntiemetingen terug te vinden zijn. Hoewel

overheden voor het beoordelen van efficiëntie typisch gebruik maken van

enkelvoudige ratio-indicatoren om efficiëntiemaatstaven te ontwikkelen,

zijn methoden die meerdere inputs en outputs incorporeren meer

aangewezen om te efficiëntie van publieke sector organisaties te

analyseren. We maken in ons overzicht daarom een onderscheid tussen

gedeeltelijke en globale efficiëntiemetingen. Een groot deel van onze

aandacht zal hierbij gaan naar grensmethoden voor het meten van de

globale efficiëntie van overheidsentiteiten, aangezien dit type van

methodologieën algemeen beschouwd wordt als de meest toereikende

methode om de efficiëntie te analyseren. Zowel parametrische als niet-

parametrische grenstechnieken zullen worden toegelicht en grafisch

geïllustreerd. Vervolgens biedt een kort vijfde hoofdstuk een inzicht in het

empirisch gebruik van de verschillende meetmethodologieën voor het

analyseren van de efficiëntie in lokale besturen, zowel in de literatuur als in

de beleidspraktijk.

Het laatste hoofdstuk van dit onderzoeksrapport gaat dieper in op de

datavereisten voor efficiëntiemetingen. De kwaliteit van de hiervoor

gebruikte gegevens is van essentieel belang, aangezien onvolkomenheden in

de gegevens en de modellering direct tot uiting komt in de gemeten

efficiëntie van organisaties. We bespreken de verschillende types van input-

en outputgegevens die idealiter verzameld dienen te worden bij

doelmatigheidsanalyses, en we formuleren enkele aandachtspunten omtrent

deze datacollectie. Zo benadrukken we het belang van kwalitatieve

informatie die, naast de veelal kwantitatieve gegevens, beschikbaar zou

moeten komen. Ook de relevantie van informatie over omgevingsfactoren

komt aan bod. Tot slot geven we een overzicht van mogelijke

gegevensbronnen, en bevelen we aan om de procedures van

dataverzameling te voorzien van een audittraject.

17

1. Een inleiding tot prestatiemeting

De aandacht voor een performante overheid, en de interesse in methoden

en technieken om deze performantie te meten en te verbeteren, zijn niet

nieuw. Meer bepaald is er in de afgelopen decennia een toenemende

belangstelling waar te nemen voor prestatiemeting in de publieke sector (de

Lancer Julnes & Holzer, 2008). Zo ook voor wat betreft de lokale

overheden. Gemeenten streven naar betere dienstverlening voor hun

burgers en bedrijven, en meer en meer van deze lokale besturen

beschouwen prestatiebeoordeling als een essentieel instrument voor deze

inspanning (Ammons, 1995).

> 1.1. Doel van prestatiemeting

Prestatiemetingen zijn dus cruciale, maar slechts louter instrumenten voor

overheden en zijn bijgevolg beperkt in wat ze kunnen doen. Ze informeren,

ze schrijven geen oplossingen voor. Dit laatste blijft de taak voor managers

en analisten. Toch kunnen prestatiemetingen -wanneer ze op gepaste wijze

ontwikkeld, opgevolgd en gerapporteerd worden- de efficiëntie en de

effectiviteit van overheidsactiviteiten beïnvloeden, bijdragen tot een

verbeterd management, en de publieke perceptie op de overheid doen

wijzigen (Ammons, 1997). Prestatiemeting is met andere woorden geen doel

op zichzelf, maar een middel om het doel (o.m. verantwoording naar

burgers/cliënten, en een meer efficiënte en effectieve overheidswerking) te

bereiken (de Lancer Julnes & Holzer, 2008). Moore et al. (2005) geven

daarbij aan dat prestatiemeting in de overheid grotendeels gericht is naar

drie voorname actoren:

(1) verkozen politici, die een raamwerk ter beschikking willen hebben

om de publieke sector activiteiten te evalueren;

(2) overheidsmanagers, die hun performantie willen verbeteren en die

prestatiemetingen kunnen gebruiken om de nodige management-

beslissingen te nemen; en

(3) burgers, die willen weten of de publieke dienstverlening werkelijk

opbrengt.

Om van betekenis te zijn voor beslissingsnemers of interessant te zijn voor

het publiek, moeten prestatiemetingen uiteraard in een relevante context

18

geplaatst worden. Prestaties dienen met andere woorden gemeten

(„gebenchmarkt‟) te worden ten opzichte van een betekenisvol uitgangspunt

(Ammons, 1997). Algemeen kunnen we twee wijzen van „benchmarking‟

onderscheiden. Enerzijds kan een overheidsentiteit haar prestaties meten

relatief tegenover de eigen prestaties in het verleden (dus vergelijken in de

tijd), anderzijds tegenover relevante standaarden of prestaties van andere,

gelijkaardige organisaties (dus vergelijken in de ruimte) (Berg, 2010). Beide

zijn nuttig en noodzakelijk. Prestaties van verschillende entiteiten in

vergelijkbare situaties tegenover elkaar uitzetten, laat immers toe te

beoordelen hoe goed (of minder goed) organisaties het doen ten opzichte

van de best presterende organisaties (Afonso & Fernandes, 2006). Zo

ontstaan relatieve rangschikkingen die waardevolle informatie bevatten

voor de beleidsmakers, de organisaties en de cliënten. Echter, aangezien de

zwakste presteerder in een bepaalde groep van vergelijkbare organisaties

misschien betere prestaties levert dan de beste entiteit in een andere

groep, zijn ook absolute vergelijkingen noodzakelijk. Organisaties willen

bijvoorbeeld weten of ze daadwerkelijk beneden hun mogelijkheden

presteren. Prestaties meten tegenover een relevante standaard kan hiervoor

een aangewezen instrument zijn. Ten slotte dienen prestaties ook gemeten

te worden overheen de tijd, zodat de organisaties kunnen beoordelen of hun

performantie in stijgende lijn gaat (Berg, 2010).

Bij prestatiebeoordelingen dient de gebruikelijke financiële rapportering

gekoppeld te worden met betekenisvolle informatie over de geleverde

diensten, waaronder -bijvoorbeeld- informatie over kwantiteit en kwaliteit

van de diensten, de efficiëntie van de dienstverlening en de bereikte

resultaten. Een systematische prestatiebeoordeling vereist daarom

nauwkeurige metingen van verschillende componenten van wat algemeen

onder prestaties (performantie) begrepen wordt. Verschillende soorten

prestatiemetingen zijn hierbij te onderscheiden.

> 1.2. Soorten prestatiemetingen

Zoals vermeld hangt een goede prestatiebeoordeling sterk af van accurate

prestatiemetingen. Het ontwikkelen van een geschikte set van

prestatiemaatstaven is echter geen eenvoudige opdracht (Ammons, 1995).

Prestatiemetingen kunnen immers allerhande vormen en gedaanten

aannemen, die elk een ander aspect van het productie- of transformatie-

proces van een organisatie of een dienst meten. Doorheen de jaren zijn er

19

vele categorieën van prestatiemetingen geformuleerd, en pogingen om

verschillende types van prestatiemetingen te identificeren eindigen soms in

lange lijsten met daarin ook maatstaven die slechts indirect (of zelfs

helemaal niet) de prestaties beoordelen (Ammons, 2001).

> 1.2.1. Enkelvoudige maatstaven

Ten eerste bestaat een set van prestatiemetingen uit enkelvoudige

indicatoren die een soort basis vormen voor de meer geschikte prestatie-

indicatoren (Holzer et al., 2006):

Werklast: indicatoren voor de hoeveelheid werk die verricht moet

worden, zoals het aantal meter voet- en fietspaden dat

schoongemaakt moet worden, of het aantal paspoorten dat

uitgereikt moet worden.

Inputs: indicatoren van de ingezette middelen, zoals gebudget-

teerde euro‟s2, VTE‟s, arbeidstijd, en soms zelfs eenheden energie.

Outputs: indicatoren voor het gerealiseerde werk, zoals het aantal

meters geveegde paden of het aantal uitgereikte paspoorten.

Exogene of verklarende variabelen: factoren die het werkproces

beïnvloeden maar er geen deel van uitmaken, zoals de scholings-

graad van de bevolking of het aantal dagen sneeuw.

Effecten: het resultaat van de publieke dienstverlening, zoals

netheid van de straten of wachtlijsten voor sociale huisvesting.

Een eenvoudig model van dienstverlening beschouwt de werklast als de

hoeveelheid werk die moet gedaan worden, dewelke een variabele is die

bepaald wordt door externe condities of door de te bedienen bevolking. De

ingezette middelen worden bepaald door uitvoerende politici of door

hooggeplaatste managers. Outputs worden beïnvloed door deze

inputbeslissingen, door de effectiviteit van het operationele management

en door de productiviteit van de werknemers. Effecten zijn het uiteindelijke

resultaat van alle andere types van indicatoren, inclusief factoren over

dewelke de overheid geen rechtstreekse controle heeft, zoals werklast en

exogene variabelen.

2 Euro‟s als input worden beïnvloed door inflatie, en dienen door middel van een prijsindex

aangepast te worden tot “constante euro‟s” om een betere meting van efficiëntie of productiviteit (cfr. infra) te geven

20

> 1.2.2. Combinatie-indicatoren

Ten tweede worden ook indicatoren voor efficiëntie, effectiviteit en

productiviteit toegevoegd aan de set van prestatiemetingen, voortkomend

uit berekeningen op basis van de hierboven vermelde (enkelvoudige)

indicatoren. Deze combinatie-indicatoren vormen volgens Ammons (2001) de

kern van goede prestatiemetingen. Echte prestatiemetingen in lokale

besturen (en algemeen in de publieke sector) kunnen volgens de auteur

algemeen gecategoriseerd worden als een van de volgende vier types:

(1) Outputmetingen;

(2) Efficiëntiemetingen;

(3) Effectiviteitsmetingen;

(4) Productiviteitsmetingen.

Outputmetingen (wat dus nog een enkelvoudige indicator is) duiden, zoals

hierboven reeds vermeld, de hoeveelheid van het gepresteerde werk aan, of

de hoeveelheid van ontvangen diensten. Dit type van prestatiemeting wordt

doorgaans het meest uitgevoerd binnen overheidsorganisaties (Hatry, 1980).

Hoewel deze prestatie-informatie zeker waarde heeft, houden de

outputindicatoren op zichzelf eigenlijk geen prestatiemeting in. Ze zeggen

immers weinig of niets over de kwaliteit of de effectiviteit van prestaties,

net zo min als over de efficiëntie waarmee activiteiten uitgevoerd worden

(hiervoor dienen ze gerelateerd te worden aan de hoeveelheid van ingezette

middelen om deze output te bereiken) (Ammons, 2001). Uiteraard kan

informatie over de hoeveelheid werk dat verricht is wel gebruikt worden

voor interne managementdoeleinden, maar het gebruik van deze maatstaf

moet vermeden worden wanneer het slechts de verhoging van de werklast

wil aanmoedigen, ongeacht of dit nodig of betaalbaar is (Hatry, 1980), en

ongeacht de kwaliteit van de outputs. Wanneer mogelijk dienen bij

outputmetingen ook gebrekkige prestaties geïdentificeerd te worden en

mogen deze niet als output geteld worden. Zo zou bijvoorbeeld het foutief

of gebrekkig herstellen van een weg, waardoor de herstelling opnieuw dient

uitgevoerd te worden, resulteren in twee eenheden outputs, daar waar

slechts één ervan goed is uitgevoerd. Het is dus verkeerd om werknemers

aan te zetten tot sneller werken wanneer dit leidt tot werk dat slecht

uitgevoerd wordt. Omdat het vaak moeilijk is om gebrekkige outputs op te

sporen, worden effectiviteitsmetingen een belangrijke “kwaliteitscontrole”,

complementair aan de hierna volgende efficiëntiemetingen.

21

Efficiëntiemetingen worden algemeen gedefinieerd als input/output-

ratio‟s, en dus als de relatie tussen de hoeveelheid middelen of inputs die

aangewend worden voor het voortbrengen, produceren of het leveren van

diensten en de hoeveelheid gerealiseerde output. Typische efficiëntie-

metingen zijn eenheidskosten, maar kunnen ook andere vormen aannemen.

Eenheidskosten worden berekend door de totale kosten van een dienst of

een activiteit te delen door het aantal „geproduceerde‟ eenheden.

Bijvoorbeeld, wanneer 2.000 meter riolering door een gemeente wordt

aangelegd, met een totale kostprijs van deze werken van 100.000 euro, dan

is de eenheidskost van de gemeentelijke rioleringswerken 50 euro per meter

aangelegde riolering. Het omgekeerde van deze ratio, namelijk het aantal

eenheden delen door de aangewende middelen, geeft het aantal

geproduceerde eenheden per euro of per 1.000 euro weer en is eveneens

een efficiëntiemaatstaf (bv. 20 meter aangelegde riolering per 1.000 euro).

Andere vormen van efficiëntiemetingen beschrijven alternatieve types van

ingezette middelen (bv. voortgebrachte eenheden per arbeidsuur)3 of de

productie relatief ten opzichte van een efficiëntiestandaard (Ammons,

2001).

Effectiviteitsmetingen geven de mate weer waarin de vooropgestelde

doelstellingen bereikt worden (bijvoorbeeld of het vooraf beoogde aantal

weg te werken verkeersknelpunten ook werkelijk opgelost worden) of

weerspiegelen de impact, de klantentevredenheid en de kwaliteit van de

dienstverlening (bijvoorbeeld kwaliteitskarakteristieken zoals tijdigheid,

toegankelijkheid, beleefdheid en billijkheid met dewelke de diensten

verleend worden) (Hatry, 1980). Antwoordtijden en andere maatstaven met

betrekking tot de kwaliteit van diensten zijn slechts indirect gerelateerd

aan effectiviteit, maar worden toch typisch als een effectiviteitsmaatstaf

opgenomen (Ammons, 2001). Effectiviteitsmetingen zijn vaak de meest

moeilijke metingen om data voor te verzamelen, onder meer omdat de

effecten van prestaties ook beïnvloed worden door externe en/of

oncontroleerbare factoren (cfr. infra).

3Arbeidsuur is een veel gebruikte term om het equivalent aan te duiden van een uur werk

uitgevoerd door één werknemer of een combinatie van werknemers (bv. twee werknemers die elk een half uur besteden aan een bepaald project is eveneens één arbeidsuur). Manuren, wat vaak gebruikt wordt binnen lokale overheden, en stafuren zijn andere gelijkaardige termen.

22

Productiviteitsmetingen kennen een sterke link met efficiëntiemetingen,

maar worden in de literatuur niet op eenduidige wijze ingevuld. Enerzijds

beschouwt Hatry (1980) productiviteit als de ratio van output over input,

wat dus de omgekeerde ratio is dan “efficiëntie” of “eenheidskosten” die

de relatie van input over output meet. Bijvoorbeeld wanneer vijf manuren

resulteren in tien eenheden output, dan is de eenheidskost een half

arbeidsuur per eenheid output, en de productiviteit twee eenheden output

per uur. Anderzijds worden productiviteitsmetingen in de recente literatuur

beschreven als een combinatie van de dimensies van efficiëntie en

effectiviteit (Rosen, 1993; Ammons, 2001; de Lancer Julnes & Holzer, 2008).

Efficiëntie is in deze benadering de relatie tussen input- en

outputhoeveelheden, daar waar productiviteit ook de outputkwaliteit mee

in rekening brengt (Rosen, 1993). Om dit met een voorbeeld te illustreren,

kunnen we stellen dat “het aantal meter wegherstellingen per uur” de

efficiëntie weerspiegelt, “het percentage van degelijk herstelde meters

weg” de effectiviteit aangeeft, en “de eenheidskosten (of arbeidsuren) per

effectief herstelde meter weg” de productiviteit beschrijft. Zowel de kosten

(of arbeidsuren) van foutief herstelde meters, als de kosten van effectieve

herstellingen worden dus in de teller van de productiviteitsberekening

opgenomen, maar enkel goede herstellingen worden geteld in de noemer.

Op die manier wordt zowel efficiëntie als effectiviteit aangemoedigd bij het

herstellingspersoneel (Ammons, 2001).

> 1.3. Conclusie

We kunnen deze beknopte inleiding tot prestatiemeting besluiten met te

herhalen prestatiemetingen essentiële instrumenten zijn om de

performantie van overheden, en dus ook van lokale besturen, te beoordelen

en te vergelijken in de tijd en met andere, gelijkaardige organisaties.

Prestatiemetingen zijn in heel wat vormen terug te vinden, waarbij de

betekenisvolle waarde van loutere input-, werklast- of outputmetingen

beperkt is. Een veel groter inzicht in de performantie van het

overheidsoptreden wordt gewonnen uit de twee voornaamste categorieën

van prestatiemetingen: efficiëntie en effectiviteit.

23

2. Efficiëntie- versus effectiviteitsmeting

Efficiëntie en effectiviteit vormen zoals gezegd de twee belangrijkste types

van prestatiemeting. Efficiëntie is daarbij een eerder intern georiënteerde

vorm van prestatiemeting van de eigen activiteiten van een overheid (de

relatie tussen de ingezette middelen en de geleverde output), terwijl

effectiviteit een eerder extern perspectief is naar de impact van de

dienstverlening op de maatschappij (de relatie tussen de output en de

effecten) (Worthington & Dollery, 2000). Simpson (2009) wijst hierbij op een

mogelijke tegenstelling, in de zin dat -hoewel een efficiëntiemeting van de

dienstverlening zeker en vast interessant en nuttig is- de maatschappij zou

kunnen verkiezen dat de overheid meer diensten verleent of verbeteringen

in de kwaliteit van de diensten voorziet, zelfs wanneer dit leidt tot een

daling in de efficiëntie. Gelijkaardig kan een verhoging van de efficiëntie of

de productiviteit niet welkom zijn wanneer dit ten koste gaat van een

daling van de output van publieke dienstverlening. Ook Bouckaert et al.

(2003) geven aan dat efficiëntie op zich -hoewel zeker belangrijk- veelal

niet de drijfveer is voor openbare organisaties en niet de hoofdbekommernis

is van de burgers of klanten van de publieke dienstverlening. Bij hen bestaat

eerder een roep naar effectiviteit en kwaliteit.

Het zijn dus de effecten (bv. criminaliteitscijfers, netheid van de straten,

de economische toestand van de maatschappij) die de redenen vormen

waarom overheden produceren. Echter, het meten van effectiviteit is vaak

problematisch. Zo stelt Behn (2007: 17):

“De standaardslogan voor prestatiemeting luidt: Meet geen inputs.

Meet geen processen. Meet geen activiteiten. Meet geen outputs.

Meet enkel effecten. Spijtig genoeg is dit vaak moeilijk voor een

overheid. Soms zelfs onmogelijk.“

De moeilijkheid (of onmogelijkheid) om effecten te meten komt grotendeels

voort uit het feit dat de uiteindelijke impact van het overheidsoptreden niet

volledig onder de controle valt van de overheid. Effectiviteitsmetingen

vereisen met andere woorden dat er kan worden bepaald in welke mate de

effecten voortgebracht zijn door het overheidsoptreden en niet door

andere, externe factoren. Hiervoor dienen causale relaties geanalyseerd te

worden en moeten alle externe factoren die op enige manier deze relatie

24

zouden kunnen beïnvloeden, geïdentificeerd en gecontroleerd worden

(Jorge et al., 2006). Om die reden wordt in studies vaak het onderscheid

gemaakt tussen controleerbare en oncontroleerbare factoren om de

resultaten of effecten te verklaren. Controleerbare factoren zijn onder

meer managementsystemen en capaciteiten, terwijl factoren die buiten de

controle van een autoriteit vallen socio-economische, demografische en

omgevingsfactoren omvatten (Holzer et al., 2006). Pollitt (2000) besluit dan

ook dat effectiviteitsmetingen analyses met zich meebrengen over externe

effecten, buiten de organisatie, die zowel duur als methodologisch complex

kunnen zijn.

Bijgevolg is de strategie veelal om te vertrouwen op outputgegevens eerder

dan op data omtrent effecten (Behn, 2007), en dus in te zetten op

efficiëntiemetingen eerder dan op effectiviteit. Zulke efficiëntiemetingen

vereisen een vergelijking tussen organisationele inputs en outputs dewelke

beide veelal beschreven zijn (of beschreven kunnen worden) zonder veel

extern onderzoek of conceptuele barrières. Algemeen kunnen we dus stellen

dat het evalueren van de outputs en resultaten in de publieke sector,

hoewel niet zonder moeilijkheden, minder problematisch is dan het

beoordelen van de impact (effectiviteit) of kwaliteit (Pollitt, 2000).

Bovendien zijn cliënten van publieke dienstverlening, hoewel ze in de

eerste plaats belang hechten aan de kwaliteit en effecten van het

overheidsoptreden, eveneens bezorgd over de kosten en het goed spenderen

van de publieke middelen (belastingen) (Ammons, 1997). Tot slot is het

gebruik van data omtrent inputs en outputs van belang vanuit een intern

managementperspectief. Op die manier kunnen overheidsmanagers de

efficiëntie van hun optreden evalueren en verbeteren (i.e. door herallocatie

van middelen, door het aanpassen van processen of door het herzien van

budgetten trachten de verhouding tussen inputs en outputs te verlagen).

25

3. Publieke sector karakteristieken en

efficiëntie

Het is gebruikelijk om elke bespreking van publieke dienstverlening aan te

vatten met het benadrukken van de unieke karakteristieken ervan, meer

bepaald van de afwezigheid (of bijna afwezigheid) van een markt in haar

conventionele betekenis. Wanneer de efficiëntie van publieke entiteiten

berekend of gemeten wordt, dient er aandacht geschonken te worden aan

de specifieke karakteristieken van de publieke sector diensten (in

vergelijking met de private sector), en aan de hieruit voortkomende

beperkingen voor prestatiemetingen (en efficiëntiemetingen in het

bijzonder).

Een eerste beperking komt voort uit de werking van de publieke sector die

gekarakteriseerd wordt door meerdere criteria. Naast efficiëntie trachten

de publieke sector activiteiten ook andere doelstellingen te verwezenlijken,

en vaak bestaat er een trade-off tussen deze objectieven. Een voorbeeld

hiervan is hierboven reeds aangegeven, met de vaak aanwezige afweging

tussen efficiëntie en effectiviteit. Diverse en conflicterende doelstellingen

zijn aspecten die in rekening moeten gebracht worden bij elke beoordeling

van een overheidsbeleid, om op die manier overhaaste conclusies te

vermijden wanneer slecht één objectief -bijvoorbeeld efficiëntie-

onderzocht wordt. Naast het bestaan van meerdere doelstellingen verschilt

de publieke sector ook van de private sector omwille van de diversiteit van

„principalen‟ (politieke bestuurders, de overheidsmanagers, de cliënten en

het algemene publiek) die door de „agenten‟ (de ambtenaren) bediend

moeten worden (Pedraja-Chaparro et al., 2005).

Een tweede, belangrijke restrictie is dat publieke outputs vaak complex

en/of meervoudig zijn, waardoor ze niet altijd makkelijk te identificeren

zijn (Worthington & Dollery, 2000). Deze outputs worden bovendien niet

verhandeld in een markt, zodat het moeilijk is om deze outputs te meten. In

de private sector, waar goed functionerende en competitieve markten

aanwezig zijn, kunnen outputs gemeten en gewaardeerd worden door de

informatie over relatieve prijzen van goederen en diensten als gewichten te

gebruiken. In de publieke sector is deze prijsinformatie afwezig, waardoor

alternatieve methoden aangewend dienen te worden om outputs te meten,

26

bijvoorbeeld door de onderliggende activiteiten te beschouwen, relatieve

kosten als proxies voor de outputs te nemen (waardoor men echter reeds

dichter bij inputmeting dan bij outputmeting komt), of informatie van

relatieve waarderingen uit surveys te gebruiken (Simpson, 2009).

Ten slotte zijn er in de publieke sector ook geen toe- of uittredingsopties

zoals wel het geval is in competitieve markten. Dit heeft tot gevolg dat er

op zichzelf geen enkel evaluatiemechanisme of -procedure is die

inefficiënte producenten van publieke diensten afstraft of stopt, daar waar

de dreiging van faillissement in de private sector wel voor een tastbare

sanctie zorgt (Smith, 1996). Een efficiënte werking kan dus niet

gegarandeerd worden in de publieke sector, en zal bijgevolg afgedwongen

dienen te worden door interne (positieve of negatieve) drijfveren of

maatregelen (Pedraja-Chaparro et al., 2005).

In de afwezigheid van competitieve marktmechanismen binnen de openbare

sector, die de efficiëntiedruk hoog houden en organisaties aanzetten tot het

opsporen en aanpakken van inefficiënties, worden efficiëntie-indicatoren,

en zeker vergelijkende efficiëntiemetingen, als een belangrijk instrument

beschouwd bij het beoordelen van de publieke dienstverlening.

In wat volgt zullen we dieper ingaan op het meten van efficiëntie, waarbij

we eerst en vooral enkele types van efficiëntie onderscheiden, en

vervolgens uitgebreid ingaan op de verschillende methodologieën die

worden gehanteerd om de efficiëntie van en tussen organisaties in de

publieke sector te meten.

27

4. Methoden voor het meten van efficiëntie

Efficiëntie meten is geen eenvoudige taak. Pogingen hieromtrent bestaan

reeds minstens sinds de jaren 1920, met het werk van Ridley (1927) als een

vaak beschouwd startpunt. De laatste twee decennia is er echter een sterke

groei van de literatuur over dit onderwerp waar te nemen, wat een bewijs is

van de overweldigende interesse in het meten van prestaties en (zoals

blijkt) van het geloof dat prestatiemeting een verbetering in de

performantie van overheden met zich mee kan brengen (Holzer et al.,

2006).

De evaluatie van de efficiëntie van een organisatie komt voort uit de micro-

economische theorieën van productie, waarbij een productieproces

beschouwd wordt als de transformatie van inputs (arbeid, kapitaal, enz.) in

outputs en effecten. Efficiëntiemetingen beoordelen dus hoe activiteiten

van een organisatie middelen omzetten in directe outputs of in goederen en

diensten voor de cliënten of consumenten (Afonso & Fernandes, 2006).

> 4.1. Types van efficiëntie

Economisten hebben drie voorname metingen van efficiëntie4 ontwikkeld

(Worthington & Dollery, 2000). Ten eerste verwijst technische of

productieve efficiëntie naar het gebruik van productiemiddelen op de meest

technologisch efficiënte manier, wat dus betrekking heeft op de zuivere

ratio tussen inputs en outputs. Anders gezegd houdt technische efficiëntie

in dat een maximale output bereikt wordt met een gegeven set van inputs,

of omgekeerd dat een gegeven niveau van output gerealiseerd wordt met

een zo minimaal mogelijke set van inputs. Technische efficiëntie refereert

met andere woorden aan de afwezigheid van verspilling van de aangewende

middelen. In monetaire termen wordt technische efficiëntie ook vaak

kostenefficiëntie genoemd, wat dus betekent dat de organisatie een

bepaald niveau van output voortbrengt op de goedkoopst mogelijke wijze.

4 Er zijn in de wetenschappelijke literatuur tal van definities, soms afwijkend van elkaar, terug

te vinden omtrent de verschillende concepten van efficiëntie. We opteren in deze tekst voor de meest gangbare benaderingen van de onderscheiden termen, zonder in te gaan op de economische uitwerkingen van de aangegeven interpretaties.

28

Een tweede type van efficiëntie betreft allocatieve efficiëntie, wat verwijst

naar het inzetten van de optimale mix van middelen gegeven de waarde van

de middelen bij een gegeven opbrengst. Of omgekeerd: de optimale mix van

opbrengsten voortbrengen gegeven de waarde van de opbrengsten en bij

een bepaalde inzet van middelen (Coelli et al., 2005). Binnen een

overheidscontext gaat allocatieve efficiëntie ruwweg om de vraag of het

geld maatschappelijk goed besteed wordt, dus of het daar terecht komt

waar het de grootste bijdrage levert aan de bevordering van het publieke

belang (WRR, 2000). Met andere woorden, wanneer de output algemeen

(over alle individuen heen) behouden blijft tegen een lagere kostprijs, of

wanneer meer/betere output geleverd wordt tegen dezelfde of lagere

kosten, dan kan er gesproken worden van allocatieve efficiëntie, zelfs

wanneer een minderheid van individuen benadeeld wordt (HM Treasury,

2007). Voor overheden gaat het bijvoorbeeld over de verdeling van de

schaarse middelen tussen de verschillende beleidssectoren of -actoren.

Samen genomen bepalen technische efficiëntie en allocatieve efficiëntie de

graad van (totale) economische efficiëntie.

Ten derde, en in contrast met zowel allocatieve efficiëntie als technische

efficiëntie, is dynamische efficiëntie een veel minder afgelijnd concept.

Algemeen verwijst dynamische efficiëntie naar het economisch efficiënte

gebruik van schaarse middelen doorheen de tijd, en omvat het dus

allocatieve en technische efficiëntie in een intertemporele dimensie.

> 4.2. Types van efficiëntiemetingen

In het kader van efficiëntiemetingen bij lokale besturen, of bij

overheidsorganisaties in het algemeen, ligt de focus veelal op technische en

kostenefficiëntie. Om deze technische efficiëntie van overheden of

organisaties te meten, kunnen we enkele brede categorieën van metrische

methodologieën identificeren. Onderstaande figuur 1 biedt een overzicht

van de voornaamste methodologieën en concrete technieken die in de

literatuur omtrent efficiëntiemetingen terug te vinden zijn. In wat volgt

zullen we deze methodologieën en methoden op een beknopte wijze

bespreken, waarbij we de econometrische en statistische technieken kort

illustreren zonder de onderliggende wiskundige afleidingen en technische

details. Voor een meer technisch en uitgewerkt overzicht van de

verschillende methodologieën kan verwezen worden naar specialistische

literatuur, zoals onder meer Fried et al. (2008) en Coelli et al. (2005).

29

Figuur 1: Overzicht van methodologieën voor efficiëntiemetingen

Gedeeltelijke indicatoren

Partial indicators

METHODOLOGIEËN

voor

EFFICIËNTIEMETINGEN

Globale efficiëntiemetingen

Total Factor Productivity (TFP)

Indexmethoden Grensmethoden

Parametrische

technieken

Niet-parametrische

technieken

Stochastisc

Frontier Analysis

Deterministic

Frontier Analysis

Laspeyres

Index

Paasche

Index

Fischer

Index

Törnqvist

Index

Data Envelop-

ment Analysis

Free Disposal

Hull

30

> 4.3. Gedeeltelijke versus globale efficiëntiemeting

Om de efficiëntie te meten van verschillende (overheids)organisaties die

dezelfde publieke diensten leveren, zoals bijvoorbeeld lokale overheden in

Vlaanderen, kunnen twee alternatieve hoofdbenaderingen onderscheiden

worden, zoals bovenaan in figuur 1 te zien is. De eerste, vaak in de publieke

sector zelf gebruikte, benadering is om een set van prestatie-indicatoren te

ontwikkelen, i.e. gedeeltelijke metingen van bepaalde aspecten van de

performantie van een organisatie. De tweede categorie van methoden, die

het gebruik van statistische instrumenten vereist en voornamelijk in de

academische literatuur omtrent efficiëntiemetingen terug te vinden is,

heeft tot doel een algemene („total factor‟) index omtrent de efficiëntie

van de organisatie te ontwikkelen (Abbott & Wu, 2002; Pedraja-Chaparro et

al., 2005). De enorme opmars van de theoretische en empirische

beoordeling van efficiëntie die in de laatste 20 jaar waar te nemen valt,

situeert zich hoofdzakelijk in deze laatste categorie. Vooruitgang in

statistische methodologieën, een sterke toename in de datavoorziening en

een snelle beschikbaarheid van kwalitatieve software hebben allen

bijgedragen aan de sterk toenemende interesse in het onderwerp (Smith &

Street, 2005).

> 4.3.1. Gedeeltelijke efficiëntiemetingen (indicatoren)

Gedeeltelijke efficiëntiemetingen verwijzen naar het gebruik van (veelal

enkelvoudige) prestatie-indicatoren (PI‟s) om de efficiëntie van een

organisatie (of set van organisaties) in kaart te brengen. Zulke indicatoren

hebben als voordeel dat ze focussen op specifieke aspecten van

performantie (bijvoorbeeld op efficiëntie), dat ze relatief vlot te meten en

te valideren zijn, en dat ze makkelijk geïnterpreteerd kunnen worden.

Hierdoor zijn prestatie-indicatoren aan te bevelen vanuit het perspectief

van het organisationele management (bv. lokale managers in het geval van

lokale besturen) (Smith & Street, 2005).

Zulke partiële prestatie-indicatoren zijn met andere woorden essentiële

managementinstrumenten die de verantwoordings- en besluitvormings-

processen binnen besturen helpen ondersteunen (Jorge et al., 2006). Deze

meetbenadering vormt eveneens een waardevol startpunt om op een

relatief eenvoudige wijze vergelijkingen van prestaties uit te voeren, zowel

31

tussen organisaties (voor het identificeren van de goede en de slechte

presteerders) als in de tijd binnen dezelfde organisatie.

Vaak worden specifieke (enkelvoudige) kernindicatoren gecombineerd om

op die manier tot een „Overall Performance Indicator‟ (OPI) te komen,

veelal op basis van een gewogen gemiddelde van de kernindicatoren. Deze

samenvattende OPI kan vervolgens aangewend worden om de relatieve

prestaties van organisaties te communiceren naar een breed publiek.

Hoewel de componenten ervan makkelijk te begrijpen zijn, wordt bij het

bepalen van de gewichten die in de praktijk gebruikt worden om de OPI

samen te stellen vaak geen rekening gehouden met de prioriteiten tussen de

verschillende indicatoren. Meestal wordt een gelijk gewicht aan elke

indicator gegeven, zelfs wanneer de bijkomende kosten om een bepaalde

ratio te verbeteren erg hoog zouden zijn en de incrementele voordelen van

een verbeterde ratio erg laag (Berg, 2010).

Hoewel het gebruik van partiële prestatie-indicatoren voor het meten van

efficiëntie enkele sterktes heeft, zoals een betere toepasbaarheid en

leesbaarheid, ligt de grootste zwakte in de gedeeltelijkheid van de

metingen. Immers, algemeen maken gedeeltelijke efficiëntiemetingen

gebruik van single-input/single-output indicatoren, en vormen ze dus enkel

een indirecte of partiële indicatie van efficiëntie (Smith & Street, 2005).

Denk bijvoorbeeld, in het geval van lokale overheden, aan een

efficiëntiemeting bij de dienst „bevolking en burgerlijke stand‟ van een

gemeente, waarbij het aantal VTE‟s van de dienst de enige input uitmaakt,

en het totaal aantal uitgereikte paspoorten een enkele output weergeeft.

Echter, meer dan één indicator is typisch toepasbaar op een bepaalde

dienst. Zo kunnen single-input/single-output prestatie-indicatoren

toegepast worden op verschillende aspecten van de dienst (niet alleen

paspoorten uitreiken, ook registers bijwerken, administratie bijhouden,

formulieren afleveren, enz.). Dit type van meting geeft dus enkel een

gedeeltelijke beoordeling weer van de algemene performantie van de dienst

(Woodbury et al., 2003). Bovendien is het ook mogelijk dat inputs (in de

vorm van kosten) niet eenvoudigweg toegewezen kunnen worden aan

specifieke activiteiten, bijvoorbeeld wegens beperkingen van de data of in

de gehanteerde boekhoudmethoden.

Een bijkomend nadeel van partiële prestatiemetingen is dat er mogelijk

tegenstrijdige resultaten opduiken, afhankelijk van de keuze van de

32

indicatoren. Zo is het bijvoorbeeld mogelijk dat een organisatie goed scoort

voor een bepaalde meting, maar het slecht doet voor andere indicatoren.

Gelijkaardig kan een organisatie die goed scoort op alle metingen niet per

definitie bestempeld worden als de “meest efficiënte” speler (Berg, 2010).

Bovendien kan een gedeeltelijke maatstaf moeilijk de complexiteit van het

beslissingsproces of de reikwijdte van het geheel van activiteiten van een

entiteit weerspiegelen. Zelfs wanneer de individuele metingen

gecombineerd worden, gebruik makend van een bepaald systeem van

weging, zal de resulterende, samengestelde maatstaf uitermate arbitrair

blijven (Worthington & Dollery, 2000). Er is dus nood aan meer globale

vormen van efficiëntiemetingen.

> 4.3.2. Totale factor productiviteitsmetingen

Aangezien overheidsentiteiten multidimensionaal van aard zijn, met

meerdere inputs (zoals arbeid, kapitaal en andere) die ingezet worden voor

het produceren van meerdere outputs, is er naast het gebruik van

gedeeltelijke indicatoren ook nood aan methoden voor het berekenen van

prestatie-indicatoren die meerdere inputs en outputs omsluiten (Woodbury

et al., 2003). Daarom is het aan te bevelen om een bepaalde vorm van

globale efficiëntiemeting, ook wel totale factor productiviteit (TFP)-meting

genoemd, te gebruiken. Deze TFP-metingen meten de verandering in de

totale output gerelateerd aan de verandering van de gebruikte inputs (Ahn

& Abt, 2003). Op die manier wordt alle input- en output-informatie

gecombineerd in één enkele ratio van efficiëntie die tussen 0 (een compleet

inefficiënte organisatie) en 1 (een volledig efficiënte organisatie) ligt.

De voornaamste methoden die gebruikt worden om de globale efficiëntie te

meten, kunnen onderverdeeld worden in twee groepen, eveneens

weergegeven in bovenstaande figuur 1: prijsgebaseerde indexnummer-

methoden (PIN) en grensmethoden. Algemeen gesteld maken

indexmethoden gebruik van marktprijzen (wat voor de publieke sector een

hindernis kan zijn, zoals eerder werd aangegeven in paragraaf 3), terwijl

grensmethoden het specificeren van een productietechnologie en de

schatting van een productiegrens vereisen. Prijsgebaseerde indexnummer-

technieken hebben het voordeel dat ze gebruikt kunnen worden wanneer

slechts beperkte data beschikbaar is, bijvoorbeeld op sectorniveau, daar

waar grensmethoden meer gegevens vereisen, bijvoorbeeld organisationele

informatie (Coelli et al., 2005).

33

> 4.4. Prijsgebaseerde indexnummer (PIN)-methoden

De totale factor productiviteit (globale efficiëntie) kan beschouwd worden

als de ratio van een outputindex gedeeld door een inputindex. De

inputindex wordt daarbij algemeen gedefinieerd als een gewogen som van

alle inputs, de outputindex als een gewogen som van alle outputs. Met

andere woorden, wanneer er meer dan één input en/of één output is,

vereist de TFP-berekening dat er gewichten gespecificeerd worden om tot

geaggregeerde indices te kunnen komen.

Deze gewichten zijn veelal gebaseerd op informatie van de marktprijzen,

waardoor de gewichten bijgevolg overeenkomen met kostenaandelen in de

inputindex en opbrengstenaandelen in de outputindex (Coelli et al., 2003).

De hoeveelheid en de prijs worden daarbij geobserveerd in twee periodes t

en t+1. Verscheidene benaderingen kunnen gebruikt worden om een TFP-

index te construeren, dewelke kunnen leiden tot verschillende empirische

resultaten en interpretaties (Abbott & Wu, 2002). Veel gebruikte indices

zijn de Törnqvist-, Laspeyres-, Paasche- en Fischer-index. We verwijzen

naar Fried et al. (2008: 59-73) of Ahn en Abt (2003) voor een theoretisch

overzicht en empirische toepassing van deze indexnummermethoden.

Zoals reeds vermeld, worden indexnummermethoden gewoonlijk toegepast

wanneer er slechts data van één of enkele organisaties, of enkel gegevens

op sectorniveau, beschikbaar zijn. Echter, het grote probleem met deze

indices is dat ze veronderstellen dat er tal van informatie voorhanden is

over de marktprijzen, wat voor de publieke sector vaak niet het geval is

(cfr. supra). Bovendien kunnen PIN-methoden niet gebruikt worden om de

TFP te ontbinden in componenten, zoals technologische verandering en

technische efficiëntie (Coelli et al., 2003). Om deze redenen zijn

grensmethoden meer aangewezen voor efficiëntiemetingen in de publieke

sector

34

> 4.5. Grensmethoden

In hun pogingen om een meer globale efficiëntie (TFP) in reële organisaties

te meten, wordt in de traditionele (vaak economische en/of statistische)

productiviteitsliteratuur gebruik gemaakt van het construeren van

grensfuncties, die de relatie tussen de te meten fenomenen (outputs,

inputs, kosten, prijzen, enz.) beschrijven. Deze grensfuncties zijn veelal

transformatiefuncties („production possibility frontiers‟), productiefuncties

of kostenfuncties, die de optimale relatie tussen inputs en outputs van een

organisatie weergeven, en op die manier een relevante grens voor

efficiëntie kunnen uitmaken. Efficiëntiemetingen met behulp van

grensmethoden houden bijgevolg een vergelijking in tussen de werkelijke,

geobserveerde prestaties van een organisatie en de optimale, maximaal

bereikbare prestaties die gelegen zijn op deze efficiëntiegrens (Fried et al.,

2008).

Transformatiecurves geven dus de technisch mogelijke outputcombinaties

(i.e. maximaal mogelijke hoeveelheid output voor de verschillende

hoeveelheden input) aan dewelke door een organisatie geproduceerd

kunnen worden op elk moment in de tijd. Technische efficiëntie wordt dan

gedefinieerd als het in staat zijn om te produceren op de transformatie-

curve, voor een gegeven productietechnologie (Afonso & Fernandes, 2006).

Gelijkaardig aan transformatiefuncties wordt in de literatuur vaak ook naar

productiefuncties of kostenfuncties verwezen. Productiefuncties hebben

een analoge betekenis, maar incorporeren de inputprijzen bij het relateren

van de inputs en outputs van een productieproces. Kostenfuncties, ten

slotte, transformeren de kwantitatieve, fysieke informatie bij

productiecurves in monetaire termen.

Onderstaande figuur 2 geeft een voorbeeld weer van een dergelijke

productie- of transformatiecurve voor een ééndimensionale situatie, i.e.

met één input (x) en één output (y). De curve geeft, zoals gedefinieerd,

elke mogelijk produceerbare output y weer als functie van de ingezette

input x, en dit voor een gegeven productietechnologie T.

35

Figuur 2: Productie- of transformatiefunctie

Zoals vermeld vormt een transformantie-, productie- of kostenfunctie

meteen ook een grens van efficiëntie. Anders gesteld, wanneer een

organisatie er niet in slaagt een outputcombinatie voort te brengen op haar

transformatiecurve, en de door haar geproduceerde outputcombinatie

beneden deze grens valt, kan de organisatie als technisch inefficiënt

beschouwd worden. Wanneer een organisatie een combinatie van goederen

en/of diensten produceert op de transformatiecurve, maar deze niet

overeenkomt met de wil van haar klanten (in de privésector vaak uitgedrukt

in termen van bereidheid tot betalen), dan kan de organisatie allocatief

inefficiënt genoemd worden.

Alternatieve voorstellingen van de set van productiemogelijkheden zijn

mogelijk wanneer we een expliciet onderscheid maken tussen input- en

outputvectoren, om zo de set van productiemogelijkheden op te delen in

enerzijds de set van inputbenodigdheden (inputgeoriënteerde benadering)

en anderzijds de set van produceerbare output (outputgeoriënteerde

benadering). De set van inputbenodigdheden bevat alle inputcombinaties

die een bepaalde outputvector kunnen voortbrengen. Gelijkaardig omvat de

set van produceerbare output alle outputcombinaties die geproduceerd

kunnen worden met een bepaalde inputvector. Grafisch kan dit

weergegeven worden door onderstaande figuren (in een tweedimensionale

situatie). Figuur 3 illustreert de set van inputbenodigdheden (I) voor een

bepaalde outputvector y voor een situatie met twee inputs x1 en x2, gegeven

x

y

0

T

36

een bepaalde productietechnologie T. Dit resulteert in het gebied boven de

curve, wiskundig weergegeven door de functie IT(y).

Figuur 3: Set van inputbenodigdheden

Figuur 4 geeft de set van produceerbare output weer die gepaard gaat met

een gegeven inputvector x voor een situatie met twee outputs y1 en y2,

gegeven een bepaalde productietechnologie T (het gebied onder de curve,

OT(x)) (Cherchye, 2001).

Figuur 4: Set van produceerbare output

x1

x2

0

IT(y)

y1

y2

0

OT(x)

37

Zoals hierboven vermeld, houden grensmethoden (econometrische en

statistische technieken) voor het empirisch meten van efficiëntie van

organisaties de schatting in van een grensfunctie („frontier estimation‟), om

vervolgens de reële prestaties van organisaties uit te zetten tegenover deze

geïdealiseerde maatstaf. Om deze „best practice‟-grenzen te schatten

worden twee alternatieve categorieën van methodologieën gebruikt:

parametrische en niet-parametrische methoden. Het verschil tussen beide

ligt in de techniek die gebruikt wordt om de grens te beschrijven.

Binnen deze twee categorieën van benaderingen komen vier specifieke

grensmethoden naar voren, waarbij de twee eerste technieken van

parametrische aard zijn en gebruik maken van econometrische technieken,

en de twee laatste niet-parametrische methoden zijn die gebruik maken van

lineaire programmeringstechnieken:

DFA: Deterministic Frontier Approach

SFA: Stochastic Frontier Analysis

FDH: Free Disposal Hull5

DEA: Data Envelopment Analysis

In wat volgt gaan we dieper in op deze parametrische en niet-parametrische

benaderingen. Voor beide categorieën van methoden kan de gebruikte

dataset ofwel bestaan uit een groep van verschillende en vergelijkbare

organisaties (vaak aangeduid met de term „Decision Making Units‟ of

DMU‟s), ofwel uit een tijdreeks van observaties van dezelfde entiteit. In het

eerste geval geldt voor elk van de technieken de impliciete veronderstelling

dat de productieset dezelfde is voor alle eenheden. In het tweede geval

geldt de veronderstelling dat de productieset ongewijzigd blijft doorheen de

tijd (Pestieau, 2007).

5 In de literatuur zijn zowel „Free Disposal Hull‟ als „Free Disposable Hull‟ terug te vinden als

benaming voor de FDH-methode. In deze tekst opteren we voor het gebruik van de eerste term.

38

> 4.6. Parametrische methode

Parametrische efficiëntiemetingen trachten de efficiëntie van organisaties

in absolute termen te bepalen en uit te zetten ten opzichte van een

bepaalde standaard of grens van efficiëntie, met name de geïdealiseerde,

optimale productie- of kostenfunctie („frontier‟). Parametrische technieken

gaan daarbij uit van vooraf gespecificeerde productiefuncties (Cherchye,

2001). Anders gezegd wordt bij de parametrische benadering a priori een

functionele vorm van de grensfunctie bepaald met constante parameters die

geschat moeten worden. Efficiëntie wordt dan beoordeeld in relatie tot

deze functie en zal verschillen naargelang de gekozen functionele vorm van

de grens (Pedraja-Chaparro et al., 2005).

Binnen de parametrische methoden kan een onderscheid gemaakt worden

tussen een deterministische benadering (DFA) en een stochastische analyse

(SFA). Het verschil tussen beide technieken heeft te maken met het

incorporeren van onzekerheidsfactoren (externe factoren) bij het bepalen

van de efficiëntie van een organisatie, en dus met het beoordelen van de

mate waarin de afwijking van de efficiëntiegrens te wijten is aan

inefficiëntie in de organisatie, dan wel aan externe factoren of meetfouten.

> 4.6.1. Deterministic Frontier Approach (DFA)

De deterministische grensbenadering (DFA) is een econometrische,

parametrische techniek die veronderstelt dat elke afwijking van de

productiefunctie het resultaat is van inefficiëntie binnen de organisatie, wat

statistisch betekent dat inefficiënties begrepen liggen in een strikt

eenzijdige foutenterm. Echter, het is mogelijk dat de afwijking weg van de

gegeven efficiëntiegrens niet te wijten is aan inefficiëntie door de

organisatie in kwestie, maar eerder te maken heeft met externe factoren

die buiten haar controle valt (Worthington & Dollery, 2000). Dit heeft geleid

tot de ontwikkeling van de stochastische grensmethode.

> 4.6.2. Stochastic Frontier Analysis (SFA)

De stochastische grensmethode (SFA) tracht, in tegenstelling tot de

deterministische benadering, wel externe factoren in rekening te brengen

bij het schatten van de efficiëntie van een bepaalde (reële) organisatie. In

statistische termen gesteld, is de SFA-methode gebaseerd op een

39

samengesteld (tweeledig) foutenmodel dat toelaat om te differentiëren

tussen inefficiëntie en andere stochastische invloeden („ruis‟). Beide

foutentermen, inefficiëntie en „random error‟ (bijvoorbeeld externe

invloeden en meetfouten), worden daarbij als onafhankelijk beschouwd (De

Borger & Kerstens, 1996).

> 4.6.3. Grafisch

In onderstaande figuur 5 (Smith & Street, 2005) illustreren we de

parametrische grensbenadering, waarbij we het onderscheid kunnen

weergeven tussen de deterministische en de stochastische grensmethode. In

de figuur is een voorbeeld van een geschatte grens weergegeven voor deze

twee methoden vanuit een sterk vereenvoudigd en ééndimensionaal kader,

waarbij de set van onderzochte organisaties (DMU‟s) één input (x) inzetten

om één output (y) voort te brengen. Op die manier krijgen we een set van

observaties op een gegeven moment in de tijd, weergegeven door de punten

in de grafiek.

In de eerdere toepassingen van parametrische efficiëntieanalyse, via de

deterministische grensbenadering (DFA), werd de volledige afwijking van de

geschatte grens (i.e. productie- of kostenfunctie) beschouwd als zijnde het

gevolg van inefficiëntie (i.e. inefficiëntie zit vervat in een eenzijdige

foutenterm). Dit wordt geïllustreerd in figuur 5(a), waar observatie c als

maximaal efficiënt bevonden wordt door het statistische model en

vervolgens de grens (waarvan de functionele vorm a priori bepaald werd)

geschat wordt door de regressielijn zo te verschuiven dat ze doorheen de

volledig efficiënte observatie loopt. De inefficiëntie van de overige

organisaties kan gemeten worden door de verticale afstand tot de geschatte

grens, zoals weergegeven wordt voor observatie a.

Figuur 5(b) illustreert de principes onderliggend aan de stochastische

grensbenadering (SFA). Het valt op dat in deze benadering de grens niet

noodzakelijk doorheen de observatie loopt die het maximale niveau van

output produceert afhankelijk van de input (observatie c). Dit komt omdat

de stochastische grens geschat wordt met het in acht nemen van het feit

dat het verschil tussen de geobserveerde output en het niveau van output

dat voorspeld is door de verklarende variabelen voor een deel het gevolg

kan zijn van een willekeurige fout (i.e. een tweeledige foutenstructuur met

inefficiëntie enerzijds en „random error‟ anderzijds). Zoals in figuur 5(b)

40

weergegeven wordt, ligt observatie c boven de geschatte grens, een

uitkomst die te wijten is aan het toelaten van random fouten. Voor

observaties die beneden de grens liggen, is de afwijking het gevolg van

zowel inefficiëntie als willekeurige fouten, zoals wordt geïllustreerd voor

observatie a.

Figuur 5: Parametrische methode, DFA versus SFA

x

a

b

c d

inefficiëntie

y

(a) DFA

y

inefficiëntie

a

b

c d

fout

fout

x

(b) SFA

41

> 4.6.4. Beperkingen

Cherchye (2001) geeft aan dat de parametrische benadering van

efficiëntiemeting, hoewel theoretisch van grote waarde, enkele nadelen

heeft die de empirische toepassing ervan moeilijk maken. Zo zijn de vooraf

gespecificeerde productiefuncties gebaseerd op een aantal impliciete

assumpties, bijvoorbeeld omtrent de elasticiteit bij substitutie

(transformatie) tussen inputs (of tussen outputs). Bovendien kan de

parametrische benadering niet eenvoudig toegepast worden in de

gebruikelijke situaties waar meerdere inputs ingezet worden voor de

productie van meerdere outputs. Omwille van deze redenen worden veelal

niet-parametrische technieken gebruikt om efficiëntie te meten en te

analyseren in de reële context.

42

> 4.7. Niet-parametrische methode

Niet-parametrische meetbenaderingen maken gebruik van mathematische

programmeringstechnieken om op basis van een set van observaties (DMU‟s)

een omhullende curve (dus een grens) te construeren waartegenover de

efficiëntie van elke DMU wordt afgemeten. Niet-parametrische methoden

meten de efficiëntie van organisaties dus niet absoluut (zoals de

parametrische), maar schatten de efficiëntie relatief ten opzichte van

andere organisaties in dezelfde sector. In de context van efficiëntiemeting

in lokale besturen betekent dit dus dat een niet-parametrische meet-

methode de efficiëntie van een set van lokale besturen evalueert, waarbij

de efficiëntie van elke lokale overheid relatief ten opzichte van de andere,

gelijkaardige overheden in de set beoordeeld wordt. Voor elk niveau van

inputs worden een reeks van outputs gerealiseerd door verschillende

(gelijkaardige) organisaties. Aangezien organisaties niet identiek zijn, zullen

discrete reeksen van punten geobserveerd worden.

Om te bepalen hoe efficiënt een geobserveerd productiepunt (input-output

relatie) is, moet deze observatie vergeleken worden met een bepaalde

standaard. De meest gebruikelijke weg is daarbij om de beste prestaties die

werkelijk geleverd worden in de set van bestudeerde organisaties als

standaard te gaan gebruiken. Deze beste observaties vormen samen de

zogenoemde „referentieset‟ of efficiëntiegrens. Vervolgens wordt de

efficiëntie van de andere organisaties in de set vergeleken met de

geconstrueerde referentieset (Mayes et al., 1994). De efficiëntiegrens wordt

dus niet vooraf (a priori) bepaald zoals bij de parametrische methoden,

maar wordt geconstrueerd door alle efficiënte organisaties in de set van de

onderling vergeleken organisaties. Alle niet volledig efficiënte observaties

worden bijgevolg “omhult” door deze geconstrueerde grens.

Hoewel de niet-parametrische benadering, in tegenstelling tot de

parametrische methoden, niet a priori een functionele vorm voor de

efficiëntiegrens specificeert, zijn toch ook hier bepaalde assumpties vereist

over de structuur van de productietechnologie (i.e. transformatie van inputs

naar outputs) van de onderzochte organisatie. Deze assumpties zoals vrije

beschikbaarheid van inputs („free disposability‟), sterke beschikbaarheid

van outputs, convexiteit van de productieset en schaalopbrengsten zullen de

vorm van de grens bepalen en de alternatieve niet-parametrische

methoden van elkaar onderscheiden (Moesen et al., 1996). Deze niet-

43

paremetrische methoden zijn veelal deterministisch van aard, waarbij dus

de volledige afwijking van de grens toegeschreven wordt aan inefficiëntie.

In de literatuur worden twee niet-parametrische technieken voor

efficiëntiemeting onderscheiden, met name de Free Disposal Hull (FDH)-

methode en de Data Envelopment Analysis (DEA)-methode. Zoals hierboven

is vermeld, verschillen deze twee alternatieve technieken op basis van de

gemaakte assumpties over de productietechnologie, en bijgevolg in de mate

waarin de geconstrueerde referentieset (of geconstrueerde efficiëntiegrens)

de verschillende observaties omhult. In wat volgt zullen we de FDH- en de

DEA-methode beknopt theoretisch en grafisch toelichten. Voor een meer

uitgewerkte bespreking van deze niet-parametrische efficiëntiemeet-

methoden verwijzen we naar bijlage A.

> 4.7.1. Free Disposal Hull (FDH)

De Free Disposal Hull (FDH)-methode steunt enkel op de veronderstelling

dat de productietechnologie gekenmerkt wordt door een sterke

beschikbaarheid van outputs (men kan minder outputs produceren dan

technisch mogelijk met een bepaalde hoeveelheid inputs) en vrije

beschikbaarheid van inputs (men kan meer inputs gebruiken dan technisch

noodzakelijk om een bepaalde output te produceren) (Moesen et al., 1996).

Anders geformuleerd houden deze beschikbaarheidsassumpties („free

disposability‟) in dat een toename in inputs nooit resulteert in een daling in

outputs, en dat elke afname in outputs produceerbaar blijft met dezelfde

hoeveelheid inputs (De Borger & Kerstens, 1996). Gupta en Verhoeven

(2001: 437) stellen bijgevolg dat:

“de centrale stelling van FDH-analyse is […] dat een organisatie

relatief inefficiënt is wanneer een andere organisatie minder of

eenzelfde hoeveelheid input nodig heeft om meer of evenveel

output te genereren”.

Bij FDH wordt voor elke bestaande organisatie de efficiëntiescore bepaald

door middel van een vergelijking met de beste praktijk. Er wordt hierbij

alleen maar vergeleken met bestaande organisaties. Voor elke organisatie

wordt nagegaan of er bestaande organisaties zijn die met minder middelen

dezelfde prestaties realiseren (inputgerichte benadering) of met dezelfde

middelen meer output produceren (outputgerichte benadering). FDH

44

verschilt op dit punt van DEA en de parametrische benaderingen, bij welke

de vergelijking ook kan plaatsvinden met virtuele organisaties.

De studies van Depré en Bouckaert (o.a. Depré et al., 1990) naar de

efficiëntie van Vlaamse regionale steden in verschillende diensten

(bevolking en burgerlijke stand, groendienst, openbare bibliotheek en

stedelijk politiekorps) bieden een heldere illustratie van de toepassing van

deze FDH-techniek. Hoewel de auteurs de term FDH niet als dusdanig

gebruiken in de beschrijving van hun methodologie, maken ze in essentie

een FDH-analyse waarbij een dominante (i.e. efficiënte) set van steden

bepaald wordt die met dezelfde input meer diensten presteren of voor

hetzelfde volume van dienstverlening minder middelen nodig hebben dan de

andere (gedomineerde) steden.

> 4.7.2. Data Envelopment Analysis (DEA)

Data Envelopment Analysis (DEA) is vandaag de dag de dominante niet-

parametrische methode voor efficiëntiemetingen. Het model werd

ontwikkeld door Charnes, Cooper en Rhodes (1978), gebaseerd op eerder

werk van Farrell (1957). Sinds haar ontwikkeling is de DEA-methode

substantieel theoretisch uitgebouwd, en kende het een snelle groei in de

empirische toepassing ervan in diverse domeinen, niet in het minst in de

publieke sector.

De DEA-methodologie gaat in haar veronderstellingen omtrent de

productietechnologie verder dan enkel de beschikbaarheidsassumpties zoals

bij de FDH-techniek, en veronderstelt bijkomend een convexe

productiegrens. Convexiteit houdt in dat indien twee observaties mogelijk

zijn, al de lineaire combinaties die hiertussen liggen eveneens mogelijk zijn.

De term “envelopment” (wat “omhullen” betekent) komt voort uit het feit

dat deze convexe productiegrens de set van observaties omhult.

Het DEA-model past, net als de FDH-techniek, mathematische

programmeringstechnieken6 toe om de efficiëntie van een set van entiteiten

(DMU‟s) te vergelijken, waarbij deze vergelijking ook kan plaatsvinden met

6 We verwijzen nogmaals naar bijlage A voor een toelichting van het lineaire programmerings-

probleem dat opgelost dient te worden bij de DEA-efficiëntemeettechniek.

45

virtuele DMU‟s. De fundamentele assumptie achter DEA is dezelfde als bij

FDH: wanneer een bepaalde DMU (DMU-A) in staat is y(a) eenheden output

te produceren met x(a) inputs, dan zouden andere DMU‟s hetzelfde moeten

kunnen realiseren als ze efficiënt opereren. Gelijkaardig, als DMU-B y(b)

eenheden kan voortbrengen met x(b) inputs, moeten andere DMU‟s tot

dezelfde performantie in staat zijn. Het verschil tussen FDH en DEA is dat

bij deze laatste methode DMU‟s A, B en andere gecombineerd kunnen

worden om een samengestelde DMU te vormen met samengestelde inputs en

samengestelde outputs7. Aangezien deze gemengde DMU‟s niet werkelijk

bestaan, worden ze ook wel virtuele DMU‟s genoemd. Indien de virtuele

DMU beter presteert dan de reële DMU, omdat het ofwel meer output

produceert met dezelfde inputs, ofwel dezelfde output realiseert met

minder inputs, dan is de reële DMU inefficiënt. Wat DEA dus tracht te doen,

is het vaststellen van de “beste” virtuele DMU voor elke reële DMU. Dit

proces wordt uitgevoerd door het formuleren van een lineair programma.

Binnen de DEA-methodologie kan bijkomend een onderscheid gemaakt

worden tussen verschillende grenzen op basis van de schaalopbrengsten van

de productie (cfr. bijlage A). Schaalopbrengsten geven de mate aan waarin

de output van een organisatie stijgt (resp. daalt) relatief ten opzichte van

een stijging (resp. daling) van de inputs. Bij toenemende schaalopbrengsten

neemt de output meer dan evenredig toe met de stijging van alle

inputfactoren (bv. als de inputs toenemen met 10%, stijgt de output met

meer dan 10%). Gelijkaardig betekenen afnemende schaalopbrengsten dat

de output proportioneel minder sterk toeneemt dan de stijging van de

inputs.

Het oorspronkelijke DEA-model van Farell (1957) en Charnes et al. (1978)

gaat uit van constante schaalopbrengsten (CSR). Dit betekent dat de

verhouding tussen inputs en outputs dezelfde is voor eender welk niveau van

inputs of output, wat impliceert dat de grootte van de organisatie geen

invloed heeft op de het aantal inputs per eenheid output. Dit type van DEA

wordt aangeduid met de term DEA-F. De meest gangbare DEA-benadering

gaat echter uit van variabele schaalopbrengsten (VSR), meer bepaald eerst

7 Deze samengestelde DMU is de convexe combinatie van één of meer efficiënte DMU‟s, daar

waar bij FDH geen samengestelde DMU‟s worden geconstrueerd, en dus geen convexe grens bekomen wordt.

46

toenemende en daarna afnemende schaalopbrengsten (i.e. tot een bepaald

niveau van output stijgt de output proportioneel meer dan de inputs die

extra ingezet worden, daarna stijgt de output minder dan de toename van

de inputs). Dit type van DEA-benadering wordt aangeduid met de term DEA-

V. Tot slot gaat een derde DEA-type, aangeduid met DEA-CD, uit van niet-

toenemende schaalopbrengsten (Tulkens, 2006).

> 4.7.3. Grafisch

Om het onderscheid tussen de twee niet-parametrische methoden (i.e. de

FDH- en de DEA-methode) te illustreren, hebben we in figuur 6 de

geconstrueerde grenzen voor deze twee methoden weergegeven vanuit een

sterk vereenvoudigd en ééndimensionaal kader, waarbij de set van

onderzochte organisaties (DMU‟s) één input (x) inzetten om één output (y)

voort te brengen. Op die manier krijgen we een set van observaties op een

gegeven moment in de tijd, weergegeven door de punten in de grafiek.

Nemen we vervolgens -als voorbeeld- observatie d, dan kan elke observatie

die rechts en/of onder dit punt d is gelegen (i.e. meer input en dezelfde

output, zoals observatie k; dezelfde input en minder output, zoals

observatie l; of meer input en minder output, zoals punt m) gedefinieerd

worden als zijnde gedomineerd door observatie d.

Voor de niet-parametrische benaderingen wordt deze vergelijking

uitgevoerd voor elke observatie, de DMU‟s worden immers relatief ten

opzichte van elkaar onderzocht. Observaties die niet gedomineerd worden

door andere observaties, worden beschouwd als zijnde efficiënt en behoren

tot de grens van de referentieset (meer nog: de efficiënte observaties

construeren als het ware de grens die de overige observaties omhullen). Aan

de andere kant worden de observaties die gedomineerd worden, beschouwd

als inefficiënt. De FDH-methode stelt de minste assumpties voorop voor de

functionele vorm van de omhullende grens, wat grafisch leidt tot een

trapvormige grens in de input-output-ruimte. De DEA-methode veronderstelt

bijkomend een convexe productieset, waardoor de DEA-grens grafisch een

convexe omhulling van de trapvormige FDH-grens vormt.

Concreet voor figuur 6 stelt de trapvormige grens vertrekkende van punt a‟

tot g de FDH-grens voor. De punten a‟-a-b-d-f-g bepalen de grens voor DEA-

V, met toenemende schaalopbrengsten tot in punt b en vanaf dan

afnemende schaalopbrengsten. De punten 0-b-d-f-g maken de grens uit voor

47

DEA-CD, met niet-toenemende schaalopbrengsten (constante

schaalopbrengsten tot in punt b, daarna afnemende schaalopbrengsten). De

rechte uit 0 doorheen punt b tenslotte is de grens voor DEA-F, uitgaande van

constante schaalopbrengsten. Het is duidelijk dat de DEA-F-grens de meest

ruwe wijze is om de dataset te beschrijven, of te omhullen. De FDH-grens

daarentegen is de meest omhullende van de vier hierboven beschreven

grenzen. Dit is in essentie het gevolg van de afwezigheid van de

convexiteitsassumptie in de definitie van de FDH-set (Tulkens, 2006). De

keuze voor FDH, respectievelijk DEA, zal zich uiten in meer, respectievelijk

minder, efficiënt bevonden DMU‟s en hogere, respectievelijk lagere

efficiëntiemaatstaven (Moesen et al., 1996).

Figuur 6: Efficiëntiegrens, DEA versus FDH

Input- en output(in)efficiëntie worden dan bepaald door de ratio van de

afstand van de betreffende punten tot de grens over de afstand tot

respectievelijk de y-as (voor inputefficiëntie) en de x-as (voor

outputefficiëntie). Geïllustreerd voor observatie m, komt de inputefficiëntie

overeen met respectievelijk de ratio 0p/0s voor DEA-F-meting, 0q/os voor

DEA-CD- en DEA-V-metingen en 0r/0s voor FDH-meting.

y

x

k

m

l

a

b

c

d e

f g

a’ 0 s r q p

48

Wanneer we meerdere inputs en outputs in rekening brengen, kunnen we dit

enkel grafisch weergeven indien we werken in een tweedimensionale

situatie met gelijkblijvende outputniveaus (voor het visualiseren van

inputefficiëntie) of gelijkblijvende inputniveaus (voor het illustreren van

outputefficiëntie). Voor wat betreft de FDH- en DEA-techniek leidt een

grafische weergave in een tweedimensionale ruimte tot isokwanten zoals

weergegeven in onderstaande figuren, waarbij de volle lijnen een DEA-

grens8 en de stippellijn een FDH-grens weergeven.

Figuur 7 geeft dan voor alle entiteiten weer hoeveel inputs x1 en x2 nodig

zijn om hetzelfde outputniveau y voort te brengen, waarna een FDH- en

DEA-omhullende grens kan bepaald worden. De FDH-inputefficiëntie voor

een bepaalde DMU a wordt dan bepaald door de verhouding 0b/0a, de