Meten en operationaliseren van de concepten tevredenheid ... · Hoofdstuk 1 Inleiding Dit rapport...

62
KATHOLIEKE UNIVERSITEIT LEUVEN Meten en operationaliseren van de concepten tevredenheid met en vertrouwen in de overheid binnen de context van survey onderzoek Derde Rapport “Burgergericht Besturen: Kwaliteit en Vertrouwen in de Overheid" Dr. Jarl K. Kampen Prof dr. Bart Maddens Prof. dr. Geert Bouckaert Steven Van de Walle Katholieke Universiteit Leuven Instituut voor de Overheid E. Van Evenstraat 2A B-3000 Leuven Januari 2002 FACULTEIT SOCIALE WETENSCHAPPEN TEL: 0032 16 32 32 70 DEPARTEMENT POLITIEKE WETENSCHAPPEN FAX: 0032 16 32 32 67 E. VAN EVENSTRAAT 2 A - B-3000 LEUVEN - BELGIE E-mail: [email protected]

Transcript of Meten en operationaliseren van de concepten tevredenheid ... · Hoofdstuk 1 Inleiding Dit rapport...

KATHOLIEKE UNIVERSITEIT

LEUVEN

Meten en operationaliseren van de concepten tevredenheid met en vertrouwen in de overheid binnen de context van survey onderzoek Derde Rapport “Burgergericht Besturen: Kwaliteit en Vertrouwen in de Overheid"

Dr. Jarl K. Kampen Prof dr. Bart Maddens

Prof. dr. Geert Bouckaert Steven Van de Walle

Katholieke Universiteit Leuven

Instituut voor de Overheid E. Van Evenstraat 2A

B-3000 Leuven

Januari 2002

FACULTEIT SOCIALE WETENSCHAPPEN TEL: 0032 16 32 32 70 DEPARTEMENT POLITIEKE WETENSCHAPPEN FAX: 0032 16 32 32 67 E. VAN EVENSTRAAT 2 A - B-3000 LEUVEN - BELGIE E-mail: [email protected]

Inhoudsopgave

1 Inleiding 3

2 Methodologische aspecten van het survey onderzoek 52.1 Bedenkingen bij het surveyonderzoek . . . . . . . . . . . . . . . . . . . 52.2 Inhoud van de bevraging . . . . . . . . . . . . . . . . . . . . . . . . . . 72.3 Doelgroep en methode . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.3.1 Face-to-face enquetes . . . . . . . . . . . . . . . . . . . . . . . . 92.3.2 Telefoon-enquetes . . . . . . . . . . . . . . . . . . . . . . . . . 112.3.3 Post-enquetes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.3.4 Exit-bevraging . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.3.5 Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.3.6 Focusgroepen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.4 Opstellen van de vragenlijst . . . . . . . . . . . . . . . . . . . . . . . . 142.4.1 Vraagformulering . . . . . . . . . . . . . . . . . . . . . . . . . . 142.4.2 Vraagvolgorde . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.4.3 Open of gesloten vragen . . . . . . . . . . . . . . . . . . . . . . 152.4.4 Antwoordcategorieen . . . . . . . . . . . . . . . . . . . . . . . . 162.4.5 Een typologie van vragen . . . . . . . . . . . . . . . . . . . . . 18

2.5 Het aanmaken van het data-bestand . . . . . . . . . . . . . . . . . . . 202.6 Opsporen van bronnen van ruis . . . . . . . . . . . . . . . . . . . . . . 21

2.6.1 Aandachtspunten bij de opvolging van interviewers . . . . . . . 212.6.2 Corrigeren voor totale non-response: het wegen van data . . . 232.6.3 Corrigeren voor item non-response: data imputatie technieken 24

3 Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 273.1 De inhoud van enkele surveys . . . . . . . . . . . . . . . . . . . . . . . 28

3.1.1 De APS survey . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.1.2 Het ISPO verkiezingsonderzoek . . . . . . . . . . . . . . . . . . 323.1.3 De People’s Panel . . . . . . . . . . . . . . . . . . . . . . . . . 333.1.4 Citizens First . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

3.2 Drie bestuurskundige dimensies . . . . . . . . . . . . . . . . . . . . . . 353.2.1 Politiek−ambtelijk . . . . . . . . . . . . . . . . . . . . . . . . . 353.2.2 Locaal−centraal . . . . . . . . . . . . . . . . . . . . . . . . . . 383.2.3 Hardware−software . . . . . . . . . . . . . . . . . . . . . . . . 38

3.3 Indicatoren van tevredenheid . . . . . . . . . . . . . . . . . . . . . . . 393.3.1 Socio-demografische variabelen . . . . . . . . . . . . . . . . . . 393.3.2 Culturele en nationale identiteit . . . . . . . . . . . . . . . . . 413.3.3 Nationalisme en patriotisme . . . . . . . . . . . . . . . . . . . . 41

1

2 Meten en operationaliseren

3.3.4 Politicologische indicatoren . . . . . . . . . . . . . . . . . . . . 443.3.5 Sociologische indicatoren . . . . . . . . . . . . . . . . . . . . . 453.3.6 Direkte bevraging . . . . . . . . . . . . . . . . . . . . . . . . . 523.3.7 Sympathie-scores . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.4 Indicatoren van vertrouwen . . . . . . . . . . . . . . . . . . . . . . . . 523.4.1 Direkte bevraging . . . . . . . . . . . . . . . . . . . . . . . . . 523.4.2 Indirekte bevraging . . . . . . . . . . . . . . . . . . . . . . . . 533.4.3 Overige covariaten . . . . . . . . . . . . . . . . . . . . . . . . . 54

4 Besluit 57

Hoofdstuk 1

Inleiding

Dit rapport vormt de neerslag van de studie naar de adequaatheid van het surveyinstrument voor het meten van de concepten tevredenheid met en vertrouwen in deoverheid. Het rapport is de eerste stap gezet naar de concrete opstelling van de vra-genlijst van de burger survey af te nemen in het kader van het project BurgergerichtBestuur: Kwaliteit en Vertrouwen in de Overheid1, welke staat gepland voor afnamein april−juni 2002.

Het rapport valt in twee delen uiteen. In het eerste deel bespreken we methodo-logische aspecten van dergelijk onderzoek. We proberen hierbij een aanvulling tevormen op het Draaiboek ISPO-onderzoeken2 en de handleiding Kwaliteitsrichtlijnenbij het Uitvoeren van Surveyonderzoek3, waarbij we alleen ingaan op zaken die daarweinig of onvoldoende aan de orde komen. Dat betekent dat we niet ingaan op devraag hoe steekproeven te trekken, hoe adressenlijsten moeten worden opgesteld, hoerespondenten benaderd moeten worden, enz. Dit zijn allemaal zaken die in het voor-noemde en andere werken voldoende behandeld worden. Waar we wel op ingaan zijninhoudelijke aspecten van de vragenlijst, bv. vraagformulering en vraagvolgorde, hetgebruik van open en gesloten vragen, de keuze van het aantal antwoordcategorieen,enz.

In het tweede deel gaan we nader in op de operationalisering van de concepten tevre-denheid met en vertrouwen in de overheid. Literatuurstudie heeft duidelijk gemaaktdat met name het concept vertrouwen geen eenduidige definitie kent in de politicologi-sche literatuur4. We bespreken achtereenvolgens, drie bestuurskundige dimensies diebetrekking hebben op vertrouwen en tevredenheid, het verschil tussen vertrouwen entevredenheid, indicatoren van tevredenheid, en indicatoren van vertrouwen. In kadersgeven we telkens de vraagstellingen die corresponderen met de toetsing van de deelthe-orieen zoals voorgesteld in de respectievelijke paragrafen. Veel van die vraagstellingenen batterijen kunnen worden overgenomen uit eerder onderzoek, in het bijzonder deAPS surveys en de Belgische nationale verkiezingsstudie (BNV). We proberen telkenstot de meest concrete vraagformuleringen te komen. Vraagformulering heeft echtereen belangrijke invloed op de waargenomen kansverdeling van antwoorden. We kun-

1Programma Beleidsgericht Onderzoek, PBO 99B/1/142Cambre, 19993APS, 20024Bouckaert & Van de Walle, 2001

3

4 Meten en operationaliseren

nen dit nagaan door de verdelingskarakteristiek van twee vergelijkbare, maar nietidentieke vraagstellingen zoals gesteld in de APS en BNV van 1999 naast elkaar teleggen. We zien dan bijvoorbeeld dat de gerapporteerde niveau’s van vertrouwenin de regering verschillen tussen de twee surveys omdat in APS expliciet naar “denationale regering”, in BNV algemeen naar “de regering” wordt gevraagd5. In dekomende maanden moet onze onderzoeksgroep in een aantal gevallen nog studerenop dit onderwerp alvorens de definitieve vraagformuleringen te presenteren. Op dezeproblematiek komen we in het besluit van dit rapport terug.

5Kampen et al., 2001

Hoofdstuk 2

Methodologische aspectenvan het survey onderzoek

SOCRATES En kan dan de bedrieger in alle dingen bedriegen behalve in het rekenen,

en zou hij niet kunnen bedriegen bij het tellen?

HIPPIAS Waarachtig wel, hij kan dat ook bij de getallen

— Plato, De Kleine Hippias

2.1 Bedenkingen bij het surveyonderzoek

De sociaal wetenschapper heeft weinig middelen om theorie aan de praktijk te toet-sen. Een van de belangrijkste instrumenten om empirie te verzamelen is het survey-onderzoek. Surveyonderzoek wordt echter evenvaak verguisd als geprezen. De pro-blemen zijn legio. We noemen maar eens paar1: twijfels aan de representativiteitvan de steekproef; totale en partiele non-response; interviewer-effecten; de invloedvan context, formulering en volgorde van vragen; de zg. “ja-zeggers” i.e. mensen diealle items positief beantwoorden; enz. Waarom dan vasthouden aan een instrumentwaarvan in het verleden herhaaldelijk is aangetoond dat hij misleidende resulten kanproduceren? Het antwoord is even eenvoudig als onbevredigend: er is geen alternatief.Tenzij men er vrede mee heeft een aantal decennia te wachten op een beschrijvingvan de hedendaagse sociologische stand van zaken bestaat de enige manier om relatiesvan attitudes in de actualiteit te onderzoeken d.m.v. het problematische survey- enopinie-onderzoek.

Surveyonderzoek leidt tot de verzameling van een groot aantal gedragsmetingen bijeen grote groep individuen. Het gemeten gedrag is het resultaat van een complexgeheel van achtergrond en stemming van de respondent en interacties met de inter-viewer dat uiteindelijk leidt tot het aankruisen of schrijven van een antwoord op eenvragenlijst. Deze beschouwing mag misschien wat al te klinisch zijn, maar op de keperbeschouwd is dat waar het op neer komt: aan het einde van een interview is de outputvan de onderneming een formulier waarop tekens zijn afgebeeld. Met de interpretatievan deze tekens hebben noch de respondent, noch de interviewer iets te maken: deze

1Billiet, 1993

5

6 Meten en operationaliseren

is de verantwoordelijkheid van de socioloog die met de cijfers, de “data” aan de slagzal gaan. Hier kan men twee soorten sociologen onderscheiden. Aan het ene uiteindestaan de sociologen die de antwoorden letterlijk nemen, de invloed van de interviewersnegeren en de steekproef als onproblematisch beschouwen2. En aan de andere kantstaan de sociologen die ten aanzien van al deze aspecten sceptisch staan. Leden vanbeide groepen hebben de neiging om het spreekwoordelijke kind met het badwaterweg te gooien: de eerste, aangezien zij conclusies verbinden aan vervuilde data – zijnemen de data te serieus; de tweede omdat zij integendeel, de data in het geheel nietserieus nemen. Het ligt voor de hand om een gulden middenweg te kiezen. Niettemin,in dit rapport ligt het zwaartepunt ook bij die aspecten waar het surveyonderzoek demist in kan gaan, niet waar zij verrassende en interessante inzichten kan opleveren.

We definieerden zoeven de praktijk van het interviewen in termen van gedrag. Ditsluit aan bij een belangrijke stroming in de psychologie, het zgn. behaviorisme3. Be-havioristen vatten alle cognitieve processen die kunnen voor komen bij mensen op intermen van gedrag, dat wil zeggen, in termen van het observeerbare. We nemen eensimpel voorbeeld. Beschouw de volgende twee items die in een attitude onderzoekaan de orde zijn gekomen4:

1. Ik woon graag in Groot-Lokeren

2. De plaatsing van kunstwerken [in Groot-Lokeren] is een goed alternatief

Nu zouden we kunnen aannemen dat respondenten die “volledig akkoord” hebbenaangekruist op beide vragen ook in werkelijkheid graag in Groot-Lokeren wonen enblij zijn met de kunstwerken; en als disproportioneel veel respondenten die graag inGroot-Lokeren wonen ook de plaatsing van kunstwerken een goed initiatief vinden,zeggen dat er graag wonen en blij zijn met kunstwerken samenhangen of zelfs meer, dathet graag in Lokeren wonen wordt veroorzaakt door de waardering van kunstwerken.In de behavioristische zienswijze wordt de grens getrokken bij de laatste aannamevan causaliteit, en wordt slechts geconstateerd dat het aankruisen van het antwoord“volledig akkoord” op item 1 vaak samengaat met het aankruisen van het antwoord“volledig akkoord” op item 2. In dit geval zal er weinig dispuut bestaan of dat de juistezienswijze is. Neteliger wordt het wanneer bijvoorbeeld partijkeuze in verband wordtgebracht met ethnisch vooroordeel; hier wordt een causale relatie snel gepostuleerdterwijl de aard van de data, interviewvragen in een survey, dezelfde is. Met name derichting van causaliteit kan op statistische gronden moeilijk kan worden aangetoond5,en is vrijwel altijd gebaseerd op consensus. Bijvoorbeeld, stemt iemand Vlaams Blokvanwege zijn/haar etnisch vooroordeel of maakt de propaganda van het Vlaams Blokzijn kiezers bevooroordeelder? Het moet duidelijk zijn dat survey-data geen “koelecijfers” zijn maar dat zij vatbaar zijn voor interpretatie. Of, om Billiet (1993: 58) teciteren:

De ‘werkelijke’ waarden of de ‘ware’ antwoorden zijn immers geen objectieve en externefeiten buiten de geest van de onderzoeker. ... Daarom is geldigheid aantonen niet alleeneen kwestie van technische operaties en procedures maar evenzeer van de creatievegeest.

2Schuman, 1982; zie Billiet, 1993: 233Bechtel, 1988: 794Bevolkingsenquete Lokeren; zie Bouckaert et al., 20015Kampen, 2001; Tacq, 1987

Methodologische aspecten van het survey onderzoek 7

De socioloog en de psycholoog zijn het beste toegerust om die geldigheid aan te tonen,maar zijn juist door die toerusting, en ik refereer hier aan Plato, ook in staat tot degrootste misleidingen.

2.2 Inhoud van de bevraging

Elke bevraging heeft uiteraard een doel, en het doel bepaalt de inhoud van de bevra-ging. Surveys kunnen drie doelen dienen: het beschrijven, vergelijken, of verklarenvan kennis, attitudes en/of gedrag6. In veel gevallen bestaat een bevraging uit eenaantal luiken. Een tevredenheidsbevraging is bv. vaak te verdelen in een luik in-houdelijke dienstverlening (output) en een luik proces van dienstverlening7. Binnenelk luik wordt vervolgens een batterij vragen met betrekking op het daar te behan-delen onderwerp gesteld. Er is natuurlijk een beperking aan het aantal luiken datin een bevraging aan de orde kan komen. Op de eerste plaats omdat niet van derespondent kan worden verwacht een inspanning te doen die te veel van zijn/haartijd vergt. Op de tweede plaats omdat lange interviews meer kosten en zodoende aanbudgetaire beperkingen onderhavig zijn: als de interviews lang duren zal het aantalrespondenten dat bevraagd kan worden beperkt zijn. Er is met andere woorden eentrade-off tussen de lengte van het interview en de grootte van de steekproef.

Een onderscheid dat moet worden gemaakt bij het doel van een bevraging is of hetgaat om exploratief of confirmatief onderzoek. Bij exploratief onderzoek heeft de on-derzoeker geen vooraf opgestelde hypothesen die middels de empirische data zullenworden getoetst, en worden de gegevens louter voor beschrijvende doeleinden ge-bruikt; bij confirmatief onderzoek beschikt de onderzoeker over een aantal duidelijkeonderzoeksdoelen in de vorm van de toetsing van hypotheses, in de meeste gevallenrelaties tussen verschillende attitudes van respondenten. Een confirmatief onderzoekkan bijvoorbeeld de toetsing inhouden of bepaalde beleidsmaatregelen tot de gewen-ste resultaten hebben geleid (zgn. evaluatieonderzoek8). Confirmatieve onderzoekenleiden over het algemeen tot nauwkeurig geformuleerde vraagstellingen die met eenkort, meestal gesloten antwoord kunnen worden beantwoord, terwijl bij exploratiefonderzoek open vragen een grotere rol spelen.

De inhoud van de bevraging kan goed worden opgesteld wanneer men een accuraatbeeld heeft van de inhoud van het rapport dat de uiteindelijke neerslag vormt van desurvey. Ook hier spelen de drie mogelijke doelen de hoofdrol: wil men beschrijvenen/of vergelijken (exploratief) of wil men verklaren (confirmatief). Er moet wordengeanticipeerd op de statistische analyses die op de data zullen worden uitgevoerd.Een vragenlijst die wordt opgesteld zonder in het achterhoofd te hebben hoe de datauiteindelijk zullen worden geanalyseerd kan alleen maar leiden tot moeilijkheden. Zomoeten er bijvoorbeeld mogelijkheden zijn om de validiteit van de gebruikte items tetoetsen. Met validiteit van een item wordt bedoeld of een item datgene meet wathet bedoeld was te meten. Er worden vier vormen van validiteit in de literatuuronderscheiden9:

6Fink, 1995: 17Bouckaert et al., 2001: 17-198Cronbach, 19829Litwin, 1995: 35

8 Meten en operationaliseren

− face validity of validiteit op het gezicht, bepaald door een groep respondenten,collega’s, vrienden en/of familie de items te laten beoordelen

− content validity of validiteit van inhoud, bepaald door experts de inhoud te latenbeoordelen

− criterion validity of validiteit op criterium, onderverdeeld in

– concurrent validity of concurrente validiteit, bepaald door het item tevergelijken met items die hebben bewezen een zeker kenmerk te meten(gouden standaard)

– predictive validity of voorspelvaliditeit, bepaald door de mate waarin hetitem gerelateerde kenmerken kan voorspellen

− construct validity of validiteit van het construct of begrip, onderverdeeld in

– convergente validiteit i.e. de mate waarin het item overeenkomt met andereitems die hetzelfde construct worden geacht te meten

– divergente validiteit i.e. de mate waarin het item afwijkt van items dieworden geacht verschillende constructen te meten

Het verschil tussen concurrente en convergente validiteit lijkt nogal subtiel, en heeftte maken met de tijdschaal waarin de validiteit wordt bepaald: items met conver-gente validiteit hebben bewezen over lange periode validiteit te bezitten10. Bij hetopstellen van de vragenlijst spelen met name concurrente en predictieve validiteit eenrol, doordat men dergelijke items in de vragenbatterij van een bepaald luik dient op tenemen. Tegenwoordig neemt schaalconstructie een tamelijk centrale plaats in bij hetopstellen van vragenlijsten. Bij schaalconstructie wordt een batterij items die vrijwelhetzelfde construct meten (bv. tevredenheid) gebruikt om een schaal te berekenen dieeen algemene score oplevert voor de respondent op dat construct of “latente” trek (ziehoofdstuk 3). De latente schaal wordt geacht een hogere validiteit te bezitten dan deindividuele items.

Als de onderzoeker de inhoud van de bevraging heeft opgesteld in termen van luikendan kan hij beginnen aan het werkelijk formuleren van de items. Daarover gaat dederde paragraaf van dit hoofdstuk. In de volgende paragraaf gaan we eerst in op derelatie tussen de methode van de survey (bv. face-to-face, post) en de doelgroep vanhet onderzoek. In de laatste paragraaf geven we een aantal overwegingen die kunnenhelpen bij het trainen en motiveren van de zwakste schakel in het surveyonderzoek:de interviewers.

2.3 Doelgroep en methode

De steekproef waarin een survey wordt afgenomen is uiteindelijk bepalend voor degeneraliseerbaarheid van de gevonden resultaten. Klassiek worden twee populatiesonderscheiden: de target of doelpopulatie en de steekproefpopulatie. De methodevan het surveyonderzoek en het register dat wordt gebruikt om de steekproef tetrekken spelen een doorslaggevende rol. Van sommige doelgroepen zijn eenvoudiggeen registers beschikbaar, en bij de bevraging van specifieke doelgroepen (illegalen,

10idem

Methodologische aspecten van het survey onderzoek 9

alcoholverslaafden, homoseksuelen, Vlaamse Brusselaars) dient men dus inventief tezijn en op grond van alle beschikbare kennis een selectie van respondenten te maken.Zo’n selectie heeft echter nooit het gerandomiseerd karakter van een steekproef uithet Rijksregister, en inferentiele statistiek dient daarom met de nodige kantekeningente worden geınterpreteerd.

Bepaalde methodes zijn inherent ongeschikt voor het bereiken van sommige doel-groepen en -populaties. Resultaten van telefonische enquetes bijvoorbeeld, zijn opzijn best generaliseerbaar naar alle bezitters van telefoons, en bestrijken dus een deel-groep van de totale Vlaamse populatie. En wanneer bv. een onderzoek naar kansarmenin de samenleving wordt gedaan is de post-enquete ongeschikt omdat kansarmen on-voldoende geletterd en gemotiveerd zijn om een dergelijke vragenlijst in te vullen. Webespreken achtereenvolgens de face-to-face, post, telefoon, exit en internet enquete −en tevens een gerelateerde techniek: het focusgroepenonderzoek.

2.3.1 Face-to-face enquetes

De meest conventionele manier om enquetes af te nemen is in de interviewsettingwaar een interviewer vragen stelt aan een respondent die wordt geacht ze te beant-woorden. De interviewer of enqueteur stuurt het gesprek en zorgt ervoor dat metminimale (verbale) middelen een maximum aan informatie aan de respondent wordtonttrokken. De interviewer heeft daarmee een niet verwaarloosbare invloed op degedragsmeting van de respondent. Aan de andere kant, interviews die zonder begelei-ding worden afgenomen (self-administered survey interviews) moeten het zonder demotivering, hulp en begeleiding van interviewers doen en staan bovendien bloot aanzelf-selectie11: respondenten in post-enquetes kunnen besluiten sommige items niette beantwoorden (item non-response), iets dat in face-to-face enquetes beter kan wor-den voorkomen door interventie van de interviewer. In vergelijking met telefonischeinterviews heeft het face-to-face interview het voordeel dat er geen beperkingen zijnaan de types en lengte van de gestelde vragen en dat visuele hulpmiddelen kunnenworden gebruikt12 (antwoordkaarten, illustraties, enz.).

Hoewel in principe het face-to-face interview de grootste dekking van de populatieheeft (zelfs thuislozen kunnen immers locaal worden benaderd) vormt geografischespreiding van respondenten − die de reiskosten van de interviewers bepaalt − hetbelangrijkste argument om te kiezen voor andere vormen van interviews, bv. doorde telefoon, via internet of per post. De keuze van de vorm van de enquete wordtbepaald door de karakteristieken van de doel-populatie. Figuur 1 geeft een illustratievan de dekking van de populatie per methode. Het zal duidelijk zijn dat afhankelijkvan de doel-populatie, die vaak een segment is van de totale populatie, voor an-dere methodes kan worden gekozen. Met name bevragingen in de commerciele sectorkunnen heel goed worden uitgevoerd met de telefonische enquete omdat mag wordenaangenomen dat koopkrachtige respondenten tevens over telefoon beschikken. Sociaalwetenschappelijk onderzoek bedient zich in de meeste gevallen beter van het face-to-face interview.

Non-response vormt in alle survey-onderzoek het grootste probleem in de kwaliteit

11Frey & Oishi, 1995: 312idem

10 Meten en operationaliseren

fig. 1 De dekking van methodes van survey-onderzoek

van de data. We onderscheiden twee soorten van non-response: totale en item non-response. De totale non-response is terug te brengen door toepassen van de zgn. TotalDesign methode13 (TDM). Deze methode stipt de volgende punten aan als belangrijk:

1. Beloon de respondent door

– verbale appreciatie te tonen

– zijn/haar waarden te steunen

– een tastbare beloning te geven (bv. cd- of boekenbonnen)

– de bevraging interessant te maken

2. Minimaliseer de kosten voor de respondent door

– de bevraging kort te houden

– de fysieke en mentale inspanning laag te houden

– geen schaamte op te wekken

– elke zweem van ondergeschiktheid van de respondent te elimineren

– elke concrete kost (bv. postzegels) te elimineren

3. Wek vertrouwen van de respondent door

– vooraf een gebaar van waardering te geven

– vertegenwoordigd te worden door een bekende en legitieme organisatie

Item non-response kan worden veroorzaakt door een onduidelijke verwoording van devraag, een te gevoelige inhoud van een vraag, een abusievelijk overslaan van het item,een foute notering van het antwoord door de interviewer en tenslotte door een omissiebij de data-entry i.e. invoer van de data in het data-bestand14. Op vraagverwoor-ding komen we terug in paragraaf 2.3. Het aanstippen van de confidentialiteit van degegevens van het interview kan helpen bij het krijgen van antwoorden op gevoeligekwesties (bv. partijkeuze). Soms worden ook complexe antwoordmethodes voorgesteldwaarbij het antwoord in een envelopje wordt gestoken of iets dergelijks; zulke metho-des leiden tot complicaties in de verwerking en met name de multivariate statistischeanalyse van de gegevens, en worden door ons afgeraden. Interviewertraining biedtuitkomst in die gevallen waar de item non-response is te wijten aan de interviewer(zie paragraaf 2.4). En training en controle van de data-typisten (vaak job-studenten)kan helpen bij het voorkomen van fouten bij de invoer.

13Dillman, 197814Frey & Oishi, 1995: 28

Methodologische aspecten van het survey onderzoek 11

2.3.2 Telefoon-enquetes

De telefoon-enquete wordt vaak met scepsis beschouwd en wordt gezien als het zwak-kere broertje van het face-to-face interview, volgens sommigen ten onrechte15. Bijhet telefonische interview wordt bespaard op de reiskosten van de interviewer, die bijafwezigheid van een respondent slechts op een ander tijdstip opnieuw hoeft te bellenin plaats van fysiek op het adres van de respondent aanwezig te zijn. Met betrekkingtot representativiteit is het probleem dat de populatie die bevraagd moet worden opde eerste plaats moet beschikken over telefoon en op de tweede plaats een traceerbaartelefoonnummer moet hebben (iets wat in de huidige GSM-cultuur niet evident is).Een voordeel van de telefonische enquete is dat de data direct in de computer kunnenworden ingevoerd, waarmee een kwetsbare fase, nl. de data-entry door derden, in hetdata-verwerkingsproces wordt overgeslagen.

2.3.3 Post-enquetes

Het belangrijkste kenmerk van post-enquetes is dat de respondenten niet wordengesuperviseerd bij het invullen van de vragenlijst. Er is m.a.w. geen invloed van deinterviewer, noch in positieve noch in negatieve zin. Het grote nadeel van enquetesper post is de hoge non-response. Indien respondenten slechts een keer worden be-naderd, en bv. geen herinneringsbrieven worden gestuurd of telefoontjes gepleegd, dankan de non-response oplopen tot meer dan 80%. Zelfs wanneer de post-enquete wordtvoorafgegaan door een aankondigingsbrief en wordt gevolgd door herinneringsactieszal de non-response (veel) lager zijn dan bij face-to-face en/of telefonische enquetes16.Om een voorbeeld dichtbij huis aan te halen, bij de Copernicus-enquete van 2000 wasde response slechts 9%17. Non-response kan worden teruggebracht tot aanvaardbareproporties door toepassen van TDM (zie paragraaf 2.2.1). Maar naast de non-responseis een ander nadeel van de post-enquete dat er geen enkele controle is of a) de vra-genlijst is ingevuld door de geadresseerde (en niet door een huisgenoot), b) of degeadresserde de vragen en impliciete denkschema’s begrijpt en c) of de respondentwerd “geassisteerd” bij het invullen van de lijst. Voor de hand ligt dat de gead-resseerde van een post-enquete moet kunnen lezen, zodat we naast rekening houdenmet analfabetisme, we de vragenlijst in de juiste taal moeten opstellen.

Het meest genoemde voordeel van de post-enquete is de lage prijs. Men moet ditechter genuanceerd beschouwen. Uiteraard zal het goedkoper zijn bij een vragenlijstwaarvan het invullen gauw een halfuur tot een uur duurt te besparen op de kosten vande interviewer. Maar als ook maar een deel van de 20% teruggestuurde vragenlijstenop ongeoorloofde manier is ingevuld (bv. omdat overleg werd gepleegd met vriendenen/of familie) dan zullen de data dusdanig vervuild zijn dat de bruikbaarheid van degegevens vrijwel tot nul is gereduceerd zodat de hele investering in feite weggegooidgeld is. Goedkoop is nu eenmaal vaak duurkoop. Bourque & Fielder (1995) noemendrie condities waaraan moet worden voldaan alvorens een post-enquete kan wordenoverwogen. Deze zijn

– De respondenten zijn geletterd en kunnen in principe alle vragen beantwoorden

15Dillman, 1978: 116Bourque & Fielder, 1995: 1517Bouckaert et al., 2001

12 Meten en operationaliseren

– De respondenten zijn gemotiveerd en geınteresseerd in de thematiek van debevraging

– Het onderwerp van de bevraging is vatbaar voor onderzoek

Met het laatste wordt bedoeld dat het onderwerp van de vragenlijst goed en conver-gent gedefinieerd is, dat de vragen het heden en niet het verleden en/of de toekomstbetreffen, dat de vragen zo zijn opgesteld dat iedereen in de steekproef ze zou moetenkunnen beantwoorden, en dat de studie eerder confirmatief dan exploratief is (zieparagraaf 2.1).

2.3.4 Exit-bevraging

Bij de exit-bevraging staan de interviewers letterlijk bij de uitgang van het bedrijf,supermarkt, of stemlokaal om de potentiele respondenten op te vangen. Dergelijkebevragingen zijn uitermate zinvol wanneer het juist om het verkrijgen van verkie-zingsdata gaat, omdat de respondent bij het verlaten van het stemlokaal op de eersteplaats de uitgebrachte stem(men) vers in het geheugen heeft en bovendien nog niet isbeınvloed door de informatie die de media in de loop van de dag over hem/haar zaluitstorten18. Ook wanneer respondenten pas een dienst hebben ontvangen, bijvoor-beeld een bus- of taxirit, een ziekenhuisconsult of een paspoort is de exit-bevraginghet meest aangewezen om accurate informatie omtrent de tevredenheid met de dienstte verkrijgen. In veel andere gevallen zijn exit-bevragingen minder geschikt, omdatdergelijke bevragingen kort moeten zijn: zo’n bevraging mag hooguit een minuut oftien duren.

Het gebruik van de exit-poll kwam recent in opspraak toen in 2000 pogingen wer-den gedaan om op grond van een exit-poll voortijdig de verkiezingsuitslag van delokale verkiezingen van 2000 te voorspellen19. Het liep daar grondig mis omdat werdvoorspeld dat het Vlaams Blok stemmen zou verliezen en de VLD enorm zou winnen.In werkelijkheid wonnen beide partijen, maar de VLD veel minder dan voorspeld.Het probleem was dat specifieke groepen weigeren mee te werken aan de bevraging20.Als gevolg hiervan zijn exit-polls, althans in Vlaanderen, ongeschikt om voorspellin-gen te doen maar ligt hun waarde in het beschrijven van veranderingen in de kie-zerskorpsen21. In zulke gevallen zal men de data wegen op een aantal kenmerken,met name leeftijd, geslacht en uiteraard partijkeuze (gebaseerd op de verkiezingsuit-slag), om op die manier a posteriori een enigszins representatieve steekproef van destemgerechtigde populatie te verkrijgen.

2.3.5 Internet

Een van de goedkoopste en snelste manieren om surveyonderzoek te doen is doorde vragenlijsten per internet aan te bieden. De doelgroep wordt daarmee natuurlijkzwaar beperkt: het zijn veelal jonge, hoogopgeleide mannen die bovendien compu-ters bedienen en affiniteit met het invullen van vragenlijsten hebben. Dat betekentdat de bruikbaarheid van de internet-enquete beperkt is tot professionele situaties,waar bijvoorbeeld personeelsleden van een institituut of bedrijf worden bevraagd. Er

18Swyngedouw, 200119De Standaard, 9 10 200020Billiet, 2000: 27721Swyngedouw et al., 1999

Methodologische aspecten van het survey onderzoek 13

zijn verschillende formats mogelijk. In de eenvoudigste vorm staat de vragenlijst opeen pagina op het internet (plain HTML forms) waarvan het adres in diverse me-dia (e-mail, kranten) kan worden geadverteerd. In de geavanceerde vorm bestaatde vragenlijst uit een serie van pagina’s, waarbij de vragen al naar gelang het ant-woordpatroon van de respondent in de loop van het interview van volgorde, inhouden complexiteit kunnen veranderen22 (Computer Assisted Web Interviewing). Non-response kan in het geval van internet-interviews, naast door gebrek aan motivatie,door soft- en hardwarematige problemen ontstaan23. Er kan bijvoorbeeld grote dis-crepantie bestaan tussen wat de ontwerper op zijn scherm heeft staan en wat derespondent ziet, o.a. door verschillende types en/of versies van browsers. Met de toe-name van het aantal internet-gebruikers zal de bruikbaarheid van de internet-enquetein de toekomst ongetwijfeld toenemen, maar in de huidige situatie waar minder daneen kwart van de bevolking beschikt over een internet-aansluiting is de bruikbaarheidvan het instrument gering en beperkt tot de bovengenoemde toepassingen.

2.3.6 Focusgroepen

Focusgroepen zijn zoals de naam suggereert kleine groepen mensen die onder begelei-ding een conversatie aangaan en daarbij intensief, o.a. door videobeelden, wordengevolgd. Focusgroepen worden in de marketing toegepast om attitudes en meningenover producten en innovaties te achterhalen; in de politiek werden zij ondermeer doorde regering Clinton toegepast om belangrijke beleidslijnen uit te stippelen in het poli-tieke middenveld24. Met name in exploratief onderzoek kan de focusgroep methodeook in de sociale en politieke wetenschappen toepassing vinden.

Het belangrijkste kenmerk van de focusgroep methode is dat de gesloten vraag inhet interview ontbreekt en de vragen zo worden gesteld dat zij in interactie met degroep worden beantwoord. Daarmee heeft de methode het nadeel dat de resultatennogal gevoelig zijn voor de dominantere persoonlijkheden in de groep, en de rol vande begeleider is om er voor te zorgen dat iedereen in gelijke mate aan het woordkomt. Hiervoor kunnen natuurlijk ook technieken worden aangewend, bv. door derespondenten te vragen hun associaties met een bepaald onderwerp eerst op papier tezetten en dan pas mondeling in de groep te gooien. Evenals een interview verloopt eengesprek via de focusgroep methode gestructureerd. Vooraf is nauwkeurig opgesteldwat de onderwerpen van het gesprek moeten zijn, welke de hulpmiddelen zijn die er bijworden aangewend (plaatjes, teksten, videobeelden, etc.), en hoelang elk onderdeelvan het gesprek mag duren. De interviewer mag zelf geen opinies uiten of op eenandere manier met eigen kennis het gesprek beınvloeden; zijn/haar taak bestaat eruithet gesprek van de respondenten in de focusgroep (meestal tussen de 4 en 8 perso-nen) gaande te houden en op geschikte momenten een ander onderwerp aan te dragen.

Het grote voordeel van de focusgroep methode is dat aspecten van een onderwerpaan de orde kunnen komen die de onderzoeker van te voren niet had voorzien. Eeninterview heeft immers de neiging om in een tamelijk gesloten kader te blijven. Vooralwaar het complexe onderwerpen betreft of onderwerpen waarover in feite weinig be-kend is kan analyse van een focusgroep inzichten verwerven die kunnen leiden tot eencompleter beeld van de materie. Het complete beeld kan vervolgens worden verwerkt

22Batagelj & Vehovar, 199823Dillman & Bowker, 200024zie bv. De Volkskrant, 3 7 2001

14 Meten en operationaliseren

tot een meer gesloten kader, in de vorm van het interview dat individueel en bij eenveel grotere groep respondenten kan worden afgenomen. Het grootste nadeel van defocusgroep methode is natuurlijk de kleine steekproef. Om deze reden wordt nieteenmalig, maar verschillende keren op verschillende plaatsen verschillende groepen (4tot 6) bijelkaar gebracht. De respondenten moeten representatief zijn voor de po-pulatie waarin de onderzoeker geınteresseerd is; in het geval van de nieuwste cd vanK3 liggen jongeren voor de hand terwijl in de opsporing van bronnen van gevoelensvan onveiligheid een bredere groep moet worden gekozen. Maar in alle gevallen kande methode alleen als quasi-wetenschappelijk worden opgevat, en dient zij vooral omhypothesen te genereren die in een ander, volgens de regels opgezet surveyonderzoekgetoetst moeten worden.

2.4 Opstellen van de vragenlijst

2.4.1 Vraagformulering

Een vraag moet begrijpelijk en nauwkeurig worden gesteld. Boekentaal en afkortingenmoeten worden vermeden. Enerzijds omdat moeilijke constructies tot onduidelijkhe-den bij de respondent zullen leiden, anderzijds omdat zij de interviewer kunnen verlei-den de vraag in eigen woorden te formuleren waardoor de validiteit van de antwoordenin het geding kan komen. Een vraag als De bevordering van het personeel moet objec-tief en gedepolitiseerd verlopen25 is dus uit den boze. Fink (1995) geeft de volgendetips bij het formuleren van goede vragen:

– Gebruik complete zinnen

– Vermijd afkortingen

– Vermijd bargoens en familiaire taal

– Wees spaarzaam met jargon en technische termen

– Gebruik items die in eerder onderzoek succesvol zijn geweest

– Gebruik korte vragen wanneer korte antwoorden voldoen

– Vermijd beladen termen en fraseringen

– Voorkom tweeduidige vraagformuleringen, i.e. vragen die in feite twee (of meer)vragen behelzen. Vb. De kabinetten worden afgeschaft en vervangen doorbeleidsvoorbereidende cellen binnen de administratie en een klein persoonlijksecretariaat voor iedere minister26

– Vermijd negatieve formuleringen Vb. Vindt u de Koning niet betrouwbaarderdan de eerste minister?

– Laat de vragen nakijken door experts

– Laat de vragen nakijken door potentiele respondenten (pilot study)25Uit de Copernicus-enquete.26idem

Methodologische aspecten van het survey onderzoek 15

Van deze aanwijzingen is de tip om items die in eerder onderzoek succesvol zijn ge-weest te gebruiken wellicht de belangrijkste, omdat op die manier aan benchmarkingkan worden gedaan en vergelijkingen tussen verschillende populaties kunnen wordengemaakt.

In een aantal gevallen zijn studies gedaan naar de invloed van vraagformuleringenop de uitkomsten van een survey27. Verschillen in vraagformulering die slechts eennuance van elkaar verwijderd lijken te zijn (bv. “verbieden” versus “niet toelaten”,“reglementeren” versus “niet vrijlaten”) hebben een merkbare invloed op het per-centage respondenten dat op de betreffende vraag “ja” danwel “nee” antwoordt. Eenremedie voor dit probleem laat zich moeilijk formuleren omdat het lastig is vast testellen wat de “juiste” formulering is.

2.4.2 Vraagvolgorde

Er zijn twee eenvoudige, maar te weinig toegepaste, regels die men moet hanteren bijhet opstellen van volgorde van de vragen in een enquete. Op de eerste plaats moetencomplexe vragen volgen op eenvoudige vragen. Van de eenvoudige vragen moet echterwel een prikkeling uitgaan om de moeilijkere te beantwoorden. Op de tweede plaatsmoeten de vragen in een logische volgorde worden geplaatst, wat betekent dat vra-gen die eenzelfde onderwerp (luik) behandelen niet verspreid moeten worden over eenenquete en dat gedetailleerde vragen volgen op globale.

Naast deze globale richtlijnen zijn er echter nog een aantal andere aspecten waarmeede opsteller van een vragenlijst moet rekening houden. Het blijkt namelijk dat devolgorde van de vragen invloed kan hebben op de antwoorden erop. Respondentengebruiken de informatie in voorgaande vragen om nieuwe vragen te beantwoorden28.Als regel geldt dat men dit soort response-effecten kan minimaliseren, maar nooit uit-sluiten29. In gevallen waar twijfel is over de context-gevoeligheid van items kan menbesluiten om twee verschillende vragenlijsten af te nemen, waarbij uiteraard alleen devolgorde van de vragen en niet de inhoud verschilt, en de stochastische afhankelijkheidvan de betrokken items aan statistische analyse te onderwerpen.

Vragen omtrent socio-demografie (geslacht, leeftijd, opleiding, arbeidsstatus) zijn een-voudig, maar vervelend om te beantwoorden. Om deze reden stellen sommige expertsaangaande het opstellen van vragenlijsten voor deze te plaatsen aan het einde vande vragenlijst. Onze voorkeur gaat er echter naar uit om dergelijke vragen aan hetbegin van de lijst te plaatsen, omdat zij als opwarmer kunnen dienen en omdat zijbelangrijk zijn in de verklaring van eventuele non-response in het verdere verloop vande vragenlijst.

2.4.3 Open of gesloten vragen

Open vragen zijn gemakkelijk te stellen maar moeilijk te analyseren. Een groot nadeelvan de open vraag is de invloed die de interviewer heeft op het antwoordproces. Alsde interviewer een vermoeide hand heeft zal het genoteerde antwoord korter uitvallen.Bovendien speelt de interpretatie van met name het antwoord van de respondent door

27Billiet et al., 198828Sudman & Schwartz, 198729Billiet et al., 1988: 101

16 Meten en operationaliseren

de interviewer (maar ook het begrijpen van de vraag door de respondent) een rol. Eenaardig voorbeeld van de moeilijkheden die kunnen optreden is de volgende30:

V. Wanneer ging u voor het eerst zelfstandig wonen?

A. a) In 1977

b) Toen ik achttien jaar was

c) Toen ik mijn eindexamens had afgelegd

Elk van de drie antwoorden kan valide zijn, maar elk bevatten zij een ander stukjeinformatie. Als voordeel van de open vraag wordt genoemd dat de antwoordengenuanceerder en waarheidsgetrouwer zouden zijn31. Elke journalist zal beamendat de antwoorden van bv. een politicus genuanceerder zijn bij open vragen (en erzelfs weerstand optreedt wanneer vragen in gesloten vorm worden gesteld), maargrote vraagtekens bij de waarheidsgetrouwheid plaatsen. Duidelijk is dat als eenkleine groep specialisten wordt bevraagd naar een complex onderwerp, open vragenaangewezen zijn. Maar het survey-instrument wordt over meestal gebruikt om eenbeeld te vormen over maatschappelijke onderwerpen waarover een grote consensusaangaande de mogelijke antwoorden is. Men is voor, of tegen abortus; men kan maarlid zijn van een tiental mutualiteiten; enz. In gevallen dat het onderwerp van studieminder bekend is en twijfel over de mogelijke antwoorden bestaat, kan een voorstudie(bv. een focusgroep analyse) inzicht geven in de mogelijke antwoordcategorieen32,welke in de eigenlijke studie in een gesloten vraag kunnen worden opgenomen. Degrootschaligheid van surveys laat het gebruik van open vragen maar in beperkte matetoe, en bovendien zullen de antwoorden erop in de analyses worden gereduceerd toteen beperkt aantal antwoordcategorieen.

2.4.4 Antwoordcategorieen

Antwoordcategorieen dienen duidelijk en uitputtend te zijn. Een van de grootsterampen die de onderzoeker kan overkomen is een ontbrekende antwoordmogelijkheid.Toch komen dergelijke fouten voor; in een onderzoek naar o.a. partijkeuze ontbrakeens de antwoordcategorie AGALEV. Een ander aspect dat de resultaten van eenanalyse in aanzienlijke mate kan beınvloeden is of en in welke vorm de categorie “geenmening” wordt aangeboden33. Het blijkt dat mensen die verschillend antwoorden opde inhoudelijke vraag ook op verschillende manier gevoelig zijn voor het zgn. “geenmening filter”34. We nemen een ordinale antwoordschaal, d.w.z. een schaal waarin deantwoordcategorieen zijn geordend van minder naar meer, als voorbeeld. Zo’n schaalbetreft bijvoorbeeld de vraag in hoeverre men het eens is met de stelling dat de Eu-ropese Unie het aantal lidstaten zou moeten uitbreiden.

Bij het beantwoorden van een ordinale vraag spelen twee factoren een rol: enerzijdsde kennis en anderzijds de mening of polariteit van de respondent met betrekkingtot het onderwerp. Gebrek aan kennis kan leiden hetzij tot het invullen van “geenmening” of, indien deze niet wordt aangeboden, te kiezen voor de neutrale midden-categorie; maar het is evengoed mogelijk dat de respondent op basis van incomplete

30Naar Fowler, 1995: 331Billiet et al., 1984: 15432idem33Billiet et al., 1988: 1934idem

Methodologische aspecten van het survey onderzoek 17

kennis wel polariseert. Het lijkt aangewezen om bij ordinale schalen geen neutralecategorie te combineren met een “geen mening” categorie, om de eenvoudige redendat het motief van de respondent om in een van deze categorieen te scoren dezelfdekan zijn zodat informatie verloren gaat. Een “geen mening” categorie lijkt alleen daaraangewezen waar het ontbreken van een mening theoretisch mogelijk is. Men kan erechter ook voor kiezen om een vraag over polarisatie te combineren met een vraagover kennis, zodat we tandems van vragen krijgen. Bijvoorbeeld:

1. (kennis) Hebt u de laatste maanden de actualiteiten in het nieuws rond deuitbreiding van de EU gevolgd? Nee, helemaal niet Een beetje Ja, intensief

2. (polarisering) Bent u van mening dat de EU in de nabije toekomst moet uit-breiden? Nee, tegen Ja, voor Geen mening

De kans dat we een interpreteerbaar antwoord krijgen op de kwestie of de EU moetworden uitgebreid is in de bovenstaande formulering veel groter dan wanneer wezouden volstaan met

3. (kennis + polariteit) Bent u van mening dat de EU in de nabije toekomst moetuitbreiden? Nee, helemaal tegen Niet voor, niet tegen Ja, helemaal voor Geen mening

Het probleem bij dit derde item is natuurlijk dat we alleen kunnen hopen dat respon-denten die polariseren voldoende zijn geınformeerd. Filters als het bovenstaande item1 hebben aantoonbare invloed op het antwoordgedrag van respondenten35, maar eenduidelijk advies of men nu wel of juist niet een “geen mening” filter moet gebruikenwordt in de literatuur niet gegeven. Hoewel de verschillende antwoordpatronen dieworden gevonden in experimenteel onderzoek wanneer zo’n filter al dan niet wordtaangeboden in verband worden gebracht met opiniesterkte en kennis36 houdt menvast aan een eendimensionele benadering. Maar zeker als een onderwerp een gevoeligthema betreft, zoals bv. abortus-problematiek, lijkt het aangewezen om detail in deattitudebevraging aan te brengen.

Voor ordinale schalen komt naast de kwestie of de categorie “geen mening” moetworden gecombineerd met een neutrale middencategorie, de vraag hoeveel voorge-codeerde antwoordcategorieen moeten worden aangeboden: gebruiken we een twee-,drie-, vijf- of zelfs twintigpuntsschaal? In onze opvatting zou een vijfpuntsschaalin veel gevallen moeten kunnen volstaan, terwijl als meer detail in de antwoordenwenselijk is (bv. omdat men spreiding in de antwoorden wil onderzoeken) een tien-of twintigpuntsschaal gebruikt kan worden. De laatste schalen hebben connotatiesmet schoolrapporten en suggereren een onvoldoende/voldoende niveau (6 resp. 12),terwijl bv. zevenpuntsschalen hieraan niet appeleren. Voor drie- of vijfpuntsschalendient men bovendien de antwoordcategorieen te labelen met de negatieve evaluatieals eerste op de schaal37, terwijl men bij de tien- en twintigpuntschalen expliciet moetvragen om een “rapportcijfer”. Bijvoorbeeld:

4a. Ik vind het personeel van deze winkel over het algemeen vriendelijk

Helemaal mee oneens Mee oneens Niet eens, niet oneens Mee eens Helemaal mee eens

35Billiet et al., 1984: 16536Billiet et al., 1988: 104; Billiet et al., 1984: 16137Fink, 1995: 53

18 Meten en operationaliseren

4b. Kunt u een rapportcijfer geven aan de vriendelijkheid van het personeel vandeze winkel? Omcircel uw antwoord: 1 2 3 4 5 6 7 8 9 10

In dit geval bieden we dus geen “geen mening” categorie aan: klanten van de winkelof dienst zouden in staat moeten zijn een oordeel te vellen, ook al is die op incompleteinformatie gevestigd.

2.4.5 Een typologie van vragen

In deze paragraaf proberen we een typologie van vragen op te stellen. In voorgaandekwamen we al een aantal types tegen: de open en gesloten vraag, de ordinale vraag.Op de open vraag gaan we niet dieper in. Hier bekijken we dichotome, nominale,ordinale, sorteer, prioriteiten en metrische vraagstellingen in wat meer detail.

Dichotome vraagstellingen

Bij dichotome of ook wel binaire vraagstellingen bestaat het antwoord op een itemaltijd uit twee keuzemogelijkheden. We geven een paar voorbeelden:

5. Wat is uw geslacht? Vrouw Man

6. De vraag of de Europese Unie moet uitbreiden of niet komt recentelijk regelmatigin het nieuws. Heeft u over deze kwestie een mening of heeft u geen mening?

Mening Geen mening

7. De vraag of de Europese Unie moet uitbreiden of niet komt recentelijk regelmatigin het nieuws. Bent u voor of tegen zo’n uitbreiding? Voor Tegen

Tussen het laatste item en de eerste twee bestaat het belangrijke verschil dat hetlaatste item een zeer dwingend karakter heeft, terwijl de eerste twee items in principedoor iedereen te beantwoorden zijn. Dichotome items kunnen ook in een anderesetting optreden. Beschouw bijvoorbeeld het item

8. Hoe heet de huidige Eerste Minister? Verhofstadt Dewael Di Rupo

Het antwoord kan vervolgens dichotoom, Goed Fout worden gescoord. Wanneer eenbatterij vragen van deze soort wordt gesteld dan kan via schaalconstructie-methodende latente schaal Politieke kennis worden geconstrueerd (bijvoorbeeld door zgn. itemresponse modellen; zie bv. , Croon, 1991). Soms worden respondenten gedwongen omtussen twee stellingen te kiezen. Het risico van een dergelijke vraagstelling is dat eenrespondent zich in geen van beide stellingen kan vinden en zodoende wordt gedwongeneen “niet-bestaande” opinie op te geven. De twee stellingen kunnen bovendien zeldenzo worden geformuleerd dat zij elkaars tegenpolen vormen en zijn daardoor moeilijkte interpreteren. Wij raden het gebruik van dit soort vraagconstructies dan ook af.

Meerkeuze vraagstellingen

Meerkeuze vraagstellingen verschillen van dichotome in het aantal antwoordcate-gorieen. Het grootste gevaar bij de formulering van het aantal antwoordcategorieen bij(polytome) nominale variabelen is dat een of meer categorieen ontbreken. Toevoegenvan de categorie “andere” kan item non-response voorkomen, maar hier verdient hetde grote voorkeur om deze categorie te doen volgen met de open vraag “namelijk: ...”.

Methodologische aspecten van het survey onderzoek 19

Bij ordinale vraagstellingen zijn de antwoordcategorieen geordend van minder naarmeer. In de praktijk kan men minstens vijf verschillende typen ordinale vragen on-derscheiden38. Het eerste type is de gecategoriseerde metrische variabele waarbij hetscoren met referentie naar de meeteenheid van de metrische variabele wordt gedaan.Een voorbeeld is

9. Kunt u door een kruisje aangeven in welke klasse uw maandelijks inkomen valt.

<20.000 BEF 21.000−40.000 BEF 41.000−80.000 BEF >81.000 BEF

De ordinale variabele van het type 2 is de gecategoriseerde metrische variabele waarbijhet scoren niet met referentie naar de meeteenheid van de metrische variabele kanworden gedaan. Bijvoorbeeld

10. Kunt u door een kruisje aangeven in welke klasse uw maandelijks inkomen valt.Laag Gemiddeld Hoog

Het derde type betreft de gecategoriseerde latente variabele, bv. intelligentie, doorpsychiaters geclassificeerd in 1=“Laag”, 2=“Gemiddeld” en 3=“Hoog”. De ordi-nale variabele waarbij een onderliggende metrische of latente variabele niet kan wor-den geconceptualiseerd is het vierde type, bv. diagnoses van nieuw-geborenen in1=“Dood”, 2=“Gehandicapt” en 3=“Gezond”. Het vijfde type, tenslotte, is deongenormeerde ordinale variabele die we al een aantal keren tegenkwamen (bv. vraag-stellingen 1, 3 en 4a). De statistische analyse methodes die geschikt zijn voor ordinalevariabelen verschillen van type tot type39. Kort en bondig komt e.e.a. erop neer datordinale variabelen nooit als metrisch zouden moeten worden behandeld en dat demeetonnauwkeurigheid bij Types 2, 3 en 5 veel groter is dan die bij Types 1 en 4.

De keuze van de grenzen van de categorieen bij Type 1 ordinale variabelen kan bepal-end zijn voor verdeling van de gerapporteerde antwoorden van respondenten. Billietet al. (1984) rapporteren een studie waarbij respondenten werd gevraagd hoeveel urenzij per dag naar de televisie keken en aan twee vergelijkbare groepen twee verschillendeantwoordschalen werden voorgelegd. De eerste schaal had waarden 1=“minder dan0,5 uur”, 2=“0,5−1 uur”, 3=“1−1,5 uur”, 4=“1,5−2 uur”, 5=“2−2,5 uur” en 6=“2,5uur of meer”; de tweede schaal had waarden 1=“minder dan 2,5 uur”, 2=“2,5−3uur”, 3=“3−3,5 uur”, 4=“3,5−4 uur”, 5=“4−4,5 uur” en 6=“meer dan 4,5 uur”.In de eerste groep was het aantal respondenten dat rapporteerde minder dan 2,5uur televisie per dag te kijken 71,1%, in de tweede groep was hetzelfde cijfer 48,4%.In dit geval gebruikten de respondenten de informatie die verscholen ligt in de ant-woordsuggesties: de eerste schaal suggereert dat meer dan 2,5 uur televisie kijken perdag uitzonderlijk is terwijl de tweede schaal suggereert dat meer dan 2,5 uur kijkeneerder regel dan uitzondering is. Hoewel hier het experiment met opzet dit effectwilde creeren zal duidelijk zijn dat in andere studies de effecten onbedoeld kunnenoptreden.

Sorteer en prioriteiten vraagstellingen

Bij sorteer en prioriteiten vraagstellingen worden respondenten gevraagd om een aan-tal items te ordenen van meer naar minder belangrijk, smakelijk, duur, etc. Bij desorteer vraagstelling is de sortering uitputtend, d.w.z. dat elk item in de lijst een

38Kampen & Swyngedouw, 200039Kampen, 2001: 143-145

20 Meten en operationaliseren

fig. 2 Databeheersystemen

plaats moet worden toegewezen terwijl bij de prioriteiten vraagstelling men enkel deeerste x belangrijkste items moet aanwijzen. In het ISPO verkiezingsonderzoek van1991, 1995 en 1999 wordt respondenten gevraagd van een lijst van zeventien items drieitems op volgorde van belangrijkheid te leggen, waarbij de mate van belangrijkheidbepaalt voor welke partij door de respondent wordt gekozen (prioriteitenvraag). Pri-oriteiten en sorteer vragen houden het midden tussen open en gesloten vragen. Gelijkelke gesloten vraag is het belangrijk dat antwoordcategorieen niet ontbreken; maarer staat tegenover dat het gamma antwoorden zeer uitgebreid kan zijn. Men moet erechter rekening mee houden dat hoe langer de lijst is, hoe minder aandachtig ze zalworden gelezen. De eerste en de laatste items zullen daardoor de neiging hebben inhet geheugen van respondenten te blijven hangen. Uit de psychologie is bekend dathet korte termijn geheugen ongeveer zeven verschillende chunks (in dit geval items)kan bevatten40.

Metrische vraagstellingen

Een metrische variabele is een variabele die een meeteenheid heeft, bijvoorbeeld demeter, de Belgische frank, een uur. In tegenstelling tot de natuurwetenschappenkomen metrische variabelen in de sociale wetenschappen weinig voor. De metrischevariabelen die er het vaakste worden gemeten zijn maandelijks of jaarlijks inkomen,het aantal uren dat aan een bepaalde activiteit wordt besteed, en de leeftijd. Vaakwordt bij statistische analyses geen rekening gehouden met het feit dat een analysemethode ontworpen is voor metrische variabelen terwijl de variabelen in de analysein feite op ordinale schaal werden gemeten. Het gemiddelde is bijvoorbeeld een maatdie betrekking heeft op metrische, niet ordinale variabelen. Het moet duidelijk zijndat een foute praktijk niet wordt gelegitimeerd doordat zij vaak voorkomt, en dat eenfoute praktijk tot foute conclusies leidt.

2.5 Het aanmaken van het data-bestand

Als de interviews zijn afgenomen moeten zij in een bestand worden ingevoerd. In depraktijk is dat werk voor jobstudenten en moeten dezelfde maatregelen ter beschermingvan de data-kwaliteit worden genomen als in het geval van de interviewers. Met

40Miller, 1956

Methodologische aspecten van het survey onderzoek 21

name moet er regelmatig en op willekeurige wijze worden gecontroleerd of de data-invoer correct gebeurt, en moeten er sancties worden genomen indien er teveel foutengemaakt worden.

Een ander aspect van de data-invoer is de keuze van het data-format. Er zijn te-genwoordig veel keuzes, gaande van het ASCII-bestand tot databeheersystemen alsOracle en SAP. Het ASCII bestand (American Standard Code for Information Inter-change) heeft het grote voordeel ten opzichte van andere data formats van compati-biliteit met de meeste computers op de wereld, met name IBM en Macintosh compati-bles. Alle software kan ASCII inlezen, terwijl opmaak in een ander bestand (bv. Excel)tot compatibiliteitsproblemen leidt. ASCII-bestanden zijn bovendien robuust tegenontwikkelingen van pc’s en software in de tijd, en zijn spaarzaam met geheugenge-bruik. Het verdient de voorkeur om de data in het zgn. free format op te slaan; dat wilzeggen dat elke respondent een waarde krijgt voor elke variabele. In het fixed formatkunnen missende gegevens blanco worden gelaten, maar de ervaring leert dat zulkedata-bestanden moeilijker converteerbaar zijn. Van belang bij opslag in ASCII-formatis een goed codeboek, waarin de lokaties en namen van variabelen staan vermeld, plusde labels bij de ingevoerde waarden (en met name de codes voor missende gegevens).

Tussen ASCII en databeheersystemen in staan de (bedrijfsspecifieke) spreadsheetsen programma’s als Lotus, Excel en Access. Deze programma’s helpen de gebruikerbij het maken van een infrastructuur in de gegevens, en bij het overzichtelijk represen-teren van de gegevens. Voor geavanceerde statistische toepassingen zijn SAS en SPSSde meest gebruikte programma’s, die elk op verschillende manieren hun data opslaan.We vatten deze programma’s samen onder de noemer enkelvoudige databeheersys-temen, als gesteld tegenover de meervoudige databeheersystemen. Deze laatste sys-temen kunnen meerdere fysiek gescheiden data-bestanden aanspreken (zie figuur 2).In het internettijdperk houdt dit in dat data-bestanden uit Tokyo, Nieuwegein enBrussel kunnen worden gekoppeld. Het beheer en onderhoud van dergelijke systemenis inmiddels specialistenwerk geworden. Voorbeelden van uitgebreid databeheer zijnde managementinformatiesystemen van het Ministerie van WVC en de RVA.

2.6 Opsporen van bronnen van ruis

2.6.1 Aandachtspunten bij de opvolging van interviewers

Nadat de vragenlijsten zijn opgesteld begint de tweede belangrijke fase van het voor-traject, te weten de training van de interviewers. Interviewers, we noemden het aleens, zijn de zwakste schakel in het survey-onderzoek, en niet voor niets wordt erveel aandacht besteed aan methodes om interviewerruis uit de gegevens te zuiveren41.Voorkomen is echter beter dan genezen, voorzover schade toegebracht door slecht in-terviewen in een latere fase van het onderzoek uberhaupt gerepareerd kan worden.

De ervaring leert dat interviewers niet altijd even conscıentieus zijn in het afnemenvan interviews. Allerlei praktijken die het onderzoek kunnen schaden komen voor,van interviewers die zelf de vragenlijsten invullen tot interviewers die respondentenantwoorden soufleren. In veel, maar niet alle gevallen kunnen frauduleuze praktijkenaan het licht worden gebracht. De zwakste schakel in het survey onderzoek zijn nu

41Loosveldt & Carton, 2001

22 Meten en operationaliseren

eenmaal de interviewers en de data-typisten, taken die, tenzij zij geautomatiseerdwerden, dan ook liefst gescheiden worden gehouden. Een manier om frauduleuzeinterviewers op te sporen is door de verdelingskarakteristieken van de categorischevariabelen binnen de groep respondenten die door de betreffende interviewer werdenverkregen te vergelijken met de verdeling van de totale proefgroep. Een serie vantoetsen kan dan aan het licht brengen of de groep van de interviewer systematischafwijkt van de totale groep. Daar moet wel bij worden opgemerkt dat de groepenvoldoende groot moeten zijn. Interviewers waar bovenmatig veel in neutrale of ex-treme categorieen wordt gescoord kunnen als verdacht worden aangemerkt. Ook alser veel item non-response is bij bepaalde interviewers kunnen vragen worden gesteldbij zijn/haar betrouwbaarheid. Een andere veelbelovende techniek om interviewer-effecten op te sporen is door zgn. interviewer-variantie te vinden42.

In theorie zijn de interviewer en de respondent onafhankelijke, zelfstandige groothe-den; maar deze onafhankelijkheid geldt slechts voor de geformaliseerde interviewer,en niet voor de interviewer als persoon43. Veelal registreert de interviewer niet degedragingen van een onafhankelijke, zelfregulerende respondent, alswel dat van eenafhankelijk, door hemzelf gereguleerd objekt: in het extreme geval registreert hij zijneigen gedrag. Interviewers moeten daarvan bewust worden gemaakt. Het moet de in-terviewer zeer goed voor ogen staan dat er geen goede of slechte antwoorden bestaan.Dat betekent dat ook de lichaamstaal onder controle moet worden gehouden indiende interviewer het geheel oneens is met de respondent. Maar interviewers moeten opde eerste plaats gemotiveerd zijn om goed werk af te leveren. Wanneer er geen inte-resse is voor het onderwerp van de studie, en het enige motief om aan het onderzoekeen financiele is, dan moeten sancties voor slecht interviewgedrag in het vooruitzichtworden gesteld.

Vaak worden supervisoren gebruikt die in een bepaalde regio de interviewers opvol-gen44. Interviewers kunnen bij deze supervisoren terecht met vragen om nieuw ma-teriaal en nieuwe adressen. De bedoeling is dat de supervisoren het werk van deonderzoeker verlichten maar ook zij werken meestal alleen met financiele motivatie endienen dus ook gecontroleerd te worden. De controle kan op verschillende manierenplaatsvinden:

− Door op te bellen naar een respondent die door de interviewer wordt gerap-porteerd te zijn bezocht en de respondent een aantal vragen opnieuw te latenbeantwoorden.

− Door de vragenlijsten van de interviewer na te gaan op (on)regelmatigheden

− Door interviewer- en supervisorprofielen samen te stellen

− Door de respondenten contactkaartjes te doen invullen

De eerste methode, de daadwerkelijke controle van de interviewer op het bezoek vande respondent en op de inhoud van de antwoorden is de meest stringente. Maarlet op: discrepantie tussen de oude en de nieuwe antwoorden hoeft niet automatischverdacht te zijn, omdat de betrouwbaarheid van antwoorden van een respondent nooit

42Loosveldt & Carton, 2001; Pickery, 200043Linschoten, 196444Cambre, 1999

Methodologische aspecten van het survey onderzoek 23

honderd procent is. Wanneer een respondent echter honderdtachtig graden lijkt tezijn omgedraaid aangaande een bepaalde mening dan kunnen verdenkingen wordengekoesterd. Niettemin moeten van de opnieuw gestelde items op zijn minst een paarconstant zijn in de tijd (bv. geslacht, opleiding, arbeidsstatus, aantal kinderen). Detweede methode is al ingewikkelder omdat vreemde antwoordpatronen nu eenmaalkunnen voor komen. Hier is kennis van het onderwerp van studie en een zekereintuıtie van de onderzoeker nodig. De derde methode, die echter pas kan wordentoegepast nadat alle interviews al zijn afgenomen, is door interviewer en supervisorprofielen op te sporen. Met profiel bedoelen we de beschrijving van de aard van dedeelsteekproef die door een bepaalde interviewer zijn bevraagd of door een bepaaldesupervisor zijn gesuperviseerd. Bij de vierde methode, tenslotte, sturen we bevraagderespondenten en totaalweigeraars een kaartje met wat eenvoudige vragen, waaronderde vraag of hij/zij werd gecontacteerd, hoe lang het interview indien afgenomen heeftgeduurd, en eventuele redenen voor weigeringen.

2.6.2 Corrigeren voor totale non-response: het wegen van data

In paragraaf 2.2 bespraken we twee vormen van non-response, nl. de totale en deitem non-response. Een van de redenen waarom de verkiezingsprognoses gebaseerdop exit-polls niet accuraat zijn is de totale non-response van selectieve groepen, bijverkiezingsonderzoek in Vlaanderen typisch de Vlaams Blok kiezers. Zoals we aan-gaven in paragraaf 2.2.4 bestaat de strategie om de data te corrigeren voor dergelijkenon-response uit het wegen van de data. Concreet komt het erop neer dat onderverte-genwoordigde groepen een hoger en oververtegenwoordige groepen een lager gewichtkrijgen in de berekeningen die op de data worden uitgevoerd.

We nemen een eenvoudig voorbeeld. Veronderstel dat een willekeurige steekproefvan 100 burgers uit de Vlaamse populatie uit 20 vrouwen en 80 mannen bestaat.Deze verhouding is duidelijk discrepant met de verhouding van de geslachten in depopulatie, en we kunnen nu besluiten de data te gaan wegen zodat in de analyses de20 vrouwen hetzelfde gewicht krijgen als de 80 mannen. De eenvoudigste manier isom elke vrouw voor vier te tellen, zodat we als het ware 60 fictieve vrouwen aan desteekproef toevoegen. Stel bijvoorbeeld dat we de gemiddelde leeftijd van de Vlamingin de populatie willen schatten ongeacht geslacht, en we vinden dat de gemiddeldeleeftijd bij de 20 vrouwen 45,3 en bij de 80 mannen 44,1 jaar is. De ongewogengemiddelde leeftijd µ in de steekproef zou dan komen op

µ =20 × 45, 3 + 80 × 44, 1

100= 44, 34.

De gewogen gemiddelde leeftijd µg bedraagt

µg =4 × 20 × 45, 3 + 80 × 44, 1

4 × 20 + 80= 44, 70

en valt dus wat hoger uit dan het ongewogen gemiddelde. Het lijkt aannemelijk dathet gewogen gemiddelde in dit geval dichter bij de werkelijke waarde ligt.

In de praktijk is er vaak veel bekend over de populatie waaruit een steekproef isgetrokken. In het geval van de populatie van Vlamingen kennen we o.a. de verhou-ding van geslachten, de leeftijdscohorten, de hoogte van de opleiding, arbeidsstatuut,enz. Als de steekproef erg veel afwijkt van de geweten populatiewaarden dan kan men

24 Meten en operationaliseren

multivariaat gaan wegen om zodoende de steekproef meer op de populatie te doenlijken. Bij deze praktijk moet echter een zware kanttekening worden gezet, omdat erimpliciet van wordt uitgegaan dat de respondenten in de steekproef niet verschillenvan de respondenten uit de steekproef. In het bovenstaande voorbeeld namen we im-mers aan dat de zestig fictieve vrouwen dezelfde gemiddelde leeftijd hebben als de 20vrouwen waarbij dat gemiddelde geweten is. Het lijkt echter nauwelijks aannemelijkdat Vlaams Blok kiezers die meedoen aan een enquete niet verschillen van VlaamsBlok kiezers die weigeren mee te doen. Het wegen van data zal er toe leiden dat dedataset meer lijkt op de populatie voor wat betreft de weegvariabelen, maar er is geenenkele garantie dat de gelijkenis op andere variabelen ook is vergroot.

2.6.3 Corrigeren voor item non-response: data imputatie tech-nieken

Respondenten zijn soms niet gemotiveerd om mee te werken aan interviews. Ookvermoeidheid, stemming, en de aanwezigheid van familie kan een invloed uitoefenenop de betrouwbaarheid van de antwoorden van een respondent. Daarnaast bestaathet verschijnsel van sociale wenselijkheid, waarmee de tendens om maatschappelijkaanvaardbare antwoorden te geven wordt bedoeld. Het is een bekend verschijnseldat Vlaams Blok stemmers in opinie-peilingen ondervertegenwoordigd zijn. Enerzijdsheeft die ondervertegenwoordiging te maken met het feit dat Vlaams Blokkers be-horen tot lagere klassen van de samenleving die vrijwel altijd bij opinie-onderzoek inmindere mate vertegenwoordigd zijn45, anderzijds is het uitbrengen van een stem ophet VB op zijn zachtst gezegd controversieel en zal men niet onmiddellijk geneigd zijnde partij waarop men stemt naar waarheid te rapporteren. Selectieve non-responseis een duidelijk teken waarmee een respondent aangeeft van bepaalde vragen niet ge-diend te zijn.

Ook voor item non-response zijn technieken ontwikkeld die op deze of gene wijzeleiden tot het invullen van een waarde voor een ontbrekend antwoord (zgn. missingdata). Uiteraard zijn zulke technieken niet zonder risico. Wanneer iemand heeft ver-geten het vakje geslacht in te vullen maar later rapporteert in verwachting te zijndan kunnen we zonder twijfel vrouw invullen voor de ontbrekende waarde. Maarmeestal liggen de zaken niet zo eenvoudig. Een klassieke methode om ontbrekendewaarden in te vullen is door het zgn. matching. Dat wil zeggen dat bij de respondentwaar een ontbrekende waarde is, een andere respondent wordt gezocht die op zoveelmogelijk variabelen (precies) overeenkomt en voor betreffende variabele geen missingvalue heeft. Andere methodes gaan uit van maximale waarschijnlijkheid46 en vullendie waarde in die, volgens bepaalde wiskundige criteria, de grootste kans heeft dejuiste te zijn.

Een belangrijke reden om van data-imputatie technieken gebruik te maken is om-dat men anders is gedwongen respondenten met een of meer ontbrekende waardenuit de analyse te schrappen (zgn. listwise deletion). Er is met andere woorden dekeuze tussen alle informatie van een respondent te schrappen en het risico om ver-keerde waarden voor de ontbrekende gegevens in te vullen. Het is van groot be-lang te weten waarom een waarde ontbreekt. Gaat het om een ongelukje van de

45Loosveldt, 199746bv. het EM-algoritme van Dempster et al., 1977

Methodologische aspecten van het survey onderzoek 25

interviewer/respondent, of gaat het om een gevoelig thema? In het laatste gevalis de ontbrekende waarde systematisch en is de betrokken respondent niet zondermeer vergelijkbaar met respondenten waar de waarde niet ontbreekt. De meestedata-imputatie technieken gaan er vanuit dat de gegevens op volkomen willekeurigewijze ontbreken (missing at random), een aanname die op zijn zachts gezegd dis-cutabel is en in de praktijk onverdedigbaar. Niettemin, ook het niet invullen vaneen item bevat informatie die voor de onderzoeker waardevol kan zijn. Door middelvan analyse-methoden, met name regressie-technieken, kunnen bijvoorbeeld profielenworden geschetst van respondenten die een bepaald item niet invullen.

26 Meten en operationaliseren

Hoofdstuk 3

Tevredenheid en vertrouwen:Vragenbatterijen envragenluiken

In het vorige hoofdstuk hebben we besproken welke de moeilijkheden kunnen zijnbij bevragingen van burgers in het algemeen. In dit hoofdstuk proberen we tekomen tot een operationalisering van de concepten tevredenheid met en vertrouwenin de overheid. Deze operationalisering is verre van onproblematisch. De (Belgische)maatschappij is voortdurend aan veranderingen onderhevig. Staatshervormingen enoverheidsmoderniseringen staan regelmatig op de politieke agenda; de Lambermont-akkoorden en het Copernicusplan zijn duidelijke voorbeelden. De rol van de over-heid t.o.v. de burger verandert, met als logische consequentie dat tevredenheids- envertrouwensoordelen van de burger met betrekking tot de overheid met de grootsteomzichtigheid moeten worden geınterpreteerd. Die oordelen zijn immers een functievan het object dat wordt beoordeeld (de overheid) en het subject dat oordeelt (deburger).

Een van de doelen van de jongste conferentie van de European Group of Public Ad-ministration, gehouden 5-8 sept. 2001 in Vaasa (Finland), was om te komen toteen duidelijk onderscheid tussen de concepten tevredenheid met en vertrouwen in deoverheid. In de literatuur worden deze begrippen namelijk vaak door en naast elkaargebruikt1. In de discussies die werden gevoerd over dit onderwerp komt naar vorendat vertrouwen te maken heeft met onzekerheid en met de toekomst, waar tevreden-heid met het verleden en ervaringen te maken heeft. Vertrouwen kan worden gezienals een verwachting van het niveau van tevredenheid in een instituut of persoon in detoekomst zonder dat dit instituut of deze persoon controle nodig heeft2. Empirischestudies laten ook zien dat tevredenheid en vertrouwen niet samenvallen. Het is bij-voorbeeld opvallend dat de evolutie in recente jaren van een toenemend vertrouwenin de nationale regering van Vlamingen niet gepaard gaat aan een toenemende tevre-denheid met het gevoerde beleid3. De relatie tussen tevredenheid en vertrouwen isveel complexer dan op het eerste gezicht zou kunnen worden verondersteld.

1Deschouwer, 1998: 792Gamson, 19683Kampen et al., 2001

27

28 Meten en operationaliseren

Het is ook belangrijk om vast te stellen wat uiteindelijk de effecten van wantrouwenzijn op onze samenleving. Wantrouwen in overheidsinstellingen, zo stelt Elchardus(1998), leidt tot verwerping van het bestaande politieke systeem wanneer deze gevoe-lens van persoonlijk welzijn en geluk aantast. En, zo gaat hij verder, dit wantrouwenhangt samen met wantrouwen in andere dragers van burgelijke verantwoordelijkheid,bv. grote bedrijven. Zij opgemerkt dat deze laatste stelling in de angel-saksische liter-atuur beurtelings bekrachtigd en tegengesproken wordt. Aan de ene kant stelt Roth-stein bijvoorbeeld dat Amerikanen van oudsher een wantrouwende houding hebbenten opzichte van de overheid. Anderen stellen dan weer dat een kritische houding eenvoorwaarde is voor het goed functioneren van de democratie4.

Miller (1974) benadrukt dat een daling van vertrouwen in de overheid niet hoeftte leiden tot een daling van haar steun, en Citrin (1974; zelfde tijdschrift) voegt er-aan toe dat politiek cynisme noch leidt tot militante acties (bv. rellen), noch tot hetwegblijven van burgers bij verkiezingen. Bovendien, zo stelt de laatste auteur, kantrots op het politieke systeem samengaan met wantrouwen erin. Aan de andere kant,studies van politiek in voormalige oostblok-landen5 noemen gebrek aan vertrouwen bijde bevolking als een belangrijk obstakel in de ontwikkeling naar een open democratievan het westerse type. Mishler & Rose (1997) benoemen de grondhouding in post-communistische landen als eerder sceptisch dan wantrouwend. Voor een uitgebreidoverzicht van de vele theorieen en inzichting met betrekking tot het thema vertrouwenin de overheid verwijzen we naar het tweede rapport dat door onze onderzoeksgroepwerd uitgebracht6.

In de komende paragrafen bespreken we kort de inhoud van enkele Vlaamse en buiten-landse surveys die betrekking hebben op vertrouwen en/of tevredenheid van burgersin relatie tot de overheid. Vervolgens bespreken we drie bestuurskundige dimensiesdie in toekomstig onderzoek naar de relatie kwaliteit—tevredenheid—vertrouwen aande orde moeten komen en in voornoemde surveys niet of onvoldoende werden behan-deld. Tenslotte geven we een overzicht van vragenluiken die betrekking hebben optevredenheid en vertrouwen van burgers, zonder te pretenderen dat deze lijst com-pleet is. Eerder vormt zij een pool van vragen waaruit een belangrijk deel van deuiteindelijke vragenlijst die in het kader van het cluster project (zie Hoofdstuk 1) zalworden afgenomen kan worden geput.

3.1 De inhoud van enkele surveys

3.1.1 De APS survey

De Administratie Planning en Statistiek neemt sedert 1996 jaarlijks een grootschaligesurvey af in een steekproef van ongeveer 1,500 Vlaamse respondenten. De APS surveysvan alle jaargangen bevatten een tamelijk uitgebreide vragenlijst rond de werksitu-atie van de respondenten. Een ander aspect dat voortdurend terugkomt betreft demaatschappelijke betrokkenheid van respondent in termen van lidmaatschappen vanpartijen, clubs en verenigingen i.e. sociaal kapitaal.

4Mishler & Rose, 1997: 4185bv. , Sztompka, 1996; Steen, 19966Bouckaert et al., 2002

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 29

Table 3.1: Luiken in Vlaamse surveys

APS-surveys BNV surveys2000 2001 1991 1995 1999

Socio-demografieLeeftijd en geslacht * * * * *

Beroepsstatus respondent ** ** * * *Opleiding respondent * * * * *

Samenstelling huishouden * * * * *Beroepsstatus en opleiding partner * * * * *

Beroepsstatus ouders * * * *Gezinsinkomen * * * * *

Geloofsovertuiging * * * * *Levensprioriteiten *

Politicologische indicatorenLinks-rechts politieke orientatie * * *

Stemgedrag (Kamer, Senaat) * * *Stemgedrag (Europees parlement) *

Partijvoorkeur ouders *Politiek clientelisme * *

Politieke kwesties * *Partijvoorkeur * * *

Politieke gesofisticeerdheid * * * *Politiek activisme * * *

Tevredenheid democratie * * *Politieke effectiviteit/machteloosheid * * * *

Aandacht verkiezingscampagnes * * *Perceptie politiek bedrijf * * *

Vrouwen en politiek * *Politieke breuklijnen * * *

Politieke kennis * * *Partijsympathieen *Staatshervorming *

Luiken aangemerkt met ** worden in de betreffende survey zeer uitgebreidbevraagd.

30 Meten en operationaliseren

Tabel 3.1 (vervolg): Luiken in Vlaamse surveys

APS-surveys BNV surveys2000 2001 1991 1995 1999

Maatschappelijke positieTevredenheid leven * * *

Eenzaamheid *Sociaal leiderschap *Persoonlijke zorgen *

Gevoelens van onveiligheid *Anomie *

Toekomstverwachtingen *

Sociaal kapitaalVrijetijdsbesteding *

Netwerken *Sociaal kapitaal * *

Vrijwilligerswerk * *Lidmaatschappen (partijen, vakbonden, enz.) * * * * *

Sociologische indicatorenMaterialisme * * *

Conservatisme/traditionalisme * * * * *Abortus en euthanasie * *

Emancipatie * * *Individualisme * * * * *

Autoritarianisme * * *Maatschappelijke problemen *

Waarde van concepten *Ethnocentrisme * * * *

Opvattingen over asielzoekers *Culturele groeperingen * * *

Nationale identiteit * * * *Milieu ** * * *

Vertrouwen in instituten * * *ICT **

Media * *

Luiken aangemerkt met ** worden in de betreffende survey zeer uitgebreidbevraagd.

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 31

Naast terugkerende elementen kent de survey sedert 2000 elk jaar een specifiek vragen-luik rond een maatschappelijk thema. Voor 2000 en 2001 waren dat respectievelijkMilieu en ICT. Voor 2002 staat een luik rond Gelijke kansen gepland. Een aantalanalyses van de surveys van 1998, 1999 en 2000 vonden neerslag in boeken gepubli-ceerd door het MVG, bv. Vlaanderen Gepeild, die op studiedagen werd gepresenteerd.Hieronder bespreken we kort de inhoud van de laatste twee afgenomen surveys.

APS 2000

De non-response in 2000 bedroeg ongeveer 35%, bij een gerealiseerd aantal inter-views n=1,345. Loosveldt (2001) concludeert op grond van een procesevaluatie vande geregisteerde antwoorden dat er problemen optreden omdat interviewers zich nietaltijd aan de afspraken houden. Hierbij gaat het om interviewers die een ‘eigen stijl’zijn gaan ontwikkelen, en daardoor invloed uitoefenen op de antwoorden van hunrespondenten. Telefonische controle van antwoorden bij een aantal geınterviewde res-pondenten laat bovendien een tamelijk grote discrepantie tussen antwoorden in hetface-to-face-interview en de telefonische herbevraging zien. Deze zorgwekkende con-stateringen zijn natuurlijk niet uniek voor de APS surveys, en wijzen op de nadrukke-lijke noodzaak om veel zorg te besteden aan de training en opvolging van interviewers.

De bevraagde luiken in 2000 waren, naast de uitgebreide bevraging rond Arbeid,Samenstelling huishouden, Gezinsinkomen, Geloofsovertuiging, Vrijwilligerswerk, Lid-maatschappen (partijen, vakbonden, verenigingen, enz.), Sociaal kapitaal, Maatschap-pelijke problemen, Vertrouwen in instellingen, Tevredenheid democratie (gemeente,Vlaanderen, Belgie, Europa), Individualisme, Politieke gesofisticeerdheid, Zorgen, Na-tionale identiteit, Tevredenheid eigen leven en omstandigheden, Perceptie politiekbedrijf, Traditionalisme en individualisme, Milieu7, Vrijetijdsbesteding, Gevoelensvan onveiligheid, Toekomstverwachtingen, Kijk- en leesgedrag. In de afronding vanhet interview werden nog een aantal vragen rond aangenaamheid, zinvolheid, moeilijk-heid etc. van het interview gesteld. De interviewer vulde bovendien aan het einde eenzgn. interviewerrapport in dat vragen bevatte rond de motivatie van de respondenten de omstandigheden van het interview.

APS 2001

Over de response van deze editie van de APS-survey was bij het schrijven van ditrapport nog niets bekend. We noemen hier de bevraagde luiken: Arbeidssituatieen opleidingen (respondent, partner), Samenstelling huishouden, Gezinsinkomen, Ge-loofsovertuiging, Prioriteiten (o.a. werk, gezin, godsdienst), Netwerken8, Vrijwilliger-swerk, Lidmaatschappen (partijen, vakbonden, verenigingen, enz.), Sociaal kapitaal,Asielzoekers, Individualisme, Traditionalisme, Ethnocentrisme, ICT9, Media. Er werdwederom een interviewerrapport samengesteld.

7Uitgebreid vragenluik8We bedoelen hier de vragen rond het aantal keren dat de respondent persoonlijke kwesties met

andere mensen (o.a. partner, familie, buren) besprak. Ook de items die betrekking hebben op deplaatsen waar de respondent bij ziekte terecht (V.74) kan en de mensen met wie deze zich verbondenvoelt (V.75) vallen onder deze noemer.

9Uitgebreid vragenluik

32 Meten en operationaliseren

3.1.2 Het ISPO verkiezingsonderzoek

BNV 1991

Het ISPO werd in 1990 opgericht met de doelstelling om aan te sluiten bij de alveel langer bestaande internationale traditie om kwantitatief wetenschappelijk ver-kiezingsonderzoek uit te voeren10. De Belgische nationale verkiezingsstudies werdenin 1991 voor het eerst afgenomen in Wallonie, Vlaanderen en het Brusselse gewest.In dat jaar werden in totaal 4,773 interviews van 90 minuten afgenomen11 (1,425 inWallonie, 2,691 in Vlaanderen en 657 in Brussel). De non-response was ongeveer 40%en was hoger in Wallonie (43%) dan in Vlaanderen (36%).

De bevraagde luiken zijn Socio-demografie, Beroepstatus respondent, Opleiding re-spondent, Samenstelling huishouden, Beroepsstatus partner, Beroepsstatus ouders,Inkomen huishouden, Geloofsovertuiging, Individualisme, Eenzaamheid, Sociaal lei-derschap, Links-rechts politieke orientatie, Stemgedrag (Kamer, Senaat), Politiekclintelisme, Lidmaatschappen (partijen, vakbonden, enz.), Partijvoorkeur respon-dent, Partijvoorkeur ouders, Politieke gesofisticeerdheid12, Politiek activisme, Poli-tieke breuklijnen, Materialisme, Conservatisme, Emancipatie, Autoritarianisme, Poli-tieke effectiviteit, Perceptie politiek bedrijf13, Ethnocentrisme, Politieke kennis, Cul-turele groeperingen14, Financiele situatie respondent/land, Ervaren criminaliteit15,Politieke kwesties, Milieu, Waarde van concepten (o.a. recht, liberalisme, christen-democratie) en Aandacht verkiezingscampagnes. Daarnaast werden een aantal inter-viewtechnische aspecten genoteerd, zoals de duur van het interview, de aanwezigheidvan anderen tijdens het interview, en de stemming tijdens het interview.

BNV 1995

De survey van 1995 werd afgenomen voor een deel bij de respondenten van 1991 (hetpanel) en voor een deel bij nieuwe respondenten (waaronder nieuwe kiezers). De to-tale non-response werd geraamd op 35%, en bedroeg 32% bij de panel-respondenten.De bevraagde luiken zijn Socio-demografie, Beroepstatus respondent, Opleiding re-spondent, Samenstelling huishouden, Beroepsstatus en opleiding partner, Beroepssta-tus ouders, Inkomen huishouden en bezittingen, Geloofsovertuiging, Individualisme,Anomie, Links-rechts politieke orientatie, Stemgedrag (Kamer, Senaat), Politiek client-elisme, Politieke kwesties, Lidmaatschappen (partijen, vakbonden, enz.), Politiekegesofisticeerdheid16, Politiek activisme, Partijvoorkeur respondent, Politieke breukli-jnen, Materialisme, Conservatisme, Abortus en euthanasie, Emancipatie, Autoritar-ianisme, Tevredenheid democratie, Politieke effectiviteit, Aandacht verkiezingscam-pagnes, Perceptie politiek bedrijf, Vrouwen en politiek, Ethnocentrisme, Politiekekennis, Culturele groeperingen en nationale identiteit, Tevredenheid leven, Milieu,Vertrouwen in instituten.

10Swyngedouw et al., 199311Zie het Codebook and Questionaire van 1991.12Incomplete schaal13Incomplete schaal14Deze schaal is gemengd met aspecten van nationale identiteit15Incomplete schaal16Incomplete schaal

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 33

BNV 1999

In 1999 werd voor het laatst met een panel gewerkt. Dat wil zeggen dat toekomstigeverkiezingsstudies geen gebruik meer maken van het panel dat in 1991, 1995 en/of1999 werd bevraagd. Een wijziging ten opzichte van de twee vorige edities van deBNV’s is dat een schriftelijke vragenlijst (zgn. drop-off) werd achtergelaten bij res-pondenten die werd geacht te worden nagestuurd. Aangezien deze verschillend warenopgesteld in Wallonie en Vlaanderen behandelen we hier slechts de Vlaamse studie(n=2,899). Non-response schommelde rond de 30% voor de panel respondenten, enbedroeg 46% voor de nieuwe respondenten (i.e. zij die in 1999 werden toegevoegd).Voor de drop-off gelden non-response ratios van tussen de 10 en 17%, afhankelijk vanhet panel dat wordt bekeken.

De bevraagde luiken zijn grotendeels vergelijkbaar met die van 1995: Socio-demografie,Beroepstatus respondent, Opleiding respondent, Samenstelling huishouden, Beroepssta-tus en opleiding partner, Inkomen huishouden en bezittingen, Geloofsovertuiging, In-dividualisme, Links-rechts politieke orientatie, Stemgedrag (Kamer, Senaat, Europeesparlement), Politiek clientilisme, Politieke kwesties, Partijvoorkeur, Lidmaatschap-pen (partijen, vakbonden, enz.), Politieke gesofisticeerdheid, Politiek activisme, Par-tijvoorkeur respondent, Politieke breuklijnen, Materialisme, Conservatisme, Abortusen euthanasie, Emancipatie, Autoritarianisme, Tevredenheid democratie, Politiekeeffectiviteit, Aandacht verkiezingscampagnes, Perceptie politiek bedrijf, Vrouwen enpolitiek, Ethnocentrisme, Politieke kennis, Culturele groeperingen en nationale iden-titeit, Tevredenheid leven, Milieu, Vertrouwen in instituten, Gevoelens van onvei-ligheid, Partijsympathieen, Staatshervorming.

3.1.3 De People’s Panel

Het People’s Panel (PP) bestaat uit een selectie van 5,000 Engelse burgers, represen-tatief voor geslacht en een aantal andere socio-demografische variabelen17. Omdatde respondenten deels face-to-face, deels telefonisch en deels per postenquete wordenbevraagd valt het niet mee om de surveys te beoordelen op non-response. Het accentin de bevragingen ligt op percepties van de kwaliteit van de dienstverlening van depublieke sector, vaak in vergelijking met de private sector.

We doen een greep uit de tamelijk uitgebreide vragenlijst van de face-to-face in-terviews. Veel van de gestelde items draaien om een lange lijst van dienstverlenin-gen. Deze lijst omvat banken, bouwmaatschappijen, de Nationale Bank, water-, gas-en electriciteitsmaatschappijen, telecom, post, rechtbank, immigratiedienst, politie,brandweer, huisartsen, ziekenhuizen, ontspanningscentra, bibliotheken, zwembaden,jeugdcentra, bus, trein, metro, dienst rijbewijzen, kleuterscholen, lagere scholen, mid-delbare scholen, volwassenenonderwijs, hogescholen en universiteiten, parken, recyclage-diensten (papier, kleren), vuilophaal, sociale zekerheid, huisvesting, thuisverpleging,bejaardenhuizen, adviesbureaus, en ambassades. De respondent wordt gevraagd inhoeverre hij/zij deze diensten als publieke dienst opvat, hoe vaak hij/zij er gebruik vanmaakt, welke hij/zij de belangrijkste diensten vindt, in hoeverre hij/zij tevreden isover de kwaliteit van de dienstverlening van de diensten, bij welke diensten hij/zij eenklacht heeft gedeponeerd, een oordeel over de kwaliteit van de informatievoorziening

17Zie Bouckaert et al., 2001a

34 Meten en operationaliseren

van de diensten, de bron van de informatie (loket, telefoon, internet, etc.). Responden-ten moeten beoordelen of de kwaliteit van diensten al dan niet is verbeterd t.o.v. vijfjaar geleden, in hoeverre de dienstverlening beantwoordt aan de verwachtingen, eneen associatielijst invullen die betrekking heeft op bureacratie, efficientie, eerlijkheid,etc. van de diensten.

Een ander deel van de bevraging gaat dieper in op ervaringen met medische dienstver-leningen op micro- en macroniveau. Op macro-niveau wordt de respondent gevraagdeen prioriteitenlijst op te stellen van problemen die het eerst moeten worden aangepaktom de gezondheid op nationaal niveau te verbeteren: luchtvervuiling, armoede, arbei-dsomstandigheden, druggebruik, eetgedrag, etc. Ook wordt er gevraagd naar speci-fieke gezondheidsproblemen waaraan de respondent leed of lijdt (o.a. doofheid, astma,bronchitis, longkanker, dementie, griep). Weer andere vragen hebben betrekking opauto- en woningbezit; ICT gebruik; zgn. One Stop Shops (het Engelse Eenloketpro-ject); en mediagedrag.

3.1.4 Citizens First

Citizens First 2000 presenteert zich als een world-leading survey on government ser-vice delivery and a key tool for service improvement in the public sector18. De survey,die onder de naam Have your say in 1998 en in 2000 bij Canadese burgers werdafgenomen vertoont overeenkomsten en verschillen met de vragenlijst die in de Peo-ple’s panel werd afgenomen. Ook in Have your say staan overheidsdiensten centraal.De vragenlijst is echter beduidend korter en omvat geen bevraging naar zaken opmacro niveau. Het feit echter dat het een kort instrument is maakt de lijst zeergeschikt om in eender welke dienstinstelling te worden afgenomen.

De vragenlijst van 2000 vormt een uitbreiding op de vragenlijst van 1998. In devragenlijst van 2000 zijn de luiken genummerd A t/m J:

A Your views

B How do public and private sector services compare?

C Service standards for routine transactions

D What services have you used?

E Internet services

F Blue/grey pages

G Single window services

H A recent experience

I Your comments

J About you...

Het Eenloketproject in Canada heet Single Window Service, en de blue/grey pageshebben betrekking op informatieverstrekking in telefoonboeken. We zullen hier watnader ingaan op de luiken C en H. Het derde luik van de enquete heeft betrekking op

18Spears & Seydegard, 2001

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 35

verwachtingen van client–burgers t.a.v. de informatieverstrekking van administraties.De vragen hebben echter bijna uitsluitend betrekking op de duur die een bepaaldedienst (bv. de aankomst van een brief, de wachtijd bij telefonische diensten). Invergelijking met een standaard tevredenheidsbevragingen, waarbij procesaspecten alsbeleefdheid, vriendelijkheid, behulpzaamheid enz. van het personeel worden bevraagdis de lijst dus tamelijk summier. Een aanvulling op de meeste tevredenheidsmetingenwordt gevormd door het vijfde item in luik C, welke luidt

— When you need a birthcertificate or other document in a hurry, should you be able topay extra to get the document quickly? If “yes”, what additional cost is acceptable toget a document quickly?

Hier wordt dus de bereidheid bevraagd om extra te betalen voor snellere dienstverle-ning. In het achtste luik, waar naar een recente ervaring met een dienstverlening wordtbevraagd, wordt een vraag naar ervaren kwaliteit en naar tevredenheid gesteld. Hierwordt de mogelijkheid geschapen om de relatie kwaliteit-tevredenheid te onderzoeken.Een vertrouwensitem echter komt in de lijst niet voor.

3.2 Drie bestuurskundige dimensies

Naast de politicologische en sociologische factoren die in de meeste surveys rondvertrouwen in de overheid in beschouwing worden genomen dienen drie bestuurskundigedimensies niet te ontbreken. Het gaat om de politiek-ambtelijke dimensie, die on-derscheid aanbrengt tussen overheidsdienstverlening en politiek; lokaal-centraal alsindicators van de verschillende bestuurslagen; en hardware-software als onderscheidtussen overheidsvorm en overheidsdienaren. Meer detail over deze dimensies volgt inde volgende drie paragrafen.

3.2.1 Politiek−ambtelijk

De moderniseringretoriek gaat ervan uit dat het vertrouwen in de overheid kan wor-den hersteld door de overheidsadministraties beter te laten functioneren. De oorzaakvan het wantrouwen wordt hier duidelijk bij de administratie gelegd. Het meesteonderzoek naar vertrouwen in de overheid heeft zich echter toegelegd op de invloedvan (macro) politieke aspecten op vertrouwen: ideologie, functioneren van politici enparlement, nakomen van verkiezingsbeloften enz. De vraag is wat de relatieve impactvan politieke en ambtelijke factoren op het wantrouwen is. Er wordt verondersteld datbeide factoren (en hun deelfactoren) een invloed hebben op vertrouwen, zij het datdeze invloed kan verschillen naargelang context, burger-klant orientatie van de burgeren het heersende discours. Om de verbeteringstrajecten te kunnen uittekenen is hetdaarom belangrijk hier zicht op te krijgen. Hiermee te maken heeft ook de kwestiewelke diensten door de burger worden gepercipieerd als overheidsdiensten (zie Box 1i).

Kwaliteitsinitiatieven binnen de overheid zijn er tot dusver van uitgegaan dat kwali-teitsverbeteringen de sleutel tot tot tevredenheid zijn. Een tentatieve theorie stelt im-mers dat verbetering van de kwaliteit van de dienstverlening van de overheid zal leidentot grotere tevredenheid van de burger, en daarmee uiteindelijk tot meer vertrouwenvan de burger in de overheid19. Deze performance theorie of prestatie-hypothese is opte splitsen in twee hoofdstromingen: macro-performance en micro-performance. De

19Parry, 1976

36 Meten en operationaliseren

Box 1. Klant−burger orientatie (I)

i. Classificatie van diensten1. Beschouwt u de volgende diensten/instanties als overheid of niet?

a Gezondheidszorg

b Onderwijs

c Posterijen

d Water en elektriciteitsvoorziening

e Telecommunicatie

f Televisie en radio

g Vuilophaal

h Busvervoer

i Treinvervoer

j Huisvesting

k Huisartsen

l Tandartsen

m Wegenwacht

n Musea en culturele centra

ii. Rollen van burgers2. Wanneer u denkt aan uw relatie tot de gemeente waarin u woont, hoe belangrijk

zijn de volgende drie overwegingen dan voor u persoonlijk?

a In staat zijn de beslissingen die belangrijk zijn voor u te beınvloeden

b Dat er openbare diensten zijn aangepast aan de noden in uw huishouden

c Hoeveel u dient te betalen aan belastingen, bijdragen en gebruiksvergoedingen

3. Hoe belangrijk zijn de volgende drie overwegingen vanuit uw standpunt?

a Dat uw gemeente belastingen en andere bijdragen zo laag mogelijk houdt

b Dat uw gemeente gevoelig is voor de opinie van de meerderheid van haar inwoners

c Dat uw gemeente goede openbare diensten aanbiedt

4. Hoe belangrijk is het voor u persoonlijk dat uw gemeente haar inwoners informeertover de volgende drie zaken?

a De diensten die de gemeente heeft voor haar inwoners

b De manier waarop de gemeente de belastingen van haar inwoners gebruikt

c De mogelijkheden die inwoners hebben om gemeentelijke beslissingen tebeınvloeden

5. Hoe belangrijk vindt u het dat

a ... lokale evaluaties zwaarder doorwegen dan nationale standaarden

b ... de lokale overheid beslissingen kan nemen over haar inkomsten en uitgavenzonder tussenkomst van de centrale overheid

c ... er een goed contact bestaat tussen inwoners en verkozen vertegenwoordigers

d ... inwoners betrokken worden bij zaken van lokaal politiek belang

e ... inwoners de best mogelijke dienstverlening krijgen voor de belastingen die zebetalen

f ... lokale overheidsdiensten op een zo goedkoop mogelijke manier worden gepro-duceerd

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 37

Box 1. Klant−burger orientatie (II)

iii. Associaties m.b.t. professionele categorieen6. Roepen de volgende functies een negatief of positief beeld bij u op?

Politieman, Brandweerman, TV Journalist, Radio-journalist, Journalist geschrevenpers, Ambtenaar, Rechter, Advocaat, Leraar, Professor, Manager, Politicus,Busschauffeur, Treinbestuurder, OCMW bediende, Gemeentebediende, Gemeen-tewerkman, Parlementslid, Minister, Dokter, Soldaat, Militair, Nieuwslezer,Priester/kardinaal/bisschop, Arbeider, Bediende, Kaderlid, Spoorwegarbeider,Topambtenaar, Burgemeester, Gemeenteraadslid, Deurwaarder, Notaris

iv. Associaties m.b.t. overheidsdiensten6. Roepen de volgende diensten een negatief of positief beeld bij u op?

Justitie, Politie, Vuilophaal, Ziekenzorg, Posterijen, Gemeentelijke administratie,VDAB, De Lijn, VRT, enz.

v. Verwachting m.b.t. overheidsdiensten7. In hoeverre bent u het ermee eens dat overheidsdiensten...

a gevoelig moeten zijn voor de meningen van gebruikers

b onder controle van de burgers moeten staan

c er zijn voor iedereen

d een vangnet zijn voor de behoeftigen

e gericht moeten zijn op de meest behoeftigen

f essentieel zijn voor de moderne samenleving

g waarde geven voor het geld van de belastingbetaler

h bezit moeten zijn van de overheid

i individuele verantwoordelijkheid wegnemen

eerste stroming benadrukt vooral de inflatie, werkloosheid en economische situatie alsevaluatiecriteria, terwijl de tweede het belang van de specifieke overheidsdienstver-lening als een van de belangrijkste factoren ziet die de houding t.o.v. de overheidbeınvloed. Dit is echter een ontkenning van het complexe proces dat tevredenheiddoet ontstaan. Tevredenheid met een geleverde dienst hangt niet alleen af van deobjectieve kwaliteit van deze dienst, maar ook van hoe deze kwaliteit wordt geperci-pieerd door de gebruiker, en van een hele reeks externe factoren20.

Binnen de ambtelijk−politieke dimensie is het van belang om na te gaan of de burgerzichzelf ziet als klant of als burger. De introductie van de term klant om de relatietussen burger en administratie te bespreken is terug te voeren op de periode waarinhet new public management opgang maakte. De hedendaagse kritiek op het gebruikvan de term slaat op de reductie van het burgerconcept op de puur bedrijfsmatige re-latie met de administratie, zonder dat deze in een bredere maatschappijcontext wordtgeplaatst. Er bestaat discussie over de kwestie wanneer en of een burger zichzelf alsklant beschouwt. Er blijkt wel een relatie te bestaan tussen de manier waarop eenburger zichzelf definieert (burger-klant) en de aspecten die men belangrijk vindt inhet presteren/het zijn van de overheid. Rose en Pettersen ontwikkelden een schaalom te meten in welke rol de burger zichzelf ziet: kiezer (verkiezingen), gebruiker ofbelastingsbetaler (zie Box 1ii).

20Bouckaert et al., 2001

38 Meten en operationaliseren

Een schaal die aangeeft in hoeverre ambtenaren en overheidsfunctionarissen nega-tiever dan private functies worden beoordeeld werd opgesteld door Vigoda (2001; zieBox 1iii). Journalisten vormen een belangrijke deelgroep in deze lijst, ondermeer om-dat met name van de pers wordt verwacht dat zij een negatieve invloed uitoefenen opde perceptie van de burger van de overheid21. De schaal kan worden geextrapoleerdnaar publieke diensten als instituut (Box 1iv). De verwachting van de prestaties vanoverheidsdiensten speelt tenslotte ook een rol in het tevredenheidsoordeel van overdi-ensten. Deze verwachting kan worden opgesplitst in twee groepen22: zgn. core beliefs,die betrekking hebben op de doelgroep van overheidsdiensten en de rol van de dienstin de maatschappij; en zgn. core expectations, die betrekking hebben op de relatieoverheid burger (zie Box 1v).

3.2.2 Locaal−centraal

Een tweede dimensie welke in de beschouwingen over vertrouwen in overweging moetworden genomen is die van de afstand overheid−burger. Het is immers een bekendgegeven dat locale politici en politiek hoger worden gewaardeerd dan centrale (na-tionale) politiek. Het begrip “de overheid” is dus te hybride om als uitgangspunt tekunnen dienen ter formulering van bronnen van vertrouwen erin. Op zijn minst tweezinvolle opdelingen van de overheid zijn denkbaar. Op de eerste plaats kunnen wehaar opdelen in een macro, meso en micro niveau23; in Belgie concreet correspon-derend met de federale regering, de lokale (Vlaamse, provinciale en gemeentelijke)overheden, en de diensten welke het dichtst bij de burger staan (Vlaamse overheidsin-stellingen, de politie, enz.). Een vragenbatterij die meningen bevraagt omtrent dewenselijke machtsverhouding van lokaal en centraal bestuur staat in Box 1ii, en werdovergenomen van Rose & Pettersen.

3.2.3 Hardware−software

De tweede indeling van de overheid is die naar politieke gemeenschap, regime, engezagsdragers. Easton spreekt van diffuse steun van de overheid wanneer de instituties(bv. , ‘het’ parlement) ervan worden vertrouwd, en van specific support wanneer deoutputs van het systeem worden gesteund. Uit verschillende studies blijkt echter datEaston’s concepten moeilijk operationaliseerbaar zijn. Easton (1967: 436) merkt zelfop dat hoewel zijn begrippenkader niet werd aangevochten, er wel problemen ontstaanbij de operationalisering van deze concepten. Om deze reden kiezen we ervoor tweeconvergenter gedefinieerde concepten te hanteren. Wij zullen in onderstaande sprekenvan de hardware van de overheid, waaronder de organen van de overheid wordenverstaan (bv. , het parlement, de regering, maar ook nutsbedrijven en de politie), ende software i.e. bemanning van deze organen, welke we onderverdelen in een politieken een niet-politiek deel. Zo komen we tot de matrix afgebeeld in de volgende figuur.

21Uslaner, 199822Public Management Foundation, 199623Bouckaert et al., 2001a

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 39

Hardware SoftwareNiet politiek Politiek

Monarchie Koning −Regering − Eerste minister

MinistersParlement − ParlementarieersMinisteries Ambtenaren −Gemeentebestuur − SchepenenPolitie Politie-ambtenaren −

Waar de literatuur veeleer spreekt van “de overheid” zullen wij dus een differentiatienaar niveau en aard (hard- vs software) onderkennen. Op deze manier zal duidelijkworden wat de objecten van vertrouwen van de burger zijn. Merk op dat het boven-staande schema alleen overheidsorganen omvat, en geen overige instituties van eenmaatschappij (i.e. hardware) als de kerk, partijen, en vakbonden, welke binnen Eas-ton’s systeem eveneens object van diffuse support kunnen zijn; en evenmin bevat hetschema de corresponderende gezagsdragers als de Paus en vakbondsleiders welke sub-ject van specific support kunnen zijn. Dergelijke instituties kunnen echter wel degelijkeen rol spelen in theorieen omtrent vertrouwen in de overheid (zie paragraaf 3.4).

Belangrijke veranderingen in de hardware van Belgie zijn de staatshervormingen diesedert 1993 werden ingevoerd en verder bekrachtigd in het Lambermont-akkoord, ende invoering van de Euro op 1 januari 2002. Daarnaast wordt het bestaan van demonarchie voortdurend in vraag gesteld. Opvattingen van de burger omtrent dezematerie wordt deels aangestuurd door de nationale groepen (Gemeinschaft) waarmeedeze zich identificeert. Men kan zich verwant voelen aan de natie (Belgie), aan de taal-gemeenschap (Vlaams of Waals), aan de provincie, enz. Vragenbatterijen hieromtrentwerden deels reeds opgesteld door het ISPO24; zie Box 2.

3.3 Indicatoren van tevredenheid

3.3.1 Socio-demografische variabelen

Onder socio-demografische variabelen vallen kenmerken van de respondent als ge-slacht, leeftijd, opleiding, arbeidsstatus, kerkelijkheid, beroepsstatus, inkomen, mu-tualiteit, enz. In de literatuur is herhaaldelijk aangetoond dat een aantal van dezekarakteristieken samenhangen met het niveau van tevredenheid van respondenten25.Uit recente studies blijkt dat verschillende van deze variabelen tevens samenhangenmet vertrouwen. Met name mutualiteit en kerkelijkheid hebben invloed26, maar ookopleiding, geslacht, en beroepsstatus hebben merkbare invloed op de gerapporteerdevertrouwensniveau’s27. Deze socio-demografische variabelen worden over het alge-meen standaard opgenomen in surveys. Een andere groep socio-demografische vari-abelen heeft betrekking op de omstandigheden waarin de burger leeft: is het eenschone, veilige of een vuile onveilige buurt? Hoe is het gesteld met de kwaliteit van de

24Meersseman et al., 200125bv. Swyngedouw et al., 199926Elchardus, 199827Kampen et al., 2001

40 Meten en operationaliseren

Box 2. Staatsvorm

i. Staatsvorm1. In hoeverre heeft Belgie naar uw mening een koning nodig?2. Over de staatsvorm die het land moet hebben wordt nog steeds gediscussieerd.

Sommigen vinden dat “Vlaanderen zelf over alles moet kunnen beslissen”. Anderenvinden dat “Belgie, Vlamingen en Walen samen dus, over alles moeten kunnenbeslissen”. Waar zou u zichzelf plaatsen op deze schaal? [BNV99 65]

3. Belgie is sinds 1993 een federale staat met een zekere verdeling van de bevoegdhedentussen de nationale overheid en de gemeenschappen en de gewesten. In hoeverrebent u tevreden of ontevreden met deze situatie? [BNV99 66]

4. In hoeverre bent u het eens met de stelling dat de invoering van de Euro een goedezaak voor ons land is geweest?

Box 3. Woonkwaliteit en levensstandaard

i. Woonkwaliteit [AS 54]

1. In hoeverre bent u het eens met de volgende stellingen?

a Mensen in mijn woonplaats leven sterk op zichzelf.

b De situatie in mijn woonplaats is vrij problematisch.

e Overdag en ’s avonds vermijd ik sommige buurten in mijn woonplaats omdat zeonveilig zijn.

f ’s Avonds laat ik het licht branden als niemand thuis is.

g Ik heb speciale maatregelen getroffen (bv. , aanbrengen extra sloten, alarm) ommijn woning tegen inbraak te beveiligen.

h Er wordt te weinig door de politie gepatrouilleerd in mijn buurt.

i De straten in mijn buurt zijn over het algemeen proper en goed onderhouden.

j Er wonen teveel vreemdelingen in mijn buurt.

k De leefsituatie in mijn buurt is de laatste jaren verslechterd.

l Alles tezamen ben ik tevreden met de buurt waar ik nu woon.

ii. Levenstandaard [AS 74]

2. In hoeverre bent u het eens met de volgende stellingen?

a Ik moet de laatste jaren meer op mijn uitgaven letten dan vroeger.

b Ik ben tevreden over mijn huidige levensstandaard.

c Ik ben bang dat ik me in de komende jaren minder luxe zal kunnen veroorloven.

d Ik ben bang dat iemand van mijn gezin zijn/haar werk of inkomen zal verliezen.

iii. Ervaren criminaliteit3. Was uzelf of iemand van uw gezin ooit slachtoffer van een of meer van de volgende

misdrijven tijdens de laatste twee jaar? [BNV99 SV24]

a Inbraak in uw woning of poging tot inbraak.

b Autodiefstal of iets gestolen uit auto.

c Diefstal op publieke plaatsen met geweld.

d Diefstal op publieke plaatsen zonder geweld.

d Persoonlijke bedreigingen

d Geweld tegen u persoonlijk

d Vandalisme

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 41

scholen? Hoe is de bevolkingsopbouw? Ook de tevredenheid met de eigen levensstan-daard zal invloed hebben op de tevredenheid met de overheid. Vragen hieromtrentkunnen daarom niet ontbreken in een survey naar tevredenheid en vertrouwen; zieBox 3.

3.3.2 Culturele en nationale identiteit

Culturele identiteit kan worden gedefinieerd als de mate waarin de burger zich iden-tificeert met bepaalde groepen in een natie, bv. taalgenoten, sociale klasse, enz. (zieBox 4i). Nationale identiteit kan worden gedefinieerd als de mate waarin de burgerzich identificeert met de natie, d.w.z. in welke mate het behoren tot een natie eenelement vormt van zijn of haar zelfbeeld. Hoewel dit concept in principe louter als eencategorische variabele zou kunnen worden opgevat wordt in de meeste onderzoekenook de intensiteit van de nationale identiteit gemeten28. In een multi-nationale con-text stelt zich daarbij in eerste instantie de vraag met welke van de verschillendenaties de respondent zich verbonden voelt en in tweede instantie met welke inten-siteit dat het geval is. In het geval van concurrentie tussen twee nationale identiteiten(meestal een nationale en een sub-nationale) kan de variabele worden opgevat als eenexclusieve keuze tussen de twee identiteiten, bv. Belgie of Vlaanderen. Wanneer derespondent mag kiezen uit een lijstje van entiteiten (BNV99), dan blijkt het antwoordin sterke mate te worden bepaald door een vraagvolgorde-effect29. In Box 4ii wordeneen aantal suggesties gedaan om om te gaan met de nationaliteitskwestie.

3.3.3 Nationalisme en patriotisme

Het concept patriottisme en het verschil tussen nationalisme en patriottisme wordenop ruwweg twee verschillende wijzen benaderd. Een eerste benadering definieert pa-triottisme als de mate van affectie ten aanzien van het eigen land, die in principeideologisch neutraal is: “The concept of patriotism is a heavily affect-laden one thatis closely related to the intensity of positive regard that a citizen holds towards hisor her homeland” 30. ‘Patriottisme’ wordt met andere woorden opgevat als de af-fectieve component van de nationale identiteit. In een multinationale context is hetaangewezen om de mate van patriottisme ten aanzien van elke natie afzonderlijk temeten. Het schijnbaar neutrale woord ‘land’ zal immers meestal met de officielenationaliteit worden geassocieerd. Een aantal items uit de patriottisme-schalen vanAmerican National Election Study 198731 (ANES), toegepast op Vlaanderen en Belgiestaan in Box 5ii.

Het verschil tussen ‘patriottisme’ en ‘nationalisme’ bestaat hierin dat de nationalistniet alleen emotioneel met zijn land verbonden is, maar bovendien de eigen natie alssuperieur beschouwt. Nationalisme houdt, in tegenstelling tot patriottisme, automa-tisch een vergelijking in tussen de eigen natie en andere naties (Box 5i). De nationalistlaat het eigen belang van de natie zwaarder doorwegen dan de belangen van anderenaties of het internationale belang. Een tweede benadering conceptualiseert patri-ottisme op basis van de inhoudelijke of ideologische invulling die aan de nationaleidentiteit wordt gegeven. Patriottisme wordt dan beschouwd als de ‘goedaardige’

28Blank et al., 200129De Winter, 199830Hurwitz & Peffley, 199931Hurwitz & Peffley, 1999; Kosterman & Feshbach, 1989

42 Meten en operationaliseren

Box 4. Culturele en nationale identiteit

i. Culturele identiteit

1. Hoe belangrijk is het voor u te behoren tot elk van de volgende groepen :

a Alle mensen die tot dezelfde natie behoren

b Alle mensen die op hetzelfde grondgebied wonen

c Alle mensen die dezelfde taal spreken

d Alle mensen met dezelfde leeftijd

e Alle mensen met hetzelfde geloof

f Alle mensen met hetzelfde beroep

g Alle mensen met hetzelfde geslacht

h Alle mensen die tot dezelfde sociale klasse behoren

ii. Nationale identiteit2. Tot welk geheel rekent u zichzelf op de eerste plaats en op de tweede plaats? 1)

Belgie, 2) Franstalige gemeenschap, 3) Vlaamse gemeenschap/gewest, 4) Duitsta-lige gemeenschap, 5) Waalse gewest, 6) Brussels gewest, 7) Provincie, 8) Gemeenteof stad. [BNV99 91]

3. U hebt gekozen voor [eerste plaats] op de eerste plaats en voor [tweede plaats] opde tweede plaats. Waar plaatst u Europa in dit lijstje? Boven de twee genoemde,tussen de twee genoemde of achteraan? [BNV99 92]

4. Zijn er volgens u tussen Vlamingen en Walen kleine of grote verschillen qua men-taliteit en levensstijl? [BNV99 93]

5. Voelt u zich over het algemeen dichter bij een Nederlander of bij een FranstaligeBelg? 1) Dichter bij een Nederlander, 2) Dichter bij een Franstalige Belg, 3) Geenverschil tussen beide, 4) Dat hangt ervan af. [BNV99 94]

6. Welke van de volgende uitspraken is voor u het meest van toepassing? 1) Ik voelme enkel Vlaming, 2) Ik voel me meer Vlaming dan Belg, 3) Ik voel me evenveelVlaming als Belg, 4) Ik voel me meer Belg dan Vlaming, 5) Ik voel me enkel Belg.[BNV99 95]

7. Gebeurt het bij u wel eens dat u zichzelf niet enkel ziet als Belgisch maar ook alsEuropees burger? Gebeurt dat nooit, soms of dikwijls? [BNV99 96]

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 43

variant van nationalisme. De verschillen tussen een ‘nationalistische’ en een ‘patriot-tische’ attitude − zoals beschreven in de vnl. Duitse literatuur − worden door Blanket al. (2001) samengevat als volgt:

Patriottisme Nationalisme

Geen overbeklemtoning van de nationaleidentiteit in het zelfconcept van een indi-vidu

Overbeklemtoning van de nationale iden-titeit in het zelfconcept van een individu

De eigen groep wordt niet in etnische ter-men gedefinieerd

De eigen groep wordt gedefinieerd op basisvan criteria als afkomst, ras of cultuur

Humanistische en democratische waardenstaan centraal in de zelfdefinitie als groep

De homogeniteit van de groep is een cen-trale waarde in de zelfdefinitie als groep

De natie wordt niet geıdealiseerd, maarwordt kritisch opbouwend benaderd; ver-schillende visies op de geschiedenis zijn mo-gelijk

De eigen natie en de geschiedenis ervanworden geıdealiseerd

Kritiek op de gezagsdragers van de natiewordt aanvaard

Kritiek op de gezagsdragers van de natiewordt niet aanvaard

Geen gevoel van nationale superioriteit Gevoel van nationale superioriteit

Vergelijking tussen nationale ingroup en outgroup is belangrijk. Patriottisme wordtniet louter als een gevoel gedefinieerd maar krijgt een ideologische invulling. Eennationalistische ingesteldheid kan in principe niet samengaan met een patriottische:je bent ofwel ‘patriot’ ofwel ‘nationalist’. Blank et al. meten zowel nationalismeals patriottisme op basis van een aantal items die nagaan in welke mate de respon-dent fier is over bepaalde aspecten van zijn/haar land. Welke vormen van fierheideerder samenvallen met ‘nationalisme’ en welke met ‘patriottisme’ verschilt volgensde auteurs sterk van land tot land. Onderstaande operationalisatie, hier toegepast opBelgie/Vlaanderen, is vooral geınspireerd op Duitsland. De vraagstelling luidt: Hoefier ben je op

Patriottisme Nationalisme

De manier waarop de democratie werkt inBelgie/Vlaanderen

De geschiedenis van Belgie/Vlaanderen

Het systeem van sociale zekerheid inBelgie/Vlaanderen

De strijdkrachten van Belgie/Vlaanderen

De prestaties van Belgie/Vlaanderen opsportief vlak

Men zou zich bij het meten van een nationalistische attitude ook louter kunnen baserenop het eerste kenmerk dat Blank et al. vernoemen: in welke mate wordt het behoren

44 Meten en operationaliseren

tot de natie (over)beklemtoond in het zelfbeeld van het individu? Anders gezegd, hoebelangrijk is de nationale identiteit ten aanzien van andere mogelijke identiteiten,zoals het behoren tot een sociale klasse, een godsdienst, een partij, enz. Dat zoubijvoorbeeld kunnen op basis van de vraag uit BNV95 (Box 4ii-5), zij het dat een pri-oriteitenvraagstelling wellicht te verkiezen is boven een ordinale vraagstelling. Blanket al.’s onderscheid tussen patriottisme en nationalisme ligt sterk in de lijn van het inde theoretische literatuur vaak gemaakte onderscheid tussen republikeins en etnisch-cultureel nationalisme. In de meer recente literatuur wordt echter in toenemendemate de nadruk gelegd op de fundamentele gelijkenissen tussen deze ‘goedaardige’ ende ‘kwaadaardige’ varianten van nationalisme32. Billig (1995) beschouwt het gebruikvan de term ‘patriottisme’ als een retorische strategie om nationalisme in bepaaldegevallen goed te praten of te ontdoen van de associatie met extremisme. Wellichtis het daarom zinvoller om geen a priori onderscheid te maken tussen patriottismeen nationalisme, maar a posteriori te onderzoeken in welke mate de burgers met eensterke nationale identiteit worden gekenmerkt door de waardenorientaties die Blanket al. met respectievelijk patriottisme en nationalisme in verband brengen33. Ooklijkt het zinvol om naast de nationale identiteit als dusdanig de affectieve geladenheiddaarvan te meten enerzijds en anderzijds ook na te gaan in welke mate de respondentde eigen natie als superieur beschouwt.

3.3.4 Politicologische indicatoren

Onder politicologische variabelen scharen we o.a. de partijkeuze van een respondent,politieke machteloosheid, tevredenheid met beleid, politieke systeem, functionerendemocratie, en interesse in politiek. Het politiek bedrijf houdt zich bezig met open-baar bestuur, en is daarmee een duidelijke actor in de evolutie van de maatschappij.De overheid kan zelf wantrouwen opwekken en wordt daarmee een interne factor vanwantrouwen. Diverse auteurs34 stellen voorop dat het vertrouwen in de overheid sterkafhangt van de mate waarin verkiezingsbeloften daadwerkelijk worden nagekomen.Politici zouden minder moeten beloven en meer moeten presteren. Politici die teveelbeloven dragen zelf het meest bij aan het verschijnsel government overload.

Politici zijn corrupter dan gewone mensen zegt 36,9% van alle Vlamingen, tegenover2,6% die denkt dat ze minder corrupt zijn (BNV 1995, Q100). Verborgen agenda’sen special interests staan in de VSA eveneens hoog op de lijst van oorzaken die res-pondenten aangeven waarom zij de overheid niet vertrouwen35. De kwestie is, omMuller & Jukam (1977: 1562) te citeren, of politiek vertrouwen een maat is voorgoed- of afkeuring van zittende overheid (software) danwel een maat van goedkeur-ing van het politiek bestel als geheel (hardware). Een verbeterde performance van deoverheid in de zin van het verbeteren van de kwaliteit van dienstverlening kan daaromslechts ten dele het cynisme blussen welke wordt gewekt door haar ondoorzichtelijkeen bureaucratische gezicht (zelfs al zullen de meeste burgers begrijpen dat de overheidgeheimen moet bewaren om de staat te beschermen). Andere bronnen van ongenoe-gen en wantrouwen zijn politiek clientilisme, twijfel aan de competentie van politici,politiek opportunisme, politieke besluiteloosheid, de afstand politiek-burger, en deidee dat belastinggeld wordt verspild. Tenslotte bestaat er de vraag of het aanbod

32Brown, 199933Maddens et al., 2000; Billiet et al., 200234bv. Miller, 1974; Elchardus, 199835bv. Hart & Teeter, 1999

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 45

Box 5. Nationalisme en pattriotisme

i. Nationalisme

1. Het is de plicht van elke Belg/Vlaming om respect te hebben voor de Belgi-sche/Vlaamse geschiedenis en cultuur

2. Andere landen zouden er goed aan doen om de manier waarop Vlaanderen/Belgiewordt bestuurd zoveel mogelijk na te volgen

3. Het is belangrijk dat de Belgen/Vlamingen zoveel mogelijk winnen in internationalesportcompetities zoals de Olympische spelen

4. Het Belgische/Vlaamse beleid inzake ontwikkelingssamenwerking moet er vooralop gericht zijn om onze politieke belangen in de wereld veilig te stellen

ii. Pattriotisme

5. Ik hou van Belgie/Vlaanderen

6. Ik ben fier dat ik Belg/Vlaming ben

7. Ik voel mij emotioneel verbonden met Belgie/Vlaanderen

8. Ik ben fier op Belgie/Vlaanderen

9. Het doet me iets als ik de Belgische vlag/de Vlaamse leeuw zie wapperen

10. Ik voel me fier wanneer ik het Belgisch volkslied/de Vlaamse leeuw hoor

11. Over het algemeen heb ik weinig respect voor Belgie/Vlaanderen

12. Ik vind het verkeerd dat men de kinderen van jongsaf aan het Belgisch/Vlaamsvolkslied leert zingen

13. Ik word boos als ik iemand een Belgische vlag / een vlag met de Vlaamse leeuwzie verbranden.

van beleid van de verschillende partijen voldoende gedifferentieerd is zodat een wijzi-ging van beleid d.m.v. verkiezingen (althans theoretisch) mogelijk is.

De kwestie of politiek wantrouwen tot acties van burger leidt kan worden nagegaandoor afname van een schaal die (potentieel) politiek activisme kwantificeert. Zo’nschaal werd al in de BNV afgenomen, en vraagt een waardering van de mate waarinmen een scala van radicale (vernielingen) en minder radicale (stakingen, protest) ac-ties tegen de overheid aanvaardbaar vindt. De schaal geeft zo een indicatie van demate van legitimiteit die de respondent aan de macht van overheid toekent. An-dere politicologische schalen die bevraagd moeten worden in verband met politieketevredenheid en vertrouwen zijn de perceptie van het politiek bedrijf, de partijkeuze,politieke machteloosheid, politieke gesofisticeerdheid, autoritarianisme, en legitimiteitvan het staatsbestel. Zie verder Box 6.

3.3.5 Sociologische indicatoren

Binnen de sociologische variabelen vallen o.a. metingen van sociaal kapitaal, individu-alisme, collectivisme, ethnocentrisme, en gevoelens van onveiligheid. De life-style van

46 Meten en operationaliseren

Box 6. Politicologische indicatoren (I)

i. Perceptie politiek bedrijf1. In hoeverre bent u het eens met de stelling data ... politici corrupter zijn dan gewone mensen? [BNV95 100, ANES p. 263]

b ... politici vaker hun eigenbelang dienen dan dat van de burger?[EG 10]

c ... politici het merendeel van de tijd doen wat juist is?[ANES p. 261, EG 4]

d ... politici een paar grote belangengroepen dienen i.p.v. de bevolking in het geheel?[ ANES p. 262, EG 10]

e ... politici er verborgen agenda’s op na houden?f ... politici bekwame mensen zijn die weten wat ze doen?[BNV99 79.8, ANES p. 263]

h ... politici veel beloven maar weinig presteren? [BNV99 79.6]

i ... de overheid ineffectief is? [EG 10]

j ... de overheid belastinggeld over de balk smijt? [ANES p. 262, EG 10]

ii. Partijkeuze2. Voor welke partij hebt u de grootste voorkeur? [BNV99 55.1]

3. Welke politieke partij komt bij u op de tweede plaats? [BNV99 55.2]

4. Welke politieke partij keurt u het meeste af? [BNV99 55.3]

iii. Politieke machteloosheid5. In hoeverre bent u het eens met de volgende stellingen? [BNV99 79, APS00 65]

a Gaan stemmen heeft geen zin, de partijen doen toch wat ze willen.

b De meeste van onze politici zijn geschikte mensen die weten wat ze doen.

c Bij de verkiezingen belooft de ene partij al meer dan de andere, maar uiteindelijkkomt er weinig van terecht.

d De politieke partijen zijn alleen maar geınteresseerd in mijn stem en niet in mijnmening.

e Als er mensen zoals ik aan de politici hun opvattingen laten weten, dan zullen zijdaar rekening mee houden.

f Er stemmen zoveel mensen bij de verkiezingen dat mijn stem er niet toe doet.

g Mensen zoals ik hebben wel degelijk invloed op wat de overheid doet.

h De politici hebben nooit geleerd om te luisteren naar gewone mensen zoals ik.

i Als het parlement een onrechtvaardige wet heeft gestemd, dan kan je daar alsburger nog weinig aan doen.

iv. Politiek activisme6. In een democratie kunnen mensen actiemiddelen gebruiken om hun onenigheid met

een politieke beslissing kenbaar te maken. Kunt u zeggen in hoeverre u elk van devolgende middelen aanvaardbaar vindt? [vergl. BNV99 SV7]

a Weigeren om taksen of belastingen te betalen.

b Verkeershinder veroorzaken.

c Gaan betogen.

d Administratieve gebouwen bezetten.

e Beschadigen van eigendom als actiemiddel.

f Tekenen van petities.

g Affiches plakken op niet-toegestane plaatsen

h Slogans op muren schilderen.

i Deelnemen aan niet door de vakbond erkende stakingen.

j Boycot-acties tegen producten.

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 47

Box 6. Politicologische indicatoren (II)

v. Politieke gesofisticeerdheid7. In hoeverre bent u het eens met de volgende uitspraken? [APS00 61]

a Ik spreek onder vrienden vaak over politieke zaken.

b Ik heb wel eens op een bijeenkomst gesproken om een bepaald standpunt naar voorte brengen.

c Ik heb wel eens naar een krant geschreven om een bepaald standpunt naar voor tebrengen.

d Ik heb de laatste jaren wel eens een vergadering of een bijeenkomst van een politiekepartij bijgewoond.

e Ik heb de voorbije twee jaar meegedaan aan een inspraakprocedure of ben naareen hoorzitting van de overheid geweest.

f Ik heb me de afgelopen twee jaar samen met anderen ingespannen voor een kwestievan nationaal of internationaal belang.

g Ik heb me de laatste twee jaar samen met anderen ingespannen voor een kwestievan lokaal belang.

8. Hoe vaak volgt u het politieke nieuws op de radio, de TV of in de krant? [BNV99

54.1]

9. Wanneer u over iets een duidelijke, uitgesproken mening heeft, probeert u dan uwvrienden, familieleden of collega’s voor deze mening te winnen? [BNV99 54.3]

vi. Autoritarianisme10. Wat is uw persoonlijke mening over de volgende uitspraken? [BNV99 75]

a Gehoorzaamheid en respect voor het gezag zijn de twee belangrijkste deugden diekinderen moeten leren.

b De beste mensen in de maatschappij zijn zij die gevestigde waarden in vraag durvente stellen.

c De rechtbanken hebben gelijk wanneer ze mild zijn voor druggebruikers. Straffenbieden in dit soort gevallen immers geen oplossing.

d Onze sociale problemen zouden grotendeels opgelost zijn als we ons op de een ofandere manier konden ontdoen van immorele en oneerlijke mensen.

e We hebben nood aan sterke leiders die ons voorschrijven wat we moeten doen.

f In elk volk vindt men een nationaal toegewijde voorhoede die de leiding neemt eneen massa die geleid moet worden.

g In grote steden en in probleembuurten moet een zero-tolerantie beleid met be-trekking tot veiligheid worden gevoerd. [BNV99 108.1]

h Voor misdaden als moord, doodslag, opeenvolgende drugsmisdaden en bendevorm-ing moeten jongeren vanaf 13 jaar op dezelfde wijze gestraft worden als volwasse-nen. [BNV99 108.2]

i Gevangenisstraffen moeten zoveel mogelijk worden vervangen door verplichtedienstverlening aan de maatschappij. [BNV99 108.6]

j De doodstraf mag terug ingevoerd worden voor zeer zware misdaden. [AS 114.2]

vii. Legitimiteit11. Wat is uw persoonlijke mening over de volgende uitspraken? [AS 90]

a Hoewel ons politieke systeem soms mank loopt, sta ik toch achter de democratischeprincipes waarop het is gebaseerd.

b Het parlement kan best afgeschaft worden want het lost geen enkel probleem op.

c Het democratisch overleg heeft afgedaan: vakbonden, patroons en mutualiteitenmoeten uit de besluitvorming geweerd worden.

d Enkel diegenen die politieke interesse betonen en politiek bekwaam zijn zoudennog mogen gaan stemmen.

e Het huidige politieke systeem is verrot.

f We mogen gelukkig zijn dat we in een land leven dat zulke democratische wettenen gewoonten heeft.

48 Meten en operationaliseren

Box 7. Sociologische indicatoren (I)

i. Individualisme1. In hoeverre bent u het eens met de volgende stellingen? [BNV99 30, APS00 60]

a De mensheid, onze naasten, solidariteit... wat een onzin allemaal, iedereen moeteerst voor zichzelf zorgen en zijn belangen verdedigen.

b Wat telt zijn geld en macht, de rest zijn praatjes.

c Het nastreven van persoonlijk succes is belangrijker dan te zorgen voor een goedeverstandhouding met je medemens.

d Men moet steeds zijn eigen plezier nastreven, en zich niet teveel van anderenaantrekken.

e Ik voel me pas goed als ik me kan inzetten voor een gemeenschappelijk doel.

f Tegenwoordig weet je echt niet meer op wie of wat je nog kunt vertrouwen.

g De dingen zijn tegenwoordig zo ingewikkeld geworden dat ik niet meer weet watik moet doen.

h De meeste mensen vallen tegen eens je ze beter leert kennen.

i De dag van vandaag kan ik niet meer begrijpen wat er allemaal gaande is.

j Vandaag de dag kun je het merendeel van de mensen nog wel vertrouwen.

k De dag van vandaag verandert alles zo snel dat ik niet meer weet hoe ik mij moetgedragen.

ii. Ethnocentrisme2. In hoeverre bent u het eens met de volgende stellingen? [BNV99 88]

a Belgie had eigenlijk nooit gastarbeiders binnen mogen laten.

b Migranten zijn over het algemeen niet te vertrouwen.

c Gastarbeiders zijn een gevaar voor de tewerkstelling van Belgen.

d Gastarbeiders komen hier profiteren van de sociale zekerheid.

e Migranten dragen bij aan de welvaart van ons land.

f Moslims zijn een bedreiging van onze cultuur en gebruiken.

g De aanwezigheid van verschillende culturen verrijkt onze samenleving.

h Als het aantal arbeidsplaatsen vermindert moet men de gastarbeiders naar huneigen land terugsturen.

i Wij zouden de buitenlanders die zich in Belgie willen vestigen hartelijk welkommoeten heten.

j Migranten mogen aan geen enkele politieke aktiviteit deelnemen.

k Als men Turken en Marokkanen beter leert kennen, dan blijken dat over het alge-meen vriendelije mensen.

l De maatschappij moet het mogelijk maken voor migranten om hun eigen taal encultuur te behouden.

m De voorwaarden voor vreemdelingen om Belg te worden moeten veel strenger wor-den.

n Vreemdelingen die hier lang genoeg legaal wonen moeten gemeentelijk stemrechtkrijgen.

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 49

Box 7. Sociologische indicatoren (II)

iii. Cosmopolitisme/traditionalisme3. In hoeverre bent u het eens met de volgende stellingen?

a Gebruik van softdrugs (bv. marihuana, hash) moet wettelijk toegelaten worden.[BNV99 73.1]

b Abortus moet verboden worden. [BNV99 73.3]

c Het is aanvaardbaar dat een dokter een patient op diens uitdrukkelijk verzoek uitzijn lijden helpt door een spuitje. [ BNV99 71]

d Iedereen moet vrij zijn om een godsdienstige overtuiging, levensstijl en seksuelevoorkeur naar eigen keuze te hebben. [BNV99 75.6]

e Vrouwen zijn even geschikt voor politiek als mannen. [BNV99 81.6]

f De vrouw kan maar beter niet gaan werken, want dat geeft toch maar problemen,zeker als er kinderen komen. [BNV99 74.6]

g Het is het beste dat man en vrouw beide deeltijds werken en verder samen voorhet huishouden en de kinderen zorgen. [BNV99 74.5]

h Er moeten meer beperkingen opgelegd worden aan seks op televisie. [BNV99 73.2]

i Ik vind dat gewoonten en gebruiken dienen om nageleefd te worden [APS00 66.1]

j Ik vind dat men de traditionele gebruiken veel meer zou moeten navolgen.[APS0066.2]

k Gebruiken en omgangsvormen moeten zoveel mogelijk onveranderd blijven. [APS0066.3]

l Men zou de mensen met veel hardere middelen moeten verplichten om zich tehouden aan traditionele waarden en omgangsvormen. [APS00 66.4]

m Ik doe altijd mijn eigen zin ook al gaat dat volledig in tegen wat algemeen aanvaardis. [APS00 66.5]

n Niets of niemand mag mij beperken in de nieuwe ervaringen die ik wil opdoen.[APS00 66.6]

o Zowel binnenhuis als buitenhuis trek ik mij niets aan van de gebruiken en gewoontenvan de samenleving. [APS00 66.7]

p Ik doe mijn eigen zin en daarmee uit. [APS00 66.8]

iv. Sociaal kapitaal4. Bent u actief lid van een of meerdere verenigingen, dat wil zeggen dat u het voorbije

jaar aan activiteiten heeft deelgenomen van clubs, organisaties of verenigingen vanwelke aard dan ook? [APS00 51, BNV99 SV26]

a een vereniging die mensen groepeert die anderen (gehandicapten, bejaarden,kansarmen, ...) helpen

b een jeugdbeweging, jeugdvereniging of jeugdclub

c een milieu- of natuurvereniging

d een cultuurvereniging (toneel, muziek, literatuur, ...)

e een socio-culturele vereniging (KAV, SVV, Davidsfonds, BGJG, ... )

f een sportvereniging

g een politieke vereniging of partij

h een religieuze of kerkelijke vereniging

i een wijk- of buurtcomite

j een vereniging die ijvert voor de verbetering van het lot van anderen

k een vakbond, een middenstandsorganisatie, een beroepsvereniging of een organ-isatie van werkgevers of zelfstandigen

l een gemeentelijke adviesraad, schoolraad

m nog een andere vereniging

50 Meten en operationaliseren

Box 7. Sociologische indicatoren (III)

iv. Sociaal kapitaal (vervolg)5. Hoe dikwijls heeft u een praatje met uw buren? [AS 47.1]

6. Hoe dikwijls gaat u of krijgt u bezoek van familie? [AS 47.2]

7. Hoe dikwijls heeft u persoonlijk contact met vrienden of kennissen? [AS 47.3]

8. Hoe vaak doet u activiteiten buitenshuis met anderen? [AS 47.4]

Antwoorden: nooit, zelden, ongeveer eenmaal per maand, ongeveer een keer perweek, meerdere keren per week, dagelijks.

v. Maatschappelijke machteloosheid en omgang met onzekerheid9. In hoeverre bent u het eens met de volgende stellingen?

a Zolang je maar gezond verstand gebruikt, is er een oplossing voor alles [AS 47.1]

b Je lost niet alles op met gezond verstand alleen [AS 47.1]

c Meestal kan men een probleem op verschillende manieren oplossen, het komt eropaan een keuze te maken [AS 47.1]

d Denkzij de vele informatie waarover we dagelijks kunnen beschikken is alles veelduidelijker [APS00]

e We kunnen niet alles onder controle houden

f Als er geen oplossing voor bestaat, dan is het geen probleem

g Als ik een probleem niet kan oplossen, voel ik me slecht

h Alles is tegenwoordig zo ingewikkeld geworden, dat ik soms niet meer weet wat tedoen [APS00]

i Er komt tegenwoordig zo veel informatie op ons af dat we op den duur niets meerbegrijpen [APS00]

j Alles is de laatste tijd zo snel en jachtig geworden dat ik soms het gevoel krijg nietmeer... [APS00]

k Men zegt wel eens dat het vroeger allemaal eenvoudiger was, maar nu gaat allestoch gemakkelijk [APS00]

l Alles is tegenwoordig zo ingewikkeld geworden dat ik soms niet meer weet wat tedoen [AS]

m Over belangrijke kwesties bestaan er tegenwoordig zoveel verschillende meningendat het steeds moeilijker wordt wat ervan te denken [AS]

n Keuzen maken wordt alsmaar moeilijker in deze tijd [AS]

o Het lijkt wel of er geen eenvoudige oplossingen zijn voor veel sociale problemen[AS]

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 51

een individu blijkt een verband te houden met de mate van vertrouwen36. Elchardusbespreekt twee life-styles: aan de ene kant de wantrouwende etnocentristische, zichmachteloos voelende utilitaire individualist; en aan de andere kant de vertrouwendecosmopolitische post-modernist, i.e. iemand met progressieve ideeen omtrent eman-cipatie, milieu, en migranten. Wantrouwen in Elchardus’ visie zou gebaseerd zijn opdrie lange termijn evoluties: onverschilligheid, de crisis van de verzorgingsstaat en debreuklijn etnocentristen—post-modernisten. Een ander aspect betreft de mate vansociaal kapitaal van een respondent; d.w.z. of een repondent lid is van een politiekepartij, vereniging, club, liefdadigheidsvereniging etc. en zijn/haar burgelijke staat.Mensen die sociaal geısoleerd leven hebben een andere attitude naar de overheid danmensen met een rijk sociaal leven37.

Elchardus stelt de evolutie van de waarden in de samenleving als geheel centraalin het verklaringsmodel van wantrouwen. Deze denktrant vinden we ook bij anderevorsers. Rose & Pettersen spreken van een new politics hypothesis, welke stelt datdoordat de kiezer hoger opgeleid is, belang wordt gehecht aan andere politieke pri-oriteiten die in het huidige bestel (blijkbaar) onvoldoende aan de orde komen. Alsandere ontwikkeling wordt de negatieve journalistiek genoemd, het fenomeen dat demedia de accenten leggen op negatieve aspekten van de samenleving als corruptie vanpolitici en toenemende criminaliteit. Kijken we naar de situatie in Vlaanderen, danzien we bijvoorbeeld dat 75% van de Vlamingen voorstander is van de zero-tolerancepolitiek38. Het Vlaams Blok, zoals de naam suggereert, is een Vlaams nationalis-tische partij welke op de eerste plaats de belangen van de Vlaamse burger wenst tebeschermen; en een van de speerpunten van de partij is de veiligheidsproblematiek.De partij is meer dan gemiddeld ontevreden over het gevoerde beleid39 en staat ookwantrouwender tegen de overheid. Elchardus geeft als een van de suggesties vooreen verbeteringstraject dat de overheid de veiligheid van de burger moet garanderen.Twee andere suggesties zijn dat de overheid de belangstelling van de burger voor depublieke zaak moet wekken, en een hoopvol en geloofwaardig project voor de toekomstaanbieden. Zo’n project zou de totstandkoming en ontwikkeling van de Europese Uniekunnen zijn, maar de toenemende globalisering wordt door de gemiddelde burger metargwaan bekeken.

Uit empirische studie40 blijkt dat de sociologische indicatoren die zeker aan de ordemoeten komen in de context van de vertrouwensbevraging zijn individualisme, eth-nocentrisme, cosmopolitisme en traditionalisme, en sociaal kapitaal. Twee andereaspecten betreffen maatschappelijke machteloosheid en de mening omtrent de maak-baarheid van de samenleving. Omgang met machteloosheid en onzekerheid werd inangel-saksische context onderzocht41. Hier betreft het items als

– An expert who doesn’t come up with a definitive answer probably doesn’t know toomuch

– There is really no such thing as a problem that can’t be solved

– A good job is one where what is to be done and how it is done are always clear

– In the long run, it is possible to get more done by tackling small, simple problems

36Elchardus, 199837Zie Vlaanderen Gepeild, 200138Kampen et al., 200139Swyngedouw et al., 199940Kampen et al., 2001; Kampen, 200141Robinson, 1970: 317

52 Meten en operationaliseren

rather than large and complicated ones

– What we are used to is always preferable to what is unfamiliar

– A person who leads an even, regular life in which few surprises or unexpected happen-ings arise, really has a lot to be grateful for

– I like parties where I know most of the people more than ones where all or most ofthe peopel are complete strangers

– The sooner we all acquire similar values and ideals the better

– I would like to live in a foreign contry for a while

– People who fit their lives to a schedule probably miss most of the joy of living

– It is more fun to tackle a complicated problem than to solve a simple one

– Often the most interesting and stimulating people are those who don’t mind beingdifferent and original

– People who insist upon a yes or no answer just don’t know how complicated thingsreally are

– Many of our most important decisions are based upon sufficient information

– Teachers or supervisors who hand out vague assignments give a chance for one to showinitiative and originality

– A good teacher is one who makes you wonder about your way of looking at things

Een aantal Nederlandstalige items m.b.t. deze thematiek werden opgenomen in Box7v. Uitbreiding van dit lijstje met enkele van de bovenstaande lijkt wenselijk.

3.3.6 Direkte bevraging

In de voorgaande paragrafen hebben we een aantal componenten besproken die kun-nen bijdragen aan het niveau van tevredenheid van een respondent met het gevoerdebeleid en met de overheid en politiek in het algemeen. Naast deze covariaten hebbenwe echter natuurlijk altijd directe metingen van tevredenheid met de diverse over-heidsorganen nodig. De opdeling naar niveau’s en naar hard- en software is nodig omde objecten van vertrouwen eenduidig te bepalen. Zie Box 8i.

3.3.7 Sympathie-scores

De idee dat tevredenheid meer met software-matige en vertrouwen meer met hardware-matige aspekten van de overheid te maken heeft kan worden uitgediept door adhominem oordelen te vragen van de burger t.a.v. van spilfiguren in de Belgische enVlaamse overheid (Box 8ii). Het begrip “spilfiguur” is nogal gevoelig voor actu-aliteiten en media-exposure van politici. Het is echter wenselijk om voor een minderhype gebonden maat van spilfiguren te kiezen. Concreet zouden we symphatie metin-gen van het zg. kernkabinet willen; deze bestaat echter niet formeel op Vlaams niveau,en hier moeten we op andere gronden personen aanwijzen.

3.4 Indicatoren van vertrouwen

3.4.1 Direkte bevraging

Er zijn twee verschillende manier om het niveau van vertrouwen te bevragen: direct enindirect. Bij de directe manier wordt er van uitgegaan dat “vertrouwen” een eenduidigconcept is en ook als zodanig door de respondent wordt verstaan; bij de indirectemethode worden bij de vorige stelling kanttekeningen geplaatst. In de meeste surveys

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 53

Box 8. Tevredenheid

i. Direkte bevraging1. In hoeverre bent u tevreden over de werking van de nationale overheid?

2. In hoeverre bent u tevreden over het beleid van de regering Verhofstadt tot nu toe?

3. In hoeverre bent u tevreden over de werking van de Vlaamse overheid?

4. In hoeverre bent u tevreden over het beleid van de regering Dewael tot nu toe?

5. In hoeverre bent u tevreden over de werking van de gemeentelijke overheid?

6. In hoeverre bent u tevreden over het beleid van uw gemeentebestuur tot nu toe?

7. In hoeverre bent u tevreden over de werking van overheidsdiensten in het algemeen?

ii. Sympathie-scores8. In hoeverre vindt u de volgende nationale beleidsmakers sympathiek?

a Eerste minister G. Verhofstadt

b Min. v. Buitenlandse Zaken L. Michiel

c Min. v. Binnenlandse Zaken J. Vandelanotte

d Min. v. Mobiliteit en Vervoer I. Durant

e Min v. Werkgelegenheid L. Onkelinx

9. In hoeverre vindt u de volgende Vlaamse beleidsmakers sympathiek?

a Minister-president P. Dewael

b Min. v. Verkeer S. Stevaert

c Min v. Cultuur B. Anciaux

9. In hoeverre vindt u de volgende koninklijke personen sympathiek?

a Koning Albert II

b Prins Filip

c Prinses Mathilde

d Baby Elisabeth

11. In hoeverre vindt u de volgende partijen sympathiek? [BNV99 SV6]

a Agalev

b CVP (CD&V)

c VLD

d SP (SP.A)

e Vlaams Blok

f Volksunie/ID21 (N-VA)

in Vlaanderen, met name de APS en de BNV, wordt veeleer de directe methodetoegepast. De directe methode luidt bijvoorbeeld als volgt:

– Hebt u in het algemeen vertrouwen in de overheidsdiensten?

Dit is de formulering zoals toegepast in de federale kwaliteitsbarometer (en wordtgescoord op een vier-puntsschaal). Een algemene batterij is geplaatst in Box 9i.

3.4.2 Indirekte bevraging

Bij de indirecte bevraging wordt aangesloten bij de definitie van vertrouwen zoalswe die in het begin van dit hoofdstuk opstelden. We gaan er m.a.w. vanuit datde begrippen vertrouwen en overheid te hybride zijn om in een enkele vraagstellingte worden gemeten. Twee aspecten zijn van bizonder belang: de mate waarin mengelooft dat de zittende nationale en Vlaamse regeringen positieve resultaten aan de

54 Meten en operationaliseren

kiezer zullen kunnen voorleggen, en de mate waarin men gelooft dat de overheid en deregeringen aan meer controle onderhavig zouden moeten zijn. Meer concreet wordtbevraagd voor de verschillende regeringsniveaus in hoeverre men verwacht dat deregering bij de volgende verkiezingen een positief resultaat van haar beleid aan debevolking kan voorleggen, in hoeverre men vindt dat de overheid meer gecontroleerdzou moeten worden en in hoeverre men vindt dat de regering meer gecontroleerd zoumoeten. Deze zaken moeten dan weer worden opgesplitst naar soft) en hardware ennaar de verschillende niveaus van administratie; zie Box 9ii.

3.4.3 Overige covariaten

Veel van de sociologische en politicologische variabelen besproken in de paragraafover tevredenheid hebben eveneens invloed op de mate van vertrouwen in de overheiden de regering; met name opleiding, kerkelijkheid, beroepsstatus, mutualiteit, indi-vidualisme/collectivisme, ethnocentrisme, veiligheid, sociaal kapitaal, en partijkeuze.Ook de mate waarin een respondent geengageerd is met politiek, zoals gemeten doorvariabelen als de mate waarin politiek wordt besproken met vrienden en familie, demate waarin politiek nieuws wordt gevolgd in de media en interesse in politiek (poli-tieke gesofisticeerdheid42) hebben weerslag op de mate van vertrouwen. Een anderevariabele die we willen noemen in dit verband is de mate waarin men krachtige lei-ders noodzakelijk vindt voor het goed bestuur van het land. Dit hangt samen meteen algemene schaal die autoritarianisme wordt genoemd (zie Box 6vi). Uit studietenslotte, blijkt dat de krachtigste voorspeller van wantrouwen wordt gevormd doorpolitieke machteloosheid43 (Box 6iii).

42zie Maddens & Billiet, 200143Kampen et al., 2001

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 55

Box 9. Vertrouwen

i. Direkte bevraging1. In hoeverre heeft u vertrouwen in: [BNV99 113, APS00 ]

a overheidsadministraties in het algemeen

b de gemeentelijke administratie

c het gemeentebestuur

d de Vlaamse administratie

e de Vlaamse regering

f de federale administratie

g de federale regering

h de overheid in het algemeen

i de Koning

j de Kerk

k de patroons of de werkgevers

l media: TV, radio, kranten

m banken

n de vakbonden

o grote bedrijven

p Het Europees Parlement

q De NAVO

r De partij waarvoor u gewoonlijk stemt

s de politie en Rijkswacht

t het leger

u het gerecht

v het onderwijs

w de pastoor of parochiepriester [AS 75.5]

x de mensen in uw buurt [AS 75.7]

y sociale werkers [AS 75.12]

ii. Indirekte bevraging2. In hoeverre verwacht u dat de regering Verhofstadt bij de volgende verkiezingen

een positief resultaat van haar beleid aan de bevolking kan voorleggen?

3. In hoeverre bent u het eens met de stelling dat de overheid meer gecontroleerd zoumoeten worden?

4. In hoeverre bent u het eens met de stelling dat de regering Verhofstadt meergecontroleerd zou moeten worden?

5. In hoeverre verwacht u dat de regering Dewael bij de volgende verkiezingen eenpositief resultaat van haar beleid aan de bevolking kan voorleggen?

6. In hoeverre bent u het eens met de stelling dat de Vlaamse overheid meer gecon-troleerd zou moeten worden?

7. In hoeverre bent u het eens met de stelling dat de regering Dewael meer gecon-troleerd zou moeten worden?

56 Meten en operationaliseren

Hoofdstuk 4

Besluit

We hebben in de voorgaande hoofdstukken een beeld proberen te schetsen van depraktische problemen die (kunnen) optreden bij de vertaling naar de praktijk vantheorieen over tevredenheid met en vertrouwen in de overheid van de burger naarconcrete operationalisaties in survey-onderzoek. Een aantal vraagtekens blijven openvooraleer aan de formulering van de uiteindelijke vragenlijst van de burger-surveykan worden overgegaan. De eerste kanttekening betreft het grote volume aan vragendat resulteert uit de opname van de complete vragenbatterijen van de verschillendeluiken. Zoals we al aangaven in paragraaf 2.2 is er een beperking aan de inspanning dievan de respondenten mag worden gevraagd zodat inkorting van de vragenbatterijengeındiceerd is. Het besluit om sommige items te schrappen en andere te handhavenkan slechts ten dele door empirische argumenten worden bestendigd, zodat de uitein-delijke keuze in meer of mindere mate arbitrair zal zijn. Niettemin, multicolliniariteitvan items kan in een aantal gevallen worden vastgesteld door analyses van bestaandesurveys en geeft een valide aanwijzing welke items kunnen worden weggelaten1. Naastinkorten van de lijst kan ook worden besloten om bij de respondenten een schriftelijkevragenlijst achter te laten met de idee dat deze zal worden nagestuurd; deze methodewerd met enig succes toegepast door het ISPO in de verkiezingsstudie van 1999.

Een tweede kanttekening betreft het belang van de vraagvolgorde. Moet men be-ginnen met een algemene tevredenheidsvraag en dan in andere items constituentenvan dit oordeel verder uitdiepen? Of is het misschien beter om pas na detailvrageneen algemeen oordeel te eliciteren? Moeten vragen over tevredenheid voorafgaan ofvolgen op vragen over vertrouwen? In lang niet alle gevallen kan hier een sluitendantwoord worden gegeven, en lijkt het aangewezen om de totale proefgroep te splitsenin een aantal subgroepen die elk een andere vraagvolgorde krijgen aangeboden zoalswe suggereerden in paragraaf 2.4.2. Er is echter een grens aan het aantal zinvolleopdelingen dat kan worden gedaan, omdat de resulterende substeekproeven van vol-doende omvang (n > 100) moeten zijn.

Een derde punt betreft de kwestie of de post-enquete werkelijk totaal ongeschikt is alsmedium voor de bevraging. Non-response in post-enquetes kan immers tot aanvaard-bare proporties worden teruggedrongen door toepassen van TDM (zie Hoofdstuk 2,paragraaf 2.3.1). Een onderzoeksstrategie die inzicht kan verschaffen in eventuele ver-

1Kampen et al., 2001

57

58 Meten en operationaliseren

schillen tussen uitkomsten van een post-survey steekproef en een face-to-face surveysteekproef is door beide parallel af te nemen. D.w.z. dat de helft van het aantalrespondenten via de post, en de andere helft persoonlijk worden benaderd (uiter-aard vooraf anticiperend op te verwachten non-response). Budgettair komt dit naarschatting neer op een verdeling van twee-derde van het totale budget voor de face-to-face interviews en terwijl een-derde voor de post-enquete moet worden gereserveerd.In de post-enquete is dan inbegrepen: een aankondigingsbrief, een herinneringsbrief,en een incentive (te verloten boeken- of platenbonnen). Een voordeel van de post-enquetes is, wanneer zij verspreid over een langere periode worden afgenomen, dat erde mogelijkheid is om zg. media-events te “vangen”. Huwelijksaankondigingen vankoninklijke familieleden en gebeurtenissen als de terroristische aanval op de VerenigdeStaten van 11 september 2001 kunnen aantoonbare invloed hebben op het gerapppor-teerde vertrouwen van respondenten in de overheid en andere instituties2. Theo-retisch kunnen media-events ook optreden ten tijde van de afname van face-to-faceinterviews, maar deze worden binnen een betrekkelijk korte termijn afgenomen omdatbv. interviewernetwerken maar beperkte tijd beschikbaar zijn zodat de kans dat eenbelangrijke gebeurtenis plaatsvindt ten tijde van de afnames kleiner is.

Een vierde kanttekening betreft het ontbreken van een overkoepelende theorie diede uiteindelijke keuze van de vragenbatterijen grotendeels zal bepalen. In het vorigehoofdstuk hebben we immers wel een ingredientenlijst besproken, maar geen uit-spraken gedaan over de relatieve bijdragen van elk van de deelcomponenten. Deliteratuurverkenning van het thema vertrouwen in de overheid wordt in het najaarafgerond, en zal de basis vormen van de uiteindelijke onderzoekshypothesen die doormiddel van de burgersurvey zullen worden getoetst. We bereiden met andere woordeneen confirmatieve studie voor (zie paragraaf 2.2).

2Maddens & Billiet, 2001

Referenties

APS (2002). Handleiding Kwaliteitsrichtlijnen bij het uitvoeren van surveyonderzoek.

Batagelj, Z. & V. Vehovar (1998). Technical and Methodological Issues in WWW Sur-veys. Paper presented at AAPOR 98. Software and Methods for Conducting InternetSurveys, St. Louis.

Bechtel, W. (1988). Philosophy of mind: an overview for cognitive science. Hillsdale,New Jersey: Lawrence Erlbaum.

Billiet, J. (2002). (Sub)-National and ethnic identity, Social identities in ESS, forth-coming.

Billiet, J. (2000). De publieke opinie ondervraagd. Over de zin en onzin van opiniepeilin-gen. In: B. Raymaekers & A. Van De Putte (Eds.), Krachten voor de toekomst. Lessenvoor de eenentwintigste eeuw. Leuven: Davidsfonds/UP.

Billiet, J. (1993). Ondanks beperkt zicht. Brussel: VUB Press.

Billiet, J., G. Loosveldt & L. Waterplas (1984). Het survey-interview onderzocht. Leu-ven: Sociologisch Onderzoeksinstituut.

Billiet, J., G. Loosveldt & L. Waterplas (1988). Response-effecten bij survey-vragen inhet Nederlands taalgebied. Leuven: Sociologisch Onderzoeksinstituut.

Blank, T., P. Schmidt & B. Westle (2001). Patriotism - a contradiction, a possibility oran empirical reality?. Paper presented at the European Group of Public Administra-tion Congress in Vaasa (Finland), 5-8 Sept. 2001.

Bouckaert, G., J. K. Kampen, B. Maddens & S. Van de Walle (2001). Klantentevreden-heidsmetingen bij de Overheid. Leuven: Instituut voor de Overheid.

Bouckaert, G., S. Van de Walle, B. Maddens & J. K. Kampen (2002). Identity ver-sus performance. An overview of theories explaining trust in government. Leuven:Instituut voor de Overheid.

Cambre, B. (1999). Draaiboek ISPO onderzoeken, ISPO Bulletin 36: 1-29.

Cronbach, L. J. (1982). Designing evaluations of educational and social programs . SanFrancisco: Jossey-Bass

Croon, M.A. (1991). Investigating Mokken scalability of dichotomous items by meansof ordinal latent class analysis, British Journal of Mathematical and Statistical Psy-chology, 44, 315-331.

Deschouwer, K. (1998). Opverkenning in de kloof. In: Elchardus, M. (Ed.). Eenwantrouwig landje. Brussel: VUBPress.

59

60 Meten en operationaliseren

Dessens, J. A. G. & W. Jansen (1987). Operationaliseren: Traditie en kritiek. Disser-tatie: Rijksuniversiteit Utrecht.

De Winter, L. (1998). Etnoterritoriale identiteiten in Vlaanderen: verkenningen in eenpolitiek en ideologisch mijnenveld. In: M. Swyngedouw, J. Billiety, A. Carton & R.Beerten (Eds.), De (on)redelijke kiezer. Onderzoek naar de politieke opvattingen vanVlamingen. Leuven: Acco.

Dillman, D. A. (1978). Mail and Telephione Surveys. New York: Wiley.

Dillman, D. A. & D. K. Bowker ( 2000 ). The Web Questionnaire Challenge to SurveyMethodologists. Book chapter forthcoming. See URL http://websm.org/literabc.html

Elchardus, M. (1998). Was U Vandaag Al Slachtoffer of Werd U Beschuldigd? Gebruik-saanwijzing voor een Wantrouwende Samenleving. In: Elchardus (Ed.) Wantrouwenen Onbehagen. Brussel: VUB Press.

Fink, (1995). How to design surveys. London: SAGE.

Fowler, F. J. (1995). Improving survey questions. London: SAGE.

Gamson, W. A. (1968). Power and discontent. Illinois: The Dorsey Press.

Hurwitz, J. & M. Peffley (1999). International attitudes. In: Robinson, J. P. , P.R. Shaver & L. S. Wrightsman (1999). Measures of Political Attitudes. London:Academic Press.

Kampen, J. K. (2001). The adequacy and interpretation of models for ordinal associa-tion. Dissertatie: KUBrussel.

Kampen, J. K., J. Billiet & G. Molenberghs (2001). Constituents of trust in govern-ment in Flanders: An exploration. Paper presented at the European Group of PublicAdministration Congress in Vaasa (Finland), 5-8 Sept. 2001.

Kampen, J. K. & M. Swyngedouw (2000). The ordinal controversy revisited, Quality &Quantity 34: 87-102.

Kosterman, R. & S. Feshbach (1989). Toward a measure of patriotic and nationalisticattitudes, Political Sociology 10: 257-274.

Loosveldt, G. (1997). Research note: Interaction characteristics of the difficult-to-interview respondent, International Journal of Public Opinion Research 4: 386-394.

Loosveldt, G. & A. Carton (2001). Kwaliteitsevaluatie van surveys. Een toepassingop de surveys naar culturele verschuivingen in Vlaanderen. In: Vlaanderen gepeild.Brussel: APS.

Loosveldt, G., & Carton, A. (1997). Evaluatie van datakwaliteit in survey-onderzoek:Het gebruik van het na-interview en het rapport van de interviewer, Mens en Maatschap-pij 72: 166-175.

Linschoten, J. (1962). Idolen van de psycholoog. Utrecht: Bijleveld.

Maddens, B. & J. Billiet (2001). Bagalot revisited: the monarchy as a factor for politicalsupport: the case of Flanders/Belgium. Paper presented at the European Group ofPublic Administration Congress in Vaasa (Finland), 5-8 Sept. 2001.

Meersseman, E., J. Billiet, A. Depickere and M. Swyngedouw (2001). 1999 GeneralElection Study Flanders − Belgium. Codebook and Questionnaire. Leuven: ISPO.

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 61

Miller, A. H. (1974). Political issues and trust in government: 1964-1970, AmericanPolitical Science Review 68(3): 951-972.

Miller, G. A. (1956). The Magical Number Seven, Plus or Minus Two: Some Limits onOur Capacity for Processing Information, The Psychological Review 63: 81-97.

Mishler, W. & R. Rose (1996). Trajectories of fear and hope − Support for democracyin post-Communist Europe, Comparative political studies 28: 553-581.

Pickery, J. (2000). Applications of multilevel analysis in survey data quality research.Random coefficient models for respondent and interviewer effects. Dissertatie: KULeu-ven.

Sudman, S. & N. Schwartz (1987). Contributions of cognitive psychology to data col-lection, ZUMA-Arbeitsbericht 02.

Steen, A. (1996). Confidence in institutions in post-communist societies: the case of theBaltic states, Scandinavian political studies 3: 205-255.

Swyngedouw, M. (2001). The subjective cognitive and affectieve map of extreme rightvoters: using open-ende questions in exit-polls, Electoral Studies 20: 217-241.

Swyngedouw, M. , R. Beerten & J. K. Kampen (1999). De Veranderingen in de Samen-stelling van de Kiezerskorpsen 1995-1999, ISPO Bulletin 35: 1-37.

Szompka, P. (1996). Trust and emerging democracy: Lessons from Poland, Internationalsociology 1: 37-62.

Uslaner, E. (1998). Social Capital, Television, and the ‘Mean World’: Trust, Optimism,and Civic Participation, Political Psychology 19: 441-467.