Empirisch onderzoek

Leerkring Publiek Management

Albert Meijer

Utrecht School of Governance

Bijeenkomst 3: 25 februari 2011

Methodologie is voor de dommen!

Opbouw

1. Onderzoeksopzet

2. Observaties

3. Gevalsstudies

4. Bestaand materiaal

5. Interviews

6. Ethische principes

Onderzoeksopzet

• Strategie

• Methode

• Techniek

• Triangulatie

VB: Europaproof?

VRAAG: In hoeverre draagt deelname in een intergemeentelijk samenwerkingsverband bij aan het ‘Europaproof’ worden van gemeenten?

• Op welke manieren nemen gemeenten deel aan het samenwerkingsverband van de Stadsregio Arnhem Nijmegen?

• In welke mate zijn de gemeenten in dit samenwerkingsverband Europaproof?

• Is er een verband tussen de mate van deelname aan het samenwerkingsverband en de mate van Europaproofheid?

Onderzoeksopzet

Document-analyse

Gemeenten

Document-analyse

Stadsregio

Enquêtes InterviewsGemeenten

InterviewStadsregio

Deelvraag 1 (Samen-werking)

X X X X

Deelvraag 2 (Europaproof)

X X X X

Deelvraag 3 (Relatie)

X X X

Voorbeeld: Co-creatie

VRAAG: Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in verschillende fasen van beleid te vergroten?

• Agendavorming. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de agendavorming te vergroten?

• Beleidsontwikkeling. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de beleidsontwikkeling te vergroten?

• Dienstverlening. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de dienstverlening te vergroten?

• Handhaving en toezicht. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in handhaving en toezicht te vergroten?

Onderzoeksopzet

Casus Spiegelcasus

Agendavorming Uruzgan Abu Ghraib

Beleidsontwikkeling Maastricht Smallingerland

Dienstverlening Forum Werk.nlWAO Cafe

BlikopwerkWajongGaosStoryteller

Handhaving en toezicht PolitioeonderzoekenBurgernetYoutube

Opsporing verzochtOvervaller gezocht

Methoden

• Selecteren

• Meten

• Analyseren

Observaties

Observeren is het volledig beschrijven van een handeling van de persoon die men waarneemt in zijn omgeving.

• Rollen van de observator

• Mate van structuur

Verborgen observaties

Open observaties

Participerende observatie

Structuur van de observaties

• Gestructureerd– Proefschrift Mirko

• Ongestructureerd– Karin in Brussel

Toepassing

• Meetinstrument

• Metingen: waar, wanneer en hoe

• Analyse: kwantitatief en kwalitatief

EN: behoud een open blik!

Combinatie met andere instrumenten

• Bestuurskundig onderzoek– Onderzoek van Gijs Jan

• Ethnografisch onderzoek– Informele interviews– Observatie– Participatie– Groepsgesprekken– Mensen vragen om dagboeken bij te houden– Levensgeschiedenissen

Klassieke case-studies

• Pressman & Wildawsky: Implementation: how great expectations in Washington are dashed in Oakland (…)

• Kaufman: The Forest Ranger• Allison & Zelikow: The Essence of Decision

• Ook: Noordegraaf, Geuijen, Meijer

Definitie

Bij een case-study (…) gaat het om de bestudering van een sociaal verschijnsel:

• Bij een beperkt aantal dragers van het verschijnsel• In de natuurlijke omgeving• Over een bepaalde periode• Met gebruik van diverse databronnen• Gericht op tal van variabelen• Verklaringen worden getoetst door de onderzochten

Positivistische versusinterpretatieve case studies

Positivistisch Interpretatief

Yin Malinowski, Clifford Geertz

Blootleggen mechanisme Unieke situatie

Theoretische generalisatie Generalisatie vanuit de gebruiker

Expliciete lessen Impliciete lessen

Internationale betrekkingen, recht Antropologie

Allison & ZelikowThe Essence of Decision

ZuboffThe Age of the Smart Machine

Waarom een case study?

• Positieve overwegingen– Gedetailleerde kennis helpt bij het verfijnen van (causale)

modellen.– De verschillende interacties worden in kaart gebracht.– Er is aandacht voor de verschillende verklaringen van de

betrokkenen.– Case studies bieden een basis voor ontwerp.

• Negatieve overwegingen– We kunnen het verschijnsel nog niet goed isoleren.– Experimenteren is niet mogelijk.– Het verschijnsel is zeer zeldzaam.

Keuzen bij casusonderzoek

• Cases

• Meetmomenten

• Onderzoeksmethoden

Casusselectie

• Mogelijke designs:– Most similar cases– Most different cases– Most advanced cases– Extreme cases– Critical cases

• Risico’s:– Onterecht oorzaak toewijzen– Case contaminatie

Versterken van case study

• Meerdere subeenheden

• Meerdere meetmomenten

• Meerdere instrumenten

• Expertoordelen

Analyse van data

• Het doel van een analyse is om specifieke verklaringen voor een situatie te transformeren in algemene verklaringen.

• Aandachtspunten:– Casusvergelijking (comparative method)– Process tracing– Typological theorizing

Analyse van het materiaal: datamatrix

Casus 1 Casus 2 Casus 3 …

Variabele 1

Variabele 2

Variabele 3

…

Forum.werk.nl Forum.waocafe.nl

Mogelijkheden voor co-creatie.

Grote mogelijkheden voor co-creatie.Moderatie belangrijker dan technische mogelijkheden.

Grote mogelijkheden voor co-creatie.Moderatie belangrijker dan technische mogelijkheden.

Participanten. 1000 geregistreerde ledenGroot aantal – duizenden – bezoekers.Motieven: antwoorden op vragen, contact met lotgenoten, uitlaatklep voor frustraties.

190 bijdragen per week.14000 hits per week.Motieven: antwoorden op individuele vragen, algemene informatie, steun van lotgenoten.

Inhoud van de participatie.

Antwoorden op vragenDiscussieAanbieden van vacaturesDelen van ervaringenKritiek op dienstverleners

Antwoorden op vragenDiscussieDelen van ervaringenKritiek op dienstverleners

Patronen tussen variabelen

Waarde 1 Waarde 2 Waarde 3

Waarde 1

Waarde 2

Waarde 3

Voorbeeld

Lage mate van gebruik Hoge mate van gebruik

Weinig relevante informatie

Arbeidsinspectie (NL)Milieu-inspectie (VK)

Relevante informatie Milieu-inspectie (NL) Voedselinspectie (DK)

Rapporteren van resultaten

• Per casus

• Per thema

• Per onderzoeksmethode

Andere toepassingen van cases

• Advieswerk

• Beleidswerk

• Onderwijs

Centraal staat steeds het holistische karakter van de case!

Gebruik van bestaand materiaal

• Bronnen– Beleidsnota’s– Jurisprudentie– Jaarverslagen– Onderzoeksrapporten– Krantenberichten– Internetdiscussies– E-mail-berichten

Karakter

• Primair: Informatie die nog niet is gebruikt voor onderzoek.– Neerslag van gedrag– Communicatieve boodschap

• Secundair: Hergebruik van eerdere onderzoeksbevindingen – Statistische bestanden– Publicaties

Nut

• Historisch onderzoek

• Moeilijk te bevragen of observeren verschijnselen

• Directe toegang tot communicatie

• Makkelijk te verwerken

• Weinig medewerking vereist

Selectie van bronnen

• Selectief

• Aselectief

Inhoudsanalyse

• Vaststellen van feiten en opvattingen

• Reconstrueren van gebruikte argumentaties

Interviews: enkele punten

• Respondenten versus informanten.

• Gestructureerd versus ongestructureerd.

• Opnemen versus een verslag maken.

• Leidend principe: informatierijkheid!

Ethische principes

• Respect: geen personen tegen hun wil of onwetend onderzoeken.

• Goedwillendheid: de onderzochte personen geen schade toebrengen

• Rechtvaardigheid: alle onderzochte personen evenveel voordeel (of nadeel)

• Vertrouwen: vertrouwelijk omgaan met gegevens

• Wetenschappelijke integriteit: eerlijk rapporteren